Diffusie-taalmodellen: AI die hele zinnen tegelijk schrijft in plaats van woord voor woord

De meeste chatbots van dit moment, van ChatGPT tot Claude, zijn autoregressieve modellen. Ze voorspellen tekst woord voor woord, van links naar rechts, waarbij elk nieuw woord afhangt van alles wat ervoor is geschreven. Dat werkt goed, maar heeft ook nadelen: een fout die eenmaal is gemaakt, kan niet meer worden hersteld, het genereren duurt net zo lang als de tekst lang is, en het model kan nooit vooruitkijken naar wat er nog komt.

Onderzoekers van de Kuleshov Group, verbonden aan Cornell University, beschrijven in een uitgebreid overzichtsartikel — gebaseerd op lezingen op de AI-conferenties ICLR en MLSS in 2026 — hoe een alternatieve aanpak steeds serieuzer wordt: het diffusiemodel. Deze techniek is al jaren de standaard voor het genereren van afbeeldingen, bijvoorbeeld bij Midjourney en Stable Diffusion, en wordt nu ook toegepast op tekst.

Van ruis naar zin

Bij beeldgeneratie werkt denoising, of ontruizen, als volgt: een model leert een foto die volledig uit willekeurige ruis bestaat, stap voor stap om te vormen tot een scherpe afbeelding. Voor tekst is dat lastiger, omdat je geen 'beetje ruis' aan een los woord kunt toevoegen zoals bij pixels. De oplossing die de onderzoeksgroep populair maakte, heet gemaskeerde diffusie: in plaats van ruis worden woorden simpelweg verborgen achter een masker, vergelijkbaar met een invuloefening.

Een diffusie-taalmodel begint bij het genereren van tekst met een compleet gemaskeerde zin, dus louter blanco plekken. Vervolgens vult een bidirectionele transformer — een AI-model dat zowel naar voorafgaande als naar latere woorden kan kijken — een deel van die plekken in. Daarna wordt een deel van de nieuw ingevulde woorden willekeurig weer gemaskeerd, waarna het model opnieuw een gokje waagt. Dit 'invullen en weer verbergen' herhaalt zich enkele tientallen keren, waarbij elke ronde meer woorden definitief vaststaan, tot er een volledige, samenhangende tekst overblijft.

Sneller én zelfcorrigerend

Dit proces levert twee belangrijke voordelen op ten opzichte van klassieke large language models. Ten eerste kan het model fouten later in het proces nog rechtzetten, omdat niets definitief vastligt tot de laatste stap. Ten tweede is generatie potentieel veel sneller: waar een autoregressief model exact zoveel stappen nodig heeft als er woorden zijn, kan een diffusiemodel met minder verfijningsrondes al een bruikbaar resultaat geven, en zo snelheid tegen kwaliteit afwegen.

Tot 2024 bleef diffusie voor tekst vooral een academisch experiment, omdat de kwaliteit achterbleef bij autoregressieve modellen. Dat kantelde snel: inmiddels hebben Google (met Gemma Diffusion), techbedrijf Inception Labs (met Mercury 2) en chipmaker NVIDIA (met Nemotron Diffusion) eigen diffusie-taalmodellen uitgebracht die qua kwaliteit meekunnen met gangbare chatbots. De onderzoekers benadrukken dat er nog volop werk te doen is, onder meer aan het genereren van teksten met een variabele lengte en aan het verder trainen van deze modellen na de eerste, ongerichte trainingsfase.