Continuous diffusion: hoe AI leert door ruis geleidelijk weg te poetsen
Stel je een oude foto voor die helemaal is dichtgesneeuwd met korrelige ruis, zoals bij een slechte televisie-ontvangst vroeger. Een restaurateur die deze foto moet herstellen, doet dat niet in één klap: hij haalt de ruis in kleine, voorzichtige stapjes weg, telkens een beetje scherper, totdat het oorspronkelijke beeld weer tevoorschijn komt. Continuous diffusion (continue diffusie) is precies dit principe, maar dan uitgevoerd door een kunstmatig neuraal netwerk, en toegepast om nieuwe beelden, geluid of zelfs tekst te genereren in plaats van te herstellen.
Het woord "continuous" (continu) verwijst naar de manier waarop dat ruis-verwijderen wiskundig wordt beschreven: niet als een vast rijtje losse stappen, maar als een vloeiend, ononderbroken proces dat op elk denkbaar moment tussen "volledig ruis" en "volledig beeld" gedefinieerd is. Dat klinkt abstract, maar het heeft concrete gevolgen: het maakt de modellen flexibeler, wiskundig beter te doorgronden, en — recent — ook bruikbaar voor taal, waar computers van oudsher juist woord voor woord tekst genereren in plaats van in één keer een heel stuk tekst "uit de ruis halen".
Wat is het precies?
Een diffusiemodel wordt in twee richtingen getraind. Eerst is er het voorwaartse proces: je neemt een schone data-eenheid, bijvoorbeeld een foto, en voegt daar in kleine beetjes willekeurige ruis aan toe, telkens opnieuw, totdat er niets herkenbaars meer over is en alleen nog statisch "sneeuw" rest. Dit is eenvoudig te programmeren en kost geen training; het is puur een wiskundige truc om trainingsvoorbeelden te maken.
Interessanter is het omgekeerde proces: een neuraal netwerk leert, voor elk denkbaar ruisniveau, te voorspellen welke ruis er op dat moment aanwezig is en dus wat er weggehaald moet worden om weer een stapje dichter bij de schone data te komen. Bij het genereren van iets nieuws begin je met pure willekeurige ruis en laat je het netwerk die stapsgewijs "opschonen", totdat er een gave, nieuwe foto (of geluidsfragment) ontstaat die niet letterlijk in de trainingsdata voorkwam, maar er statistisch op lijkt.
Bij de oorspronkelijke versie van deze techniek, geïntroduceerd in 2020 door onderzoekers van UC Berkeley onder de naam Denoising Diffusion Probabilistic Models, gebeurde dit in een vast aantal discrete stappen, bijvoorbeeld duizend stuks. In 2021 lieten onderzoekers van Stanford en Google zien dat je dit proces ook kunt beschrijven als een continue vergelijking in de tijd, een zogeheten stochastische differentiaalvergelijking (een wiskundige beschrijving van willekeurige, geleidelijke verandering). Dat is de kern van "continuous diffusion": in plaats van een vaste trap met treden, krijg je een glijbaan zonder treden, waarop je op elk gewenst punt kunt stoppen. Praktisch voordeel: je kunt met veel minder rekenstappen een resultaat genereren, en er bestaat een preciezere wiskundige garantie over hoe waarschijnlijk een gegenereerd resultaat is.
Voor tekst ligt het lastiger, want woorden zijn geen continue grootheden zoals pixelwaarden — een woord is óf "hond" óf "kat", er zit niets tussentussenin. Onderzoekers lossen dit op door elk woord eerst om te zetten in een embedding: een lijst getallen (een vector) die de betekenis van dat woord representeert in een continue ruimte. Vervolgens wordt op die vectoren hetzelfde diffusieproces losgelaten als op pixels: ruis toevoegen, en een netwerk leren die ruis weer te verwijderen. Aan het eind wordt elke opgeschoonde vector afgerond naar het dichtstbijzijnde bestaande woord. Dit heet continuous diffusion voor taal, in tegenstelling tot discrete diffusion, waarbij het model rechtstreeks met woorden of woorddelen werkt en bijvoorbeeld stapsgewijs woorden "onthult" die eerst met een maskeersymbool waren afgedekt.
Wat wil men ermee bereiken?
Het eerste doel is simpelweg betere en preciezere generatieve modellen: de continue, tijdsonafhankelijke wiskunde maakt het mogelijk om met minder stappen een even goed of beter resultaat te krijgen, en om exact te berekenen hoe waarschijnlijk een bepaald gegenereerd resultaat is volgens het model. Dat laatste is nuttig voor wetenschappelijk onderzoek en voor toepassingen waar je resultaten met elkaar wilt vergelijken.
Bij taal is de motivatie een andere: de meeste bekende taalmodellen zoals ChatGPT zijn autoregressief, wat betekent dat ze tekst woord voor woord genereren, waarbij elk nieuw woord afhangt van alle voorgaande. Dat is inherent een sequentieel, dus traag proces. Een diffusiemodel kan in principe een hele zin of alinea in één keer, parallel, verbeteren over meerdere ruis-verwijderingsstappen, in plaats van woord na woord. De hoop is dat dit sneller kan, en dat het bovendien makkelijker wordt om tekst achteraf te bewerken (bijvoorbeeld het midden van een zin aanpassen zonder de rest opnieuw te genereren), iets wat bij autoregressieve modellen lastig is omdat die altijd van links naar rechts werken.
Een derde, meer academische ambitie is unificatie: onderzoekers willen één wiskundig raamwerk hebben dat beelden, video, geluid én tekst op vergelijkbare wijze kan genereren, in plaats van voor elke modaliteit een compleet ander soort model te moeten bouwen.
Voorbeelden uit de praktijk
Enkele mijlpalen en projecten die de ontwikkeling van continuous diffusion illustreren:
- Denoising Diffusion Probabilistic Models (Jonathan Ho, Ajay Jain, Pieter Abbeel, UC Berkeley, 2020) — het paper dat het huidige tijdperk van diffusiemodellen voor beeldgeneratie inluidde, nog met discrete stappen.
- Score-Based Generative Modeling through Stochastic Differential Equations (Yang Song en collega's, Stanford en Google, 2021) — het werk dat diffusie herformuleerde als continu proces in de tijd en daarmee de wiskundige basis legde voor "continuous diffusion".
- Stable Diffusion (Stability AI, in samenwerking met de CompVis-groep van de Ludwig-Maximilians-Universität München, 2022) — het bekendste voorbeeld van diffusie in de praktijk: een tekst-naar-beeldmodel dat wereldwijd gebruikt wordt en dat, net als veel beeldmodellen, voortbouwt op deze continue diffusieprincipes.
- Diffusion-LM (Xiang Lisa Li en Percy Liang, Stanford, 2022) — een van de eerste modellen die continue diffusie toepaste op tekst, door woorden als continue vectoren te behandelen in plaats van als losse symbolen.
- Continuous Diffusion for Categorical Data (CDCD) (Sander Dieleman en collega's, Google DeepMind, 2022) — onderzoek dat expliciet continue diffusie geschikt probeerde te maken voor categorische data zoals taal, met als doel de kloof met discrete diffusie-aanpakken te dichten.
Meer recent experimenteren grote AI-bedrijven met diffusiegebaseerde taalmodellen als alternatief voor de gangbare, woord-voor-woord genererende systemen, met beloftes van snellere, parallelle tekstgeneratie. Omdat dit een snel bewegend en deels commercieel afgeschermd onderzoeksveld is, zijn de precieze technische details van dergelijke recente systemen niet altijd volledig openbaar gemaakt, en is het niet altijd duidelijk of ze een zuiver continue dan wel een discrete (maskeer-gebaseerde) diffusievariant gebruiken.
Hoe ver is de techniek?
Voor beeld- en videogeneratie is diffusie inmiddels volwassen technologie: het is sinds 2022 de dominante aanpak achter vrijwel alle bekende beeldgeneratoren en speelt ook een rol bij videogeneratie. Dat gebruikt meestal een vorm van continue diffusie of een nauw verwante variant.
Voor taal staat de techniek nog in de kinderschoenen. Autoregressieve modellen zoals de grote taalmodellen die de afgelopen jaren furore maakten, blijven vooralsnog de standaard qua taalkwaliteit en redeneervermogen. Diffusiegebaseerde taalmodellen zijn sinds ongeveer 2022 onderwerp van actief academisch onderzoek en beginnen rond 2024–2025 ook in experimentele en commerciële producten te verschijnen, met beloftes van aanzienlijk snellere generatie dankzij parallelle verwerking. Onafhankelijk geverifieerde, uitgebreide vergelijkingen met de kwaliteit van gevestigde autoregressieve modellen op complexe taal- en redeneertaken zijn echter nog schaars, en het is op dit moment niet vastgesteld of diffusie-taalmodellen de bestaande aanpak zullen verdringen of naast elkaar zullen blijven bestaan als aanvulling voor specifieke, snelheidsgevoelige toepassingen.
Een concreet technisch obstakel blijft de "afrondingsstap" bij tekst: continue vectoren moeten uiteindelijk weer worden omgezet naar discrete woorden, en elke afronding kan een kleine fout introduceren die zich door de rest van de generatie kan voortplanten. Daarnaast is training van deze modellen vaak rekenintensief en minder uitontwikkeld dan de decennia aan optimalisatie die achter autoregressieve modellen zit.
Wie werken eraan?
Het fundamentele onderzoek is sterk academisch gedreven, met vroege bijdragen van UC Berkeley (de oorspronkelijke DDPM) en Stanford University, waaronder de groepen die zowel de continue SDE-formulering als Diffusion-LM ontwikkelden. Google DeepMind heeft met werk als CDCD en met eigen experimentele taalmodellen een prominente rol in het combineren van diffusie met taal. Stability AI en de CompVis-onderzoeksgroep van de LMU München (Duitsland) zijn toonaangevend geweest bij de praktische doorbraak van diffusie voor beeldgeneratie. Ook OpenAI onderzoekt diffusie-achtige technieken, onder meer voor videogeneratie. Daarnaast zijn er jonge, gespecialiseerde start-ups die zich specifiek richten op diffusiegebaseerde taalmodellen als commercieel product. Geografisch is het onderzoek geconcentreerd in de Verenigde Staten (Silicon Valley-bedrijven plus Stanford en Berkeley), met belangrijke Europese bijdragen vanuit Duitsland, en een groeiend aantal publicaties vanuit Chinese universiteiten en onderzoeksinstituten die eigen varianten van diffusie-taalmodellen ontwikkelen.