AI-onderzoekers herontdekken 'continuous diffusion' voor taalmodellen

De meeste chatbots en taalmodellen van vandaag, zoals ChatGPT, werken volgens hetzelfde principe: ze bouwen een antwoord woord voor woord op, van links naar rechts. Dit heet autoregressief genereren. Het werkt goed, maar onderzoekers zoeken al jaren naar alternatieven die sneller zijn of andere voordelen bieden. Een van die alternatieven is diffusie: een techniek die oorspronkelijk beroemd werd door beeldgeneratoren zoals Midjourney en Stable Diffusion.

Van beeld naar tekst

Bij een diffusiemodel leert een computer om ruis stap voor stap om te zetten in een compleet beeld. Onderzoekers probeerden dit principe rond 2021 en 2022 ook op tekst toe te passen. Dat bleek lastiger dan bij plaatjes, omdat taal is opgebouwd uit losse categorieën – woorden of woorddelen – terwijl beelddiffusie juist goed werkt met vloeiende, continue signalen zoals pixelwaarden. Er ontstonden twee sporen: 'discrete diffusion', dat rechtstreeks met de losse woordcategorieën rekent, en 'continuous diffusion', dat woorden eerst omzet in vloeiende getallenreeksen zodat de bekende beeldtechnieken alsnog bruikbaar zijn.

Een stille dood en een comeback

Na 2023 verdween continuous diffusion vrijwel volledig uit wetenschappelijke publicaties. Discrete diffusion won het pleit, vermoedelijk omdat het beter leek te concurreren met de steeds krachtigere autoregressieve modellen die na de doorbraak van ChatGPT alle aandacht kregen. Een belangrijke reden was ook efficiëntie: onderzoekers Gulrajani en Hashimoto berekenden in 2023 dat een continu diffusiemodel maar liefst 64 keer minder efficiënt trainde dan een vergelijkbaar autoregressief model. In een tijd waarin trainingskosten cruciaal waren, was dat een zware streep door de rekening.

Waarom nu weer interesse?

Toch verschijnen er sinds kort weer nieuwe wetenschappelijke artikelen over continuous diffusion voor taal. Dieleman, die zelf meewerkte aan eerdere versies van deze techniek en later overstapte naar beeld- en videogeneratoren zoals Imagen en Veo, ziet hier een kentering. Continue diffusiemodellen hebben namelijk unieke voordelen: ze kunnen onzekerheid per woord preciezer weergeven en profiteren van een rijke gereedschapskist aan sneltechnieken die voor beelddiffusie is ontwikkeld, maar die bij discrete methodes vaak niet toepasbaar is. Dieleman benadrukt dat de precieze oorzaak van de recente herleving nog onduidelijk is, maar dat de technische voordelen van continue methodes altijd zijn blijven bestaan, ook toen de onderzoeksgemeenschap er massaal van wegliep.

Voor gebruikers van AI-chatbots verandert er voorlopig weinig: dit is fundamenteel onderzoek dat nog moet bewijzen of het kan opschalen tot bruikbare, grote taalmodellen. Maar de heropleving laat zien dat de zoektocht naar alternatieven voor het huidige, dominante AI-ontwerp doorgaat.