Diffusiemodel: hoe kunstmatige intelligentie beelden uit ruis laat ontstaan

Bijgewerkt: 5 augustus 2026 · 5 min leestijd

Een diffusiemodel is een type kunstmatig-intelligentiesysteem dat leert om iets moois te maken door eerst te leren hoe je iets kapotmaakt. Stel je een scherpe foto voor die stap voor stap wordt overspoeld met steeds meer beeldruis — die korrelige sneeuw die je vroeger op een televisie zonder ontvangst zag — totdat er alleen nog willekeurige chaos over is. Een diffusiemodel bestudeert dit proces in omgekeerde richting: het leert, stapje voor stapje, hoe je van pure ruis weer een scherpe, samenhangende foto terugkrijgt.

Dat klinkt abstract, maar het is precies de techniek achter populaire beeldgeneratoren zoals Stable Diffusion, DALL-E en Midjourney. Geef zo'n systeem een tekstuele beschrijving, bijvoorbeeld “een astronaut die op een fiets rijdt op de maan”, en het begint met een canvas vol digitale ruis. Vervolgens verwijdert het in tientallen kleine stapjes telkens een beetje van die ruis, waarbij het zich laat leiden door de tekst, totdat er een overtuigend beeld ontstaat. Ditzelfde principe wordt inmiddels ook toegepast op video, geluid en zelfs de driedimensionale vouwing van eiwitten.

Wat is het precies?

De techniek bestaat uit twee tegengestelde processen. Het eerste heet het voorwaartse diffusieproces: je neemt een bestaande, echte afbeelding en voegt daar in honderden kleine stapjes steeds een beetje willekeurige ruis aan toe, totdat er niets herkenbaars meer overblijft. Dit is wiskundig eenvoudig te beschrijven en dient als trainingsmateriaal.

Het tweede en belangrijkste deel is het omgekeerde (reverse) proces. Hier leert een neuraal netwerk — een van de vele soorten AI-modellen die patronen herkent in data — om bij elke ruisstap te voorspellen welke ruis er in de vorige stap is toegevoegd. Door die voorspelde ruis steeds weer weg te halen, bouwt het model geleidelijk een beeld op uit chaos. Dit proces wordt duizenden keren herhaald tijdens de training, op miljoenen afbeeldingen, totdat het netwerk goed is geworden in het “terugredeneren” van ruis naar structuur.

Om het model te sturen naar wat de gebruiker wil zien, wordt de tekstprompt omgezet in een wiskundige representatie via een apart taalmodel (vaak een systeem genaamd CLIP, ontwikkeld door OpenAI). Deze representatie wordt tijdens elke denoising-stap meegegeven, zodat het model niet zomaar willekeurige ruis opruimt, maar specifiek toewerkt naar een astronaut op een fiets.

Een belangrijke efficiëntieslag is latente diffusie: in plaats van te werken met de volledige, zware pixelinformatie van een afbeelding, comprimeert het model deze eerst tot een compacte wiskundige samenvatting (de “latente ruimte”). Het diffusieproces vindt plaats in die kleinere ruimte, wat veel minder rekenkracht kost. Pas aan het einde wordt het resultaat teruggeschaald naar een volledige afbeelding. Deze aanpak, ontwikkeld door onderzoekers van de Ludwig-Maximilians-Universität München, ligt aan de basis van Stable Diffusion.

Wat wil men ermee bereiken?

Het primaire doel is het genereren van realistische, hoogwaardige content — afbeeldingen, video, audio, tekst-naar-spraak of zelfs 3D-modellen — op basis van een simpele beschrijving in gewone taal. Voor eerdere generaties AI-beeldgeneratoren (zoals GAN's, generative adversarial networks) was het lastig om zowel scherpe details als grote diversiteit te combineren zonder trainingsinstabiliteit. Diffusiemodellen bleken daar beter in te zijn en zijn sindsdien de dominante aanpak geworden.

Buiten de creatieve industrie wil men diffusiemodellen inzetten voor wetenschappelijk onderzoek, bijvoorbeeld het ontwerpen van nieuwe eiwitten voor medicijnen, het genereren van synthetische trainingsdata voor andere AI-systemen wanneer echte data schaars of privacygevoelig is, en het verbeteren van medische beeldvorming door ruis uit scans te halen. Ook in de industriële vormgeving en architectuur worden diffusiemodellen gebruikt om snel ontwerpvarianten te genereren.

Voorbeelden uit de praktijk

DALL-E 2 (OpenAI, 2022) was een van de eerste diffusiemodellen die brede publieke aandacht trok door realistische en creatieve afbeeldingen uit tekst te genereren.

Stable Diffusion (Stability AI, samen met de CompVis-groep van de LMU München, 2022) maakte de techniek toegankelijk doordat de modelgewichten openbaar werden vrijgegeven, waardoor ontwikkelaars wereldwijd er eigen toepassingen op konden bouwen.

Imagen (Google, 2022) liet zien dat een sterk taalmodel gecombineerd met diffusie tot zeer fotorealistische resultaten kan leiden.

Sora (OpenAI, aangekondigd in 2024) past diffusietechnieken toe op video, waarbij samenhangende bewegende beelden van tot een minuut worden gegenereerd uit een tekstprompt.

RFdiffusion (Baker Lab, University of Washington, 2023) gebruikt hetzelfde wiskundige principe niet voor plaatjes maar voor het ontwerpen van compleet nieuwe eiwitstructuren, wat mogelijk relevant is voor de ontwikkeling van nieuwe medicijnen en vaccins.

Hoe ver is de techniek?

De theoretische basis werd al in 2015 gelegd door onderzoekers rond Jascha Sohl-Dickstein, geïnspireerd door natuurkundige diffusieprocessen. De echte doorbraak kwam in 2020 met het zogeheten DDPM-paper (Denoising Diffusion Probabilistic Models) van Jonathan Ho en collega's, dat de methode praktisch bruikbaar maakte. Vanaf 2022 volgde een stroomversnelling met de release van DALL-E 2, Stable Diffusion en Imagen, waarna diffusiemodellen binnen twee jaar de norm werden voor beeldgeneratie.

Een belangrijk obstakel was lange tijd de snelheid: het originele proces vereiste honderden tot duizenden kleine denoising-stappen, wat traag en rekenintensief was. Nieuwere technieken zoals “distillatie” en zogeheten consistency models hebben dit aantal teruggebracht naar soms slechts enkele stappen, waardoor beelden binnen een seconde gegenereerd kunnen worden.

Belangrijke openstaande uitdagingen zijn: de aanzienlijke rekenkracht en energie die nodig zijn voor training op grote datasets; het risico op zogeheten hallucinaties (bijvoorbeeld een hand met een verkeerd aantal vingers); vragen rond auteursrecht omdat trainingsdata vaak bestaat uit auteursrechtelijk beschermde afbeeldingen die zonder expliciete toestemming van makers zijn verzameld; en het risico op vooringenomenheid (bias) doordat trainingsdata bepaalde groepen mensen over- of ondervertegenwoordigt. Video- en 3D-diffusie staan bovendien nog duidelijk minder ver dan beelddiffusie en kampen met beperkte lengte, consistentiefouten tussen frames en hoge rekenkosten.

Wie werken eraan?

Op bedrijfsniveau lopen OpenAI (VS), Stability AI (VK) en Google DeepMind (VS/VK) voorop, naast platforms als Midjourney en Runway die zich specifiek richten op respectievelijk beeld- en videogeneratie. Ook Adobe heeft met Firefly een eigen diffusiegebaseerd systeem geïntegreerd in zijn ontwerpsoftware.

Op wetenschappelijk vlak speelde de onderzoeksgroep van professor Björn Ommer aan de Ludwig-Maximilians-Universität München een sleutelrol bij de ontwikkeling van latente diffusie. In de Verenigde Staten dragen universiteiten als Stanford, UC Berkeley en MIT bij aan fundamenteel onderzoek, terwijl het Baker Lab aan de University of Washington toonaangevend is in de toepassing van diffusiemodellen op eiwitontwerp. China investeert eveneens fors in het veld, onder meer via onderzoeksgroepen verbonden aan techbedrijven als Alibaba en Baidu.