Denoising: hoe AI leert 'ruis' om te zetten in beelden, geluid en ontwerpen
Denoising betekent letterlijk 'ontruisen': het verwijderen van willekeurige, ongewenste variatie uit data. Iedereen kent het van een korrelige foto die 's avonds met weinig licht is genomen, of een telefoontje met een ruisend achtergrondgeluid. Software die die korrels of dat ruisen wegfiltert, doet aan denoising. Dat is op zichzelf al decennialang een nuttige techniek in fotografie, audiotechniek en medische beeldvorming.
Sinds een jaar of vijf heeft hetzelfde woord echter een tweede, veel grotere betekenis gekregen. Het is nu ook de kern van de techniek waarmee de bekendste AI-beeldgeneratoren werken, zoals Stable Diffusion, Midjourney en DALL-E. Die systemen maken geen plaatje 'in één keer', maar beginnen met een canvas vol willekeurige ruis en halen daar in stapjes een herkenbare afbeelding uit, alsof een beeldhouwer steeds een beetje marmer wegkapt tot er een figuur zichtbaar wordt. Dat proces heet diffusie, en de motor eronder is telkens hetzelfde trucje: denoising.
Wat is het precies?
Om te begrijpen hoe denoising in AI werkt, helpt het om het proces in twee richtingen te bekijken. Eerst de omgekeerde, makkelijkere richting: het toevoegen van ruis. Neem een scherpe foto en voeg daar in honderd kleine stapjes steeds een beetje willekeurige, digitale 'sneeuw' aan toe. Na die honderd stappen is er niets van de oorspronkelijke foto meer te herkennen: alleen nog grijze ruis. Dit heet het 'forward process' of diffusieproces, en het is wiskundig eenvoudig te beschrijven.
Het interessante gebeurt in de andere richting. Een neuraal netwerk — een computerprogramma dat patronen leert uit heel veel voorbeelden — wordt getraind om precies dat proces terug te draaien. Het krijgt een ruisig plaatje te zien en moet voorspellen welk stukje ruis erin zit, zodat je dat kunt aftrekken. Doe je dat honderd keer achter elkaar, elke keer een klein beetje ruis wegnemen, dan ontstaat er langzaam een scherp beeld.
Het slimme is dat het netwerk dit leert op basis van miljoenen voorbeelden van 'foto plus bijbehorende tekstbeschrijving'. Daardoor kan het bij het ontruisen ook gestuurd worden door een tekstprompt: in plaats van willekeurig een foto terug te halen, haalt het netwerk specifiek een beeld terug dat past bij de tekst 'een kat op een fiets'. Elke denoising-stap duwt de ruis een beetje in de richting van wat die tekst beschrijft.
Om dit proces snel genoeg te maken, werken veel systemen niet met de volledige pixelafbeelding, maar met een sterk gecomprimeerde, wiskundige representatie ervan — een zogeheten latente ruimte. Dat heet latent diffusion en is de basis van Stable Diffusion: het ontruisen gebeurt in die compacte ruimte, waarna een apart onderdeel het resultaat weer omzet naar een volwaardige afbeelding. Dat scheelt enorm veel rekenkracht.
Wat wil men ermee bereiken?
Het directe doel is generatieve AI die op commando nieuwe, realistische content maakt: afbeeldingen, video, muziek, 3D-modellen of zelfs eiwitstructuren. Denoising-diffusiemodellen bleken vanaf ongeveer 2021 beter te presteren dan eerdere generatieve technieken zoals GAN's (generative adversarial networks), vooral op het gebied van beeldkwaliteit, diversiteit en stabiliteit tijdens het trainen. GAN's hadden vaak last van instabiele training en beperkte variatie in de output; diffusiemodellen bleken daar minder gevoelig voor.
Een tweede doelstelling is controle: onderzoekers willen dat gebruikers steeds preciezer kunnen sturen wat er ontstaat, via tekst, schetsen, referentiebeelden of combinaties daarvan. Denoising leent zich daar goed voor omdat je op elke tussenstap kunt bijsturen.
Een derde, minder zichtbare drijfveer is snelheid en efficiëntie. Het oorspronkelijke idee kostte honderden rekenstappen per gegenereerd beeld, wat traag en duur is. Een groot deel van het onderzoek richt zich daarom op het terugbrengen van dat aantal stappen — idealiter naar één enkele stap — zonder aan kwaliteit in te boeten.
Buiten de beeldgeneratie heeft klassieke denoising nog steeds een eigen, praktisch doel: het verbeteren van signalen uit de echte wereld, zoals ruisonderdrukking bij CT- en MRI-scans (waardoor patiënten minder straling nodig hebben voor een even scherp beeld), of het opschonen van geluidsopnames.
Voorbeelden uit de praktijk
Het wetenschappelijke fundament werd gelegd door Jascha Sohl-Dickstein en collega's, die in 2015 het idee van diffusieprobabilistische modellen introduceerden. Pas in 2020 lieten Jonathan Ho, Ajay Jain en Pieter Abbeel van UC Berkeley met hun paper over 'Denoising Diffusion Probabilistic Models' (DDPM) zien dat de techniek ook echt goede, scherpe beelden kon opleveren — dit wordt algemeen gezien als het startschot van de huidige golf.
In 2022 publiceerde de CompVis-onderzoeksgroep van de Ludwig-Maximilians-Universität München, onder wie Robin Rombach, het werk over latent diffusion models. Dat werd de basis voor Stable Diffusion, dat datzelfde jaar door het bedrijf Stability AI werd uitgebracht als een van de eerste openbaar te downloaden beeldgeneratoren.
Ook OpenAI's DALL-E 2 (2022) en Googles Imagen (2022) zijn diffusiemodellen. Midjourney, dat sinds 2022 populair is bij illustratoren en ontwerpers, wordt algemeen verondersteld eveneens op diffusietechnieken te steunen, al is dit een gesloten systeem waarvan de exacte werking niet publiek gedocumenteerd is.
Buiten beeldgeneratie is een opvallend voorbeeld RFdiffusion, ontwikkeld door het Baker Lab van de University of Washington en gepresenteerd in 2023: hiermee ontwerpen onderzoekers geheel nieuwe eiwitstructuren die in de natuur niet bestaan, wat mogelijk medicijnontwikkeling kan versnellen.
Ook in videogeneratie duikt de techniek op: OpenAI's Sora, aangekondigd in februari 2024, combineert een diffusieproces met een transformer-architectuur om korte, samenhangende videofragmenten te genereren op basis van tekst.
Hoe ver is de techniek?
Beeldgeneratie met denoising-diffusie is inmiddels volwassen technologie: miljoenen mensen gebruiken dagelijks tools als Stable Diffusion, Midjourney of Adobe Firefly, en de output is vaak nauwelijks te onderscheiden van echte foto's of illustraties. Video- en 3D-generatie staan minder ver: video's zijn meestal nog kort (enkele seconden tot ruim een minuut), en fouten in beweging, anatomie of fysica komen nog regelmatig voor.
Een belangrijk obstakel blijft snelheid. Het oorspronkelijke DDPM-proces met honderden stappen is traag; technieken als DDIM en zogeheten 'consistency models' (voorgesteld door OpenAI-onderzoekers in 2023) proberen met veel minder stappen — soms zelfs één — een vergelijkbaar resultaat te bereiken. Dit is een actief onderzoeksgebied en nog geen uitgemaakte zaak: snellere modellen leveren soms iets minder kwaliteit of controle.
Een tweede open vraag is controleerbaarheid: gebruikers willen exact bepalen wat er in een beeld gebeurt (bijvoorbeeld een specifiek gezicht consistent houden over meerdere beelden), en dat blijft lastiger dan bij traditionele, handmatige bewerking. Ook spelen auteursrechtelijke discussies een rol, omdat de trainingsdata van deze modellen vaak bestaat uit werk van kunstenaars en fotografen zonder expliciete toestemming — een kwestie die nog volop in juridische procedures uitgezocht wordt.
Tot slot experimenteren onderzoekers met alternatieven en hybride vormen, waarbij diffusie wordt gecombineerd met de autoregressieve technieken die ook grote taalmodellen gebruiken. Het is nog niet duidelijk of diffusie op de lange termijn de dominante aanpak blijft voor alle soorten generatieve AI, of dat het vooral sterk blijft voor beeld en video specifiek.
Wie werken eraan?
Academisch ligt de bakermat bij UC Berkeley (Jonathan Ho, Pieter Abbeel), Stanford University (Yang Song, Stefano Ermon, bekend van verwante 'score-based' generatieve modellen) en de CompVis-groep aan de LMU München (Robin Rombach en collega's, later actief bij Stability AI).
Op bedrijfsniveau zijn de belangrijkste spelers Stability AI (Stable Diffusion), OpenAI (DALL-E, Sora), Google DeepMind (Imagen, en het videomodel Veo), Midjourney, Adobe (Firefly) en Runway (videogeneratie). Ook NVIDIA investeert stevig in onderzoek naar snellere en krachtigere diffusiemodellen, onder meer met het eDiff-I-model uit 2022.
Buiten de creatieve toepassingen werkt het Baker Lab (University of Washington) aan diffusie voor eiwitontwerp, en onderzoeken groepen aan onder meer Columbia University en MIT het gebruik van 'diffusion policies' om robotbewegingen aan te sturen — een toepassing die veel minder bekend is bij het grote publiek, maar wetenschappelijk minstens zo veelbelovend wordt geacht.