Modelcollaps: wat gebeurt er als AI leert van AI?
Stel je voor dat je een foto in een fotokopieerapparaat legt, de kopie er weer instopt, die kopie weer kopieert, en dat een paar honderd keer herhaalt. Elke keer verdwijnen er details, ontstaat er ruis, en uiteindelijk is er nog maar een vage, vervormde vlek over van het origineel. Iets vergelijkbaars kan gebeuren met kunstmatige intelligentie. Als een AI-model steeds opnieuw wordt getraind op teksten, beelden of muziek die door eerdere AI-modellen zijn gemaakt, in plaats van op materiaal van mensen, verliest het geleidelijk kwaliteit en variatie. Dat proces heet modelcollaps (in het Engels: model collapse).
Het probleem is actueel omdat steeds meer tekst, afbeeldingen en video op het internet door AI zijn gegenereerd. Grote taalmodellen zoals ChatGPT worden getraind op enorme hoeveelheden webtekst, en die verzameling raakt langzaam vervuild met AI-output. Onderzoekers vrezen dat toekomstige generaties AI-modellen, zonder het te weten, deels getraind worden op het eigen kunstmatige geklets van hun voorgangers. Modelcollaps beschrijft wat er dan mis kan gaan: modellen die steeds eenvormiger, voorspelbaarder en minder betrouwbaar worden.
Wat is het precies?
Generatieve AI-modellen — systemen die zelf tekst, beeld of geluid produceren — leren tijdens hun training een statistische benadering van de werkelijkheid. Een taalmodel leert bijvoorbeeld hoe vaak bepaalde woorden, meningen en feiten in menselijke teksten voorkomen, inclusief zeldzame uitzonderingen en minderheidsstandpunten. Die volledige spreiding, van heel gangbaar tot heel zeldzaam, noemen onderzoekers de dataverdeling.
Wanneer een model wordt getraind op output van een ander model, in plaats van op oorspronkelijke, door mensen gemaakte data, gebeurt er iets sluipends. Het nieuwe model erft niet de volledige verdeling van de werkelijkheid, maar een versimpelde, al enigszins vervormde versie daarvan. Zeldzame gevallen — ongebruikelijke meningen, minderheidstalen, uitzonderlijke feiten — worden het eerst weggefilterd, simpelweg omdat ze toch al minder vaak voorkwamen en dus makkelijker verdwijnen in de statistische ruis.
Herhaal dat proces over meerdere generaties modellen, en de fouten stapelen zich op. Onderzoekers onderscheiden hierbij drie soorten foutbronnen die samen bijdragen aan het verval: verlies door beperkte steekproefgrootte (een model ziet nooit alle mogelijke voorbeelden), verlies doordat een model nooit perfect de werkelijkheid kan nabootsen, en verlies door onvolkomenheden in het trainingsproces zelf. Het resultaat na voldoende generaties is een model dat steeds meer op zichzelf lijkt te lijken: herhalende, generieke output waarin de rijkdom en verscheidenheid van de oorspronkelijke, menselijke data goeddeels is verdwenen. In extreme experimenten produceerden modellen na een aantal ronden zelfs onsamenhangende, bijna betekenisloze tekst.
Wat wil men ermee bereiken?
Modelcollaps is geen technologie die iemand probeert te bouwen — het is een risico dat onderzoekers proberen te begrijpen en te voorkomen. Het onderzoeksveld bestaat omdat de kwaliteit van AI-modellen direct afhangt van de kwaliteit en diversiteit van hun trainingsdata. Als die data langzaam “vergiftigd” raakt met eigen AI-output, dreigen toekomstige modellen minder feitelijk, minder divers en minder betrouwbaar te worden, terwijl bedrijven en gebruikers er juist op vertrouwen dat elke nieuwe generatie beter wordt.
De doelstelling van onderzoek naar modelcollaps is dus vooral defensief: begrijpen onder welke omstandigheden collaps optreedt, hoe snel dat gaat, en welke maatregelen het kunnen vertragen of voorkomen. Denk aan het bewaren van oorspronkelijke, door mensen gemaakte datasets, het herkenbaar maken van AI-gegenereerde content zodat die apart gehouden kan worden, en het zorgvuldig mengen van synthetische en echte data in plaats van volledige vervanging. Voor bedrijven die AI-modellen bouwen staat er veel op het spel: het risico raakt direct aan de commerciële waarde en betrouwbaarheid van hun producten.
Voorbeelden uit de praktijk
Het meest aangehaalde onderzoek is van een team rond Ilia Shumailov, destijds verbonden aan de Universiteit van Oxford, dat in 2023 als preprint en later in het wetenschappelijke tijdschrift Nature publiceerde over dit fenomeen. Zij lieten taalmodellen herhaaldelijk trainen op hun eigen gegenereerde tekst en zagen de output na een aantal generaties steeds repetitiever en inhoudsarmer worden, tot er nauwelijks nog herkenbare, zinvolle taal overbleef.
Een vergelijkbaar effect is aangetoond bij beeldgeneratie. Onderzoekers rond Sina Alemohammad (verbonden aan Rice University in de Verenigde Staten) beschreven in hun werk over “zelfconsumerende” generatieve modellen hoe beeldgeneratoren zoals GAN’s (Generative Adversarial Networks) en diffusiemodellen — de technologie achter beeldgeneratoren zoals Stable Diffusion — geleidelijk minder diverse en minder realistische beelden gingen produceren wanneer ze herhaaldelijk op eigen output werden getraind.
Ook buiten het lab is het probleem zichtbaar geworden. Sinds de opkomst van tools als ChatGPT en Midjourney signaleren onderzoekers en journalisten dat een groeiend deel van nieuwe webteksten en -afbeeldingen zelf AI-gegenereerd is. Omdat grote taalmodellen doorgaans getraind worden op grootschalige, ongefilterde verzamelingen webdata, is de vrees dat toekomstige modellen ongemerkt op steeds meer synthetisch materiaal leunen — een praktijkrisico dat direct voortvloeit uit de laboratoriumbevindingen.
Vervolgonderzoek probeert ook oplossingen te testen. Een studie die het accumuleren van data onderzocht — dus het blijven toevoegen van nieuwe, synthetische data aan de bestaande, oorspronkelijke dataset in plaats van die te vervangen — liet zien dat collaps in dat scenario minder snel of zelfs niet optreedt. Dat biedt hoop dat het probleem beheersbaar is, mits ontwikkelaars zorgvuldig omgaan met hun databeheer.
Hoe ver is de techniek?
Modelcollaps is nog relatief jong als onderzoeksveld: de eerste invloedrijke publicaties dateren van 2023, met een prominente publicatie in Nature in 2024. Het fenomeen is inmiddels goed gedocumenteerd in gecontroleerde laboratoriumomgevingen, bij taalmodellen, beeldgeneratoren en andere generatieve systemen. Wat nog veel minder duidelijk is, is hoe groot het risico in de praktijk daadwerkelijk is bij de enorme, ongecontroleerde datasets waarmee commerciële modellen zoals GPT-modellen worden getraind.
Er is namelijk ook nuancerend tegenonderzoek. Sommige studies laten zien dat collaps minder ernstig of zelfs afwezig is wanneer synthetische data wordt toegevoegd aan — in plaats van in de plaats komt van — menselijke data, of wanneer ontwikkelaars actief filteren en curateren. Bedrijven die grote modellen trainen, zeggen bovendien zelf al langer aan datakwaliteit en -selectie te werken, deels om andere redenen zoals auteursrecht en betrouwbaarheid, wat het risico mogelijk beperkt.
Een belangrijk obstakel voor vervolgonderzoek is dat het moeilijk te meten is hoeveel synthetische data daadwerkelijk in de trainingssets van grote, commerciële modellen terechtkomt: dat is bedrijfsgeheim en de herkomst van webdata is lastig te herleiden. Technologie om AI-gegenereerde content herkenbaar te merken (zogeheten watermerken), zoals Google DeepMind’s SynthID voor tekst en beeld, wordt gezien als een mogelijke deeloplossing, maar is nog niet overal ingevoerd en niet waterdicht te omzeilen.
Wie werken eraan?
Het fundamentele onderzoek naar modelcollaps komt vooral uit academische hoek in het Verenigd Koninkrijk en de Verenigde Staten. Onderzoekers verbonden aan de Universiteit van Oxford en de Universiteit van Cambridge behoorden tot de eersten die het fenomeen systematisch beschreven en in Nature publiceerden. In de Verenigde Staten heeft onder meer Rice University onderzoek gedaan naar zelfconsumerende beeldmodellen.
Grote AI-bedrijven zoals Google (via Google DeepMind), OpenAI en Meta hebben belang bij dit onderzoeksveld, omdat zij afhankelijk zijn van de kwaliteit van internetdata voor hun eigen modellen. Zij investeren in dataverificatie, filtering en watermerktechnologie, al maken ze zelden volledig openbaar hoeveel synthetische data in hun trainingssets terechtkomt. Onafhankelijke instituten zoals The Alan Turing Institute in het Verenigd Koninkrijk, het nationale onderzoeksinstituut voor data science en AI, houden zich eveneens bezig met de bredere risico’s van AI-training op AI-gegenereerde data.
Kortom: het is vooral een academisch en deels bedrijfsintern vraagstuk, zonder één centrale “oplosser”. De aandacht ervoor groeit wel snel, naarmate meer van het internet zelf door AI wordt volgeschreven.