Memorisatie-analyse: hoe onderzoekers testen wat een AI-model uit het hoofd heeft geleerd

Bijgewerkt: 11 augustus 2026 · 7 min leestijd

Stel je een student voor die een dik studieboek moet doorwerken. Een goede student leert de onderliggende principes en kan die op nieuwe vraagstukken toepassen. Een minder goede student leert soms hele zinnen letterlijk uit het hoofd, zonder ze echt te begrijpen, en herhaalt die op een tentamen woord voor woord. Grote taalmodellen zoals ChatGPT, Claude of Gemini worden getraind op enorme hoeveelheden tekst van het internet, en onderzoekers hebben ontdekt dat ook zij soms als die tweede student handelen: in plaats van alleen taalpatronen en kennis te 'begrijpen', onthouden ze soms letterlijk stukken tekst uit hun trainingsdata.

Memorisatie-analyse is het vakgebied dat probeert te meten hoeveel en welke informatie een AI-model op deze manier letterlijk heeft opgeslagen, en die er onder de juiste omstandigheden ook weer uit kan komen. Dat is meer dan een technische curiositeit: het raakt aan auteursrecht (kan een model een compleet krantenartikel reproduceren?), aan privacy (kan een model iemands adres of telefoonnummer napraten omdat dat toevallig ergens online stond?) en aan de vraag hoe 'slim' deze modellen eigenlijk zijn.

Wat is het precies?

Een taalmodel wordt getraind door het miljoenen tot miljarden teksten te laten 'voorspellen': gegeven een stuk zin, wat is het volgende woord? Door dit proces miljarden keren te herhalen, past het model zijn interne rekenkundige instellingen (de zogeheten parameters, vaak miljarden aan getallen) zo aan dat het steeds betere voorspellingen doet. Meestal leidt dit tot generalisatie: het model leert grammatica, feiten en redeneerpatronen die het op nieuwe, nooit eerder geziene tekst kan toepassen.

Maar bij sommige stukken tekst gebeurt er iets anders. Als een tekstfragment vaak genoeg voorkomt in de trainingsdata, of als het opvalt door een ongebruikelijke, unieke formulering, kan het model dat fragment simpelweg opslaan in zijn parameters in plaats van er een algemene regel uit te destilleren. Onderzoekers noemen dit memorisatie. Het probleem is dat je van buitenaf niet meteen kunt zien wát een model heeft onthouden: de parameters zijn een wirwar van getallen, geen doorzoekbare database.

Daarom werken onderzoekers met indirecte methodes. Een veelgebruikte aanpak is de extractie-aanval: je voedt het model een stukje van een bekende trainingstekst (bijvoorbeeld de eerste regels van een artikel) en kijkt of het model de rest woordelijk aanvult. Een andere methode is de membership inference attack (lidmaatschap-inferentie-aanval): hierbij probeer je, zonder de trainingsdata te kennen, alleen op basis van hoe zeker of 'verrast' het model reageert op een tekst, te raden of die tekst wel of niet in de trainingsset zat. Modellen zijn namelijk vaak net iets zekerder over teksten die ze al eerder hebben gezien.

Om dit systematisch te meten, definiëren onderzoekers vaak een strikte maatstaf: een tekstfragment geldt als 'gememoriseerd' als het model, gegeven een voorafgaand stukje tekst, de rest exact — woord voor woord — reproduceert. Door dit te testen op duizenden fragmenten uit de bekende trainingsdata, ontstaat een percentage: hoeveel procent van de geteste fragmenten kan het model letterlijk napraten.

Wat wil men ermee bereiken?

Memorisatie-analyse dient meerdere doelen tegelijk. Ten eerste gaat het om privacybescherming: als trainingsdata persoonsgegevens bevat (namen, adressen, medische informatie die per ongeluk online stond), wil je weten of een model die gegevens kan lekken aan wie er maar naar vraagt. Dit is relevant onder privacywetgeving zoals de Europese AVG (Algemene Verordening Gegevensbescherming).

Ten tweede speelt auteursrecht en intellectueel eigendom een grote rol. Als een model complete stukken tekst, code of afbeeldingen letterlijk kan reproduceren, is de vraag of dat als een vorm van kopiëren geldt, met alle juridische gevolgen van dien voor de bedrijven die deze modellen trainen en aanbieden.

Ten derde is er een puur wetenschappelijk motief: onderzoekers willen begrijpen hóe taalmodellen precies leren. Memorisatie en generalisatie zijn geen tegenpolen die je scherp kunt scheiden, maar liggen op een glijdende schaal, en het in kaart brengen daarvan helpt om betere en veiligere modellen te bouwen. Tot slot is er een veiligheidsmotief: modellen die te makkelijk gevoelige of schadelijke informatie uit hun trainingsdata reproduceren, vormen een risico dat aanbieders willen beperken voordat ze een product uitbrengen.

Voorbeelden uit de praktijk

Een van de eerste spraakmakende demonstraties kwam van onderzoekers rond Nicholas Carlini (destijds verbonden aan Google), die in 2021 lieten zien dat het taalmodel GPT-2 van OpenAI kon worden aangezet om letterlijke persoonsgegevens te reproduceren — waaronder namen, telefoonnummers en e-mailadressen — die toevallig in de trainingsdata hadden gestaan.

In 2022 publiceerde diezelfde onderzoeksgroep een vervolgstudie die liet zien dat memorisatie toeneemt naarmate modellen groter worden en naarmate een tekstfragment vaker in de trainingsdata voorkomt (gedupliceerde tekst blijkt een belangrijke risicofactor).

Een spraakmakend voorbeeld uit 2023 was een aanval waarbij onderzoekers ChatGPT vroegen om een bepaald woord (zoals 'poem') eindeloos te herhalen. Op een gegeven moment 'brak' het model uit dit herhalingspatroon en begon het letterlijke fragmenten uit zijn trainingsdata te tonen, waaronder e-mailadressen en stukken tekst die kennelijk woordelijk waren onthouden. OpenAI paste daarna de omgang met dit soort herhalingsverzoeken aan.

Ook buiten tekst speelt dit: onderzoek naar beeldgeneratiemodellen zoals Stable Diffusion toonde aan dat sommige exacte trainingsafbeeldingen (bijvoorbeeld bepaalde portretfoto's) bijna één-op-één konden worden teruggehaald door het model met de juiste prompt te sturen.

In de juridische arena diende de New York Times eind 2023 een rechtszaak in tegen OpenAI en Microsoft, en voerde daarbij onder meer aan dat ChatGPT, mits op de juiste manier bevraagd, delen van haar artikelen bijna woordelijk kon reproduceren — een voorbeeld dat memorisatie-analyse ook een centrale rol speelt in rechtszaken over auteursrecht. Iets vergelijkbaars speelde bij een rechtszaak tegen GitHub Copilot, de programmeerassistent van GitHub en OpenAI, waarbij programmeurs claimden dat de tool soms letterlijke stukken van hun broncode reproduceerde zonder de vereiste licentievermelding.

Hoe ver is de techniek?

Memorisatie-analyse is inmiddels een volwassen maar nog volop in ontwikkeling zijnd onderzoeksveld. Er bestaan goed gedocumenteerde methodes om memorisatie te meten bij modellen waarvan de trainingsdata bekend is, zoals bij open-source-modelfamilies. Het meten wordt echter lastiger — en vaak onmogelijk met zekerheid — bij commerciële modellen zoals GPT-4 of Gemini, omdat de bedrijven die deze bouwen hun trainingsdata niet openbaar maken. Onderzoekers moeten dan gissen of afgaan op indirecte aanwijzingen.

Een belangrijke ontwikkeling is dat modelaanbieders inmiddels actief maatregelen nemen om memorisatie te beperken. Voorbeelden zijn het dedupliceren van trainingsdata (het verwijderen van dubbele of bijna-dubbele teksten voordat training begint, wat aantoonbaar memorisatie vermindert), en het toepassen van differentiële privacy, een wiskundige techniek die tijdens de training bewust ruis toevoegt zodat het eindmodel minder gevoelig is voor individuele trainingsvoorbeelden. Deze laatste techniek biedt sterke garanties, maar gaat doorgaans ten koste van een deel van de nauwkeurigheid van het model, wat het lastig maakt om op grote schaal toe te passen zonder prestatieverlies.

Een fundamenteel obstakel blijft dat memorisatie en generalisatie in de kern hetzelfde wiskundige proces zijn — een model 'onthoudt' in zekere zin altijd iets van zijn trainingsdata, de vraag is alleen in welke mate en met welke precisie. Volledige memorisatie uitbannen zonder de nuttige kennis van het model aan te tasten, is daarom nog geen opgelost probleem. Ook is er geen brede consensus over één standaardmaatstaf om memorisatie te kwantificeren; verschillende onderzoeksgroepen hanteren soms andere definities en testmethodes, wat resultaten lastig vergelijkbaar maakt.

Wie werken eraan?

Google (via Google DeepMind) heeft met onderzoekers als Nicholas Carlini en Katherine Lee een voortrekkersrol gespeeld in dit veld, met een reeks veelgeciteerde publicaties over extractie-aanvallen en deduplicatie. Ook OpenAI en Microsoft doen intern onderzoek naar memorisatie, mede ingegeven door de eigen productverantwoordelijkheid en lopende rechtszaken.

Academische groepen aan onder meer Stanford University en de University of Washington in de Verenigde Staten dragen substantieel bij aan het veld, vaak in samenwerking met de grote techbedrijven. Een bijzondere rol is weggelegd voor EleutherAI, een non-profit onderzoekscollectief dat volledig open taalmodellen (zoals de Pythia-modelreeks) publiceert inclusief trainingsdata en tussentijdse versies — juist omdat de trainingsdata bij deze modellen openbaar is, kunnen onderzoekers wereldwijd memorisatie er nauwkeurig op testen, iets wat bij gesloten commerciële modellen niet mogelijk is.

Daarnaast houden maatschappelijke organisaties zoals de Electronic Frontier Foundation (EFF) in de Verenigde Staten de ontwikkelingen kritisch in de gaten vanuit een privacy- en digitale-rechtenperspectief, en werken overheidsinstanties zoals het Amerikaanse NIST (National Institute of Standards and Technology) aan bredere risicokaders voor AI waarin memorisatie en gegevenslekken een terugkerend thema zijn. In Europa is het onderwerp relevant binnen het toezicht op de AVG en de recent ingevoerde AI-verordening (AI Act) van de Europese Unie.