Chatbots verraden hun eigen geboortedatum door slimme AI-speurneus

AI-bedrijven zoals Anthropic en OpenAI maken zelden bekend hoe hun modellen precies tot stand komen. Onderzoeker Shrivu Shankar bedacht een omweg: door chatbots te bestoken met slimme testvragen, kun je aflezen wanneer hun kennis ophoudt en wat dat zegt over de trainingsdata erachter. Zijn bevindingen geven een zeldzame blik achter de schermen van de twee grootste AI-labs ter wereld.

Elke grote large language model doorloopt drie bouwfases. Eerst schrapen bedrijven enorme hoeveelheden tekst van het internet voor de voortraining, waarin het model in feite een supergeavanceerde autocomplete-machine wordt. Daarna volgt verfijning met specialistische data, en tot slot de post-training: de fase waarin het model zijn persoonlijkheid, redeneervaardigheden en vermogen om tools te gebruiken krijgt. Van die laatste twee stappen komt regelmatig nieuws naar buiten, maar de eerste en duurste fase - het maken van het zogeheten basismodel - blijft meestal een zwarte doos.

Quizvragen als speurmiddel

Shankar loste dit op door modellen duizenden meerkeuzevragen te stellen over concrete gebeurtenissen uit Wikipedia-archieven, gekoppeld aan specifieke data. Door te meten vanaf welk moment een model de antwoorden fout begint te geven, kan hij vrij nauwkeurig bepalen tot wanneer de trainingsdata reikte. Die methode leverde opvallende patronen op. Recente Claude-modellen van Anthropic, van Opus 4.7 tot latere versies, lijken allemaal uit dezelfde trainingsronde te komen, met een kennisgrens rond eind december 2025. OpenAI's nieuwste GPT-5.6-modellen komen daarentegen uit een compleet apart en later basismodel, afgerond rond eind februari 2026.

Een bijzonder geval is Opus 5. Anthropic geeft voor dit model mei 2026 op als officiële kennisgrens, maar uit de tests van Shankar blijkt dat het model in de praktijk niet meer weet dan modellen met een cutoff van januari 2026. Dat gat tussen de opgegeven en de daadwerkelijke kennisgrens is opvallend en roept vragen op over hoe die officiële datums precies tot stand komen.

Modellen die zichzelf verkeerd inschatten

Nog opmerkelijker wordt het wanneer je een model simpelweg vraagt welke datum het vandaag denkt te zijn. Sommige modellen antwoorden dan met een datum die ver vóór hun werkelijke kennisgrens ligt: ze lijken te denken dat ze nog in het verleden leven. Dat komt waarschijnlijk doordat de post-training-fase het zelfbeeld van een model kan bijstellen, los van de feitelijke informatie die het tijdens de voortraining heeft opgepikt.

Ook de vraag "welk AI-model ben jij?" leverde verrassende inzichten op. Modellen claimen geregeld de identiteit van oudere versies. Zo noemt Claude Sonnet 5 zichzelf soms GPT-4, wat er sterk op wijst dat gesprekken van gebruikers met eerdere chatbotversies zijn hergebruikt als trainingsmateriaal voor nieuwere modellen. OpenAI-modellen deden dit zelden richting concurrenten, Anthropic-modellen juist wel richting OpenAI - een klein maar veelzeggend verschil tussen de datasets van beide bedrijven.

Shankar benadrukt dat zijn conclusies schattingen blijven: er is weinig officiële informatie om ze tegen af te zetten. Toch laat zijn werk zien dat zelfs de meest gesloten AI-systemen, met de juiste vragen, best wat geheimen prijsgeven.