Taalmodel dat nooit verder leerde dan groep 8: wat leert het ons over AI?

Een internationaal team van onderzoekers, onder wie Fanfei Li, Jana Zeller en Wieland Brendel, publiceerde deze maand een opvallend onderzoeksproject genaamd LittleLearner. In plaats van een taalmodel te trainen op het complete internet, zoals gebruikelijk is, beperkten ze de trainingsdata bewust tot lesstof van de Amerikaanse basisschool. Het doel: precies vaststellen wat een AI-model wel en niet kan leren als je vooraf weet wat het wel en niet heeft gezien.

Een basisschool-taalmodel

De onderzoekers bouwden een dataset van 88 miljard tokens, ruwweg de bouwstenen waarmee taalmodellen tekst verwerken. Die tekst werd via een filterproces van vijf stappen gehaald uit FineWeb-Edu, een grote verzameling educatieve webteksten, en afgestemd op de Amerikaanse Common Core-leerdoelen voor groep 1 tot en met 8. Alle kennis, feiten en woordenschat die normaal pas later op school aan bod komen, werden er bewust uitgefilterd. Op die schone dataset trainden de onderzoekers drie modellen vanaf nul, in de groottes 0,6, 1,3 en 5 miljard parameters. Elk model kreeg een 'tweelingbroer': een identiek model, met dezelfde voortraining-opzet en evenveel tokens, maar dan getraind op ongefilterde tekst. Zo konden de onderzoekers precies vergelijken wat het filteren van de leerstof met de capaciteiten van een model doet.

Bijleren of alleen naar boven halen?

De kernvraag achter het experiment is fundamenteel voor AI-onderzoek: als een model na training of bijsturing ineens iets nieuws lijkt te kunnen, heeft het dat dan echt geleerd, of zat die kennis er stiekem al in en wordt ze alleen 'ontlokt'? Bij normale taalmodellen is dat onmogelijk te bewijzen, omdat niemand precies weet wat er allemaal in de trainingsdata zat. Met LittleLearner kan dat wel, omdat de kennisgrens van tevoren vaststaat. De onderzoekers testten drie manieren om een model méér te laten kunnen: het model groter maken, het bijscholen met reinforcement learning via een techniek die GRPO heet, en het slimmer aansturen met voorbeelden in de prompt (in-context leren). Alle drie de methodes maakten de modellen beter in wat ze al kenden binnen het basisschoolniveau. Geen van de drie hielp het model om taken op te lossen die boven dat niveau uitstegen, ook niet wanneer de onderzoekers het model tijdens de post-training juist bewust blootstelden aan geavanceerdere opgaven.

Wat dit betekent voor grotere AI-modellen

De conclusie van de onderzoekers is duidelijk: de filtering die tijdens de voortraining plaatsvindt, bepaalt het maximale niveau waarop een model kan presteren. Latere stappen zoals opschalen, bijscholen of slim prompten kunnen dat plafond niet doorbreken, ze halen er hooguit uit wat er al in zat. Voor de ontwikkeling van grote commerciële taalmodellen is dat relevant: het suggereert dat de samenstelling van de trainingsdata een grotere rol speelt in wat een model uiteindelijk kan, dan de trucs die daarna worden toegepast. De onderzoekers willen LittleLearner nu inzetten om nieuwe vragen te beantwoorden, bijvoorbeeld of reinforcement learning ooit echt nieuwe vaardigheden kan laten ontstaan, hoe modellen een nieuw concept als negatieve getallen oppikken, en of AI-modellen dezelfde fouten maken bij het leren van bijvoorbeeld breuken als kinderen dat doen. Het onderzoek is verschenen als preprint op arXiv, en de kleinste modellen zijn via de website van het project zelf uit te proberen in de browser.