Previous-Token Prediction: hoe AI-modellen bijhouden wat er net stond
Stel je voor dat je halverwege een zin leest: "De hond rende naar het..." Om te raden welk woord volgt, kijk je niet alleen naar het laatste woord, maar naar het patroon eromheen. Grote taalmodellen zoals GPT-4 of Claude doen intern iets vergelijkbaars, en een van de bouwstenen daarvoor heet previous-token prediction: een gespecialiseerd onderdeel in het model dat voortdurend bijhoudt welk woorddeel (preciezer: welk token, een stukje tekst waarin het model taal opdeelt) vlak v贸贸r het huidige token stond.
De term komt niet uit marketingmateriaal, maar uit interpretability-onderzoek: het vakgebied dat probeert te achterhalen wat er werkelijk gebeurt in de "black box" van een taalmodel. Onderzoekers ontdekten dat sommige zogeheten aandachtskoppen (attention heads, kleine rekeneenheden binnen een taalmodel) zich specialiseren in precies dit ene taakje: kijken naar het token dat er net v贸贸r kwam en die informatie doorgeven. Op zich lijkt dat triviaal, maar dit mechanisme blijkt een cruciale schakel te zijn in hoe modellen kunnen leren van voorbeelden die ze zojuist in hun eigen invoer hebben gezien, zonder dat ze daarvoor opnieuw getraind hoeven te worden.
Wat is het precies?
Moderne taalmodellen zijn gebouwd op de transformer-architectuur. Kern daarvan is het aandachtsmechanisme (attention): voor elk token in een tekst berekent het model naar welke andere tokens het moet "kijken" om de betekenis of het vervolg goed in te schatten. Een model bestaat uit meerdere lagen, en elke laag bevat meerdere aandachtskoppen die elk hun eigen, vaak zeer specifieke taak oppikken tijdens het trainen.
Een previous-token head is zo'n gespecialiseerde kop: hij richt zijn aandacht bijna uitsluitend op het token dat direct voorafgaat aan de huidige positie, en kopieert informatie daarover door naar de volgende rekenstap. Op zichzelf is dat een bescheiden functie, maar in combinatie met een tweede onderdeel wordt het krachtig.
Dat tweede onderdeel is de induction head, die meestal in een latere laag van het model zit. Deze kop gebruikt de informatie die de previous-token head heeft doorgegeven om terug te zoeken in de al gelezen tekst: is dit token eerder voorgekomen, en wat volgde er toen op? Samen vormen ze een klein "circuit" dat patronen herkent en voortzet. Zag het model eerder in de tekst "Amsterdam is de hoofdstad", dan zal het bij een latere "Amsterdam is de..." sterk geneigd zijn opnieuw "hoofdstad" te voorspellen, puur op basis van wat er net in dezelfde tekst stond, en niet omdat dit feit apart is aangeleerd.
Dit is precies het mechanisme achter wat onderzoekers in-context learning noemen: het vermogen van een taalmodel om tijdens 茅茅n gesprek of prompt iets nieuws over te nemen (een naam, een stijl, een codepatroon) zonder dat de onderliggende gewichten van het model veranderen. Previous-token heads zijn daarbij de kleine, bijna administratieve schakel die het geheel mogelijk maakt.
Wat wil men ermee bereiken?
Het uiteindelijke doel van dit onderzoek is niet om betere modellen te bouwen, maar om bestaande modellen te begrijpen. Taalmodellen worden getraind door miljarden parameters automatisch bij te stellen op basis van tekst; niemand programmeert rechtstreeks wat een aandachtskop moet doen. Het gevolg is dat zelfs de makers van een model vaak niet precies weten waarom het een bepaald antwoord geeft. Interpretability-onderzoek probeert dat gat te dichten door, net als bij het reverse-engineeren van gecompileerde software, stap voor stap te ontdekken welke onderdelen welke functie vervullen.
Dat heeft een aantal concrete beweegredenen. Ten eerste veiligheid: als je kunt aanwijzen welk mechanisme verantwoordelijk is voor een bepaald gedrag, kun je beter inschatten of een model betrouwbaar, consistent en niet misleidend is. Ten tweede foutopsporing: inzicht in interne circuits helpt om te begrijpen waarom modellen soms feiten verzinnen ("hallucineren") of vooroordelen herhalen. Ten derde is er een meer fundamentele, wetenschappelijke drijfveer: previous-token en induction heads waren een van de eerste voorbeelden waarbij onderzoekers een concreet, wiskundig te beschrijven mechanisme in een taalmodel konden aanwijzen, wat hoop geeft dat grotere delen van deze systemen ooit net zo goed te doorgronden zijn.
Voorbeelden uit de praktijk
Het concept werd voor het eerst grondig beschreven door onderzoekers van Anthropic in het artikel "A Mathematical Framework for Transformer Circuits" (Elhage e.a., 2021), waarin de bouwstenen van aandachtskoppen wiskundig werden ontleed.
Een vervolgstudie, "In-context Learning and Induction Heads" (Olsson e.a., 2022, eveneens Anthropic), liet zien dat het ontstaan van previous-token en induction heads tijdens de training samenvalt met een plotselinge sprong in het vermogen van een model om te leren van voorbeelden in de prompt, wat suggereert dat dit mechanisme daar een centrale rol in speelt.
Onderzoeker Neel Nanda (destijds verbonden aan Google DeepMind) bouwde de open-source tool TransformerLens, waarmee onderzoekers en studenten wereldwijd zelf aandachtskoppen in kleinere, openbare taalmodellen zoals GPT-2 kunnen opsporen en visualiseren, inclusief previous-token en induction heads.
Bij EleutherAI, een open onderzoekscollectief, worden vrij beschikbare modellen zoals de Pythia-reeks bewust getraind met tussentijdse versies bewaard, juist om dit soort ontwikkelingsprocessen (zoals het ontstaan van induction circuits tijdens training) stap voor stap te kunnen bestuderen.
Anthropic bouwde in "Towards Monosemanticity" (2023) en "Scaling Monosemanticity" (2024) voort op dit soort circuitanalyse door met zogeheten sparse autoencoders duizenden afzonderlijke "begrippen" binnen een groot productiemodel bloot te leggen, een directe opvolger van het eenvoudigere previous-token/induction-onderzoek.
Hoe ver is de techniek?
Mechanistic interpretability, het vakgebied waarbinnen previous-token prediction valt, is nog een relatief jong onderzoeksveld dat pas sinds ongeveer 2021 echt momentum heeft gekregen. Previous-token heads en induction heads behoren tot de best begrepen mechanismen die tot nu toe zijn gevonden, mede omdat ze relatief eenvoudig en goed afgebakend zijn.
Het probleem is schaal. De meeste van deze ontdekkingen zijn gedaan in kleinere, oudere modellen zoals GPT-2, met honderden miljoenen parameters. Moderne modellen zoals GPT-4, Claude of Gemini hebben honderden miljarden tot mogelijk biljoenen parameters, en veel van hun interne functies zitten verweven in wat onderzoekers "superpositie" noemen: 茅茅n en dezelfde rekeneenheid draagt tegelijk bij aan tientallen verschillende, ogenschijnlijk ongerelateerde taken. Dat maakt het uitpluizen van grote modellen aanzienlijk lastiger dan bij de kleinere modellen waarin previous-token heads oorspronkelijk werden gevonden.
Er is duidelijke vooruitgang: technieken als sparse autoencoders (gebruikt in de Monosemanticity-papers) maken het mogelijk om ook in grote, in productie gebruikte modellen afzonderlijke, interpreteerbare bouwstenen te isoleren. Toch benadrukken de onderzoekers zelf steeds dat dit fragmenten zijn van een veel groter, nog grotendeels onbegrepen geheel. Een volledig, betrouwbaar "kaart en kompas" van hoe een groot taalmodel intern tot een antwoord komt, bestaat vandaag de dag niet.
Wie werken eraan?
Anthropic geldt als een van de voorlopers op dit terrein; het interpretability-team rond onderzoeker Chris Olah publiceert regelmatig op het platform transformer-circuits.pub en heeft de meeste kernpublicaties over previous-token en induction heads op zijn naam staan.
Google DeepMind heeft eveneens een interpretability-onderzoekslijn, met bijdragen van onder anderen voormalig teamleden zoals Neel Nanda. Ook OpenAI heeft in het verleden onderzoek naar interpretability gepubliceerd, al is de omvang en focus van dat werk de afgelopen jaren verschoven binnen het bedrijf.
Daarnaast spelen kleinere, onafhankelijke of non-profitorganisaties een belangrijke rol: EleutherAI (open modellen en open onderzoek) en Redwood Research (gericht op AI-veiligheid, waaronder interpretability) publiceren geregeld werk dat voortbouwt op of gebruikmaakt van induction- en previous-token-circuits. Het onderzoek is internationaal verspreid, met bijdragen van universiteiten en individuele onderzoekers wereldwijd, maar het zwaartepunt qua middelen en publicaties ligt bij de grote Amerikaanse AI-labs.