Tokenvoorspelling: hoe AI de volgende woorden raadt
Als je op je telefoon begint te typen, stelt het toetsenbord vaak het volgende woord voor. Tokenvoorspelling is in essentie hetzelfde principe, maar dan enorm veel krachtiger: het is de kerntaak die taalmodellen zoals ChatGPT, Claude en Gemini uitvoeren. Op basis van alle tekst die al geschreven is, schat het model steeds opnieuw in welk klein stukje tekst — een token — daarna het meest waarschijnlijk is. Dat kan een heel woord zijn, maar ook een deel van een woord of een leesteken.
Door dat gokken van het volgende token duizenden keren achter elkaar te herhalen, ontstaan complete zinnen, alinea's en zelfs hele artikelen. Er zit geen begrip in zoals een mens dat kent; het model 'weet' niet wat het zegt. Toch is het resultaat vaak verrassend samenhangend en nuttig, omdat het model tijdens zijn training miljarden voorbeelden van menselijke taal heeft gezien en daaruit statistische patronen heeft geleerd. Tokenvoorspelling is daarmee het simpele, bijna saaie motortje achter wat vaak als indrukwekkende kunstmatige intelligentie wordt ervaren.
Wat is het precies?
Voordat een taalmodel iets kan voorspellen, wordt tekst eerst opgeknipt in tokens. Dat gebeurt met een vast 'woordenboek' van meestal enkele tienduizenden stukjes tekst. Het woord "tokenvoorspelling" zou bijvoorbeeld in twee of drie tokens uiteenvallen. Elk token krijgt een nummer, en die nummers worden omgezet in rijen getallen — embeddings — die de betekenis en context van het token wiskundig representeren.
Die getallen gaan vervolgens een neuraal netwerk in, meestal een zogeheten transformer-architectuur. Het bijzondere aan een transformer is het attentiemechanisme: voor elk token in de tekst berekent het model hoe zwaar elk ander token in de zin of alinea moet meewegen. Zo kan het model bijvoorbeeld begrijpen dat "hij" verderop in een zin verwijst naar "de bakker" eerder in diezelfde zin, en dat meenemen in zijn voorspelling.
Aan het einde van deze berekening rolt geen enkel antwoord uit, maar een kansverdeling: voor elk mogelijk token in het woordenboek een percentage hoe waarschijnlijk dat het volgende token is. Het model kiest daaruit — soms simpelweg de hoogste kans, soms met een beetje willekeur (de zogeheten temperature-instelling) om afwisseling in antwoorden te krijgen. Het gekozen token wordt aan de tekst toegevoegd, en het hele proces herhaalt zich voor het volgende token. Dit gaat razendsnel, meestal tientallen tot honderden tokens per seconde.
Tijdens de training werkt het net andersom: het model krijgt enorme hoeveelheden bestaande tekst te zien, met steeds een stukje weggehaald, en moet leren dat ontbrekende stukje te voorspellen. Elke keer dat de voorspelling misgaat, wordt het netwerk een klein beetje bijgesteld via een techniek die backpropagation heet. Na miljarden van dit soort correcties ontstaat een model dat taal opvallend goed kan nabootsen.
Wat wil men ermee bereiken?
Het aantrekkelijke van tokenvoorspelling als trainingsdoel is de eenvoud: je hebt geen met de hand geschreven grammaticaregels of taalkundige kennis nodig, alleen heel veel tekst. Onderzoekers ontdekten dat als je dit simpele doel opschaalt — meer data, een groter model, meer rekenkracht — de resultaten gestaag beter worden. Dit patroon staat bekend als de scaling laws en heeft de afgelopen jaren de enorme investeringen in steeds grotere taalmodellen aangedreven.
Het uiteindelijke doel is een model dat bruikbaar is voor uiteenlopende taken zonder dat het daar apart voor getraind hoeft te worden: vragen beantwoorden, teksten samenvatten, vertalen, programmeercode schrijven, brainstormen of gewoon een gesprek voeren. Omdat tokenvoorspelling in principe elke tekstvorm kan nabootsen, functioneert zo'n model als een soort algemeen taalgereedschap in plaats van een systeem dat slechts één klus kan klaren.
Voor bedrijven en onderzoeksinstellingen is er ook een strategisch motief: wie het beste taalmodel bouwt, positioneert zich als leverancier van een technologie die potentieel talloze digitale producten en diensten kan aandrijven, van klantenservice-chatbots tot software-assistenten.
Voorbeelden uit de praktijk
GPT-2 (OpenAI, 2019) liet voor het eerst op grote schaal zien dat tokenvoorspelling tot verrassend samenhangende tekst kon leiden, en werd destijds zelfs enige tijd niet volledig vrijgegeven uit voorzorg voor misbruik.
GPT-3 (OpenAI, 2020) en vooral de chatversie ChatGPT (november 2022) maakten de techniek wereldberoemd bij het grote publiek. In maart 2023 volgde GPT-4, met sterk verbeterde prestaties op complexe taken.
LLaMA (Meta, vanaf 2023) is een reeks modellen waarvan Meta de gewichten (deels) openbaar maakte, wat een golf van onderzoek en eigen toepassingen door andere partijen mogelijk maakte.
Het Franse bedrijf Mistral AI (opgericht in 2023) bracht compacte, efficiënte open modellen uit die op relatief bescheiden hardware kunnen draaien.
In Nederland liep het project GPT-NL, een initiatief van onder meer TNO, SURF en de Nederlandse Forensische Instituut-omgeving, met steun van de overheid, gericht op een Nederlandstalig taalmodel dat minder afhankelijk is van Amerikaanse techbedrijven.
Hoe ver is de techniek?
Sinds de transformer-architectuur in 2017 werd geïntroduceerd door onderzoekers van Google, is de ontwikkeling in een hoog tempo gegaan. Modellen zijn exponentieel gegroeid in aantal parameters, de hoeveelheid trainingsdata is enorm toegenomen, en het zogeheten contextvenster — hoeveel tekst een model tegelijk kan "onthouden" tijdens een gesprek — is gegroeid van een paar duizend tokens naar in sommige gevallen honderdduizenden of zelfs miljoenen tokens.
Toch blijven er stevige obstakels. Het bekendste probleem is hallucinatie: het model produceert met volle overtuiging informatie die feitelijk onjuist of verzonnen is, omdat het optimaliseert voor waarschijnlijke tekst, niet voor waarheid. Ook complexe logica, rekenen en meerstaps-redeneren blijven foutgevoelig, al boeken nieuwere modellen die expliciet tussenstappen genereren (zogeheten chain-of-thought-technieken) hier vooruitgang op.
Daarnaast zijn training en gebruik van deze modellen zeer kostbaar en energie-intensief, wat vragen oproept over duurzaamheid en toegankelijkheid. Er zijn ook aanwijzingen dat het simpelweg groter maken van modellen op een gegeven moment afnemende meeropbrengsten geeft, wat onderzoekers aanzet tot nieuwe technieken zoals retrieval augmented generation (het model actief laten opzoeken in externe bronnen) en mixture-of-experts-architecturen, waarbij slechts een deel van het netwerk per vraag wordt geactiveerd om rekenkracht te besparen. Kortom: de kernmethode van tokenvoorspelling staat, maar de manier waarop modellen slimmer en efficiënter gemaakt worden, is nog volop in ontwikkeling.
Wie werken eraan?
De belangrijkste spelers zijn grote Amerikaanse techbedrijven en gespecialiseerde AI-labs: OpenAI, Google DeepMind, Anthropic en Meta AI investeren miljarden in onderzoek naar en training van steeds grotere taalmodellen. In Europa profileert het Franse Mistral AI zich als tegenhanger, mede gesteund door Franse en Europese investeerders die minder afhankelijkheid van Amerikaanse techbedrijven willen.
Ook in China wordt fors geïnvesteerd, met partijen als Alibaba, Baidu en het opvallend efficiënte DeepSeek, dat in 2024 en 2025 liet zien dat sterke modellen ook met minder rekenkracht te trainen zijn dan westerse labs claimden nodig te hebben.
In Nederland dragen onder meer TNO, SURF en verschillende universiteiten (waaronder de Rijksuniversiteit Groningen en de Universiteit van Amsterdam) bij aan onderzoek naar en toepassing van taalmodellen, met het GPT-NL-initiatief als voorbeeld van een poging tot een eigen, publiek gefinancierd alternatief. Fundamenteel academisch onderzoek naar de onderliggende architecturen vindt daarnaast plaats aan instellingen als Stanford en MIT in de Verenigde Staten.