AI-token: de bouwstenen waarmee taalmodellen tekst begrijpen

Bijgewerkt: 5 augustus 2026 · 5 min leestijd

Wanneer je een vraag typt aan ChatGPT, Claude of een andere AI-chatbot, gebeurt er iets onder de motorkap voordat het systeem ook maar één woord terugstuurt: je zin wordt in stukjes geknipt. Die stukjes heten tokens, en ze zijn de kleinste taaleenheden waarmee een AI-taalmodel rekent. Geen letters, geen hele woorden, maar iets ertussenin: stukjes tekst van meestal een paar tekens lang.

Een handige vergelijking is die met legoblokjes. Je kunt met legoblokjes bijna elke vorm bouwen, ook vormen waar geen kant-en-klaar blokje voor bestaat, door kleinere stukjes te combineren. Zo werkt een token ook: het woord "vriendschap" kan als één geheel blokje bestaan, maar een zeldzaam woord als "detoekomstisnu" wordt uit elkaar getrokken in iets als "de", "toekomst", "is" en "nu". Het model heeft dan geen apart blokje nodig voor elk denkbaar woord ter wereld, en kan toch overweg met woorden die het nog nooit eerder heeft gezien.

Wat is het precies?

Voordat een taalmodel een tekst kan lezen, moet die tekst worden omgezet in getallen — computers rekenen nu eenmaal met cijfers, niet met letters. Dat omzetproces heet tokenization. Een gespecialiseerd hulpprogramma, de tokenizer, knipt de invoertekst op in tokens en koppelt elk token aan een uniek nummer uit een vaste woordenlijst, het vocabulaire.

De meest gebruikte methode om die woordenlijst samen te stellen heet Byte Pair Encoding (BPE), of varianten daarvan zoals SentencePiece. Simpel gezegd: een algoritme analyseert enorme hoeveelheden tekst en zoekt uit welke lettercombinaties het vaakst samen voorkomen. Veelvoorkomende woorden als "de", "en" of "het" krijgen een eigen token. Minder gangbare woorden worden opgeknipt in kleinere, vaker voorkomende brokstukken — soms tot op het niveau van een paar letters.

Voor Engelse tekst geldt vuistregel dat één token gemiddeld zo'n vier tekens beslaat, oftewel ongeveer 0,75 woord. Voor het Nederlands en andere talen die minder dominant zijn in de trainingsdata, vallen tokens vaak korter uit, waardoor een Nederlandse zin relatief meer tokens nodig heeft dan dezelfde zin in het Engels.

Zodra de tekst in tokens is omgezet, voedt het model de reeks getallen aan een neuraal netwerk dat, token voor token, voorspelt wat het meest waarschijnlijke volgende token is. Dat gebeurt razendsnel en herhaaldelijk, waardoor er stap voor stap een antwoord ontstaat. Elk model heeft ook een grens aan hoeveel tokens het tegelijk kan "onthouden": het contextvenster. Dat venster omvat zowel jouw vraag als het antwoord van het model samen — is de grens bereikt, dan valt informatie aan het begin van het gesprek weg.

Wat wil men ermee bereiken?

Tokenization lost een praktisch probleem op. Zou je een taalmodel simpelweg per letter laten werken, dan zou het voor elke zin extreem veel rekenstappen nodig hebben, wat trainen en gebruiken traag en duur maakt. Werk je daarentegen met complete woorden als eenheid, dan loop je vast zodra iemand een nieuw woord, tikfout, samenstelling of woord uit een andere taal gebruikt — het model zou dat woord simpelweg niet kennen.

Subword-tokenization, zoals BPE, is de middenweg. Het houdt de woordenlijst behapbaar (doorgaans tussen de 30.000 en 100.000-plus tokens), terwijl het model toch vrijwel elke tekst kan verwerken door onbekende woorden op te knippen in bekende brokstukken. Dat maakt modellen ook flexibeler bij meertaligheid, spelfouten, jargon en nieuwe termen — zonder dat de hele woordenlijst opnieuw hoeft te worden opgebouwd.

Een tweede doel is efficiëntie: omdat rekenkosten en geheugengebruik van een taalmodel ongeveer evenredig meeschalen met het aantal tokens, is een compacte, slimme tokenization direct van invloed op hoe snel en goedkoop een model kan draaien.

Voorbeelden uit de praktijk

Een paar concrete voorbeelden laten zien hoe tokenization er in de praktijk uitziet:

OpenAI's tiktoken — de tokenizer achter de GPT-modellen, gebaseerd op BPE. OpenAI maakte de bibliotheek in 2022 open source, zodat ontwikkelaars zelf kunnen uitrekenen hoeveel tokens hun tekst kost voordat ze die naar het model sturen.
Google's SentencePiece (geïntroduceerd in 2018) — een tokenization-methode die is gebruikt in modellen als T5 en delen van Google's Gemini-familie, en die talen zonder spaties (zoals Japans) net zo goed aankan als talen met spaties.
Groeiende contextvensters — waar vroege GPT-modellen slechts enkele duizenden tokens konden onthouden, groeide dat bij latere generaties naar tienduizenden en bij sommige modellen zelfs naar honderdduizenden of meer tokens context. Dat maakt het mogelijk om bijvoorbeeld hele rapporten of codebases in één keer aan een model voor te leggen.
Tokens als verdienmodel — aanbieders als OpenAI en Anthropic rekenen hun API-toegang letterlijk af per token: klanten betalen een bedrag per miljoen invoer- en uitvoertokens. Dat maakt de token niet alleen een technisch begrip, maar ook een economische eenheid geworden.
Meta's LLaMA-tokenizer — de opensource-modellenreeks van Meta gebruikt een eigen BPE-gebaseerde tokenizer, wat onderzoekers wereldwijd de kans geeft om tokenization-keuzes te vergelijken en te verbeteren.

Hoe ver is de techniek?

Subword-tokenization met BPE-achtige methodes is inmiddels een volwassen, breed gestandaardiseerde techniek — vrijwel elk groot taalmodel gebruikt een variant ervan. Toch is het geen probleemloze oplossing.

Een bekend obstakel is rekenen: omdat getallen soms inconsistent worden opgeknipt (het getal "1234" kan bijvoorbeeld anders worden getokenized dan "123" gevolgd door "4"), maken taalmodellen vaker rekenfouten dan je op basis van hun taalvaardigheid zou verwachten. Ook blijkt tokenization talen ongelijk te behandelen: voor talen die minder vertegenwoordigd zijn in de trainingsdata (waaronder relatief kleinere talen als het Nederlands, maar nog sterker voor bijvoorbeeld veel Afrikaanse of Zuid-Aziatische talen) zijn vaak meer tokens nodig om dezelfde boodschap over te brengen. Dat betekent hogere kosten en een kleiner effectief contextvenster voor sprekers van die talen.

Daarnaast loopt er onderzoek naar tokenizer-vrije of byte-level modellen, die tekst direct op het niveau van individuele letters of zelfs computerbytes verwerken, zonder tussenstap via een vaste woordenlijst. Voorbeelden uit onderzoek zijn ByT5 en MambaByte. Deze aanpak omzeilt de scheve talenbehandeling en rekenproblemen, maar is rekenkundig zwaarder, waardoor het tot nu toe vooral experimenteel blijft en nog niet de standaard bij commerciële grote taalmodellen heeft verdrongen.

Kortom: tokenization werkt goed genoeg om de huidige generatie AI-systemen te laten draaien, maar wordt algemeen gezien als een tussenoplossing met bekende gebreken, waarvoor nog geen breed geaccepteerd alternatief klaarstaat.

Wie werken eraan?

De belangrijkste ontwikkelingen komen van de grote AI-laboratoria die ook de taalmodellen zelf bouwen: OpenAI (tiktoken, GPT-reeks), Google DeepMind (SentencePiece, Gemini), Anthropic (Claude-modellen) en Meta AI (LLaMA-reeks, veelal opensource gepubliceerd). Daarnaast speelt Hugging Face een centrale rol als leverancier van open source-gereedschap: hun tokenizers-bibliotheek wordt door duizenden onderzoekers en ontwikkelaars wereldwijd gebruikt en vergeleken.

Op academisch vlak ligt de basis van moderne subword-tokenization bij onderzoekers als Rico Sennrich en collega's, die in 2016 voorstelden om Byte Pair Encoding — oorspronkelijk een compressietechniek uit de jaren negentig — toe te passen op taalmodellen. Sindsdien buigen onderzoeksgroepen aan universiteiten en bij de grote techbedrijven zich voortdurend over verbeteringen: efficiëntere vocabulaires, eerlijkere behandeling van meerdere talen, en experimenten met tokenizer-vrije architecturen.