Nieuw lettertype maakt zichtbaar hoe AI tekst in tokens hakt

Waarom taalmodellen in stukjes lezen

Grote taalmodellen lezen geen hele woorden of losse letters, maar tokens: brokjes tekst die kunnen bestaan uit een enkel teken, een lettergreep of een compleet woord. Voordat een taalmodel een vraag kan beantwoorden, knipt een zogeheten tokenizer de invoer eerst op in zulke stukjes. Elk AI-bedrijf gebruikt daarvoor een eigen systeem: OpenAI, Google, Meta en het Chinese DeepSeek hakken exact dezelfde zin allemaal iets anders op. Die opdeling is normaal onzichtbaar voor gebruikers, want in een chatvenster zie je gewoon doorlopende tekst.

Toch heeft die verdeling in tokens grote praktische gevolgen. Een taalmodel genereert antwoorden namelijk token voor token: het voorspelt telkens welk volgend brokje tekst het meest waarschijnlijk is, plakt dat erbij en herhaalt het proces. Hoe die tokenvoorspelling verloopt en welke stukjes tekst als één token tellen, bepaalt mede hoe snel en hoe goedkoop een AI-dienst werkt: minder tokens voor dezelfde boodschap betekent minder rekenwerk en dus lagere tokenefficiëntie-kosten.

Een lettertype als microscoop voor tokens

De nieuwe tool combineert een bestaand lettertype - bijvoorbeeld Inter, Roboto of het Discord-lettertype gg sans - met het tokenizer-bestand van een specifiek AI-model. De compiler bouwt daaruit een compleet nieuw lettertype, met extra opmaakregels op basis van de tokengrenzen. Gebruikers typen een stuk tekst in een testvenster en zien direct hoe die wordt opgeknipt: in de kleurmodus krijgt elk token een eigen tint, in de spatiëringsmodus krijgt elk token precies dezelfde breedte, ongeacht hoeveel letters erin zitten.

Het systeem ondersteunt tokenizers van onder meer OpenAI, Meta's Llama, Alibaba's Qwen, Google's Gemma en Gemini, en DeepSeek. Voor sommige tokenizers, zoals vermoedelijk die van Anthropics Claude-model, kon de maker de exacte tokengrenzen niet bevestigen en werkt de tool met een benadering. Het eindresultaat is telkens één lettertypebestand waarin de tokenregels zijn ingebakken, zodat er geen apart script nodig is om de opmaak te tonen.

Losse bugs en gebruik in Discord en Slack

Bij het testen kwamen ook eigenaardigheden aan het licht. Zo blijkt de tokenizer van DeepSeek bepaalde onzichtbare besturingstekens per ongeluk als spatie te behandelen, waardoor twee spaties gevolgd door zo'n teken worden samengevoegd tot één token. Bij de tokenizers van Meta's Llama 3 en het Chinese GLM-model lopen sommige tekstfragmenten tegen een ingebouwde limiet aan, waarna de tool dat stuk als 'buiten bereik' markeert in plaats van als correct token.

Naast de webtool bouwde de maker ook een thema voor de Discord-client Vesktop en een userscript voor Slack in de browser, zodat berichten van een gekozen gebruiker automatisch in het gecompileerde tokenlettertype verschijnen. Daarmee verschuift het project van een technisch hulpmiddel naar een speels experiment: berichten van AI-collega's of chatbots letterlijk laten zien volgens de bril van het taalmodel zelf.