Tokenmetering: hoe AI-taalmodellen per woordstukje worden afgerekend
Wie tegenwoordig een chatbot als ChatGPT of Claude aan het werk zet via een ontwikkelaarsaccount, betaalt niet per vraag en niet per uur, maar per token. Dat is het kleine stukje tekst waarin een taalmodel taal opdeelt om te kunnen verwerken. Tokenmetering is simpelweg het systeem waarmee bedrijven bijhouden hoeveel van die stukjes tekst er in en uit een AI-model stromen, zodat ze daar een rekening op kunnen baseren. Vergelijk het met een taxi: niet de reistijd bepaalt de prijs, maar het aantal afgelegde kilometers op de meter.
Het idee klinkt technisch, maar heeft directe gevolgen voor bijna iedereen die met AI werkt of erover leest. Een lang, uitgebreid antwoord van een chatbot kost meer dan een kort antwoord, een document van tien pagina's dat je laat samenvatten kost meer dan een tweet, en zelfs de taal waarin je schrijft kan het prijskaartje beïnvloeden. Tokenmetering is daarmee de onzichtbare boekhouding achter vrijwel elke AI-dienst die op grote schaal wordt aangeboden.
Wat is het precies?
Een token is geen letter en meestal ook geen heel woord, maar iets daartussenin: een stukje tekst dat een taalmodel als bouwsteen gebruikt. Het Engelse woord "unbelievable" kan bijvoorbeeld uiteenvallen in de tokens "un", "believ" en "able". Voor het Nederlandse woord "ongelofelijk" geldt hetzelfde principe: het model knipt het op in stukjes die het al kent uit zijn trainingsdata.
Die opdeling gebeurt met een techniek die tokenisatie heet, vaak op basis van een methode genaamd Byte-Pair Encoding (BPE) of varianten daarvan. Simpel gezegd: het algoritme kijkt tijdens de training welke lettercombinaties het vaakst samen voorkomen en maakt daar vaste bouwstenen van. Veelvoorkomende woorden als "de" of "and" worden vaak als één token opgeslagen, terwijl zeldzame of samengestelde woorden in meerdere tokens uiteenvallen.
Dit heeft een merkbaar gevolg voor niet-Engelse talen. Omdat de meeste grote taalmodellen vooral getraind zijn op Engelstalige tekst, zijn de tokenbouwstenen daarop geoptimaliseerd. Nederlandse, maar bijvoorbeeld ook Duitse of Poolse tekst valt daardoor vaak uiteen in meer tokens dan een vergelijkbare Engelse zin met dezelfde betekenis. Voor gebruikers en bedrijven buiten de Engelstalige wereld kan hetzelfde gesprek dus letterlijk duurder uitvallen.
Bij het gebruik van een AI-model via een programmeerinterface (een API, de technische ingang waarmee software met het model kan communiceren) worden twee soorten tokens apart geteld: input-tokens (de tekst die je instuurt, zoals een vraag of document) en output-tokens (het antwoord dat het model teruggeeft). Deze twee worden meestal ook los geprijsd, omdat het genereren van nieuwe tekst rekenkundig zwaarder is dan het inlezen van bestaande tekst.
Verder speelt het context window een rol: dit is het maximumaantal tokens dat een model in één keer kan "onthouden" tijdens een gesprek, inclusief zowel de vraag als het antwoord. En om te voorkomen dat servers overbelast raken, hanteren aanbieders vaak ook rate limits: een maximumaantal tokens dat een gebruiker per minuut mag versturen of ontvangen.
Wat wil men ermee bereiken?
De belangrijkste reden voor tokenmetering is eerlijke, voorspelbare facturering. Het draaien van een groot taalmodel kost aanzienlijke rekenkracht op gespecialiseerde chips (GPU's), en die kosten lopen op naarmate er meer tekst verwerkt wordt. Door per token te rekenen, betaalt een gebruiker die één keer per dag een korte vraag stelt veel minder dan een bedrijf dat duizenden documenten per uur laat analyseren.
Voor ontwikkelaars en bedrijven biedt dit model ook voorspelbaarheid: ze kunnen vooraf inschatten wat een functie in hun applicatie ongeveer gaat kosten door het verwachte tokengebruik te berekenen. Dat maakt het mogelijk om AI-functionaliteit verantwoord in te bouwen in producten, van klantenservice-chatbots tot schrijfhulpmiddelen.
Daarnaast dient tokenmetering, samen met de rate limits, als een vorm van capaciteitsbeheer en misbruikpreventie. Zonder grenzen zouden individuele gebruikers of kwaadwillende partijen de beschikbare rekenkracht kunnen opeisen ten koste van andere klanten, of geautomatiseerd enorme hoeveelheden verzoeken kunnen versturen. Door duidelijke limieten en kosten per token te stellen, houden aanbieders hun infrastructuur beheersbaar en betaalbaar in stand.
Voorbeelden uit de praktijk
Toen OpenAI in 2020 voor het eerst een betaalde API-toegang tot zijn GPT-3-model aanbood, introduceerde het bedrijf meteen een prijsmodel gebaseerd op tokens per duizend stuks. Dat model is sindsdien de industriestandaard geworden en wordt door vrijwel elke grote aanbieder van taalmodellen overgenomen.
In 2022 maakte OpenAI zijn eigen tokenizer-bibliotheek, genaamd tiktoken, open source beschikbaar. Hiermee kunnen ontwikkelaars vooraf precies berekenen hoeveel tokens een stuk tekst zal opleveren voordat ze het naar het model sturen, wat helpt om kosten te schatten en te beheersen.
Anthropic, de maker van de Claude-modellen, hanteert eveneens een systeem waarbij input- en outputtokens apart en tegen verschillende tarieven worden afgerekend, met output doorgaans duurder omdat het genereren van tekst rekenintensiever is dan het lezen ervan. Google volgt met zijn Gemini-modellen een vergelijkbare structuur, met verschillende prijslagen afhankelijk van de modelgrootte en de lengte van het contextvenster.
Microsoft biedt via de Azure OpenAI Service een enterprise-variant van dezelfde tokenmetering aan, gericht op grote organisaties die garanties willen over capaciteit, beveiliging en facturering binnen hun eigen cloudomgeving. En GitHub, ook onderdeel van Microsoft, stapte in 2025 voor zijn programmeerassistent Copilot deels over van een vaste abonnementsprijs naar een model met "premium requests": een tegoed aan verzoeken dat feitelijk neerkomt op een vorm van tokenmetering, verpakt in een eenvoudiger te begrijpen eenheid.
Let wel: de exacte tarieven die deze bedrijven hanteren, veranderen regelmatig door concurrentie en dalende rekenkosten. Voor actuele prijzen is het altijd verstandig de officiële prijspagina van de betreffende aanbieder te raadplegen in plaats van te vertrouwen op cijfers uit een artikel.
Hoe ver is de techniek?
Als infrastructuur is tokenmetering inmiddels volwassen: sinds de doorbraak van commerciële taalmodel-API's tussen 2020 en 2023 is het de facto standaard geworden voor het afrekenen van AI-gebruik. Vrijwel elke grote aanbieder gebruikt een variant van hetzelfde principe, en tools om tokens te tellen zijn breed beschikbaar voor ontwikkelaars.
Toch zijn er nog knelpunten. Ten eerste zijn tokenizers niet uitwisselbaar tussen aanbieders: een tekst die bij het ene model 100 tokens oplevert, kan bij een ander model 80 of 130 tokens opleveren. Dat maakt directe prijsvergelijking tussen AI-diensten lastiger dan het lijkt, omdat je niet zomaar tokenprijzen naast elkaar kunt leggen zonder ook te kijken naar hoe efficiënt elke tokenizer specifieke taal verwerkt.
Ten tweede blijft de eerder genoemde taalongelijkheid een punt van kritiek: doordat de meeste tokenizers primair getraind zijn op Engelstalige tekst, betalen gebruikers van andere talen relatief vaak meer voor dezelfde hoeveelheid informatie. Onderzoekers en aanbieders werken aan meertaligere tokenizers, maar een volledige gelijkschakeling is nog niet bereikt.
Ten derde blijft kostenvoorspelling voor bedrijven een uitdaging, vooral bij toepassingen waarbij gebruikers zelf lange documenten uploaden of open gesprekken voeren: het is vooraf niet altijd goed te voorspellen hoeveel tokens een sessie zal verbruiken. Tegelijk groeien de context windows van modellen snel, van enkele duizenden tokens een aantal jaar geleden naar honderdduizenden en bij sommige modellen zelfs miljoenen tokens nu, wat weer nieuwe mogelijkheden maar ook nieuwe kostenrisico's met zich meebrengt.
Mede daardoor experimenteren aanbieders met aanvullende of alternatieve prijsmodellen naast pure tokenmetering: vaste abonnementen zoals ChatGPT Plus of Claude Pro voor consumenten, prijzen per verzoek in plaats van per token, of tarieven gebaseerd op rekentijd. Tokenmetering blijft echter de dominante manier waarop de onderliggende, zakelijke toegang tot AI-modellen wordt afgerekend.
Wie werken eraan?
De belangrijkste partijen die tokenmetering ontwikkelen en toepassen zijn de grote Amerikaanse AI-laboratoria: OpenAI, Anthropic en Google DeepMind, elk met hun eigen modellen, tokenizers en prijsstructuren. Microsoft speelt via Azure een grote rol bij het aanbieden van tokenmetering aan zakelijke klanten op ondernemingsschaal.
Buiten de Verenigde Staten is Mistral AI, een Frans bedrijf, een opvallende speler die eigen taalmodellen en bijbehorende tokenprijzen aanbiedt, mede gesteund door Europese ambities om niet volledig afhankelijk te zijn van Amerikaanse AI-infrastructuur. Meta, het moederbedrijf van Facebook en Instagram, brengt met zijn Llama-modellen open source alternatieven uit, inclusief openbaar beschikbare tokenizers die door onderzoekers en bedrijven wereldwijd hergebruikt worden.
Hugging Face, een platform voor open source AI-modellen, speelt een aparte maar belangrijke rol: het bedrijf onderhoudt een veelgebruikte, open source tokenizer-bibliotheek die als een soort gedeelde standaard fungeert voor onderzoekers en kleinere ontwikkelaars die niet afhankelijk willen zijn van de gesloten tokenizers van de grote commerciële aanbieders. Zo blijft tokenisatie, ondanks de dominantie van een handvol grote Amerikaanse bedrijven, ook een terrein waarop een wereldwijde open source gemeenschap actief meebouwt.