Tijd tussen tokens (TBT): de metriek achter een vloeiend AI-antwoord
Wie weleens met een chatbot als ChatGPT, Claude of Gemini heeft gepraat, kent het beeld: het antwoord verschijnt niet in één keer, maar woord voor woord, alsof iemand het live voor je zit te typen. Soms verschijnt de tekst vlot en gelijkmatig, soms stokt hij even en komt er dan weer een woordenstroom achter elkaar. Die vloeiendheid, of het gebrek eraan, is precies wat de metriek tijd tussen tokens (Engels: Time Between Tokens, afgekort TBT) probeert te vangen.
Vergelijk het met een spreker die een verhaal voorleest: sommige sprekers praten in een constant, rustig tempo, anderen hakkelen, vallen stil en versnellen dan weer. Voor de luisteraar maakt dat een enorm verschil in beleving, ook al is de totale spreektijd misschien gelijk. Bij AI-modellen is TBT de metriek die meet hoeveel tijd er gemiddeld verstrijkt tussen het ene en het volgende stukje tekst dat het model produceert. Hoe lager en constanter die tijd, hoe vloeiender een antwoord aanvoelt voor de gebruiker.
Wat is het precies?
Om TBT te begrijpen, moet je eerst weten wat een token is. Een taalmodel werkt niet met hele woorden, maar met kleine tekstbrokjes: soms een heel woord, soms een deel van een woord of een leesteken. "Toekomsttechnologie" kan bijvoorbeeld uit meerdere tokens bestaan. Wanneer een AI-model een antwoord genereert, doet het dat stap voor stap: het voorspelt token 1, gebruikt dat samen met de vraag om token 2 te voorspellen, gebruikt dat weer om token 3 te voorspellen, enzovoort. Dit proces heet autoregressief genereren, omdat elk nieuw stukje tekst afhangt van alles wat er al staat.
Elke stap in die keten kost rekentijd op een chip (meestal een gpu, een gespecialiseerde processor voor dit soort parallelle berekeningen). TBT is simpelweg de gemiddelde tijd die zo'n stap kost, gemeten in het antwoord ná het allereerste token. Die eerste stap heeft namelijk een aparte naam: TTFT (Time To First Token), de tijd tussen het versturen van je vraag en het moment dat het eerste stukje antwoord verschijnt. Alles daarna, dus hoe snel de tokens ná dat eerste woord blijven komen, valt onder TBT.
Je komt in de praktijk ook de term TPOT (Time Per Output Token) tegen. In veel documentatie en benchmarks wordt dit als synoniem van TBT gebruikt: de gemiddelde tijd per gegenereerd token na de eerste. Sommige leveranciers hanteren echter net iets andere definities of meetmethoden, bijvoorbeeld door uitschieters wel of niet mee te tellen. Er bestaat dus geen volledig uniforme, door iedereen exact gelijk gehanteerde definitie, wat vergelijken tussen aanbieders soms lastig maakt.
Belangrijk is ook het onderscheid met doorvoer (throughput): het totale aantal tokens dat een systeem per seconde produceert, opgeteld over alle gebruikers tegelijk. Een server kan een hoge doorvoer hebben omdat hij honderden gesprekken tegelijk verwerkt, terwijl de TBT die één individuele gebruiker ervaart daardoor juist oploopt. Doorvoer en TBT staan vaak op gespannen voet met elkaar: meer gelijktijdige verzoeken verwerken (batchen) is efficiënter voor de aanbieder, maar kan de latency per gebruiker verhogen.
Wat wil men ermee bereiken?
De eerste reden om TBT te meten is simpel: gebruikerservaring. Onderzoek naar interactieontwerp laat al decennia zien dat mensen wachttijden en onregelmatige vertragingen als hinderlijk ervaren, zelfs als de totale duur kort is. Een chatbot die met een constant, laag TBT-cijfer typt, voelt natuurlijker aan dan een chatbot die in schokken tekst uitspuwt, ook al is de gemiddelde snelheid identiek.
Een tweede doel is eerlijke vergelijkbaarheid tussen aanbieders. Er zijn inmiddels tientallen bedrijven die toegang bieden tot taalmodellen: eigen labs zoals OpenAI, Anthropic en Google, maar ook cloudpartijen die modellen van anderen hosten. Zonder een gestandaardiseerde metriek als TBT zouden claims over "snelheid" nauwelijks te vergelijken zijn. Onafhankelijke benchmarkorganisaties gebruiken TBT daarom als een van de kernindicatoren, naast TTFT en doorvoer.
Ten derde speelt kostenoptimalisatie een rol. Chipruimte, energie en geheugen zijn schaars en duur. Aanbieders van AI-diensten moeten voortdurend een afweging maken tussen zoveel mogelijk gebruikers tegelijk bedienen (lage kosten per gebruiker) en toch een acceptabele TBT overeind houden. Het verlagen van TBT zonder de kosten te laten exploderen is daarmee een centraal technisch en zakelijk vraagstuk in de AI-infrastructuurwereld geworden.
Voorbeelden uit de praktijk
Een bekend voorbeeld is vLLM, een opensource-softwareproject dat oorspronkelijk voortkwam uit onderzoek aan de Universiteit van Californië, Berkeley. vLLM introduceerde een techniek genaamd PagedAttention, die het geheugen dat een model tijdens generatie nodig heeft (de zogeheten KV-cache, een soort werkgeheugen met eerder berekende tussenresultaten) efficiënter indeelt. Daardoor kunnen servers meer gesprekken tegelijk verwerken zonder dat de TBT voor individuele gebruikers onaanvaardbaar oploopt.
NVIDIA TensorRT-LLM is een ander praktijkvoorbeeld: software van chipfabrikant NVIDIA die specifiek is gebouwd om LLM-inferentie op diens eigen gpu's te versnellen, onder meer door slimmer geheugenbeheer en geoptimaliseerde rekenkernels. Het wordt breed gebruikt door cloudaanbieders die grote taalmodellen hosten.
Het bedrijf Groq (niet te verwarren met de chatbot Grok van xAI) heeft een eigen chiparchitectuur ontwikkeld, de LPU (Language Processing Unit), die specifiek is ontworpen om de tijd tussen tokens tot een minimum te beperken. Onafhankelijke benchmarksites die AI-providers vergelijken op snelheid, laten voor Groq doorgaans opvallend lage TBT-cijfers en hoge doorvoer zien in vergelijking met veel gpu-gebaseerde concurrenten.
Op onderzoeksgebied is speculative decoding een veelbesproken techniek: een klein, snel model "raadt" alvast een paar tokens vooruit, waarna het grote, nauwkeurige model in één keer controleert of die gok klopt. Als dat zo is, zijn er meerdere tokens in de tijd van één rekenstap gegenereerd, wat de gemiddelde TBT verlaagt. Onderzoekers bij onder meer Google DeepMind hebben hierover gepubliceerd.
Tot slot is er de MLPerf Inference-benchmarksuite van MLCommons, een samenwerkingsverband van chipfabrikanten en techbedrijven (waaronder NVIDIA, Google, Intel en Qualcomm) dat als doel heeft AI-hardware en -software op een eerlijke, gestandaardiseerde manier te vergelijken. Deze benchmarks zijn in de loop der tijd uitgebreid met specifieke metingen voor taalmodel-latency, TTFT en TPOT/TBT inbegrepen, naast de klassieke doorvoercijfers.
Hoe ver is de techniek?
Het optimaliseren van TBT is een actief en snel bewegend engineeringveld, geen afgerond hoofdstuk. Technieken als efficiënter geheugenbeheer, slimme batching en speculative decoding worden inmiddels breed toegepast door grote aanbieders, en gespecialiseerde chips zoals die van Groq laten zien dat er nog aanzienlijke winst te behalen valt ten opzichte van generieke gpu's.
Tegelijk is er nog geen volledige standaardisatie. Verschillende leveranciers meten TBT soms net iets anders, rapporteren gemiddelden versus mediane of extreme waarden door elkaar, en de uitkomst hangt sterk af van factoren als modelgrootte, hardware, hoe druk een server op dat moment is en hoeveel gebruikers er gelijktijdig bediend worden. Een TBT-cijfer dat in een rustige testomgeving is gemeten, kan dus flink afwijken van wat een gebruiker op een druk moment daadwerkelijk ervaart.
Een fundamentele spanning blijft bovendien bestaan tussen doorvoer en latency: elke verbetering die servers efficiënter maakt voor grote aantallen gebruikers tegelijk, kan in potentie ten koste gaan van de TBT die een individuele gebruiker voelt, en andersom. Er is dus geen eindpunt waarop dit probleem "opgelost" is; het blijft een kwestie van voortdurend schuiven tussen kosten, schaal en gebruikerservaring.
Wie werken eraan?
Chipfabrikanten spelen een centrale rol, met name NVIDIA, dat zowel de hardware als optimalisatiesoftware (TensorRT-LLM) levert die in een groot deel van de AI-industrie wordt gebruikt. Groq profileert zich juist als uitdager met eigen, specifiek voor lage latency ontworpen chips.
Op softwaregebied is het vLLM-project, met wortels aan UC Berkeley, een van de meest gebruikte opensource-oplossingen voor efficiënte modelbediening, en wordt het door veel cloudpartijen en onderzoeksgroepen als basis gebruikt of als inspiratie voor eigen systemen. Ook Hugging Face, bekend van zijn platform voor het delen van AI-modellen, biedt eigen inferentie-software waarin latencyoptimalisatie een rol speelt.
Voor het meten en vergelijken zijn MLCommons (met de MLPerf-benchmarks) en onafhankelijke vergelijkingssites zoals ArtificialAnalysis.ai relevante partijen: zij proberen claims van providers over snelheid objectief te toetsen. Daarnaast werken de grote modelontwikkelaars zelf, zoals OpenAI, Anthropic, Google en Meta, aan hun eigen inferentie-infrastructuur, al zijn de technische details daarvan vaak niet volledig openbaar.