Draftmodel: hoe een kleine AI-collega grote taalmodellen sneller maakt
Stel je een redactie voor waar een senior eindredacteur verantwoordelijk is voor elke gepubliceerde zin, maar waar die eindredacteur traag typt. Om sneller te werken, huurt de redactie een snelle junior assistent in die alvast een paar zinnen invult. De eindredacteur leest die zinnen in één keer door: klopt het, dan wordt het meteen goedgekeurd; klopt het niet, dan verbetert de eindredacteur alleen dat ene woord en gaat de junior weer verder. Zo ontstaat precies dezelfde tekst als wanneer de eindredacteur alles zelf had getypt, maar veel sneller.
Dit is in essentie wat een draftmodel doet in de wereld van kunstmatige intelligentie. Het is een klein, snel taalmodel dat als 'junior assistent' fungeert naast een groot, traag maar nauwkeurig taalmodel. De techniek heet speculative decoding (speculatieve decodering) en wordt inmiddels gebruikt om chatbots en andere AI-toepassingen merkbaar sneller te laten reageren, zonder dat de kwaliteit van het antwoord daaronder lijdt.
Wat is het precies?
Om te begrijpen waarom een draftmodel nuttig is, moet je eerst weten waarom grote taalmodellen (large language models, ofwel LLM's) van nature traag zijn bij het genereren van tekst. Zo'n model produceert tekst woord voor woord — preciezer: token voor token, waarbij een token een stukje tekst is zoals een woord of woorddeel. Voor elk nieuw token moet het volledige model, met soms miljarden parameters, opnieuw een berekening (een 'forward pass') uitvoeren. Dat proces is niet zozeer traag omdat de rekenchip het te druk heeft, maar vooral omdat er steeds enorme hoeveelheden data tussen het geheugen en de rekenkern heen en weer moeten. Dat heet geheugenbandbreedte-gebonden zijn: de chip staat vaker te wachten op data dan daadwerkelijk te rekenen.
Speculative decoding pakt dit slim aan door twee modellen samen te laten werken. Het kleine, snelle draftmodel — dat vaak tien tot honderd keer minder parameters heeft dan het grote model — genereert alvast een aantal tokens vooruit, bijvoorbeeld vier of vijf. Omdat het draftmodel zoveel kleiner is, kost dit weinig tijd.
Vervolgens komt het grote model, het targetmodel of verificatiemodel, in actie. In plaats van die tokens één voor één zelf te genereren, controleert het ze allemaal tegelijk in slechts één forward pass. Dat kan omdat het checken van meerdere kandidaat-tokens tegelijk minder extra tijd kost dan het genereren van diezelfde tokens één voor één — de rekenchip was toch al bezig met data ophalen, en nu wordt die ene keer efficiënter benut.
Het targetmodel loopt de voorgestelde tokens langs en vergelijkt per token of het zelf, gegeven dezelfde context, ook tot (ongeveer) diezelfde keuze zou zijn gekomen. Dit gebeurt via een wiskundige techniek die rejection sampling heet. Tokens die overeenkomen worden geaccepteerd; zodra een token wordt afgewezen, gooit het systeem dat token en alle daaropvolgende gok-tokens weg, en genereert het targetmodel zelf het juiste token op die plek. Daarna herhaalt het hele proces zich.
Het cruciale punt is dat deze methode wiskundig gegarandeerd exact dezelfde uitkomstverdeling oplevert als wanneer je alleen het grote model had gebruikt. Er wordt dus geen kwaliteit ingeleverd voor snelheid — je krijgt (statistisch gezien) dezelfde antwoorden, alleen sneller.
Wat wil men ermee bereiken?
De belangrijkste drijfveer achter speculative decoding is simpel: AI-inferentie — het daadwerkelijk laten draaien van een getraind model om antwoorden te genereren — is duur en traag, en dat wordt een steeds groter probleem naarmate meer mensen chatbots en AI-assistenten dagelijks gebruiken.
Een lagere latency (de tijd tussen een vraag en het eerste stukje antwoord) betekent een prettigere gebruikerservaring: niemand wil seconden wachten voordat een chatbot begint te 'typen'. Minder rekentijd per gegenereerd token betekent ook lagere serverkosten voor de bedrijven die deze modellen aanbieden, en minder energieverbruik per antwoord — relevant gezien de toenemende zorgen over het elektriciteitsverbruik van datacenters.
Daarnaast opent de techniek de deur naar toepassingen op apparaten met beperkte rekenkracht, zoals telefoons of laptops, waar elke bespaarde milliseconde en elke bespaarde geheugentoegang telt. Kortom: het doel is niet een slimmer model, maar een even slim model dat efficiënter uit de startblokken komt.
Voorbeelden uit de praktijk
Het concept werd rond 2023 vrijwel gelijktijdig door twee onderzoeksgroepen gepubliceerd. Onderzoekers bij Google introduceerden de aanpak in het paper "Fast Inference from Transformers via Speculative Decoding", terwijl onderzoekers bij Google DeepMind een vergelijkbare methode beschreven onder de naam "Accelerating Large Language Model Decoding with Speculative Sampling". Beide papers lieten versnellingen zien van ruwweg twee tot drie keer, afhankelijk van het gebruikte modelpaar en de taak.
Kort daarna, nog in 2023, voegde Hugging Face — een bekend platform voor open source AI-modellen — een functie genaamd "assisted generation" toe aan zijn veelgebruikte Transformers-softwarebibliotheek, waarmee ontwikkelaars zelf eenvoudig een klein draftmodel konden koppelen aan een groter model.
In 2024 verscheen Medusa, een variant waarbij niet een apart, volledig los draftmodel wordt gebruikt, maar waarbij het grote model zelf wordt uitgerust met extra 'decodeerkoppen' die tegelijk meerdere toekomstige tokens voorspellen. Dat scheelt het onderhouden en synchroniseren van een compleet tweede model.
Ook in 2024 kwam EAGLE naar buiten, een methode die de nauwkeurigheid van het draftmodel verbetert door niet alleen op eerdere tokens te gokken, maar ook gebruik te maken van interne 'kenmerken' (features) van het grote model, wat de kans op geaccepteerde voorspellingen verhoogt en zo de versnelling verder opvoert.
Deze technieken zijn inmiddels geen laboratoriumcuriositeit meer: serving-software zoals vLLM en NVIDIA's TensorRT-LLM bieden ingebouwde ondersteuning voor speculative decoding, waardoor bedrijven die zelf LLM's hosten deze versnelling met relatief weinig moeite kunnen inschakelen.
Hoe ver is de techniek?
Speculative decoding is inmiddels volwassen: het is geen experimentele curiositeit meer, maar een standaardoptie in de belangrijkste inferentie-softwarepakketten, waaronder vLLM, TensorRT-LLM, llama.cpp (populair voor het lokaal draaien van modellen) en de Hugging Face Transformers-bibliotheek. In de wetenschappelijke literatuur worden versnellingen van ongeveer twee tot drie keer vaak genoemd, met hogere cijfers bij voorspelbare taken zoals code genereren, waar het draftmodel makkelijker goed kan gokken.
Toch zijn er reële obstakels. Het grootste is het vinden van een goed uitgelijnd draftmodel: het moet snel genoeg zijn om winst op te leveren, maar ook accuraat genoeg om regelmatig geaccepteerd te worden — een te dom draftmodel levert amper versnelling op omdat het targetmodel voortdurend moet corrigeren. Daarnaast vraagt het draaien van twee modellen tegelijk extra geheugen en engineering-complexiteit.
Een ander belangrijk nuance: de winst is het grootst wanneer een server maar één of enkele verzoeken tegelijk verwerkt. Bij zware gelijktijdige belasting, wanneer een server honderden gebruikersverzoeken tegelijk verwerkt (batching), verschuift de bottleneck van geheugenbandbreedte naar pure rekencapaciteit, en wordt het voordeel van speculative decoding kleiner. Onderzoekers werken daarom aan verfijningen die ook onder hoge belasting profijt opleveren, maar dit blijft een actief ontwikkelgebied zonder pasklare oplossing voor elk scenario.
Wie werken eraan?
De belangrijkste bijdragen komen van Google en Google DeepMind, die met hun onderzoek uit 2023 de basis legden, en van NVIDIA, dat de techniek heeft ingebouwd in zijn TensorRT-LLM-software voor het versnellen van modellen op eigen grafische chips. Hugging Face speelt een grote rol in het toegankelijk maken van de techniek voor ontwikkelaars via open source software.
Daarnaast dragen de open source gemeenschappen rond vLLM en llama.cpp actief bij aan praktische implementaties, en zijn academische onderzoeksgroepen — onder meer de teams achter Medusa en EAGLE — verantwoordelijk voor recentere verfijningen van de methode.
Het is aannemelijk dat grote aanbieders van chatbots, zoals OpenAI, Anthropic en Microsoft, vergelijkbare of eigen varianten van deze optimalisatietechnieken in hun productiesystemen gebruiken om reactietijden te verkorten. Deze bedrijven publiceren echter doorgaans geen gedetailleerde technische specificaties over hun interne inferentie-infrastructuur, dus concrete bevestiging daarvan ontbreekt in de openbare literatuur.