Test-tijdschaling: waarom AI-modellen tegenwoordig even 'nadenken' voordat ze antwoorden
Stel je een leerling voor tijdens een rekenÂtoets. De ene leerling roept meteen het eerste antwoord dat in hem opkomt, zonder erbij stil te staan. De andere leerling neemt een kladblaadje, werkt de som stap voor stap uit, controleert het antwoord nog eens en schrijft dan pas het eindresultaat op. Die tweede leerling heeft meer tijd en moeite nodig, maar maakt vaak minder fouten. Test-tijdschaling is precies dit principe toegepast op kunstmatige intelligentie: een AI-model krijgt de ruimte om intern langer te 'kladden' voordat het met een antwoord komt, in plaats van meteen het eerste woord uit te spugen.
De term verwijst naar het opschalen van rekenkracht tijdens het moment van gebruik ('test-time', ofwel de fase waarin het model daadwerkelijk een vraag beantwoordt), in plaats van tijdens het trainen van het model. Jarenlang gold in AI-onderzoek de vuistregel: hoe groter het model en hoe meer data en rekenkracht je in de training stopt, hoe slimmer het resultaat. Test-tijdschaling voegt daar een tweede knop aan toe waaraan onderzoekers kunnen draaien: niet het model groter maken, maar het laten nadenken. Een AI die een moeilijke wiskundevraag krijgt, genereert dan eerst honderden of duizenden woorden aan tussenstappen — onzichtbaar of half zichtbaar voor de gebruiker — voordat het uiteindelijke antwoord verschijnt.
Wat is het precies?
Een taalmodel zoals ChatGPT werkt van oudsher door woord voor woord (preciezer: token voor token) een antwoord te voorspellen, direct na de vraag. Dat gaat snel, maar bij complexe problemen — een lastige som, een programmeerfout opsporen, een logisch puzzeltje — leidt die 'reflex-aanpak' vaak tot fouten. Test-tijdschaling doorbreekt dat directe verband tussen vraag en antwoord door er een denkfase tussen te plaatsen.
De basistechniek heet chain-of-thought (gedachteketen): het model wordt aangemoedigd om eerst in kleine, expliciete stapjes te redeneren, zoals een mens dat op papier zou doen. Bij geavanceerdere systemen gebeurt dit niet één keer, maar meerdere keren: het model genereert bijvoorbeeld tien verschillende redeneerpaden naar een antwoord en kiest via meerderheid van stemmen (self-consistency) de meest voorkomende uitkomst. Nog geavanceerdere varianten gebruiken een apart 'beoordelingsmodel' dat tussentijdse redeneerstappen scoort en zwakke sporen vroegtijdig afkapt, vergelijkbaar met een zoekboom in schaakcomputers (een techniek die Monte Carlo Tree Search heet).
Het cruciale verschil met simpelweg 'een lange prompt sturen' is dat de nieuwste generatie modellen dit denkgedrag zelf heeft aangeleerd via reinforcement learning (leren door beloning en straf): het model wordt getraind om zelf te bepalen hóe lang en op welke manier het moet redeneren voor een gegeven probleem, in plaats van dat een mens een vast recept voorschrijft. Simpele vragen worden dan snel afgehandeld, terwijl lastige vragen tot een veel langere, intern gegenereerde redenering leiden.
Wat wil men ermee bereiken?
De directe aanleiding is een economisch en technisch probleem: het steeds groter maken van modellen tijdens de training levert steeds minder extra prestatie op per geïnvesteerde dollar en per kilowattuur stroom. Onderzoekers noemen dit afnemende meeropbrengsten van de zogeheten scaling laws (schaalwetten) voor training. Test-tijdschaling biedt een alternatieve as om prestaties te verbeteren zonder per se een nóg groter model te bouwen: je laat een bestaand model gewoon langer en grondiger nadenken.
Een tweede doelstelling is flexibiliteit: rekenkracht wordt daardoor een knop die per vraag kan worden bijgesteld. Een simpele feitenvraag ('wat is de hoofdstad van Frankrijk?') hoeft geen uitgebreide redenering te krijgen, maar een ingewikkeld wiskundig bewijs of een lastige programmeeropdracht wel. Dit past bij het idee dat niet elk probleem evenveel 'denkwerk' verdient — net als bij mensen.
Tot slot hopen onderzoekers dat langere, expliciete redeneerstappen modellen minder foutgevoelig en beter controleerbaar maken: als een AI zijn redenering laat zien, kunnen fouten eerder worden opgespoord dan wanneer alleen het eindantwoord zichtbaar is. Dat is ook relevant voor AI-veiligheid: transparantere tussenstappen maken het makkelijker om te begrijpen waarom een model tot een bepaalde conclusie komt.
Voorbeelden uit de praktijk
OpenAI o1 (aangekondigd in september 2024) was het eerste veelbesproken commerciële model dat test-tijdschaling als kernprincipe presenteerde. Het genereert een verborgen redeneerketen voordat het antwoordt, en presteerde daardoor aanzienlijk beter op wiskunde-, programmeer- en wetenschapsopgaven dan eerdere modellen van hetzelfde bedrijf.
OpenAI o3 (eind 2024 aangekondigd, begin 2025 breder beschikbaar) bouwde hierop voort en behaalde opvallend hoge scores op de ARC-AGI-benchmark, een test die is ontworpen om abstract redeneervermogen te meten los van geheugenwerk. Opvallend was dat de resultaten sterk verbeterden naarmate het model meer rekentijd (en dus meer kosten) per vraag kreeg toegewezen — een directe illustratie van het test-tijdschalingsprincipe.
DeepSeek-R1, uitgebracht door het Chinese bedrijf DeepSeek in januari 2025, zorgde voor veel opschudding omdat het als open-weight model (de modelgewichten zijn vrij te downloaden) vergelijkbare redeneerprestaties liet zien als de gesloten Amerikaanse concurrenten, tegen aanzienlijk lagere gerapporteerde trainingskosten. Het liet bovendien, in tegenstelling tot OpenAI's model, de volledige gedachteketen zien aan gebruikers.
Anthropic voegde met Claude 3.7 Sonnet (begin 2025) een 'extended thinking'-modus toe waarbij gebruikers zelf een tokenbudget kunnen instellen voor hoe lang het model mag nadenken — een expliciete, instelbare vorm van test-tijdschaling.
Google DeepMind bracht met de Gemini Flash Thinking-modellen (vanaf eind 2024) een vergelijkbare aanpak, en paste soortgelijke zoek- en redeneertechnieken al eerder toe in gespecialiseerde systemen zoals AlphaProof voor wiskundige bewijzen.
Hoe ver is de techniek?
Test-tijdschaling is sinds eind 2024 in hoog tempo van onderzoeksidee naar productiefunctie gegaan; vrijwel alle grote taalmodel-aanbieders hebben inmiddels een 'redenerende' variant. Een veelgeciteerd onderzoek van Snell, Lee, Xu en Kumar (verbonden aan onder meer UC Berkeley en Google DeepMind, 2024) liet zien dat het slim inzetten van extra rekentijd tijdens gebruik, voor bepaalde taken, méér oplevert dan het simpelweg vergroten van het model — een belangrijke wetenschappelijke onderbouwing voor de trend.
Toch zijn er duidelijke grenzen en obstakels. Ten eerste kost langer nadenken geld en tijd: elke extra redeneerstap verbruikt rekenkracht en stroom, en gebruikers merken dat antwoorden trager binnenkomen. Ten tweede werkt de aanpak het beste bij taken met een controleerbaar, 'hard' juist antwoord, zoals wiskunde en programmeren; bij open, creatieve of feitelijk onzekere vragen is minder duidelijk hoeveel extra 'nadenken' daadwerkelijk helpt. Ten derde is er een reëel risico op 'overdenken': modellen die zichzelf in cirkels redeneren of, ondanks een lange gedachteketen, alsnog een onjuist antwoord geven — een lange redenering is geen garantie voor een correcte uitkomst. Tot slot maakt de verborgen aard van sommige redeneerketens (zoals bij OpenAI's modellen) het lastig voor buitenstaanders om te controleren of het model daadwerkelijk 'eerlijk' redeneert of achteraf een schijnverklaring construeert.
Onderzoekers werken nu vooral aan de vraag hoe je rekenkracht optimaal verdeelt: wanneer moet een model stoppen met nadenken, hoe voorkom je verspilling bij simpele vragen, en hoe train je betrouwbare 'beoordelaars' die tussentijdse redeneerstappen correct kunnen scoren.
Wie werken eraan?
De belangrijkste ontwikkelaars van commerciële redeneermodellen zijn OpenAI (o1, o3), Anthropic (Claude met extended thinking), Google DeepMind (Gemini Flash Thinking, en eerder gespecialiseerde systemen als AlphaProof en AlphaGeometry) en het Chinese DeepSeek (R1-serie). Ook Alibaba bracht met zijn Qwen-modellenfamilie een open redeneervariant uit, en xAI (van Elon Musk) ontwikkelt eigen redenerende varianten van zijn Grok-modellen.
Op academisch vlak komt veel van het onderliggende onderzoek naar schaalwetten en zoektechnieken van groepen aan UC Berkeley, Stanford en onderzoeksafdelingen van de grote techbedrijven zelf, die hun bevindingen vaak publiceren als preprints op platforms als arXiv. China en de Verenigde Staten zijn momenteel de twee landen waar de meeste toonaangevende redeneermodellen vandaan komen, met de open-weight aanpak van DeepSeek als opvallende breuk met de eerder overwegend gesloten Amerikaanse strategie.