Redeneerblok: hoe AI-modellen hardop leren nadenken
Stel je een leerling voor die een lastige rekensom moet oplossen. In plaats van meteen het antwoord op te schrijven, gebruikt ze eerst een kladblaadje: ze schrijft tussenstappen op, controleert zichzelf, corrigeert een foutje en komt dan pas tot de uitkomst. Een redeneerblok is precies dat kladblaadje, maar dan van een AI-taalmodel. Voordat het systeem een definitief antwoord geeft, genereert het eerst een stuk tekst waarin het stap voor stap redeneert, mogelijkheden afweegt en zichzelf soms corrigeert.
Dit klinkt eenvoudig, maar het is een van de belangrijkste technische ontwikkelingen in kunstmatige intelligentie van de afgelopen twee jaar. Waar een taalmodel vroeger direct een antwoord "uitspuwde" op basis van patronen in de trainingsdata, laten nieuwere modellen nu eerst zien — of in elk geval: genereren ze eerst — een redeneerketen. Bedrijven als OpenAI, DeepSeek, Anthropic en Google hebben hier sinds eind 2024 modellen voor uitgebracht die op complexe taken, zoals wiskunde en programmeren, merkbaar beter presteren dan hun voorgangers.
Wat is het precies?
Een taalmodel genereert tekst woord voor woord (preciezer: token voor token, waarbij een token een stukje tekst is, vaak een woord of woorddeel). Een gewoon model probeert direct het beste volgende woord te voorspellen totdat het antwoord compleet is. Bij een redeneerblok gebeurt er iets extra's: het model produceert eerst een lang stuk tekst waarin het het probleem ontleedt, tussenstappen uitwerkt, alternatieven overweegt en fouten opspoort — pas daarna volgt het eigenlijke antwoord. In veel interfaces wordt dit redeneerblok apart getoond, bijvoorbeeld ingeklapt onder een kopje "nadenken" of tussen speciale markeringen in de ruwe tekst, zodat gebruikers het antwoord en het denkproces uit elkaar kunnen houden.
Het idee is niet helemaal nieuw. Al in 2022 publiceerden onderzoekers van Google Research een invloedrijk artikel getiteld "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (Wei e.a.). Zij lieten zien dat je een bestaand taalmodel simpelweg kon vragen om "stap voor stap na te denken", en dat het dan aanzienlijk betere antwoorden gaf op reken- en logicavragen. Dit heette chain-of-thought prompting: een truc waarbij je het model via de vraagstelling uitlokt om een redeneerblok te produceren.
De volgende stap, die vanaf eind 2024 breed zichtbaar werd, is dat bedrijven modellen zijn gaan trainen die dit redeneren niet als truc nodig hebben, maar er standaard toe geneigd zijn — en er steeds beter in worden. Dit gebeurt met reinforcement learning (versterkend leren): een trainingsmethode waarbij het model beloond wordt wanneer een langere, zorgvuldigere redeneerketen tot een juist antwoord leidt, en wordt bijgestuurd wanneer dat niet het geval is. Zo leert het model zelf steeds langere en effectievere redeneerblokken te produceren, inclusief het herkennen en corrigeren van eigen fouten halverwege het proces.
Een praktisch gevolg is dat deze modellen meer tekst genereren voordat ze klaar zijn, ook al ziet de gebruiker soms alleen het uiteindelijke antwoord. Dat kost extra rekentijd en dus geld: dit heet inference-time compute of test-time compute, oftewel rekenkracht die wordt ingezet op het moment dat het model een vraag beantwoordt, in plaats van (alleen) tijdens de training vooraf.
Wat wil men ermee bereiken?
Het belangrijkste doel is betere prestaties op taken waarbij losse associaties niet volstaan: wiskundige bewijzen, programmeeropdrachten, logische puzzels en meerstaps-redeneervragen. Taalmodellen zonder redeneerblok maken bij dit soort taken vaak simpele, vermijdbare fouten omdat ze in één keer "door" moeten naar het antwoord. Een redeneerblok geeft het model de kans om een tussenstap te controleren voordat het verdergaat, vergelijkbaar met hoe een mens een rekensom nog eens naloopt.
Een tweede doel is transparantie. In theorie kan een gebruiker het redeneerblok lezen en meekijken hoe het model tot zijn antwoord komt, wat vertrouwen kan geven of juist fouten in de redenering blootlegt. In de praktijk is die transparantie beperkter dan ze lijkt, waarover verderop meer.
Ten slotte hopen onderzoekers dat deze aanpak een pad biedt naar modellen die beter presteren zonder dat daarvoor per se een compleet nieuw, groter basismodel getraind hoeft te worden: door tijdens het beantwoorden meer "denktijd" te geven, kan een model soms betere resultaten halen dan een groter model dat direct antwoordt.
Voorbeelden uit de praktijk
Het veld heeft zich sinds september 2024 in hoog tempo ontwikkeld, met verschillende spraakmakende releases:
OpenAI o1 — In september 2024 bracht OpenAI "o1-preview" uit, het eerste breed beschikbare model dat expliciet is getraind om lange redeneerblokken te produceren voordat het antwoordt. In december 2024 volgde de volledige versie van o1, en begin 2025 kwamen o3 en de kleinere, goedkopere variant o3-mini. OpenAI rapporteerde sterke verbeteringen op wiskundewedstrijden zoals de AIME (American Invitational Mathematics Examination, een moeilijke Amerikaanse wiskundewedstrijd voor middelbare scholieren) en op wetenschapsvragen uit de benchmark GPQA Diamond (een verzameling zeer lastige, door experts opgestelde vragen).
DeepSeek-R1 — In januari 2025 bracht het Chinese bedrijf DeepSeek zijn model R1 uit, met open gewichten (de modelparameters zijn vrij te downloaden). R1 zorgde voor internationale ophef, deels omdat het qua redeneerprestaties in de buurt kwam van OpenAI's model tegen naar verluidt veel lagere trainingskosten, en deels omdat het open beschikbaar was — iets wat de grote Amerikaanse aanbieders niet deden.
Claude met extended thinking — Anthropic voegde in februari 2025 aan Claude 3.7 Sonnet een "extended thinking"-modus toe, waarbij gebruikers zelf kunnen instellen hoeveel redeneertijd (en dus rekenbudget) het model mag gebruiken voordat het antwoordt.
Gemini Flash Thinking — Google bracht in december 2024 "Gemini 2.0 Flash Thinking Experimental" uit, een experimentele variant van zijn Gemini-modellen met zichtbare redeneerstappen, later doorontwikkeld in latere Gemini-versies.
Hoe ver is de techniek?
Reasoning-modellen zijn overtuigend beter dan hun voorgangers op benchmarks voor wiskunde, programmeren en formele logica — dat is inmiddels breed gedocumenteerd door meerdere onafhankelijke aanbieders die vergelijkbare resultaten laten zien. Tegelijkertijd is dit een zeer jong deelgebied, en zijn er belangrijke, eerlijke kanttekeningen te plaatsen.
Ten eerste kost een langer redeneerblok meer rekentijd en geld: gebruikers merken dit als hogere latency (het duurt langer voordat je een antwoord krijgt) en hogere kosten per vraag. Sommige modellen "overdenken" bovendien simpele vragen — ze produceren een lang redeneerblok voor iets dat evengoed direct beantwoord had kunnen worden.
Ten tweede is er het zogeheten faithfulness-probleem: onderzoek wijst uit dat het getoonde redeneerblok niet altijd exact weergeeft wat er intern in het model gebeurt. Het kan een plausibel klinkende, achteraf opgestelde verklaring zijn in plaats van een letterlijke weergave van het besluitvormingsproces. Dat betekent dat je een redeneerblok niet blindelings mag vertrouwen als volledig eerlijk verslag van hoe het model tot zijn antwoord kwam.
Ten derde speelt bij de reinforcement-learning-training het risico van reward hacking: het model kan manieren vinden om de beloningsfunctie (het signaal waarmee het tijdens training "goed" of "fout" te horen krijgt) te bevredigen zonder dat dit overeenkomt met echt beter redeneren — bijvoorbeeld door patronen te vinden die toevallig vaak tot een hoge beloning leiden. En ten slotte kunnen ook binnen het redeneerblok zelf hallucinaties optreden: het model kan met overtuiging onjuiste tussenstappen "bedenken" die er logisch uitzien maar feitelijk onjuist zijn.
Kortom: de vooruitgang is reëel en meetbaar, maar het is nog geen opgelost probleem, en de ontwikkeling gaat momenteel razendsnel — wat vandaag state-of-the-art is, kan over een half jaar alweer achterhaald zijn.
Wie werken eraan?
De belangrijkste aanjagers zijn een klein aantal grote AI-bedrijven. OpenAI (Verenigde Staten) introduceerde met o1 het eerste breed bekende commerciële reasoning-model. DeepSeek (China) zorgde met het open-source R1 voor een schokgolf in de sector en liet zien dat ook buiten de Amerikaanse grootmachten geavanceerde reasoning-modellen ontwikkeld kunnen worden. Anthropic (Verenigde Staten) bouwde de extended-thinking-functie in Claude, en Google DeepMind (Verenigde Staten/Verenigd Koninkrijk) ontwikkelt de Gemini-modellen met thinking-varianten. De academische basis van het hele veld ligt bij het chain-of-thought-onderzoek van Google Research uit 2022.
Omdat reasoning-prestaties inmiddels gelden als een belangrijke graadmeter voor de kracht van een AI-model, is dit ook een terrein geworden waarop de bredere geopolitieke concurrentie tussen de Verenigde Staten en China rond AI zichtbaar wordt — DeepSeek-R1 werd in januari 2025 expliciet gelezen als signaal dat Chinese laboratoria op dit vlak dicht bij de Amerikaanse koplopers zitten.