GRPO: hoe DeepSeek AI leerde redeneren zonder duur criticusmodel
Stel je een leerling voor die wiskundesommen oefent. In plaats van na elke som feedback te krijgen van een dure privéleraar, laat de leerling steeds vier of acht verschillende oplossingen voor dezelfde som zien, en vergelijkt hij zelf welke antwoorden goed en fout waren. De sommen die beter uitpakten dan het groepsgemiddelde worden extra beloond, de zwakkere juist afgestraft. Zo leert de leerling zonder dat er voortdurend een aparte beoordelaar nodig is. Dat is in essentie wat GRPO doet, maar dan met een taalmodel in plaats van een leerling.
GRPO staat voor Group Relative Policy Optimization, een trainingsmethode voor AI-taalmodellen die begin 2024 werd voorgesteld door het Chinese bedrijf DeepSeek AI. De techniek werd wereldwijd bekend doordat ze een sleutelrol speelde in DeepSeek-R1, het redeneermodel waarmee DeepSeek in januari 2025 voor een schokgolf zorgde in de AI-wereld. GRPO is geen taalmodel op zich, maar een stukje 'trainingsgereedschap': een manier om een bestaand model via reinforcement learning (leren door beloning en straf) beter te maken in taken met een duidelijk goed of fout antwoord, zoals wiskunde en programmeren.
Wat is het precies?
Om GRPO te begrijpen, helpt het om eerst de gangbare aanpak te kennen: PPO (Proximal Policy Optimization). Bij PPO leert een AI-model, de 'policy' genoemd, door herhaaldelijk antwoorden te genereren en daarvoor een beloning te krijgen. Om te bepalen hoe goed een antwoord écht was, gebruikt PPO een tweede, apart getraind model: het critic-model of waardemodel. Dat schat in hoeveel beloning een bepaalde situatie normaal gesproken oplevert, zodat het systeem weet of een resultaat meevalt of tegenvalt ten opzichte van de verwachting.
Het probleem: dat critic-model is meestal ongeveer even groot en rekenintensief als het taalmodel dat je eigenlijk wilt trainen. Je hebt dus in feite twee zware modellen tegelijk in geheugen en training, wat veel rekenkracht en geheugen kost.
GRPO laat dat aparte critic-model gewoon weg. In plaats daarvan werkt het met groepen: voor één en dezelfde vraag of opdracht laat het model niet één, maar meerdere antwoorden genereren, bijvoorbeeld acht verschillende pogingen om een wiskundeprobleem op te lossen. Elk van die antwoorden krijgt een beloning, vaak op basis van een simpele, controleerbare regel: is de eindeis correct, ja of nee? Compileert de code zonder fouten?
Vervolgens wordt binnen die groep het gemiddelde en de spreiding van de beloningen berekend. Een individueel antwoord wordt dan beoordeeld ten opzichte van de rest van de groep: presteerde het beter dan gemiddeld, dan wordt het model gestimuleerd om vaker zulke antwoorden te produceren; presteerde het slechter, dan wordt dat gedrag afgezwakt. Deze relatieve score heet de 'advantage' (voordeel), en omdat die simpelweg wordt afgeleid uit de groep zelf, is er geen apart, duur waardemodel meer nodig.
Verder bevat GRPO, net als PPO, een ingebouwde rem: de zogeheten KL-divergentiestraf. Die zorgt ervoor dat het model tijdens het trainen niet te ver afwijkt van zijn oorspronkelijke gedrag, wat de training stabieler maakt en voorkomt dat het model 'doorslaat' naar bizar of onbedoeld gedrag om maar hoge beloningen te scoren.
Wat wil men ermee bereiken?
Het hoofddoel van GRPO is simpel te formuleren maar lastig te realiseren: AI-modellen beter laten redeneren, tegen lagere kosten. Reinforcement learning met grote taalmodellen was voor de introductie van GRPO al gangbaar, vooral in de vorm van RLHF (Reinforcement Learning from Human Feedback), de techniek waarmee onder meer ChatGPT werd afgestemd op menselijke voorkeuren. Maar RLHF met PPO is rekenkundig zwaar, mede door dat aparte critic-model.
DeepSeek wilde training van redeneermodellen goedkoper en toegankelijker maken, met name voor taken waarbij je het antwoord objectief kunt controleren: klopt de wiskundige uitkomst, werkt de geschreven code, is de logische redenering sluitend? Voor dat soort taken is een complex, geleerd beloningsmodel eigenlijk overbodig: een simpele regel ('is het antwoord correct: ja/nee') volstaat al als beloningssignaal. GRPO is toegesneden op precies dat scenario.
Een tweede, opvallende belofte die uit het onderzoek naar voren kwam: door puur op deze manier te trainen, zonder eerst uitgebreide voorbeeldantwoorden van mensen te tonen (supervised fine-tuning), bleek een model als DeepSeek-R1-Zero spontaan gedrag te ontwikkelen dat op menselijk redeneren lijkt, zoals het controleren van eigen tussenstappen, het heroverwegen van een aanpak, of het opsplitsen van een probleem in kleinere stukken. Dat gedrag ontstond niet omdat het model dat werd voorgedaan, maar omdat het simpelweg de meeste beloning opleverde.
Voorbeelden uit de praktijk
Het duidelijkste voorbeeld is DeepSeekMath (2024), het model waarin GRPO voor het eerst werd beschreven en toegepast om wiskundige redeneervaardigheden te verbeteren bij een relatief compact model.
Het bekendste voorbeeld is DeepSeek-R1 en zijn variant DeepSeek-R1-Zero, uitgebracht in januari 2025. R1-Zero werd vrijwel volledig getraind met GRPO-gebaseerde reinforcement learning, zonder de gebruikelijke voorafgaande fase van begeleide training op menselijke voorbeelden. Het volwaardige DeepSeek-R1 combineerde dat vervolgens met enkele aanvullende trainingsstappen voor betere leesbaarheid en consistentie.
Na de release van DeepSeek-R1 pakte het Open-R1-project van Hugging Face de aanpak op om in open source te reproduceren wat DeepSeek had gedaan, inclusief een eigen implementatie van GRPO. Hugging Face nam GRPO ook op in zijn veelgebruikte trainingsbibliotheek TRL (Transformer Reinforcement Learning), waardoor onderzoekers en ontwikkelaars overal ter wereld de techniek relatief eenvoudig konden toepassen op hun eigen modellen.
Ook andere partijen in het open-source-AI-landschap, zoals ontwikkelaars rond het Qwen-model van Alibaba, experimenteerden met GRPO-achtige trainingsschema's om redeneervaardigheden van eigen modellen te verbeteren, in het spoor van het succes van DeepSeek-R1.
Hoe ver is de techniek?
GRPO is inmiddels een gevestigde, veelgebruikte methode binnen de reinforcement-learningtoolkit voor taalmodellen, met name voor taken met objectief verifieerbare antwoorden. De opname in bibliotheken als TRL heeft de drempel om ermee te experimenteren flink verlaagd: het is geen exotisch onderzoeksprototype meer, maar praktisch gereedschap.
Tegelijk zijn er reële beperkingen en open vragen. GRPO werkt het best wanneer beloningen betrouwbaar en goed te automatiseren zijn, zoals bij wiskunde en code. Bij vagere taken, waar 'goed' lastiger te definiëren is, is de meerwaarde minder duidelijk en blijft een vorm van menselijke feedback vaak nodig. Onderzoekers wijzen ook op risico's als reward hacking: het model vindt een manier om hoog te scoren op de beloningsregel zonder dat de uitkomst werkelijk beter is, bijvoorbeeld door een format te forceren dat toevallig hoog scoort. De keuze van de groepsgrootte (hoeveel antwoorden je per prompt genereert) is bovendien een afweging tussen rekenkosten en trainingsstabiliteit, waar nog geen eenduidig optimum voor is vastgesteld.
Sinds de introductie zijn er ook varianten en aanpassingen van GRPO voorgesteld door verschillende onderzoeksgroepen, gericht op het verder verbeteren van stabiliteit en efficiëntie. Dat wijst erop dat het veld nog volop in ontwikkeling is, ook al staat de kernaanpak inmiddels stevig.
Wie werken eraan?
DeepSeek AI, het Chinese bedrijf achter de techniek (voortgekomen uit het kwantitatieve hedgefonds High-Flyer), blijft de belangrijkste drijvende kracht en past GRPO onder meer toe in de DeepSeek-R1-modellenreeks. Daarnaast speelt Hugging Face, het Amerikaans-Franse platform voor open-source AI, een grote rol via zijn TRL-bibliotheek en het Open-R1-reproductieproject. Ook Alibaba, met zijn Qwen-modellen, en diverse academische onderzoeksgroepen wereldwijd experimenteren met GRPO en afgeleide methoden om redeneervaardigheden van taalmodellen te verbeteren. Omdat het onderliggende onderzoek publiek gepubliceerd is en veel implementaties open source zijn, is GRPO relatief snel overgenomen door de bredere AI-onderzoeksgemeenschap, in plaats van beperkt te blijven tot één bedrijf.