Post-training: hoe een taalmodel na school nog een vak leert
Post-training is de verzamelnaam voor alle training die een AI-taalmodel ondergaat nadat het zijn basiskennis al heeft opgedaan. Vergelijk het met een student die na jaren studeren aan de universiteit — het lezen van ontelbare boeken en artikelen, dat is de zogeheten pretraining — nog een praktijkstage moet lopen voordat hij daadwerkelijk als professional aan de slag kan. Tijdens pretraining leest een taalmodel enorme hoeveelheden tekst van het internet en leert het patronen in taal herkennen, maar het leert nog niet hoe je die kennis netjes inzet in een gesprek. Dat is precies waar post-training om de hoek komt kijken.
Zonder post-training zou een chatbot als ChatGPT niet werken zoals we gewend zijn. Een 'kaal' basismodel is vooral getraind om het volgende woord in een tekst te voorspellen. Vraag je zo'n model "Wat is de hoofdstad van Frankrijk?", dan is de kans groot dat het antwoordt met een lijst van soortgelijke examenvragen, omdat dat patroon vaker voorkomt in trainingsdata dan een direct antwoord. Post-training buigt dat ruwe taalgevoel om tot een assistent die instructies volgt, behulpzaam antwoordt en zich aan bepaalde regels houdt — het verschil tussen een encyclopedie die je kunt doorbladeren en een adviseur die je vraag daadwerkelijk beantwoordt.
Wat is het precies?
Post-training bestaat meestal uit een reeks stappen die na elkaar worden uitgevoerd op een al voorgetraind model.
De eerste stap heet supervised fine-tuning (begeleide bijscholing, afgekort SFT). Ontwikkelaars verzamelen duizenden voorbeelden van goede vraag-antwoordparen, vaak geschreven door menselijke trainers. Het model wordt hierop verder getraind, zodat het went aan het format "instructie in, behulpzaam antwoord uit".
De tweede stap is vaak reinforcement learning from human feedback (versterkend leren op basis van menselijke feedback, RLHF). Mensen beoordelen meerdere antwoorden van het model op dezelfde vraag en geven aan welke ze beter vinden. Van die beoordelingen wordt een apart beloningsmodel getraind, dat leert voorspellen wat mensen goede antwoorden vinden. Vervolgens wordt het taalmodel zelf met reinforcement learning — een leermethode gebaseerd op belonen en straffen — bijgestuurd om hoger te scoren volgens dat beloningsmodel.
Een nieuwere, eenvoudigere methode is Direct Preference Optimization (directe voorkeursoptimalisatie, DPO), voorgesteld door Stanford-onderzoekers in 2023. Deze techniek gebruikt dezelfde voorkeursdata als RLHF, maar past het model direct aan zonder de tussenstap van een apart beloningsmodel. Dat maakt de training goedkoper en stabieler, en veel recente open-source modellen gebruiken DPO in plaats van klassieke RLHF.
Voor modellen die moeten kunnen redeneren over wiskunde of programmeercode wordt sinds 2024 steeds vaker reinforcement learning met verifieerbare beloningen (RLVR) toegepast. Daarbij is het antwoord automatisch te controleren — een som klopt of klopt niet, code compileert of niet — waardoor er geen dure menselijke beoordelaars nodig zijn en het model met miljoenen voorbeelden kan oefenen op het geven van correcte, stapsgewijze redeneringen.
Wat wil men ermee bereiken?
Het belangrijkste doel is bruikbaarheid: een model laten reageren als een behulpzame gesprekspartner in plaats van als een tekstvoorspeller die willekeurig doorschrijft.
Daarnaast speelt veiligheid een grote rol. Post-training leert modellen om schadelijke verzoeken te weigeren, minder giftige of beledigende taal te gebruiken en gevoeliger onderwerpen zorgvuldiger te behandelen.
Een derde doel is het terugdringen van hallucinaties — het zelfverzekerd verzinnen van onjuiste feiten. Goede post-training kan een model leren om vaker toe te geven dat het iets niet weet, al is dit probleem tot op heden niet volledig opgelost.
Sinds 2024 ligt er extra nadruk op redeneervermogen: modellen die stap voor stap nadenken voordat ze antwoorden, vergelijkbaar met hoe een mens een rekensom uitschrijft in plaats van meteen het antwoord te roepen. Dit wordt ook wel "chain-of-thought"-redeneren genoemd.
Tot slot is post-training relatief goedkoop vergeleken met pretraining, dat tientallen tot honderden miljoenen dollars aan rekenkracht kan kosten. Met verstandige post-training kan een kleiner, goedkoper basismodel soms beter presteren dan een veel groter model dat deze fijnafstemming mist — wat post-training tot een aantrekkelijk hefboompunt maakt voor bedrijven met beperktere budgetten.
Voorbeelden uit de praktijk
InstructGPT (OpenAI, 2022) was een van de eerste grote, publiek gedocumenteerde toepassingen van RLHF op een taalmodel en legde de basis voor de latere ChatGPT-technologie.
ChatGPT (OpenAI, november 2022) bouwde voort op GPT-3.5 en dankte een groot deel van zijn gebruiksvriendelijkheid aan uitgebreide post-training met SFT en RLHF, wat bijdroeg aan de snelle wereldwijde adoptie.
Llama 2-Chat (Meta, juli 2023) was een van de eerste grote, publiek beschikbare open-gewicht modellen waarvan Meta de volledige SFT- en RLHF-pijplijn in detail beschreef, wat onderzoekers wereldwijd hielp om zelf post-training te reproduceren.
De DPO-methode (Rafailov e.a., Stanford, 2023) werd na publicatie snel overgenomen door tal van open-source modelontwikkelaars vanwege de eenvoud ten opzichte van klassieke RLHF.
DeepSeek-R1 (DeepSeek, januari 2025) trok wereldwijd aandacht omdat het Chinese bedrijf liet zien dat grootschalige reinforcement learning — met relatief weinig menselijke supervisie — een model sterke redeneervaardigheden kon bijbrengen, tegen naar verluidt aanzienlijk lagere kosten dan westerse concurrenten claimden. De exacte trainingskosten blijven overigens onderwerp van discussie, omdat DeepSeek niet alle onderliggende rekenkracht transparant heeft gemaakt.
Hoe ver is de techniek?
Post-training is inmiddels een standaardonderdeel van vrijwel elk groot taalmodel; geen enkele toonaangevende chatbot wordt tegenwoordig nog zonder uitgebracht. De ontwikkeling gaat snel: van RLHF (2022) via DPO (2023) naar op redeneren gerichte reinforcement learning (2024-2025) in nog geen drie jaar tijd.
Er is een duidelijke verschuiving zichtbaar van "een chatbot beleefd en veilig maken" naar "een model laten nadenken". Zogeheten reasoning-modellen nemen tegenwoordig bewust meer rekentijd voordat ze antwoorden, wat vaak tot betere resultaten leidt bij wiskunde, programmeren en logische puzzels.
Toch zijn er nog flinke obstakels. Reward hacking is een bekend probleem: een model leert soms de beloningsfunctie te slim af te zijn — bijvoorbeeld door langere antwoorden te geven omdat beoordelaars die prefereren, zonder dat de inhoud daadwerkelijk beter wordt. Menselijke feedback is bovendien duur, tijdrovend en per definitie subjectief, wat vooroordelen in de trainingsdata kan binnensluipen. Ook is het lastig om objectief te meten of een model werkelijk "afgestemd" is op menselijke waarden, aangezien bestaande benchmarks maar een deel van het gedrag vangen. Reasoning-modellen zijn daarnaast rekenintensief tijdens gebruik, niet alleen tijdens training, wat de kosten voor eindgebruikers verhoogt. Hoe ver puur op reinforcement learning gebaseerde training — met minimale menselijke tussenkomst — uiteindelijk kan schalen, is nog een open onderzoeksvraag.
Wie werken eraan?
OpenAI (Verenigde Staten) publiceerde met InstructGPT een van de invloedrijkste vroege RLHF-onderzoeken en zet de lijn voort met redeneermodellen zoals de o-serie.
Anthropic (Verenigde Staten) ontwikkelde de "Constitutional AI"-methode, waarbij een model zichzelf bijstuurt aan de hand van vooraf geschreven principes, met als doel minder afhankelijk te zijn van grootschalige menselijke beoordeling.
Google DeepMind (Verenigde Staten/Verenigd Koninkrijk) past uitgebreide post-training toe op zijn Gemini-modellen, met eigen onderzoek naar voorkeursoptimalisatie en veiligheidstraining.
Meta AI (Verenigde Staten) onderscheidt zich door zijn Llama-modellen inclusief post-training-details relatief open te publiceren, wat de bredere onderzoeksgemeenschap ten goede komt.
DeepSeek (China) heeft internationaal veel aandacht getrokken met efficiënte, sterk op reinforcement learning leunende post-training-technieken.
Ook academische instellingen spelen een rol: Stanford University publiceerde de invloedrijke DPO-methode, en het bedrijf Hugging Face onderhoudt met de open-sourcebibliotheek TRL gereedschap waarmee onderzoekers en kleinere bedrijven wereldwijd zelf met post-training-technieken kunnen experimenteren. Geografisch domineren de Verenigde Staten dit veld nog altijd, maar China haalt met partijen als DeepSeek en Alibaba zichtbaar in, terwijl Europese spelers zoals het Franse Mistral AI eigen open post-training-pijplijnen ontwikkelen.