RLHF: hoe AI-modellen leren van menselijke feedback
RLHF staat voor Reinforcement Learning from Human Feedback, oftewel versterkend leren op basis van menselijke feedback. Het is de techniek waarmee bedrijven als OpenAI en Anthropic hun taalmodellen, zoals ChatGPT en Claude, trainen om antwoorden te geven die mensen daadwerkelijk prettig, behulpzaam en veilig vinden. Zonder RLHF zou een taalmodel weliswaar vloeiende zinnen kunnen produceren, maar niet per se doen wat de gebruiker eigenlijk bedoelt.
Een handige analogie: stel je een chef-kok voor die duizenden kookboeken uit zijn hoofd heeft geleerd, maar nog nooit een klant heeft geproefd wat hij kookt. Hij kan technisch perfecte gerechten maken, maar weet niet of mensen ze ook lekker vinden. RLHF is te vergelijken met het moment waarop die kok gerechten aan proefpanels voorlegt, hun voorkeuren noteert, en zijn recepten daarop aanpast. Zo leert het model niet alleen taal, maar ook smaak: welke antwoorden mensen daadwerkelijk waarderen.
Wat is het precies?
RLHF is geen losse techniek maar een meerstaps-proces dat bovenop een al bestaand taalmodel wordt toegepast. Het begint met een voorgetraind taalmodel: een systeem dat op enorme hoeveelheden tekst van het internet heeft geleerd om taal te voorspellen en te genereren. Dit model kan al goed schrijven, maar reageert nog niet noodzakelijk op de manier die mensen wensen; het kan bijvoorbeeld vage, onveilige of ongewenste antwoorden geven.
De eerste stap is supervised fine-tuning (begeleide bijscholing): menselijke medewerkers schrijven voorbeelden van goede antwoorden op typische vragen, en het model wordt hierop verder getraind. Dit geeft het model een eerste richting, maar dekt lang niet alle mogelijke situaties.
De tweede stap is het trainen van een reward model (beloningsmodel). Hierbij krijgt het taalmodel dezelfde vraag meerdere keren voorgelegd en genereert het meerdere mogelijke antwoorden. Menselijke beoordelaars rangschikken deze antwoorden van beste naar slechtste. Op basis van duizenden van dit soort rangschikkingen wordt een apart model getraind dat leert voorspellen welk antwoord een mens waarschijnlijk zou verkiezen. Dit reward model fungeert vervolgens als een soort automatische smaakbeoordelaar.
In de derde stap wordt het oorspronkelijke taalmodel verder getraind met reinforcement learning, meestal met een algoritme genaamd PPO (Proximal Policy Optimization). Het model genereert antwoorden, het reward model geeft daar een score aan, en het taalmodel wordt bijgesteld om vaker hoog scorende antwoorden te produceren. Om te voorkomen dat het model te ver afdrijft van zijn oorspronkelijke taalvaardigheid, of juist gaat 'spelen' met het beloningssysteem, wordt een zogeheten KL-penalty toegevoegd: een wiskundige rem die het nieuwe model dicht bij het gedrag van het oorspronkelijke model houdt.
Wat wil men ermee bereiken?
Het achterliggende doel van RLHF valt vaak onder de noemer alignment: het zo goed mogelijk laten aansluiten van AI-gedrag op menselijke bedoelingen en waarden. Onderzoekers vatten dit vaak samen in drie eigenschappen die een model zou moeten hebben: behulpzaam, eerlijk en onschadelijk (in het Engels: helpful, honest, harmless).
Concreet betekent dit dat RLHF wordt ingezet om modellen minder giftige, discriminerende of feitelijk onjuiste antwoorden te laten geven, en om ze beter te laten omgaan met gevoelige onderwerpen, dubbelzinnige vragen of verzoeken om schadelijke informatie. Zonder deze afstelling zouden chatbots voor een breed publiek eigenlijk niet bruikbaar zijn: ze zouden te onvoorspelbaar, onbeleefd of soms zelfs gevaarlijk kunnen reageren. RLHF is daarmee niet zozeer bedoeld om een model slimmer te maken, maar om het stuurbaarder en socialer te maken.
Voorbeelden uit de praktijk
De techniek werd voor het eerst op grote schaal zichtbaar in het onderzoek van OpenAI en DeepMind rond 2017, in het paper Deep Reinforcement Learning from Human Preferences. De doorbraak in taalmodellen kwam met InstructGPT van OpenAI in 2022, beschreven in het paper van Ouyang en collega's. Dit model, getraind met RLHF om beter aan te sluiten bij gebruikersinstructies, vormde de directe basis voor ChatGPT, dat in november 2022 werd gelanceerd en wereldwijd doorbrak.
Anthropic, opgericht door voormalige OpenAI-onderzoekers, gebruikt voor zijn Claude-modellen eveneens RLHF, aangevuld met een eigen methode genaamd Constitutional AI (2022). Hierbij wordt een deel van de menselijke feedback vervangen door feedback die het AI-systeem zelf genereert aan de hand van een set geschreven principes.
Google DeepMind experimenteerde in 2022 met Sparrow, een dialoogsysteem dat via RLHF werd getraind om behulpzamer en feitelijk correcter te zijn, met expliciete aandacht voor het citeren van bronnen. Meta paste in 2023 RLHF toe bij de chat-varianten van Llama 2, om het open-source model geschikter te maken voor gesprekken met gebruikers. Ook nieuwere modellen van onder meer Mistral en Google's Gemini-reeks maken gebruik van vergelijkbare feedback-gebaseerde afstemmingstechnieken.
Hoe ver is de techniek?
RLHF is inmiddels een volwassen en breed toegepaste techniek: vrijwel elk groot commercieel taalmodel dat als chatbot wordt aangeboden, is er in een of andere vorm mee getraind. Toch kent de methode duidelijke beperkingen en openstaande problemen.
Een bekend probleem is reward hacking: het model leert soms trucjes die het reward model hoog laten scoren, zonder dat de output daadwerkelijk beter is. Denk aan antwoorden die overdreven lang, overdreven voorzichtig, of overdreven vleiend zijn omdat menselijke beoordelaars daar in het verleden positief op reageerden.
Daarnaast is RLHF kostbaar en arbeidsintensief: er zijn grote aantallen menselijke beoordelaars nodig om antwoorden te rangschikken. Journalistiek onderzoek heeft aan het licht gebracht dat een deel van dit labelwerk wordt uitbesteed aan laagbetaalde werknemers in landen als Kenia, wat vragen oproept over arbeidsomstandigheden en de ethiek van deze toeleveringsketen. Ook is er een schaalbaarheidsprobleem: naarmate modellen groter en de taken complexer worden, wordt het voor mensen lastiger om betrouwbaar te beoordelen welk antwoord daadwerkelijk beter is.
Deels als reactie hierop zijn er alternatieve methoden in opkomst. DPO (Direct Preference Optimization), voorgesteld door Rafailov en collega's in 2023, optimaliseert een model direct op basis van menselijke voorkeuren, zonder de aparte en foutgevoelige reinforcement-learning-stap. Dit maakt training eenvoudiger en stabieler. Een andere richting is RLAIF (Reinforcement Learning from AI Feedback), waarbij een ander AI-model de beoordelingen doet in plaats van mensen, zoals bij Anthropics Constitutional AI. Dit is goedkoper en schaalbaarder, maar roept de vraag op of AI-feedback dezelfde kwaliteit en morele afweging biedt als menselijke feedback.
Wie werken eraan?
De ontwikkeling van RLHF en verwante technieken wordt gedomineerd door een klein aantal grote AI-laboratoria: OpenAI (ChatGPT, GPT-modellen), Anthropic (Claude), Google DeepMind (Gemini, en eerder Sparrow) en Meta AI (Llama-reeks). Ook het Franse Mistral en Chinese spelers zoals Alibaba en DeepSeek passen vergelijkbare afstemmingstechnieken toe op hun modellen.
Op academisch vlak spelen universiteiten als Stanford een belangrijke rol, onder meer als bakermat van het DPO-onderzoek. Daarnaast houden overheden zich steeds nadrukkelijker bezig met de bredere kwestie van AI-alignment en -veiligheid: in de Verenigde Staten via uitvoeringsbesluiten en het AI Safety Institute, en in de Europese Unie via de AI Act, die eisen stelt aan risicovolle AI-toepassingen. Deze beleidsontwikkelingen grijpen niet direct in op RLHF als techniek, maar vormen wel het bredere kader waarbinnen bedrijven onder toenemende druk staan om aantoonbaar veilige en goed afgestemde modellen te leveren.