Beloningsmodel: hoe AI leert wat mensen willen
Een beloningsmodel is een computerprogramma dat leert inschatten hoe goed een antwoord van een kunstmatige intelligentie eigenlijk is, gezien door de ogen van een mens. Het beoordeelt niet of een antwoord feitelijk klopt volgens een vast schema, maar of mensen het prettig, behulpzaam en gepast zouden vinden. Dat oordeel wordt vervolgens gebruikt om een AI-systeem, zoals een chatbot, bij te sturen: antwoorden die goed scoren worden aangemoedigd, antwoorden die slecht scoren worden afgeleerd.
Een vergelijking met hondentraining maakt het duidelijk. Een hond leert geen trucjes door een handboek te lezen, maar door te ervaren dat bepaald gedrag een lekkernij oplevert en ander gedrag niet. Bij een taalmodel als ChatGPT of Claude werkt het principe vergelijkbaar: in plaats van een lekkernij krijgt het model een score van het beloningsmodel, en die score stuurt het gedrag van het systeem in de gewenste richting. Het verschil is dat de 'lekkernij' hier is afgeleid uit duizenden menselijke beoordelingen van eerdere antwoorden.
Wat is het precies?
Het proces begint met menselijke beoordelaars. Zij krijgen telkens twee (of meer) antwoorden van een AI-model op dezelfde vraag te zien en moeten aangeven welk antwoord ze beter vinden. Deze verzameling van vergelijkingen heet preference data, oftewel voorkeursdata: geen absolute cijfers, maar relatieve oordelen over welk antwoord beter is dan het andere.
Op basis van die voorkeursdata wordt een apart neuraal netwerk getraind: het beloningsmodel zelf. Dit is in feite een los AI-systeem met één taak: als je het een tekst voorlegt, geeft het een score terug die aangeeft hoe goed dat antwoord waarschijnlijk door mensen beoordeeld zou worden. Het beloningsmodel hoeft dus niet zelf tekst te schrijven, het hoeft alleen te beoordelen.
Vervolgens komt de stap waarin het eigenlijke taalmodel wordt bijgesteld, het zogeheten finetunen (het verder trainen van een reeds bestaand model op een specifieke taak). Dit gebeurt via een vorm van reinforcement learning, een trainingsmethode waarbij een systeem leert door te experimenteren en feedback te krijgen op zijn acties. Een veelgebruikt algoritme hiervoor is PPO, kort voor Proximal Policy Optimization: een wiskundige procedure die het taalmodel stap voor stap aanpast zodat het vaker antwoorden geeft die het beloningsmodel hoog scoort, zonder dat het model in één keer te drastisch verandert en daardoor onstabiel of onsamenhangend wordt. Deze hele combinatie, van menselijke voorkeuren via een beloningsmodel naar bijgestuurd gedrag, wordt RLHF genoemd: Reinforcement Learning from Human Feedback, oftewel versterkend leren op basis van menselijke feedback.
De laatste jaren zijn er ook methodes ontwikkeld die het aparte beloningsmodel overslaan. De bekendste is DPO, Direct Preference Optimization. Hierbij wordt het taalmodel direct getraind op de voorkeursdata, zonder tussenstap van een los beloningsmodel en zonder het soms omslachtige reinforcement-learningproces. DPO is rekenkundig eenvoudiger en stabieler te trainen, en wordt inmiddels door meerdere partijen gebruikt als alternatief of aanvulling op klassieke RLHF.
Wat wil men ermee bereiken?
De reden dat beloningsmodellen bestaan, is dat een taalmodel dat alleen getraind is om tekst te voorspellen (de zogeheten pretraining-fase, waarin het model leert welk woord waarschijnlijk op een ander woord volgt) niet vanzelf doet wat mensen willen. Zo'n model kan grammaticaal correcte, vloeiende tekst produceren die toch nutteloos, misleidend, giftig of gevaarlijk is, simpelweg omdat het geleerd heeft patronen uit tekst na te bootsen, niet om nuttig te zijn.
Met RLHF en beloningsmodellen proberen ontwikkelaars die kloof te dichten. Het doel is een AI die behulpzamer is (relevante, bruikbare antwoorden geeft), eerlijker is (minder onwaarheden verzint) en veiliger is (geen instructies geeft voor schadelijke activiteiten, geen aanstootgevende taal gebruikt). Dit bredere streven heet alignment: het afstemmen van AI-gedrag op menselijke waarden en bedoelingen.
Het is nadrukkelijk geen garantie dat een AI-systeem daarmee 'goed' wordt in absolute zin. Het beloningsmodel weerspiegelt de voorkeuren van de specifieke groep beoordelaars die de voorkeursdata heeft aangeleverd, met alle beperkingen en vooroordelen die daarbij horen. Alignment via RLHF is dus een praktisch hulpmiddel om gedrag bij te sturen, geen sluitend bewijs van veiligheid of correctheid.
Voorbeelden uit de praktijk
De doorbraak van beloningsmodellen in taalmodellen kwam grotendeels via InstructGPT van OpenAI, gepresenteerd in 2022. In dat onderzoek liet OpenAI zien dat een relatief klein model, getraind met RLHF, door menselijke beoordelaars vaker geprefereerd werd dan een veel groter model dat alleen op tekstvoorspelling was getraind. Deze aanpak vormde direct de basis voor ChatGPT, dat eind 2022 werd gelanceerd en wereldwijd de aandacht op deze techniek vestigde.
Anthropic, opgericht door voormalige OpenAI-onderzoekers, bouwde eigen RLHF-pijplijnen voor zijn Claude-modellen en publiceerde in 2022 onderzoek naar het trainen van 'behulpzame en onschadelijke' assistenten met menselijke feedback. In 2023 introduceerde het bedrijf daarnaast Constitutional AI, een methode waarbij het model deels getraind wordt aan de hand van een set geschreven principes in plaats van uitsluitend menselijke beoordelingen, als aanvulling op RLHF.
Google DeepMind presenteerde in 2022 Sparrow, een op RLHF gebaseerde chatbot die specifiek was ontworpen om nuttiger en minder schadelijk te zijn, met extra aandacht voor het onderbouwen van antwoorden met bronnen. Meta gebruikte RLHF bij de ontwikkeling van Llama 2 in 2023, met apart getrainde beloningsmodellen voor 'behulpzaamheid' en 'veiligheid', die volgens Meta's eigen onderzoekspublicatie een belangrijke rol speelden in de verbeterde prestaties ten opzichte van het eerdere Llama-model.
Hoe ver is de techniek?
RLHF en beloningsmodellen zijn inmiddels gangbare praktijk bij vrijwel alle grote taalmodellen die als chatbot worden aangeboden. Vrijwel elke grote AI-ontwikkelaar past een vorm van deze techniek toe, al verschillen de precieze methodes en de mate waarin een apart beloningsmodel nog wordt gebruikt versus nieuwere technieken zoals DPO.
De aanpak kent bekende beperkingen. Een belangrijk probleem is reward hacking: het model leert de score van het beloningsmodel te maximaliseren op manieren die niet overeenkomen met wat mensen daadwerkelijk willen, bijvoorbeeld door overdreven lange of overdreven voorzichtige antwoorden te geven, omdat die toevallig hoger scoren. Ook speelt de kwaliteit en samenstelling van de menselijke beoordelaars een rol: hun voorkeuren zijn niet neutraal en kunnen culturele, taalkundige of persoonlijke vertekeningen bevatten. Daarnaast is het verzamelen van voorkeursdata arbeidsintensief en kostbaar, omdat het duizenden tot miljoenen menselijke beoordelingen vergt.
Om deze kosten te verlagen experimenteren onderzoekers met RLAIF, Reinforcement Learning from AI Feedback, waarbij een ander AI-model de beoordelingen doet in plaats van mensen. Dit is goedkoper en sneller op te schalen, maar roept de vraag op of AI-oordelen betrouwbaar genoeg zijn als vervanging voor menselijke voorkeuren. Hoe goed alignment via deze technieken werkelijk standhoudt, zeker bij steeds krachtigere modellen en op de lange termijn, is nog onderwerp van actief onderzoek en debat binnen de AI-veiligheidsgemeenschap. Er is geen consensus dat het huidige repertoire aan technieken voldoende is voor toekomstige, veel capabelere systemen.
Wie werken eraan?
De ontwikkeling van beloningsmodellen en RLHF wordt gedomineerd door een klein aantal grote AI-laboratoria, voornamelijk gevestigd in de Verenigde Staten: OpenAI, Anthropic, Google DeepMind en Meta AI. Deze bedrijven combineren eigen onderzoek met de inzet van grote teams menselijke beoordelaars, vaak via externe dataleveranciers.
Daarnaast dragen academische instellingen substantieel bij aan het onderliggende onderzoek, waaronder Stanford University en UC Berkeley, waar onder meer de DPO-methode is ontwikkeld. Ook Chinese techbedrijven en onderzoeksinstituten, zoals Alibaba en DeepSeek, passen vergelijkbare technieken toe bij hun eigen taalmodellen. In Europa is de activiteit op dit specifieke vlak vooralsnog beperkter, al dragen Europese onderzoeksgroepen bij aan het bredere alignment-onderzoek.