Reinforcement learning: leren door vallen, opstaan en beloond worden
Stel je voor dat je een hond een nieuw trucje leert. Je zegt niet precies welke spier hij moet aanspannen of onder welke hoek hij moet springen. In plaats daarvan geef je een snoepje als hij toevallig iets doet dat in de buurt komt van wat je wilt, en niets als hij dat niet doet. Na genoeg pogingen ontdekt de hond zelf welk gedrag steeds tot een beloning leidt. Reinforcement learning, RL (letterlijk 'leren door bekrachtiging'), is de kunstmatige-intelligentietechniek die op precies dit principe is gebaseerd, maar dan voor computers.
In plaats van een hond hebben we een computerprogramma, de 'agent', dat acties uitprobeert in een omgeving en daarvoor af en toe een score krijgt. Er is geen mens die van tevoren aangeeft wat de juiste actie in elke situatie is. De agent moet dat zelf ontdekken door eindeloos te experimenteren, fouten te maken en zijn gedrag bij te stellen op basis van wat wel en niet loont. Deze aanpak ligt onder meer aan de basis van computers die beter dan mensen schaken en Go spelen, van robots die leren lopen, en van chatbots als ChatGPT, die mede dankzij deze techniek zijn bijgeschaafd om prettiger te reageren.
Wat is het precies?
In reinforcement learning draait alles om vier basiselementen: de agent (het lerende systeem), de omgeving (de wereld waarin het opereert, bijvoorbeeld een schaakbord of een simulatie van een fabriekshal), acties (de keuzes die de agent kan maken) en de beloning of reward (een getal dat aangeeft hoe goed of slecht een actie uitpakte). Na elke actie verandert de omgeving van toestand, en de agent probeert een strategie te ontwikkelen, een 'policy' genoemd, die op de lange termijn zoveel mogelijk beloning oplevert.
Wiskundig wordt dit proces vaak beschreven als een Markov Decision Process: een model waarin de volgende toestand alleen afhangt van de huidige toestand en de gekozen actie, niet van wat er daarvoor allemaal gebeurde. Dat klinkt technisch, maar het komt erop neer dat de agent niet de hele voorgeschiedenis hoeft te onthouden om een goede beslissing te nemen, alleen de situatie van dit moment.
Een lastig probleem hierbij is de afweging tussen exploratie en exploitatie. Moet de agent vasthouden aan een strategie die al redelijk werkt (exploitatie), of moet hij af en toe iets nieuws en onzekers proberen, in de hoop dat dit uiteindelijk beter blijkt (exploratie)? Te veel van het een leidt tot gemiste kansen, te veel van het ander tot inefficiënt gedrag.
Reinforcement learning verschilt daarmee wezenlijk van de twee andere hoofdstromingen in machine learning. Bij supervised learning (gesuperviseerd leren) krijgt een systeem duizenden voorbeelden met het juiste antwoord erbij, zoals foto's die al gelabeld zijn als 'kat' of 'hond'. Bij unsupervised learning (ongesuperviseerd leren) zoekt een systeem zelf patronen in ongelabelde data. Bij RL is er geen kant-en-klaar goed antwoord; de agent moet dat via trial-and-error en een simpel beloningssignaal zelf afleiden, wat het vaak trager maar ook flexibeler maakt.
De grote doorbraak van de afgelopen tien jaar is deep reinforcement learning: het combineren van RL met diepe neurale netwerken. Zo'n netwerk kan complexe patronen herkennen in bijvoorbeeld pixels van een game-scherm, waardoor de agent niet meer met simpele tabellen hoeft te werken maar met beelden en andere rijke data kan omgaan. Bekende algoritmes binnen dit veld zijn Q-learning (een van de oudste methoden, uit 1989, waarbij de agent leert hoeveel toekomstige beloning elke actie in elke situatie ongeveer oplevert), policy gradient-methoden (die direct de strategie zelf bijstellen in plaats van eerst waarden te schatten) en PPO (Proximal Policy Optimization, ontwikkeld bij OpenAI in 2017), dat door zijn stabiliteit een van de meest gebruikte algoritmes in de praktijk is geworden.
Wat wil men ermee bereiken?
Het uiteindelijke doel van reinforcement learning is het bouwen van systemen die zelfstandig optimaal leren handelen in complexe, onzekere omgevingen, zonder dat een mens voor elke situatie precies hoeft voor te schrijven wat er moet gebeuren. Dat is aantrekkelijk voor taken die te ingewikkeld zijn om met vaste regels te programmeren, of waarbij de beste strategie vooraf simpelweg niet bekend is.
Denk aan robotica, waar een robotarm moet leren grijpen in een wereld vol variatie en fysica die lastig volledig te modelleren is. Denk aan games en simulaties, waar RL-agents strategieën ontdekken die mensen nooit hadden bedacht. Denk ook aan aanbevelingssystemen, die leren welke volgende video of product iemand waarschijnlijk boeit, aan besturing van energienetwerken en datacenters, en aan financiële handelsstrategieën.
Een relatief nieuwe en invloedrijke toepassing is RLHF, reinforcement learning from human feedback. Hierbij wordt RL niet gebruikt om een spel te winnen, maar om een taalmodel als een chatbot te finetunen op basis van menselijke voorkeuren: mensen beoordelen welke van twee antwoorden beter is, en het model leert daaruit een beloningsmodel dat vervolgens via RL wordt gebruikt om het taalmodel behulpzamer en veiliger te maken.
Voorbeelden uit de praktijk
AlphaGo (DeepMind, maart 2016) versloeg de Zuid-Koreaanse grootmeester Lee Sedol met 4-1 in het bordspel Go, iets wat experts pas jaren later hadden verwacht vanwege de astronomische hoeveelheid mogelijke zetten in dat spel. AlphaGo combineerde diepe neurale netwerken met RL en een zoektechniek genaamd Monte Carlo tree search.
AlphaZero, dat DeepMind eind 2017 presenteerde, ging een stap verder: het leerde schaken, shogi (Japans schaak) en Go volledig door tegen zichzelf te spelen, zonder enige menselijke partij als voorbeeld te gebruiken, en overtrof binnen enkele uren trainingstijd de sterkste bestaande programma's.
MuZero (DeepMind, gepubliceerd in Nature in december 2020) ging nog een stap verder: dit systeem leerde niet alleen Go, schaak en shogi, maar ook tientallen Atari-spellen te spelen zonder dat het de spelregels vooraf kreeg. Het bouwde zelf een intern model van hoe de omgeving werkt.
OpenAI Five versloeg in april 2019 het wereldkampioensteam OG in het complexe teamspel Dota 2, een prestatie die liet zien dat RL ook kan omgaan met samenwerking tussen meerdere agents en met veel langere tijdshorizonnen dan bij bordspellen.
Meest merkbaar voor het grote publiek is de rol van RLHF bij ChatGPT. OpenAI beschreef begin 2022 in het InstructGPT-onderzoek hoe reinforcement learning op basis van menselijke feedback taalmodellen behulpzamer en minder schadelijk maakt; deze aanpak vormde mede de basis voor ChatGPT, dat eind november 2022 werd gelanceerd.
Hoe ver is de techniek?
In afgebakende, volledig gesimuleerde omgevingen zoals bordspellen en videogames presteert reinforcement learning inmiddels op of ver boven menselijk niveau. Daarbuiten, in de fysieke werkelijkheid, liggen de zaken lastiger.
Een eerste obstakel is sample-inefficiëntie: RL-systemen hebben doorgaans miljoenen tot miljarden pogingen nodig om iets te leren. Dat is geen probleem in een snelle computersimulatie, maar wel bij een echte robot, die niet miljoenen keren kan vallen zonder kapot te gaan of onbetaalbaar veel tijd te kosten.
Daarmee samen hangt de sim-to-real gap: veel RL-training voor robots gebeurt in simulaties, maar gedrag dat daar perfect werkt, faalt vaak zodra het wordt overgezet naar een echte robot in een wereld vol wrijving, sensorruis en onverwachte omstandigheden die de simulatie niet volledig vastlegt.
Een ander bekend probleem is reward hacking: een agent optimaliseert precies waarvoor hij beloond wordt, en dat is niet altijd hetzelfde als wat de ontwerper eigenlijk bedoelde. Een systeem kan bijvoorbeeld een slimme, ongewenste kortere weg vinden om score te scoren zonder de taak echt goed uit te voeren. Dit maakt het ontwerpen van een goed beloningssignaal verrassend lastig, en het raakt ook aan bredere vragen over de veiligheid en voorspelbaarheid van RL-systemen naarmate ze krachtiger worden.
Op het gebied van RLHF bij taalmodellen is de vooruitgang sinds 2022 snel gegaan en inmiddels breed toegepast bij grote chatbots, maar ook hier blijven onzekerheden: menselijke beoordelaars zijn niet altijd consistent, en een model kan leren om antwoorden te geven die beoordelaars prettig vinden zonder dat die antwoorden per se feitelijk correct zijn. Kortom, RL is bewezen krachtig in gecontroleerde digitale omgevingen, en veelbelovend maar nog volop in ontwikkeling zodra de echte, rommelige wereld in het spel komt.
Wie werken eraan?
DeepMind (onderdeel van Google/Alphabet, oorspronkelijk voortgekomen uit onderzoek aan University College London in het Verenigd Koninkrijk) geldt als een van de meest toonaangevende spelers, met AlphaGo, AlphaZero en MuZero als bekendste resultaten. OpenAI in de Verenigde Staten is toonaangevend op het gebied van RLHF en grootschalige RL-toepassingen zoals OpenAI Five en de training van ChatGPT. Ook Meta AI (FAIR) doet substantieel onderzoek naar RL, onder meer gericht op robotica en multi-agent systemen.
Aan universiteiten is UC Berkeley, met onderzoekers als Pieter Abbeel en Sergey Levine, een belangrijk centrum voor robotica-gerichte RL. Het vakgebied zelf werd in belangrijke mate gegrondvest door Richard Sutton en Andrew Barto, wiens standaardwerk 'Reinforcement Learning: An Introduction' nog altijd als basistekst geldt. Sutton is verbonden aan de University of Alberta in Canada, dat mede daardoor is uitgegroeid tot een van de belangrijkste RL-onderzoekscentra ter wereld.