Trainingsepisode: hoe AI-systemen leren via vallen en opstaan
Een trainingsepisode is één volledige ronde waarin een kunstmatig intelligent systeem iets probeert, van begin tot eind. Denk aan een robotarm die probeert een blokje op te pakken: de episode begint zodra de arm aan de taak begint, en eindigt zodra het blokje is opgepakt, is gevallen, of de tijd om is. Wat er binnen die ene poging gebeurt, elke beweging, elke beslissing, wordt vastgelegd en gebruikt om het systeem bij te schalen.
Het is te vergelijken met hoe een kind leert fietsen. Elke keer dat het kind op de fiets stapt en een stukje rijdt tot het valt of stopt, is dat één leerervaring: een episode. Na honderden van zulke pogingen wordt het steeds beter in balanceren en sturen. Bij AI-systemen gebeurt dit principe miljoenen keren, vaak in een computersimulatie in plaats van in de echte wereld, zodat een algoritme in enkele dagen evenveel "oefentijd" kan opdoen als een mens in meerdere levens.
Wat is het precies?
Het begrip trainingsepisode komt uit een tak van machine learning die reinforcement learning heet, oftewel bekrachtigend leren. Hierbij leert een programma, de agent genoemd, niet door duizenden voorbeelden met het juiste antwoord te bestuderen (zoals bij traditionele beeldherkenning), maar door zelf te experimenteren in een omgeving en daarop feedback te krijgen.
Zo'n episode verloopt stap voor stap. Eerst wordt de omgeving gereset naar een startsituatie. De agent observeert de huidige toestand, bijvoorbeeld de positie van een robotarm of de stand van stukken op een schaakbord. Op basis daarvan kiest de agent een actie. De omgeving reageert daarop met een nieuwe toestand en een beloning, een getal dat aangeeft hoe goed of slecht die actie was. Dit herhaalt zich totdat de episode eindigt: door succes, door mislukking, of omdat een maximaal aantal stappen is bereikt.
Na afloop van een episode, of vaak na duizenden episodes tegelijk, past het onderliggende algoritme zijn interne strategie aan, de zogeheten policy. Acties die tot hoge beloningen leidden, worden waarschijnlijker gemaakt; acties die tot straf of falen leidden, worden minder waarschijnlijk. Door dit cyclische proces van proberen, meten en bijstellen ontstaat geleidelijk steeds slimmer gedrag, zonder dat een programmeur ooit expliciet heeft opgeschreven hoe de taak moet worden uitgevoerd.
Wat wil men ermee bereiken?
Het achterliggende doel is om machines vaardigheden te laten ontwikkelen die te ingewikkeld zijn om met de hand te programmeren. Niemand kan precies uitschrijven welke spiersignalen nodig zijn om te fietsen, en evenmin kan iemand een volledige strategie voor Go of een robothand opschrijven die met elk mogelijk scenario rekening houdt. Door het systeem zelf te laten experimenteren via trainingsepisodes, ontdekt het oplossingen die mensen vaak niet hadden bedacht.
Een tweede drijfveer is kostenbesparing en veiligheid. Een zelfrijdende auto in de praktijk laten oefenen met gevaarlijke situaties is onwenselijk; in een simulatie kunnen duizenden varianten van bijna-ongelukken worden doorlopen zonder risico. Hetzelfde geldt voor robots in fabrieken: liever laat men ze eerst miljoenen keren virtueel "oefenen" voordat ze fysiek materiaal beschadigen.
Ten slotte hoopt men met deze aanpak systemen te bouwen die zich aanpassen aan veranderende omstandigheden, in plaats van vast te lopen zodra de werkelijkheid afwijkt van vooraf bedachte regels. Dat maakt de techniek aantrekkelijk voor robotica, game-AI, energienetwerkbeheer, en recenter ook voor het bijsturen van taalmodellen zoals chatbots.
Voorbeelden uit de praktijk
Een van de bekendste doorbraken was AlphaGo van DeepMind, dat in 2016 de Zuid-Koreaanse grootmeester Lee Sedol versloeg in het bordspel Go. Het systeem speelde miljoenen trainingsepisodes tegen zichzelf om strategieën te verfijnen die mensen in duizenden jaren Go-geschiedenis niet hadden ontdekt.
In 2018 presenteerde OpenAI het project OpenAI Five, dat leerde het complexe teamspel Dota 2 te spelen. Het systeem verzamelde het equivalent van honderden jaren speelervaring per dag, verdeeld over duizenden parallelle episodes op clusters van computers.
DeepMind volgde in 2019 met AlphaStar, een systeem dat op hoog niveau het strategiespel StarCraft II leerde spelen, eveneens via zelfspel in talloze episodes tegen verschillende versies van zichzelf.
Ook in de robotica is het principe toegepast: OpenAI's project Dactyl (2019) leerde een robothand met menselijke vingers een kubus manipuleren, getraind in een gesimuleerde omgeving voordat het gedrag werd overgezet naar een fysieke robothand.
Meer recent gebruiken bedrijven als Waymo grootschalige simulaties waarin zelfrijdende voertuigen dagelijks miljoenen kilometers aan virtuele ritten, opgedeeld in episodes per rit of per verkeerssituatie, doorlopen om zeldzame en gevaarlijke situaties te leren herkennen.
Hoe ver is de techniek?
Reinforcement learning met trainingsepisodes werkt inmiddels aantoonbaar goed in afgebakende, goed gesimuleerde omgevingen zoals bordspellen, videogames en sommige robottaken. De rekenkracht die nodig is, is de afgelopen jaren sterk toegenomen dankzij gespecialiseerde simulatiesoftware zoals NVIDIA's Isaac Gym en Omniverse, waarmee duizenden episodes tegelijk op grafische processors kunnen draaien in plaats van na elkaar.
Toch blijven er duidelijke knelpunten. Het grootste probleem is de zogeheten sample-inefficiëntie: veel reinforcement-learningmethoden hebben enorm veel episodes nodig voordat ze iets zinnigs leren, veel meer dan een mens nodig zou hebben. Daarnaast is er de sim-to-real gap: gedrag dat perfect werkt in een simulatie, faalt regelmatig zodra het wordt overgezet naar een echte robot, omdat de echte wereld subtiele fysieke details bevat die een simulatie niet volledig nabootst.
Een ander obstakel is het ontwerpen van de juiste beloningsfunctie. Een te simpel beloningssignaal kan ertoe leiden dat een systeem een loophole vindt en technisch gezien "wint" zonder de bedoelde taak echt te beheersen, een probleem dat onderzoekers reward hacking noemen. Bij de training van moderne chatbots wordt een verwante techniek, reinforcement learning from human feedback (RLHF), gebruikt waarbij menselijke beoordelaars de beloning bepalen; ook daar blijft het precies afstemmen van die beloning een lastig en nog altijd actief onderzoeksterrein.
Wie werken eraan?
DeepMind (onderdeel van Google, Verenigd Koninkrijk) en OpenAI (Verenigde Staten) gelden als de twee onderzoeksinstituten die het veld het meest zichtbaar hebben vormgegeven, met doorbraken in spellen en robotica. NVIDIA levert met Isaac Gym en Omniverse de rekeninfrastructuur waarmee grote aantallen trainingsepisodes parallel kunnen draaien, en werkt nauw samen met robotica-bedrijven.
Op het gebied van robotica zijn onder meer Boston Dynamics en het Nederlandse-Amerikaanse bedrijf Covariant actief met simulatiegebaseerd trainen van grijprobots voor magazijnen. In de autonome-voertuigensector investeren Waymo en Tesla fors in simulatieomgevingen om rij-AI te trainen op schaal.
Op academisch vlak spelen onderzoeksgroepen zoals het Robotic AI & Learning Lab (RAIL) aan UC Berkeley en het Computer Science and Artificial Intelligence Laboratory (CSAIL) van MIT een belangrijke rol in het fundamentele onderzoek naar reinforcement learning. Ook Chinese techbedrijven en onderzoeksinstellingen, waaronder Huawei's Noah's Ark Lab, investeren actief in deze technieken, vooral gericht op robotica en autonome systemen.