Residuele reinforcement learning: bijsturen in plaats van alles opnieuw leren
Stel je een beginnende automonteur voor die niet vanaf nul leert autorijden, maar naast een ervaren instructeur zit die het grootste deel van het rijwerk al doet. De leerling grijpt alleen in wanneer de auto net iets anders moet reageren dan de instructeur voorschrijft: een tikje meer sturen in een bocht, iets eerder afremmen op nat wegdek. De instructeur blijft de basis leveren, de leerling levert de fijnafstelling. Dat is in essentie wat residuele reinforcement learning (residual reinforcement learning, vaak afgekort tot residual RL) doet met computerprogramma's die machines aansturen, zoals robotarmen.
Reinforcement learning (RL, bekrachtigend leren) is een manier van machine learning waarbij een computerprogramma via vallen en opstaan een taak leert: het probeert iets, krijgt een beloning of straf, en past zijn gedrag daarop aan. Dat werkt goed in games, maar is lastig en tijdrovend bij echte robots, die niet duizenden keren tegen een muur mogen botsen om te leren. Residuele RL lost dit deels op door RL niet de hele taak te laten leren, maar alleen het verschil (het 'residu', vandaar de naam) tussen wat een bestaande, eenvoudige besturing al kan en wat er nog nodig is om de taak echt goed te doen.
Wat is het precies?
De basis van residuele RL is een bestaande controller: een besturingssysteem dat al redelijk functioneert, meestal handmatig ontworpen door ingenieurs. Denk aan een klassieke PD-controller (proportioneel-differentiërende regelaar), een veelgebruikt type regeltechniek dat een robotarm laat bewegen naar een doelpositie door voortdurend het verschil tussen huidige en gewenste positie te meten en bij te sturen. Zulke controllers zijn voorspelbaar en veilig, maar hebben moeite met situaties die niet goed in een wiskundig model passen, zoals wrijving, onverwachte weerstand of contact met een vervormbaar object.
Bij residuele RL wordt de uiteindelijke actie van het systeem berekend als de som van twee delen: de actie die de bestaande controller voorstelt, plus een kleine correctie die een RL-algoritme leert. Alleen dat tweede deel, de residuele policy, wordt met bekrachtigend leren getraind. Omdat dit deel meestal klein moet blijven, is de zoekruimte waarin het algoritme moet leren veel kleiner dan wanneer het de hele besturing van nul af aan zou moeten uitvinden.
Dat heeft twee praktische voordelen. Ten eerste leert het systeem sneller, omdat het niet opnieuw hoeft te ontdekken wat de basiscontroller al weet. Ten tweede is het veiliger tijdens het leerproces: zelfs als de RL-correctie in het begin nog waardeloos of licht schadelijk is, zorgt de onderliggende controller ervoor dat de robot niet volledig willekeurig beweegt. Voor het trainen van de residuele policy worden gangbare RL-algoritmen gebruikt, zoals Soft Actor-Critic (SAC) of Proximal Policy Optimization (PPO), technieken die ook in andere RL-toepassingen worden ingezet.
Wat wil men ermee bereiken?
Het achterliggende probleem dat residuele RL probeert op te lossen, is de spanning tussen twee werelden in de besturingstechniek. Klassieke, modelgebaseerde regeltechniek is betrouwbaar en goed te doorgronden, maar schiet tekort zodra de werkelijkheid afwijkt van het wiskundige model waarop ze gebaseerd is. Reinforcement learning kan zich juist wel aanpassen aan complexe, moeilijk te modelleren situaties, maar heeft daarvoor doorgaans zeer veel oefeningen nodig en gedraagt zich tijdens het leerproces onvoorspelbaar.
Residuele RL is ontstaan als antwoord op dit probleem: pak het beste van beide werelden. Het doel is niet om klassieke regeltechniek te vervangen, maar om haar te verfijnen op precies de punten waar ze tekortschiet. Dat is vooral relevant bij zogeheten contact-rijke taken, waarbij een robot fysiek contact maakt met objecten of oppervlakken, zoals iets in een nauwe opening steken, iets oppakken dat kan vervormen, of lopen op een oneffen ondergrond. Voor dat soort taken zijn goede wiskundige modellen vaak onbetaalbaar complex of simpelweg niet beschikbaar.
Een ander doel is het verkleinen van de zogenoemde sim-to-real gap: het verschil tussen hoe een robot zich in een computersimulatie gedraagt en hoe hij zich in de echte wereld gedraagt. Doordat de residuele correctie relatief klein is, hoeft die niet vanaf nul de complexiteit van de echte wereld te leren simuleren; ze hoeft alleen de resterende afwijking te compenseren.
Voorbeelden uit de praktijk
Een van de bekendste voorbeelden komt uit een samenwerking tussen de University of California, Berkeley en Siemens Corporate Technology. In het onderzoek van Tobias Johannink, Sergey Levine en collega's (gepubliceerd rond 2018-2019, onder de titel Residual Reinforcement Learning for Robot Control) leerde een robotarm een blokvormig onderdeel in een nauwe opening te plaatsen, een taak die lijkt op industriële assemblage. Een klassieke PD-controller deed het grove werk, terwijl een RL-residu de fijne correcties leerde die nodig waren om met kleine afwijkingen en wrijving om te gaan. De proef werd op echte hardware uitgevoerd, niet alleen in simulatie.
Een tweede veelgeciteerd voorbeeld is het werk Residual Policy Learning van Tom Silver, Kelsey Allen, Josh Tenenbaum en Leslie Kaelbling van het Massachusetts Institute of Technology (MIT), eveneens uit 2018. Zij combineerden handgeschreven, op regels gebaseerde besturingsstrategieën met een geleerd residu voor robotmanipulatietaken, zoals het stapelen en verschuiven van blokken.
Buiten deze twee kernpublicaties experimenteren onderzoeksgroepen met verwante ideeën in aangrenzende domeinen. Zo wordt in de looprobotica onderzocht hoe modelgebaseerde regeltechniek (bijvoorbeeld model predictive control, waarbij het gedrag van de robot enkele stappen vooruit wordt voorspeld en geoptimaliseerd) gecombineerd kan worden met een geleerde correctie om beter om te gaan met oneffen terrein. Ook in de dronebesturing en, meer voorzichtig, in de zelfrijdende-autobranche wordt gekeken of RL-residuen bovenop klassieke trajectplanners kunnen helpen bij lastige uitzonderingssituaties. Deze toepassingen zijn minder uitgekristalliseerd dan de robotarmvoorbeelden en bevinden zich vooral nog in de onderzoeksfase.
Hoe ver is de techniek?
Residuele RL is grotendeels een onderzoekstechniek, met de meeste resultaten gepubliceerd op robotica- en AI-conferenties zoals ICRA (International Conference on Robotics and Automation), IROS en CoRL (Conference on Robot Learning). Sinds de kernpublicaties van 2018 is het aantal studies dat de aanpak gebruikt of uitbreidt gestaag gegroeid, maar het is geen kant-en-klare, algemeen onderwezen standaardtechniek zoals bijvoorbeeld PID-regeling dat wel is.
Er zijn wel concrete stappen richting toepassing buiten het lab: het Siemens-Berkeley-onderzoek testte de aanpak op echte industriële hardware, wat aangeeft dat de techniek verder komt dan pure simulatie. Toch blijven er praktische obstakels. De bestaande basiscontroller moet nog altijd handmatig ontworpen worden, wat expertise vereist. Er zijn geen sterke wiskundige garanties dat de gecombineerde besturing (basis plus residu) in alle omstandigheden stabiel en veilig blijft, wat lastig is voor toepassingen waar fouten kostbaar of gevaarlijk zijn. Ook is het benchmarken, het onderling vergelijken van verschillende residuele RL-methoden op gestandaardiseerde taken, nog relatief ad hoc: er bestaat geen breed geaccepteerde testset zoals die er bijvoorbeeld wel is voor beeldherkenning.
Kortom, de techniek staat er beter voor dan pure, van-nul-af-aan RL op robots, maar is nog geen volwassen industriestandaard. Het is eerlijker om te spreken van een veelbelovende, actief onderzochte richting binnen de robotica dan van een uitontwikkelde technologie.
Wie werken eraan?
Het onderzoek naar residuele RL is sterk verbonden met een klein aantal vooraanstaande onderzoeksgroepen. De Berkeley Artificial Intelligence Research (BAIR)-groep aan de University of California, Berkeley, met name het lab van Sergey Levine, heeft een van de invloedrijkste publicaties op dit gebied geleverd, in samenwerking met Siemens Corporate Technology in Duitsland. Het Computer Science and Artificial Intelligence Laboratory (CSAIL) van het MIT in de Verenigde Staten is verantwoordelijk voor de andere veelgeciteerde kernpublicatie.
Breder bekeken wordt aan verwante technieken gewerkt door robotica-onderzoeksgroepen aan onder meer ETH Zürich en de Universiteit van Zürich in Zwitserland, die bekendstaan om hun werk aan looprobots en drones, en door grote technologiebedrijven met eigen robotica- en AI-onderzoeksafdelingen, zoals Google DeepMind en NVIDIA, die onderzoek doen naar het combineren van simulatie, modelgebaseerde regeltechniek en reinforcement learning. Geografisch is het zwaartepunt van dit onderzoek te vinden in de Verenigde Staten, Duitsland en Zwitserland, met bijdragen vanuit de bredere internationale robotica- en machine-learninggemeenschap die publiceert op conferenties als ICRA, IROS en CoRL.