Whole-body policy learning: robots die met heel hun lichaam leren bewegen
Stel je voor dat je moet leren fietsen door voor elk lichaamsdeel apart een handleiding te volgen: eerst een regel voor je linkerbeen, dan een aparte regel voor je rechterhand op het stuur, dan weer een regel voor je rompbalans. Dat zou vrijwel onmogelijk zijn. In werkelijkheid leert je brein fietsen als één samenhangende vaardigheid: benen, armen, romp en evenwichtsgevoel werken naadloos samen, aangestuurd door één systeem. Precies dat idee staat centraal bij whole-body policy learning, een onderzoeksrichting in de robotica waarbij een robot niet met losse deelprogramma's wordt bestuurd, maar met één lerend systeem dat het hele lichaam tegelijk aanstuurt.
De term duikt steeds vaker op bij nieuws over lopende en werkende robots, zoals mensachtige (humanoid) robots die tegelijk kunnen lopen én een doos oppakken zonder om te vallen. Waar klassieke robots vaak apart geprogrammeerde systemen hadden voor balans, lopen en grijpen, leert een whole-body policy — letterlijk een 'beleid voor het hele lichaam' — al die taken in samenhang, meestal met een neuraal netwerk dat is getraind via zelflerende technieken. Dit artikel legt uit wat er precies achter dat begrip schuilt, wie eraan werkt en hoe ver de techniek werkelijk is.
Wat is het precies?
Om whole-body policy learning te begrijpen, helpt het eerst te kijken naar hoe robots traditioneel worden bestuurd. Bij klassieke whole-body control (WBC) berekent een computer met wiskundige modellen en optimalisatie — vaak een techniek die "quadratisch programmeren" heet — voortdurend welke kracht elk gewricht moet leveren om bijvoorbeeld rechtop te blijven staan én een arm te bewegen. Dit werkt goed, maar vereist een zeer nauwkeurig wiskundig model van de robot en zijn omgeving, en het wordt al snel ingewikkeld naarmate een robot meer gewrichten ("vrijheidsgraden" of degrees of freedom) krijgt.
Bij een geleerde whole-body policy gaat het anders. In plaats van vooraf te programmeren hoe elk gewricht moet bewegen, traint men een neuraal netwerk — de "policy" of het beleid — dat leert welke actie (bijvoorbeeld een gewrichtshoek of motorkoppel) het beste is, gegeven de huidige toestand van de robot. Die toestand bestaat meestal uit proprioceptieve informatie: gegevens over gewrichtshoeken, snelheden en de stand van het lichaam via een bewegingssensor (vergelijkbaar met ons evenwichtsorgaan), eventueel aangevuld met camerabeelden.
Het trainen gebeurt bijna altijd eerst in simulatie: een computermodel van de robot en zijn omgeving, waarin het systeem miljoenen keren mag "oefenen" — vaak duizenden gesimuleerde robots tegelijk, parallel op krachtige grafische processoren (GPU's). Dit gebeurt via reinforcement learning (versterkend leren): de policy krijgt een beloning als hij overeind blijft, vooruitgaat of een taak volbrengt, en een straf bij bijvoorbeeld vallen. Door miljoenen pogingen te herhalen, ontstaat geleidelijk gedrag dat robuust en gecoördineerd is. Een andere, vaak gecombineerde methode is imitatieleren: de policy leert van bewegingsdata van echte mensen (via motion capture) of van teleoperatie, waarbij een mens de robot op afstand bestuurt en de policy dat gedrag nabootst.
Omdat een simulatie nooit perfect overeenkomt met de echte wereld, is de laatste stap — de zogeheten sim-to-real transfer — cruciaal en lastig. Onderzoekers gebruiken hiervoor "domain randomization": tijdens de training worden factoren als wrijving, gewicht en sensorruis willekeurig gevarieerd, zodat de policy leert omgaan met onzekerheid en beter overstapt naar een echte robot.
Wat wil men ermee bereiken?
De belangrijkste drijfveer achter whole-body policy learning is robuustheid. Een robot die met één samenhangend beleid werkt, kan makkelijker herstellen van een onverwachte duw, een oneffen ondergrond of een gladde vloer, omdat alle lichaamsdelen automatisch meebewegen om het evenwicht te herstellen — net zoals een mens instinctief een stap opzij zet bij een duw.
Een tweede doel is het combineren van lopen en handelen tegelijk, ook wel loco-manipulatie genoemd: denk aan een robot die tijdens het lopen een deur openduwt, een voorwerp oppakt of over een obstakel stapt. Bij klassieke, opgeknipte besturingssystemen leiden zulke gecombineerde taken vaak tot conflicten tussen deelsystemen; een geleerde whole-body policy kan dit inherent beter afstemmen.
Daarnaast hopen onderzoekers ontwikkeltijd en handmatig programmeerwerk te verminderen. In plaats van voor elke nieuwe taak een nieuwe regelset te schrijven, kan in theorie dezelfde leermethode worden hergebruikt voor nieuwe robots of taken, door simpelweg opnieuw te trainen met een andere beloningsfunctie of andere trainingsdata. Ten slotte is er de bredere ambitie — nog grotendeels toekomstmuziek — om te komen tot meer algemeen inzetbare robots die net als mensen flexibel met hun hele lichaam kunnen improviseren in onvoorspelbare, echte omgevingen in plaats van strak gecontroleerde fabriekshallen.
Voorbeelden uit de praktijk
Verschillende onderzoeksgroepen en bedrijven hebben de afgelopen jaren whole-body policy learning gedemonstreerd op echte robots:
- ETH Zürich (Robotic Systems Lab, onder leiding van Marco Hutter) publiceerde in 2022 in het tijdschrift Science Robotics onderzoek naar het leren van robuuste, terreinbewuste bewegingen ("perceptive locomotion") voor de vierpotige robot ANYmal, waarbij het beest via reinforcement learning leerde over rotsen, trappen en modder te navigeren zonder vooraf geprogrammeerde looppatronen.
- DeepMind (Google) trainde met deep reinforcement learning een kleine tweevoetige robot (gebaseerd op de Robotis OP3) om te voetballen, waarbij lopen, schoppen, opstaan na een val en tackelen allemaal uit één geleerde whole-body policy voortkwamen — gepubliceerd rond 2023–2024.
- Carnegie Mellon University ontwikkelde met projecten als "H2O" en het uitgebreidere "OmniH2O" (2024) systemen waarmee een mens via teleoperatie een humanoid robot (de Unitree H1) bestuurt, en waarbij die bewegingen tegelijk worden gebruikt om een autonome whole-body policy te trainen.
- Stanford University presenteerde in 2024 het project "HumanPlus", waarbij een humanoid robot menselijke bewegingen in real time nabootst ("shadowing") en daarna zelfstandig soortgelijke, gecoördineerde bewegingen leert uitvoeren.
- UC Berkeley bouwde met het "Berkeley Humanoid"-project een relatief goedkoop, open humanoid platform specifiek bedoeld om reinforcement-learning-onderzoek naar whole-body besturing toegankelijker te maken voor andere onderzoeksgroepen.
Bij commerciële bedrijven zoals Boston Dynamics (met de nieuwe elektrische Atlas), Figure AI en 1X Technologies wordt eveneens in toenemende mate gebruikgemaakt van geleerde besturingscomponenten naast klassieke technieken, al zijn de precieze methoden bij deze bedrijven grotendeels bedrijfsgeheim en dus lastig onafhankelijk te verifiëren.
Hoe ver is de techniek?
Bij vierpotige robots (quadrupeds) is whole-body policy learning inmiddels relatief volwassen: robots als ANYmal en verschillende Unitree-modellen lopen betrouwbaar over ruw terrein, trappen en losse ondergrond, deels dankzij dit soort geleerde besturing. Bij tweevoetige, mensachtige robots — met meer gewrichten, een hoger zwaartepunt en dus een instabieler evenwicht — is de ontwikkeling jonger en gaat de vooruitgang sinds ongeveer 2023 opvallend snel, maar de meeste resultaten zijn nog laboratoriumdemonstraties onder relatief gecontroleerde omstandigheden, niet grootschalige inzet in de echte wereld.
Er blijven belangrijke obstakels. Het sim-to-real gat — het verschil tussen de gesimuleerde en de echte fysica, zoals wrijving, contactkrachten en motorvertraging — zorgt er soms voor dat gedrag dat in simulatie perfect werkt, op de echte robot minder soepel of zelfs onveilig verloopt. Reinforcement learning vraagt daarnaast enorme hoeveelheden trainingsdata, wat alleen haalbaar is dankzij snelle, parallelle simulatie op gespecialiseerde software zoals NVIDIA's Isaac Gym/Isaac Lab. Een ander punt van zorg is veiligheid en voorspelbaarheid: in tegenstelling tot klassieke, wiskundig onderbouwde regelsystemen is lastig met zekerheid te garanderen hoe een geleerde policy zich gedraagt in situaties die niet in de training voorkwamen. Mede daarom combineren steeds meer onderzoekers geleerde componenten met klassieke, modelgebaseerde veiligheidslagen, in plaats van volledig op één geleerd systeem te vertrouwen.
Wie werken eraan?
Academisch onderzoek naar whole-body policy learning wordt sterk gedreven door groepen als het Robotic Systems Lab van ETH Zürich (Zwitserland), en Amerikaanse universiteiten als UC Berkeley, Stanford en Carnegie Mellon University. Ook DeepMind (onderdeel van Google, gevestigd in het Verenigd Koninkrijk) speelt een zichtbare rol met publicaties over reinforcement learning voor lopende robots.
NVIDIA levert een groot deel van de onderliggende simulatie-infrastructuur (Isaac Gym/Isaac Lab) waarmee veel van deze training plaatsvindt, en werkt zelf ook aan bredere "foundation models" voor humanoid robots. Onder de robotbouwers zijn Boston Dynamics (VS, bekend van Atlas), Figure AI en 1X Technologies (VS/Noorwegen) actief met commerciële humanoid robots die deels op geleerde besturing steunen. In China is Unitree Robotics een belangrijke speler: het bedrijf maakt relatief betaalbare humanoid platforms (zoals de H1 en G1) die veel gebruikt worden als onderzoeksbasis door academische groepen wereldwijd. Ook andere Chinese instituten en bedrijven investeren fors in humanoid robotica, als onderdeel van een bredere internationale wedloop tussen de VS, China en Europa op dit gebied.