Nieuw controlesysteem leert robots kruipen, radslaan en salto's maken

Robots die net zo lenig bewegen als mensen: het is al jaren een droom van robotica-onderzoekers. Meestal moet voor elke nieuwe vaardigheid, van lopen tot een radslag maken, een aparte besturing worden geprogrammeerd en fijngeslepen. Dat kost veel tijd en rekenkracht. Onderzoekers van het Amerikaanse RAI Institute en Boston Dynamics presenteren nu een alternatief: Zero-Shot Embodied Skill Transfer, kortweg ZEST. Het systeem leert een robot in één trainingsronde tientallen verschillende bewegingen tegelijk, van kruipen tot breakdance-moves.

ZEST maakt gebruik van reinforcement learning, een trainingsmethode waarbij een computerprogramma via vallen en opstaan leert welke acties tot succes leiden. De robot krijgt geen kant-en-klare instructies, maar oefent in een simulatie net zolang tot een beweging lukt. Bijzonder aan ZEST is dat het leert van drie soorten bronmateriaal: motion capture-opnames van bewegende mensen, gewone videobeelden van één camera, en handgemaakte animaties. Menselijke bewegingen worden via een techniek die kinematische retargeting heet, omgezet naar een vorm die een robotlichaam kan uitvoeren. Animaties zijn vooral handig voor bewegingen die mensen niet kunnen maken, zoals een salto voor een vierpotige robot.

Trainen met een onzichtbare hulphand

Om robots niet te laten vastlopen op de moeilijkste stukken van een beweging, gebruikt ZEST een vorm van adaptief trainen. Het systeem knipt elke beweging op in korte stukjes en houdt bij waar de robot het vaakst faalt. Die lastige stukjes krijgt de robot vervolgens vaker te oefenen, terwijl makkelijkere onderdelen niet helemaal worden losgelaten. Daarnaast krijgt de robot tijdens het leren een virtuele steun in de rug: een soort onzichtbare hand die bij lastige, dynamische bewegingen bijstuurt en die hulp geleidelijk afbouwt naarmate de robot beter wordt. Ook is er extra aandacht besteed aan de gewrichten van de robot, zoals enkels, knieën en heup, die in de simulatie realistischer worden nagebootst inclusief zaken als motorverzadiging en wrijving. Dat maakt de overstap van simulatie naar een echte robot betrouwbaarder.

Getest op Atlas, G1 en Spot

Het onderzoeksteam testte ZEST op drie bekende robots: de mensvormige humanoïde robot Atlas van Boston Dynamics, de G1 van het Chinese Unitree, en de vierpotige robot Spot. Het trainen van één vaardigheid duurde ongeveer tien uur op een enkele grafische chip. Atlas leerde onder meer kruipen, radslagen maken, rollen en breakdance-passen. Via video leerde de robot bewegingen als dansen en een bal wegschieten, terwijl Spot dankzij animatiedata een doorlopende salto en een rol over de lengte-as aanleerde. De onderzoekers benadrukken dat het systeem nog beperkt is tot vlakke, niet-gladde ondergronden en nog niet is getest op volledig onbekende bewegingen. Toekomstig werk moet robots helpen om nieuwe vaardigheden sneller te leren, zelfs met slechts een paar voorbeelden, en om bewegingen direct op basis van gesproken commando's uit te voeren.