Eén AI-systeem leert humanoïde robots rennen, springen en dansen

Humanoïde robots kunnen steeds meer, maar tot nu toe had elke vaardigheid meestal een eigen, apart getraind besturingsprogramma nodig. Wilde een robot leren dansen én een voorwerp oppakken, dan moesten ontwikkelaars twee losse systemen bouwen en trainen. Onderzoekers van chipfabrikant NVIDIA presenteren nu een alternatief: SONIC, een enkel besturingssysteem dat een breed scala aan bewegingen aankan zonder voor elke nieuwe vaardigheid opnieuw te worden getraind.

Eén model in plaats van tientallen

SONIC is gebouwd rond het principe van whole-body policy learning: de robot leert bewegingen na te bootsen op basis van menselijke bewegingsdata, in plaats van dat programmeurs voor elke actie apart regels en doelen vastleggen. Het systeem is getraind op meer dan honderd miljoen bewegingsbeelden, afkomstig uit ongeveer 700 uur motion-capture-opnames van mensen. Het grootste model bevat 42 miljoen parameters en de training gebeurde met tot 128 GPU's tegelijk, goed voor circa 21.000 GPU-uren rekentijd. Hoe meer data, rekenkracht en modelomvang de onderzoekers toevoegden, hoe beter de robot nieuwe, nooit eerder geziene bewegingen kon nabootsen.

Tekst, video en muziek als stuurmiddel

Het hart van SONIC is een gedeelde digitale taal waarin alle soorten bewegingsopdrachten worden omgezet, van menselijke teleoperatie met een VR-bril tot tekstcommando's, videobeelden en muziek. Typ je 'loop naar voren' of 'schop', dan zet het systeem dat om in een concrete robotbeweging. Ook kan SONIC dansbewegingen genereren op basis van het ritme in een muziekstuk, of bewegingen overnemen uit een live webcambeeld. Een los onderdeel, de real-time bewegingsplanner, berekent voortdurend korte bewegingssegmenten en kan tussentijds van richting of snelheid veranderen zonder dat het hele systeem opnieuw hoeft te leren. Volgens de onderzoekers kan deze aanpak ook dienen als basis voor zogeheten vision-language-action-modellen, AI-systemen die camerabeelden en taalinstructies rechtstreeks omzetten in robotgedrag.

Test op een echte robot

De onderzoekers zetten SONIC niet alleen in simulaties in, maar ook op een fysieke Unitree G1-robot. Bij 123 real-world bewegingsreeksen haalde het systeem een succespercentage van 99,2 procent, tegenover 100 procent in de simulatie. Dat kleine verschil is opvallend: veel robotsystemen presteren juist een stuk slechter zodra ze de overstap maken van een virtuele naar een fysieke omgeving, een probleem dat bekendstaat als de sim-to-real-kloof. Ook koppelden de onderzoekers SONIC aan een vision-language-action-model voor vijf praktische taken, zoals het optillen van een voorwerp en het met de voet openen van een pedaalemmer om er een blikje in te gooien. Daarbij haalde het systeem een gemiddeld succespercentage van 75 procent. Volgens het team kan deze gedeelde manier van aansturen het makkelijker maken om lopen en grijpen niet langer als twee gescheiden problemen te behandelen, maar als onderdeel van één samenhangend robotgedrag.