Sim-to-real transfer: robots leren lopen en grijpen in een virtuele wereld
Stel je een piloot voor die honderden uren in een vluchtsimulator oefent voordat hij ooit een echt vliegtuig bestuurt. Fouten maken in de simulator kost niets: geen schade, geen gevaar, en je kunt de oefening in seconden herstarten. Sim-to-real transfer past hetzelfde idee toe op robots en kunstmatige intelligentie (AI). Een robot of AI-systeem wordt eerst getraind in een computersimulatie, en pas daarna losgelaten op de echte, fysieke wereld.
Het klinkt eenvoudig, maar de uitvoering is lastig. Een simulatie is namelijk nooit een perfecte kopie van de werkelijkheid: wrijving, gewicht, lichtval en materiaaleigenschappen wijken altijd een beetje af. Dat verschil heet de reality gap, oftewel de kloof tussen simulatie en realiteit. Onderzoekers besteden dan ook veel energie aan manieren om die kloof te overbruggen, zodat vaardigheden die een robot in een virtuele wereld leert, ook echt werken zodra hij op de vloer van een fabriek of in de tuin van een gebruiker staat.
Wat is het precies?
De basis van sim-to-real transfer is reinforcement learning (versterkend leren): een AI-systeem probeert een taak talloze keren uit en krijgt een beloning wanneer het goed gaat, bijvoorbeeld wanneer een virtuele robot een stap zet zonder te vallen. Door miljoenen tot miljarden van die pogingen te herhalen, ontdekt het systeem zelf welke bewegingen werken.
Zulke aantallen pogingen zijn in de echte wereld onmogelijk: een fysieke robot zou binnen een dag stukvallen, en het kost te veel tijd. Daarom gebeurt dit trainen in een fysica-simulator, software die zwaartekracht, wrijving en botsingen nabootst. Moderne simulatoren draaien op grafische kaarten (GPU's) en kunnen duizenden virtuele robots tegelijk laten oefenen, waardoor een training die vroeger weken duurde nu in uren kan.
Het probleem is dat een simulatie altijd net iets anders is dan de werkelijkheid: motoren reageren niet exact zoals berekend, vloeren zijn gladder of ruwer, en camerabeelden zien er anders uit dan gerenderde afbeeldingen. Een veelgebruikte oplossing heet domain randomization (domein-randomisatie): tijdens de training worden allerlei eigenschappen van de simulatie willekeurig gevarieerd, zoals kleuren, lichtval, wrijving en massa. Het systeem leert daardoor geen trucje voor één specifieke virtuele situatie, maar een strategie die onder veel verschillende omstandigheden werkt, inclusief de echte wereld die daar ergens tussenin valt.
Een tweede aanpak is system identification: de simulatie wordt zo nauwkeurig mogelijk afgestemd op de echte machine, door bijvoorbeeld het exacte gewicht en de motorreactietijd van de robot te meten en in te voeren. Vaak worden beide methodes gecombineerd, en krijgt de robot na de simulatietraining nog een korte periode fine-tuning met een beperkte hoeveelheid echte data, om de laatste kloof te dichten.
Wat wil men ermee bereiken?
Het onderliggende doel is simpel: robots en autonome systemen sneller, veiliger en goedkoper leren zonder dat elke vaardigheid apart in de fysieke wereld hoeft te worden aangeleerd. Trainen met een echte robotarm is traag, duur en risicovol; als het systeem tijdens het leren fouten maakt, kan het zichzelf of zijn omgeving beschadigen. In simulatie kan een fout gewoon opnieuw geprobeerd worden, zonder kosten of gevaar.
Daarnaast biedt simulatie een schaalvoordeel dat in de echte wereld onmogelijk is: duizenden virtuele kopieën van dezelfde robot kunnen tegelijk in uiteenlopende, willekeurig gegenereerde omgevingen oefenen. Dat maakt het mogelijk om systemen te trainen die beter omgaan met variatie, gladde vloeren, oneffen terrein, wisselend licht, in plaats van slechts één vaste testomgeving te beheersen.
Op langere termijn hopen onderzoekers en bedrijven met deze aanpak dichter te komen bij robots die niet slechts één ingestudeerde taak uitvoeren, maar zich aanpassen aan nieuwe situaties, een stap richting wat vaak general-purpose robotics (breed inzetbare robotica) wordt genoemd. Dat is nog altijd een belofte in ontwikkeling, geen voldongen feit.
Voorbeelden uit de praktijk
Een van de bekendste demonstraties is OpenAI's Dactyl, een robothand die leerde een Rubik's kubus met één hand op te lossen. Het systeem werd vrijwel volledig getraind in simulatie met domain randomization en pas daarna overgezet op een echte robothand, gedemonstreerd rond 2019.
Het Robotic Systems Lab van ETH Zürich, onder leiding van hoogleraar Marco Hutter, gebruikte sim-to-real transfer om de vierpotige robot ANYmal te leren lopen. In een veelgeciteerde publicatie in het tijdschrift Science Robotics (2019) liet het team zien dat de robot behendige, dynamische bewegingen aanleerde in simulatie en die direct op de echte machine kon toepassen. Vervolgwerk van hetzelfde lab breidde dit uit naar lopen in ruig, onvoorspelbaar buitenterrein.
Ook Google Research en de University of California, Berkeley publiceerden invloedrijk werk waarin een kleine vierpotige robot leerde lopen door training in simulatie, met slechts een korte periode van aanpassing op de echte machine nodig.
Chipfabrikant NVIDIA ontwikkelde met Isaac Gym (en de opvolger Isaac Sim) een simulatieplatform dat duizenden robotsimulaties parallel op een enkele grafische kaart laat draaien, wat de trainingstijd voor sim-to-real projecten drastisch heeft verkort. Het bedrijf demonstreerde in 2023 ook Eureka, een systeem waarbij een taalmodel automatisch beloningsfuncties ontwerpt voor robottraining, onder meer getest op een robothand die behendigheidstaken leerde.
Recenter zetten fabrikanten van tweevoetige (humanoid) robots, waaronder het Chinese Unitree en Amerikaanse startups zoals Figure AI, simulatietraining in als kernonderdeel van hun ontwikkelproces voor lopen, balanceren en herstellen na een duw of struikeling.
Hoe ver is de techniek?
Sim-to-real transfer werkt inmiddels goed voor voortbeweging: vierpotige en tweevoetige robots die leren lopen, rennen of balanceren in simulatie, presteren vaak verrassend robuust zodra ze op echte vloeren, gras of trappen worden losgelaten. Dit is het gebied waarop de techniek de meeste rijpheid heeft bereikt.
Voor manipulatie, het grijpen, verplaatsen en bewerken van objecten, ligt dat lastiger. Contact tussen vingers en voorwerpen is moeilijk exact te simuleren, en de visuele diversiteit van echte objecten (vorm, materiaal, weerkaatsing van licht) is groot. Systemen die in simulatie uitstekend presteren, hebben in de praktijk regelmatig nog aanvullende training met echte data nodig, of ze falen op objecten die net anders zijn dan wat ze gezien hebben.
De laatste jaren is de vooruitgang versneld dankzij GPU-versnelde simulatoren die duizenden trainingsvarianten tegelijk kunnen draaien, waardoor onderzoekers sneller kunnen experimenteren met domain randomization en beloningsfuncties. Toch blijft de reality gap een fundamenteel obstakel: geen enkele simulatie is een perfecte kopie van de werkelijkheid, en voor sommige toepassingen, met name in medische of veiligheidskritieke omgevingen, is de betrouwbaarheid van puur in simulatie getrainde systemen nog onvoldoende bewezen. Er bestaat in de sector geen consensus over wanneer, of zelfs of, deze aanpak alleen genoeg zal zijn voor werkelijk algemeen inzetbare robots; velen verwachten dat een combinatie met leren van echte, real-world data nodig zal blijven.
Wie werken eraan?
Naast academische pioniers zoals het Robotic Systems Lab van ETH Zürich en onderzoeksgroepen aan UC Berkeley (met onderzoekers als Pieter Abbeel en Sergey Levine, die baanbrekend werk deden op het gebied van robot-leren) zijn grote technologiebedrijven actief betrokken. NVIDIA levert met zijn simulatiesoftware de infrastructuur die veel van dit onderzoek mogelijk maakt en werkt zelf aan trainingsmethodes voor humanoid robots. Google DeepMind onderzoekt sim-to-real transfer voor zowel robotarmen als lopende robots.
OpenAI was met het Dactyl-project een vroege pionier in domain randomization, al richtte het bedrijf zich later minder op fysieke robotica en meer op taalmodellen. In de robotindustrie zelf combineren bedrijven als het Amerikaanse Boston Dynamics, het Chinese Unitree en startups zoals Figure AI en 1X Technologies simulatietraining met klassieke besturingstechnieken om lopende en werkende robots te bouwen. Op landenniveau lopen de Verenigde Staten, China en Zwitserland voorop in gepubliceerd onderzoek, met flinke investeringen vanuit zowel bedrijven als universiteiten.