Real2Sim: hoe de echte wereld een digitale oefenruimte wordt voor robots
Stel je een pilotenopleiding voor waarbij de simulator niet is gebaseerd op een fictief vliegveld, maar op laserscans van een bestaande luchthaven: elke hangar, elke lichtmast en elke hoogtelijn van de landingsbaan zit erin. De piloot oefent duizenden keren in die kopie, en pas als alles klopt, stapt hij in het echte toestel. Iets vergelijkbaars gebeurt in de robotica en kunstmatige intelligentie onder de noemer Real2Sim (van 'real' naar 'simulatie'): de echte wereld wordt zo nauwkeurig mogelijk nagebouwd in een computersimulatie, zodat robots en AI-systemen daarin veilig en goedkoop kunnen oefenen.
Real2Sim is de tegenhanger van een bekender begrip: Sim2Real, waarbij kennis die in simulatie is opgedaan wordt overgezet naar een echte machine. Real2Sim gaat over de omgekeerde, eerste stap: hoe krijg je de rommelige, onvoorspelbare werkelijkheid ├╝berhaupt in een simulator? Denk aan een magazijn met stellingen, dozen en obstakels dat wordt gescand en digitaal nagebouwd, zodat een magazijnrobot daarin duizenden routes kan uitproberen voordat hij ook maar ├й├йn keer echt rijdt. Beide stappen samen vormen vaak een cyclus die 'real2sim2real' wordt genoemd.
Wat is het precies?
Het proces begint met het inscannen van een echte omgeving of object. Dat gebeurt met camera's, dieptesensoren of lidar (een laserscanner die afstanden meet door lichtpulsen terug te kaatsen). Uit die opnames wordt een 3D-model gereconstrueerd. Vroeger gebeurde dat met klassieke fotogrammetrie (3D-vormen berekenen uit meerdere foto's vanuit verschillende hoeken), maar sinds enkele jaren gebruiken onderzoekers vaker NeRF (Neural Radiance Fields, geïntroduceerd in 2020), een AI-techniek die uit een reeks foto's een fotorealistisch 3D-model leert. Sinds 2023 is daar 3D Gaussian Splatting bijgekomen, een methode die vergelijkbare reconstructies veel sneller en met minder rekenkracht kan maken, wat real-time toepassingen dichterbij brengt.
Een geometrisch model alleen is niet genoeg. Om een robot er echt mee te laten trainen, moet de simulatie ook natuurkundige eigenschappen kennen: hoe zwaar is een object, hoe glad of ruw is een oppervlak, waar zitten botsvlakken. Die eigenschappen worden geschat, gemeten of handmatig toegevoegd, en vervolgens wordt het geheel geïmporteerd in een physics engine (een simulatieprogramma dat zwaartekracht, wrijving en botsingen naboots), zoals NVIDIA Isaac Sim, MuJoCo of Gazebo. Pas dan kan een robot of AI-agent er via reinforcement learning (leren door vallen en opstaan, met beloningen voor goed gedrag) of door het nabootsen van menselijke demonstraties duizenden keren in oefenen, iets wat in de echte wereld te traag, te duur of te gevaarlijk zou zijn.
Wat wil men ermee bereiken?
De kern van de motivatie is simpel: robots trainen in de fysieke wereld is traag, kostbaar en soms riskant. Een robotarm die leert een kopje op te pakken, breekt in het begin veel kopjes; een zelfrijdende auto die van botsingen moet leren, kan dat niet echt uitproberen. In simulatie kunnen dezelfde pogingen duizenden keren sneller dan in werkelijkheid en zonder schade worden herhaald, en kan een scenario bovendien willekeurig gevarieerd worden (andere belichting, andere wrijving, andere obstakels) om het systeem robuuster te maken. Dat laatste heet domain randomization.
Een tweede doel is het overbruggen van de zogeheten reality gap (ook wel sim2real gap): het verschil tussen een simulatie en de werkelijkheid, waardoor gedrag dat perfect werkt in een simulator, in de echte wereld faalt. Hoe realistischer de simulatie dankzij Real2Sim-technieken is, hoe kleiner dat verschil in theorie wordt. Daarnaast biedt de techniek de mogelijkheid om zeldzame of gevaarlijke situaties te testen die in de praktijk nauwelijks voorkomen, zoals een voetganger die plots oversteekt voor een zelfrijdende auto. Ten slotte is er een bredere industriële belofte: digital twins (digitale kopieën van fabrieken, machines of steden) die niet alleen voor robottraining dienen, maar ook voor planning, onderhoud en simulatie van logistieke processen.
Voorbeelden uit de praktijk
- NVIDIA Omniverse en Isaac Sim (sinds circa 2021): NVIDIA's platform waarmee bedrijven fabrieken en magazijnen digitaal nabouwen. BMW gebruikte het platform om een volledige autofabriek als digitale kopie te bouwen voordat de echte productielijn werd aangepast.
- Habitat-Matterport 3D (HM3D) van Meta AI (2021): een dataset van honderden gescande, echte woningen en gebouwen, gebruikt in de Habitat-simulator om AI-agenten te laten oefenen met navigeren door binnenruimtes zonder dat daar een echt huis voor nodig is.
- RialTo, een onderzoeksproject van het Improbable AI Lab aan MIT (2024): een real2sim2real-pijplijn waarbij met een smartphone een werkomgeving wordt gescand, een robotarm er vervolgens in simulatie op leert taken uit te voeren, en die vaardigheid daarna wordt overgezet naar de echte robotarm.
- Waymo: het zelfrijdende-autobedrijf bouwt simulaties op basis van werkelijke rijdata die zijn voertuigen verzamelen, om verkeerssituaties opnieuw af te spelen en te variëren, en zo software te testen op schaal zonder elke situatie fysiek te hoeven naumrijden.
- Onderzoek naar viervoetige robots, onder meer bij ETH Zürich, waarbij scans van echt terrein (heuvels, trappen, los gesteente) worden gebruikt om simulatieomgevingen te bouwen waarin looprobots zoals ANYmal oefenen voordat ze buiten worden losgelaten.
Hoe ver is de techniek?
De visuele kant van Real2Sim is de afgelopen jaren snel vooruitgegaan. Waar een NeRF-reconstructie in 2020 nog uren kon duren, kan 3D Gaussian Splatting sinds 2023 vergelijkbare scènes in minuten of zelfs sneller opleveren, met steeds fotorealistischer resultaat. Dat maakt het inmiddels relatief eenvoudig om er visueel overtuigend uit te laten zien.
Het lastigste probleem zit niet in het uiterlijk, maar in de natuurkunde. Hoe zwaar een object precies is, hoe het zich vervormt, hoeveel wrijving een oppervlak geeft: dat soort eigenschappen is vanuit camerabeelden alleen zeer moeilijk af te leiden en wordt vaak nog handmatig ingeschat of via extra sensoren gemeten. Voor starre, harde voorwerpen in relatief voorspelbare omgevingen (een fabriekshal, een magazijn) werkt Real2Sim inmiddels behoorlijk goed. Voor zachte, vervormbare materialen, vloeistoffen, of chaotische buitenomgevingen met wisselend licht en weer, is de betrouwbaarheid nog veel beperkter.
De reality gap is daarmee niet opgelost, wel kleiner geworden. Onderzoekers zijn het erover eens dat Real2Sim vooral in gecontroleerde, industriële toepassingen (logistiek, fabrieksautomatisering, het testen van zelfrijdende auto's) al waarde levert, terwijl algemene, foutloze digitale kopieën van willekeurige, rommelige menselijke omgevingen nog een open onderzoeksvraag zijn. Het is dus een technologie die volop in ontwikkeling is, met duidelijke vooruitgang, maar zonder dat de kernproblemen al zijn opgelost.
Wie werken eraan?
Grote techbedrijven met eigen simulatieplatforms spelen een centrale rol: NVIDIA met Isaac Sim en Omniverse, Google DeepMind met onderzoek naar robotleren in simulatie, en Meta AI (FAIR) met de Habitat-simulator en bijbehorende datasets van gescande gebouwen. In de academische wereld lopen onder meer het Improbable AI Lab van MIT CSAIL en de Robotic Systems Lab van ETH Zürich voorop met onderzoek naar real2sim2real-pijplijnen voor respectievelijk robotarmen en looprobots.
Daarnaast investeren autofabrikanten en zelfrijdende-autobedrijven zoals Waymo en onderzoeksinstituten als het Toyota Research Institute in grootschalige simulatie op basis van echte data. Ook een golf jongere robotica-startups, zoals het in 2024 opgerichte Physical Intelligence en het in 2022 gestarte Boston Dynamics AI Institute, gebruikt simulatie en real2sim-technieken als kernonderdeel van hun aanpak om robots sneller vaardigheden te leren. Geografisch ligt het zwaartepunt van dit onderzoek vooralsnog vooral in de Verenigde Staten en Zwitserland, met groeiende activiteit in andere Europese landen en in China.