Bewegingstransfer: hoe menselijke bewegingen digitaal en fysiek worden overgezet
Bewegingstransfer is de verzamelnaam voor technieken waarmee de beweging van één lichaam wordt vastgelegd en vervolgens overgezet op een ander lichaam: een digitale avatar, een personage in een video, of een fysieke robot. Het uitgangspunt is steeds hetzelfde. Een camera of een pak vol sensoren registreert hoe iemand beweegt, software vertaalt die beweging naar een soort digitaal skelet, en dat skelet wordt vervolgens "aangetrokken" door iets anders: een animatiefiguur, een robotarm of een compleet ander mens in een video.
Een simpele analogie helpt. Denk aan een marionettenspeler die aan touwtjes trekt om een pop te laten lopen en zwaaien. Bij bewegingstransfer is de mens de marionettenspeler, maar in plaats van touwtjes gebruikt men camera's, sensoren en algoritmes, en in plaats van een houten pop kan het "touwtje" verbonden zijn met een computeranimatie, een virtuele-realiteitsavatar of een echte robot die honderden kilometers verderop staat. Bekende voorbeelden die de meeste mensen wel eens gezien hebben: apps die je gezicht en danspasjes op een filmpje van iemand anders plakken, of Hollywoodfilms waarin een acteur in een pak vol bolletjes een compleet ander wezen tot leven brengt.
Wat is het precies?
Het proces bestaat grofweg uit drie stappen. De eerste stap is motion capture, oftewel bewegingsregistratie. Dit kan op meerdere manieren: met fysieke markers op een pak die door meerdere camera's worden gevolgd (optische motion capture), met bewegingssensoren die versnelling en oriëntatie meten (inertiële motion capture), of tegenwoordig steeds vaker "markerloos": een neuraal netwerk dat direct uit gewone videobeelden een skelet van gewrichten en botten schat, zonder dat iemand een speciaal pak hoeft aan te trekken.
De tweede stap is het omzetten van die ruwe bewegingsdata naar een bruikbaar skeletmodel: een set punten (gewrichten) met hoeken en posities die per beeldje verandert. Dit skelet is in feite de "kern" van de beweging, losgekoppeld van het uiterlijk van de oorspronkelijke persoon.
De derde en lastigste stap heet retargeting: het skelet van de bronbeweging wordt gekoppeld aan een doellichaam met andere verhoudingen. Een robotarm heeft andere gewrichtslimieten dan een mensenarm, een cartooneske avatar heeft andere proporties dan de acteur die de beweging aanleverde. Software moet de beweging dus niet letterlijk kopiëren, maar herberekenen zodat die er op het doellichaam natuurlijk uitziet én, bij een robot, ook fysiek mogelijk en stabiel is. Bij video-naar-video-transfer (zoals dansfilmpjes) gebeurt dit laatste deel met generatieve modellen, zoals GAN's (generative adversarial networks) of nieuwere diffusiemodellen, die op basis van het skelet nieuwe videobeelden "tekenen".
Wat wil men ermee bereiken?
De motivatie verschilt per toepassingsgebied, maar de kern is steeds: complexe, natuurlijke beweging goedkoper en sneller produceren dan met traditionele methodes. In de filmindustrie en gaming bespaart bewegingstransfer duizenden uren handmatig animeren, en levert het bovendien realistischere, menselijkere bewegingen op dan een animator met de hand kan tekenen.
In de robotica ligt de belofte ergens anders: robots leren normaliter door miljoenen pogingen in simulatie ("trial and error"), wat traag is en niet altijd overeenkomt met de echte wereld. Door in plaats daarvan menselijke demonstraties over te zetten, hoopt men robots sneller en met minder data complexe, alledaagse taken te leren, zoals een deur openen, was opvouwen of lopen over oneffen terrein. Dit heet imitatieleren of "learning from demonstration".
Daarnaast spelen toepassingen in virtual reality en telepresence: mensen willen zich in de virtuele wereld op een geloofwaardige manier kunnen "belichamen", en operators willen op afstand robots kunnen besturen alsof het hun eigen lichaam is. Ook in sport, revalidatie en gebarentaalonderzoek wordt bewegingstransfer en -analyse gebruikt om techniek te beoordelen of bewegingen te reconstrueren.
Voorbeelden uit de praktijk
Een vroeg en veelgeciteerd onderzoeksvoorbeeld is "Everybody Dance Now" (2018), een project van onderzoekers van UC Berkeley waarin de dansbewegingen van een professionele danser via een skeletmodel werden overgezet op video's van amateurs, die zo leken te kunnen dansen als een prof. Dit werk legde de basis voor veel latere video-naar-video-bewegingstransfer, inclusief de minder onschuldige toepassing in deepfakes.
In de filmindustrie is performance capture al ruim twintig jaar gangbaar. Acteur Andy Serkis maakte dit bekend met zijn rol als Gollem in de "In de Ban van de Ring"-films (2001-2003) en later als hoofdpersonage in de "Planet of the Apes"-trilogie (2011-2017), waarbij zijn gezichtsuitdrukkingen en lichaamsbewegingen realtime werden vastgelegd en overgezet op een volledig gecomputeriseerd personage. Ook James Camerons "Avatar" (2009) leunde zwaar op deze techniek.
In de robotica is bewegingstransfer de afgelopen jaren nauw verbonden geraakt met de opkomst van humanoïde robots. Bedrijven als het Amerikaanse Figure AI en het Noors-Amerikaanse 1X Technologies (met hun robot NEO) gebruiken teleoperatie, waarbij een menselijke operator via een controller- of exoskeletachtig systeem de armen en handen van een robot op afstand bestuurt. Deze sessies leveren tegelijk trainingsdata op die later gebruikt wordt om de robot dezelfde taken zelfstandig te laten uitvoeren.
Op het gebied van virtual reality onderzoekt Meta's onderzoekslab Reality Labs al enkele jaren Codec Avatars: fotorealistische digitale doubles waarbij gezichts- en lichaamsbeweging van een gebruiker in real time worden vastgelegd en overgezet, met als doel geloofwaardigere aanwezigheid in VR-gesprekken.
Hoe ver is de techniek?
Voor entertainmenttoepassingen is bewegingstransfer inmiddels volwassen genoeg voor consumentenapps en filters op sociale media, al blijven er zichtbare gebreken: snelle bewegingen, verstrengelde ledematen, losse kleding en vooral handen en vingers leveren nog regelmatig vervormingen of "gliches" op in gegenereerde video.
In de robotica is de vooruitgang de laatste twee jaar zichtbaar versneld, mede dankzij goedkopere teleoperatiesystemen en grotere datasets van menselijke demonstraties. Toch blijven er fundamentele obstakels. Het belangrijkste is de zogeheten sim-to-real gap: beweging die in simulatie of bij een teleoperatiesessie soepel verloopt, gedraagt zich op echte hardware anders door wrijving, sensorruis en vertraging in de aansturing. Daarnaast blijft retargeting lastig omdat een robot zelden dezelfde gewrichten, bewegingsvrijheid of balans heeft als een mens; een beweging die voor een mens triviaal is (zoals snel je evenwicht herstellen) kan voor een robot instabiliteit of zelfs schade betekenen.
Fijne motoriek, zoals het manipuleren van kleine voorwerpen met een robothand, is nog altijd een van de moeilijkste onderdelen en wordt gezien als een van de belangrijkste openstaande problemen in het veld.
Wie werken eraan?
Op onderzoeksgebied lopen instituten als UC Berkeley (met het Berkeley AI Research-lab, BAIR), Carnegie Mellon University en robotica-afdelingen van universiteiten als ETH Zürich en MIT voorop, met publicaties over zowel videogebaseerde bewegingstransfer als imitatieleren voor robots.
Op bedrijfsniveau investeren grote technologiebedrijven fors: Meta in avatars en VR-telepresence, NVIDIA in software voor animatie, retargeting en robotsimulatie (via platforms als Omniverse en Isaac), en Tesla in zijn Optimus-robotprogramma. Gespecialiseerde robotbedrijven als Figure AI, 1X Technologies en het van oorsprong Amerikaanse Boston Dynamics (tegenwoordig eigendom van het Zuid-Koreaanse Hyundai) zetten bewegingstransfer in om humanoïde robots te trainen.
Op het gebied van motion-capturehardware is ook een Nederlands bedrijf van naam: Xsens, gevestigd in Enschede, dat inertiële bewegingspakken maakt die wereldwijd worden gebruikt in film, gaming, sport en robotica-onderzoek. Andere gevestigde namen in mocap-hardware zijn het Britse Vicon en het Amerikaanse OptiTrack.