Perceptie-actiesysteem: wanneer een machine ziet én meteen doet
Een perceptie-actiesysteem is een systeem — biologisch of kunstmatig — waarin waarnemen (perceptie) en handelen (actie) direct met elkaar verbonden zijn, zonder dat daar veel bewust nadenken tussen zit. Denk aan het vangen van een bal: je berekent geen baanformules, je oog volgt de bal en je hand beweegt vrijwel automatisch mee. Die korte, snelle koppeling tussen zien en doen noemen wetenschappers een perceptie-actielus.
In de robotica en kunstmatige intelligentie is de term de laatste jaren specifieker gaan betekenen: een robot of AI-systeem waarbij één neuraal netwerk rechtstreeks van camerabeelden (en soms een gesproken opdracht) naar motorcommando's gaat. Geen aparte stappen meer waarin het systeem eerst een kaart van de wereld bouwt, dan een plan maakt en pas daarna beweegt — maar één doorlopend proces. Een robotarm die een mok ziet staan en 'm oppakt zonder dat een programmeur van tevoren precies heeft vastgelegd hóe, is hiervan een hedendaags voorbeeld.
Wat is het precies?
Klassieke robots werken meestal volgens het zogeheten sense-plan-act-principe: eerst zet een perceptiemodule sensordata (camera's, lidar) om in een model van de omgeving, dan berekent een planningsmodule een route of beweging, en pas daarna voert een besturingsmodule die beweging uit. Dit werkt goed in voorspelbare omgevingen, zoals een fabriekshal, maar is traag en breekbaar zodra de wereld afwijkt van het interne model.
Als reactie hierop ontstond in de jaren tachtig een andere school in de robotica. Onderzoeker Rodney Brooks stelde met zijn zogeheten subsumptiearchitectuur dat robots niet per se een centraal wereldmodel nodig hebben: eenvoudige, directe koppelingen tussen sensor en motor — bijvoorbeeld 'als er een obstakel links is, stuur dan rechts' — kunnen samen verrassend robuust gedrag opleveren. Zijn uitgangspunt was dat de echte wereld zelf al het beste model is; je hoeft die niet eerst in software na te bouwen.
De huidige generatie perceptie-actiesystemen combineert beide tradities met deep learning. Een zogeheten vision-language-action-model (VLA-model) is een neuraal netwerk dat is opgebouwd op basis van een groot taalmodel, maar uitgebreid met de mogelijkheid om naast tekst ook camerabeelden te 'lezen' en robotbewegingen als output te genereren — vergelijkbaar met hoe een taalmodel het volgende woord voorspelt, voorspelt zo'n systeem de volgende motorbeweging.
Zulke modellen worden getraind met twee hoofdmethoden. Bij imitatieleren kijkt het systeem naar duizenden opnames van mensen die een taak uitvoeren, vaak via teleoperatie (een mens bestuurt de robot op afstand terwijl het systeem meekijkt). Bij reinforcement learning (versterkend leren) probeert het systeem zelf van alles uit en krijgt het een beloningssignaal wanneer een poging slaagt. In de praktijk worden beide vaak gecombineerd.
Een belangrijk achterliggend begrip is embodiment (belichaming): het idee dat een lichaam hebben en kunnen handelen mede bepaalt wát en hoe je waarneemt. Een systeem dat alleen plaatjes classificeert 'begrijpt' een kopje anders dan een systeem dat het ook moet vastpakken zonder het te laten vallen.
Wat wil men ermee bereiken?
Het hoofddoel is robots die overweg kunnen met de rommelige, onvoorspelbare werkelijkheid van alledag — een huiskamer, een magazijn vol wisselende dozen, een zorginstelling — in plaats van alleen de strak gecontroleerde omgeving van een fabriek. Bestaande industriële robots zijn extreem precies, maar meestal geprogrammeerd voor één herhaalde handeling; ze falen zodra iets net anders staat dan verwacht.
Een tweede doel is minder handmatig programmeerwerk. In plaats van voor elke taak apart software te schrijven, hoopt men systemen te trainen die generaliseren: een robot die geleerd heeft een appel te pakken, zou met wat extra training ook een peer moeten kunnen pakken, zonder dat een ingenieur alles opnieuw hoeft te coderen.
Ten derde speelt snelheid mee. Losse plan-stappen kosten rekentijd; een direct gekoppeld perceptie-actiesysteem kan sneller reageren, wat belangrijk is bij bijvoorbeeld het vangen van bewegende objecten of het lopen over oneffen terrein.
Tot slot is er de ambitie van een 'foundation model voor robotica': net zoals GPT-achtige taalmodellen voor uiteenlopende teksttaken bruikbaar zijn, hopen onderzoekers op één breed inzetbaar besturingsmodel dat met kleine aanpassingen op veel verschillende robots en taken werkt — van een keukenrobot tot een magazijnarm. Dit is voorlopig vooral een onderzoeksdoel, geen bewezen praktijk.
Voorbeelden uit de praktijk
RT-2 (Google DeepMind, 2023) was een van de eerste bekende vision-language-action-modellen: een robotarm die, gebouwd op een groot bestaand taal-beeldmodel, gesproken opdrachten als 'pak het uitgestorven dier op' kon uitvoeren door zelf te redeneren welk speelgoedfiguurtje daarbij hoorde, en dat vervolgens te pakken.
Open X-Embodiment / RT-X (2023) was een samenwerkingsproject van tientallen onderzoeksgroepen wereldwijd, die hun robotdata bundelden tot één grote openbare dataset met bewegingen van uiteenlopende robotarmen. Het liet zien dat een model dat op data van meerdere robottypen tegelijk traint, per robot vaak beter presteert dan een model dat alleen op die ene robot is getraind — een vorm van cross-embodiment-transfer.
Mobile ALOHA (Stanford, 2024, onder leiding van onderzoeker Chelsea Finn) is een relatief goedkope, zelf mobiele robot met twee armen die via imitatieleren huishoudelijke taken zoals koken en wassen leerde uitvoeren, na training op teleoperatie-opnames van mensen.
OpenVLA (2024, Stanford en UC Berkeley) is een openbaar beschikbaar VLA-model, getraind op de Open X-Embodiment-dataset, bedoeld om onderzoekers buiten grote techbedrijven een bruikbaar startpunt te geven in plaats van steeds vanaf nul te trainen.
π0 ('pi-zero') is een generalistisch robotbesturingsmodel van het Amerikaanse start-up Physical Intelligence, opgericht in 2024 door onder anderen onderzoekers die eerder aan bovenstaande projecten werkten. Het model werd eind 2024 gepresenteerd en getraind op data van meerdere robotplatforms tegelijk, met als doel één basismodel dat op verschillende robotlichamen inzetbaar is.
Hoe ver is de techniek?
De vooruitgang sinds 2022-2023 is snel geweest, maar het veld staat nog in een vroege onderzoeksfase. Demonstraties in het lab ogen vaak indrukwekkend, maar de betrouwbaarheid buiten de getrainde situaties — met nieuwe objecten, andere belichting, een rommelig aanrecht — is nog beperkt. Slagingspercentages die in demo's hoog liggen, zakken doorgaans als de omstandigheden ook maar iets afwijken.
Een belangrijk knelpunt is data. Taalmodellen kunnen putten uit enorme hoeveelheden tekst van het internet; robotdata (opnames van fysieke handelingen) is veel schaarser en duurder om te verzamelen, omdat er echte robots en mensen voor nodig zijn. Dit datatekort wordt algemeen gezien als een van de grootste obstakels voor verdere vooruitgang.
Ook veiligheid en voorspelbaarheid zijn nog open vragen: een neuraal netwerk dat direct naar motorcommando's vertaalt, is lastiger te doorgronden en te garanderen dan een klassiek, expliciet geprogrammeerd systeem. Veel praktische toepassingen combineren daarom nog steeds geleerde perceptie-actiemodellen met klassieke veiligheidslagen of noodstops er omheen — pure end-to-end-systemen zonder enige vangnetlogica zijn in commerciële producten nog uitzondering.
Humanoïde-robotbedrijven doen soms ambitieuze uitspraken over commerciële lancering binnen een paar jaar. Dergelijke aankondigingen zijn nog moeilijk onafhankelijk te verifiëren en verdienen enige voorzichtigheid; de kloof tussen een geslaagde demonstratievideo en een op grote schaal betrouwbaar product is in de robotica historisch gezien vaak groter gebleken dan aangekondigd.
Wie werken eraan?
Google DeepMind is met de RT-reeks een van de bekendste onderzoeksgroepen op dit gebied. Physical Intelligence, een Amerikaanse start-up met investeerders uit de techsector, richt zich specifiek op generalistische robotbesturingsmodellen. Academisch zijn vooral Stanford University (onder meer de onderzoeksgroep van Chelsea Finn) en UC Berkeley (onder meer de groep van Sergey Levine) toonaangevend, samen met instituten als Carnegie Mellon University.
Op het gebied van humanoïde robots werken onder meer Tesla (project Optimus), Figure AI en 1X Technologies aan lichamen die deels op vergelijkbare perceptie-actiemodellen moeten gaan draaien; enkele van deze bedrijven werken daarbij samen met of worden gefinancierd door grote AI-labs. De Verenigde Staten zijn momenteel toonaangevend in dit onderzoeksveld, met China als groeiende tweede speler, onder meer via bedrijven die zich richten op humanoïde robotica. Veel van het fundamentele onderzoek wordt bovendien in het openbaar gepubliceerd en gedeeld via internationale samenwerkingsverbanden zoals Open X-Embodiment.