Vision-language-action-model: hoe AI robots leert zien, begrijpen én doen
Stel je een keukenrobot voor die de opdracht krijgt: "pak het rode kopje en zet het naast de waterkoker". Om dat te kunnen, moet de robot drie dingen tegelijk kunnen: kijken (welk voorwerp is rood en waar staat de waterkoker?), taal begrijpen (wat betekent "naast" precies?) en vervolgens zijn arm en grijper aansturen om de beweging echt uit te voeren. Een vision-language-action-model (afgekort VLA-model) is een kunstmatige-intelligentiesysteem dat precies deze drie stappen combineert in één brein, in plaats van ze als losse programma's achter elkaar te zetten.
De term is de logische opvolger van de bekendere "vision-language-modellen" zoals die achter beeldherkennende chatbots zitten: systemen die een foto kunnen bekijken en er in woorden over kunnen vertellen. Een VLA-model gaat een stap verder en vertaalt die combinatie van zien en begrijpen niet naar tekst, maar naar concrete bewegingen van een robotarm, een grijper of zelfs een heel lichaam. Het is daarmee een van de belangrijkste bouwstenen in de race om robots te maken die niet slechts één ingeprogrammeerde taak herhalen, maar flexibel reageren op nieuwe situaties en opdrachten in gewone mensentaal.
Wat is het precies?
Een VLA-model bestaat ruwweg uit drie onderdelen die in de praktijk vaak zijn samengesmolten tot één groot neuraal netwerk. Het eerste onderdeel is een visuele encoder: een AI-component die camerabeelden omzet in een wiskundige representatie van wat er te zien is, zoals objecten, hun positie en hun onderlinge relatie. Het tweede onderdeel is een taalmodel, vergelijkbaar met de technologie achter chatbots, dat de gesproken of getypte opdracht van de gebruiker begrijpt en koppelt aan wat er visueel waargenomen wordt.
Het derde en meest onderscheidende onderdeel is de vertaling naar actie. Hier zijn twee hoofdstromingen. Bij de eerste aanpak, gebruikt door onder meer Google DeepMind's RT-2 (2023), worden robotbewegingen letterlijk behandeld als extra "woorden" die het taalmodel kan genereren: getallen voor de gewenste positie en hoek van de robotarm worden simpelweg als tekstuele tokens uitgevoerd, net zoals het model normaal een zin zou schrijven. Bij de tweede, nieuwere aanpak - zoals bij het model π0 ("pi-zero") van het bedrijf Physical Intelligence - wordt een aparte techniek genaamd flow matching gebruikt, die vloeiendere en snellere bewegingen oplevert dan het token-voor-token genereren van bewegingen.
Cruciaal is dat deze modellen vooraf getraind worden op enorme verzamelingen video's en sensordata van robots die duizenden verschillende taken uitvoeren, aangevuld met gewone internetteksten en -beelden. Doordat het model dus al veel "wereldkennis" heeft opgedaan uit taal en beeld voordat het ook maar één robotarm heeft bestuurd, kan het beter omgaan met situaties die het nog nooit letterlijk heeft geoefend, bijvoorbeeld een voorwerp met een net iets andere vorm of kleur oppakken.
Wat wil men ermee bereiken?
De klassieke manier om een robot een taak te leren, is door voor elke afzonderlijke handeling apart programma of algoritme te schrijven of te trainen: één robot leert alleen blikjes stapelen, een ander alleen kabels insteken. Dat werkt, maar is duur, traag en levert robots op die volledig vastlopen zodra de omgeving een klein beetje afwijkt van wat is ingeoefend.
Het doel van VLA-modellen is een "generalistische" robot te bouwen: één en hetzelfde model dat, net als een mens, met gesproken instructies aan de slag kan in uiteenlopende, niet eerder geziene situaties. In plaats van een robot te herprogrammeren voor elke nieuwe taak, zou je hem in theorie simpelweg moeten kunnen vertellen wat je wilt. Dit past in een bredere trend waarbij onderzoekers hopen dat dezelfde schaalvoordelen die grote taalmodellen zoals chatbots zo krachtig maakten - meer data, meer rekenkracht, grotere modellen - ook gelden voor robotica.
Een tweede, meer praktische drijfveer is arbeidskrapte en repetitief, fysiek zwaar werk in fabrieken, magazijnen, de zorg en huishoudens. Bedrijven als Figure AI en Physical Intelligence positioneren hun technologie expliciet als een manier om flexibele robotarbeid mogelijk te maken zonder dat elke nieuwe klus weken aan herprogrammering vergt.
Voorbeelden uit de praktijk
De belangrijkste mijlpaal was RT-2 van Google DeepMind, gepresenteerd in 2023: dit model bouwde voort op bestaande vision-language-modellen (PaLI-X en PaLM-E) en liet voor het eerst overtuigend zien dat een systeem dat is voorgetraind op gewone internetbeelden en -teksten, die kennis kan overzetten naar fysieke robottaken die het nooit expliciet geoefend had.
Kort daarna volgde het Open X-Embodiment-project (2023), waarin meer dan twintig onderzoeksinstellingen wereldwijd hun robotdata bundelden tot één gezamenlijke, open dataset met miljoenen robotbewegingen van tientallen verschillende robottypen. Deze dataset vormde de basis voor OpenVLA (2024), een open-source VLA-model ontwikkeld door onderzoekers van onder meer Stanford University en UC Berkeley, dat vrij beschikbaar is voor andere onderzoekers om op voort te bouwen - een tegenhanger van de veelal gesloten modellen van grote techbedrijven.
Het startup Physical Intelligence, opgericht door onder anderen robotica-onderzoekers van Berkeley en Google, presenteerde eind 2024 zijn model π0, dat volgens het bedrijf in staat is tot relatief complexe huishoudelijke taken zoals was opvouwen en een tafel afruimen. Het Amerikaanse robotbedrijf Figure AI ontwikkelde zijn eigen VLA-systeem genaamd Helix, gepresenteerd begin 2025, bedoeld om zijn humanoïde robot alledaagse huishoudelijke handelingen te laten uitvoeren op basis van natuurlijke taal. Ook chipfabrikant NVIDIA mengt zich in het veld met zijn GR00T-project, gericht op een "foundation model" specifiek voor humanoïde robots, en Google DeepMind bracht in 2025 Gemini Robotics uit, een op zijn Gemini-taalmodel gebaseerde VLA-variant.
Hoe ver is de techniek?
VLA-modellen zijn een jong onderzoeksveld: de eerste overtuigende demonstraties dateren van 2022-2023, en de meeste genoemde voorbeelden zijn niet ouder dan twee jaar. De vooruitgang gaat snel, maar het is belangrijk te benadrukken dat vrijwel alle publieke demonstraties nog plaatsvinden in gecontroleerde laboratorium- of showroomomstandigheden, niet op grote schaal in echte fabrieken, winkels of huishoudens.
Er zijn een aantal hardnekkige obstakels. Ten eerste is er een schaarste aan trainingsdata: in tegenstelling tot tekst en beeld, waarvan er miljarden voorbeelden op het internet staan, is er relatief weinig data van robots die fysieke taken uitvoeren, omdat die data zelf verzameld moet worden met echte of gesimuleerde robots. Ten tweede is er de zogeheten "sim-to-real gap": vaardigheden die een robot in een computersimulatie leert, werken niet altijd even goed in de echte, rommelige wereld met wisselend licht, gewicht en wrijving. Ten derde is generalisatie tussen verschillende robotlichamen (een arm met twee vingers versus een hand met vijf vingers, bijvoorbeeld) nog beperkt. Tot slot spelen snelheid en veiligheid een rol: sommige modellen zijn nog te traag om in real time te reageren, en fouten van een fysieke robot kunnen, anders dan bij een chatbot, echte schade of letsel veroorzaken.
Onderzoekers zijn het er doorgaans over eens dat VLA-modellen op dit moment betrouwbaar zijn voor relatief eenvoudige, goed-gedefinieerde grijp- en plaatsingstaken, maar dat volledig zelfstandige, algemene huishoud- of fabrieksrobots nog jaren onderzoek en engineering vergen.
Wie werken eraan?
Het veld wordt op dit moment gedomineerd door een combinatie van grote techbedrijven, gespecialiseerde robotica-startups en academische instituten, met een sterk zwaartepunt in de Verenigde Staten. Google DeepMind was met RT-1, RT-2 en Gemini Robotics een van de pioniers. De startup Physical Intelligence (San Francisco) en humanoïde-robotbedrijf Figure AI behoren tot de meest geciteerde nieuwe spelers, net als chipgigant NVIDIA, dat via zijn GR00T-initiatief vooral de onderliggende reken- en simulatie-infrastructuur voor humanoïde robots wil leveren.
Op academisch vlak spelen Stanford University en UC Berkeley een centrale rol, onder meer via het open-source OpenVLA-project en het bredere Open X-Embodiment-samenwerkingsverband, waarin tientallen universiteiten en laboratoria wereldwijd data en modellen delen. Ook Toyota Research Institute en verschillende Chinese techbedrijven en universiteiten investeren zwaar in vergelijkbare generalistische robotmodellen, al is daarover minder in detail gepubliceerd in het Engelstalige onderzoeksveld. Europa is in dit specifieke deelgebied vooralsnog minder prominent aanwezig dan de VS.