Latente actieruimte: hoe AI leert 'handelen' zonder dat iemand het voordoet
Stel je voor dat je duizenden uren stille filmpjes bekijkt van mensen die videogames spelen — je ziet het scherm veranderen, maar je weet niet welke knoppen er worden ingedrukt. Na een tijdje begin je toch patronen te herkennen: steeds als het personage naar links beweegt, gebeurt er iets herkenbaars in het beeld; steeds als het springt, zie je een ander soort verandering. Zonder ooit een controller te hebben gezien, heb je een eigen, impliciete 'taal van acties' ontdekt. Dat is in de kern wat een latente actieruimte is: een door een AI-systeem zelf ontdekte, compacte verzameling van mogelijke handelingen, afgeleid uit waargenomen veranderingen, zonder dat die handelingen ooit expliciet zijn benoemd of gelabeld.
De term duikt steeds vaker op in onderzoek naar robots en zogeheten 'wereldmodellen': AI-systemen die leren voorspellen hoe een omgeving verandert als gevolg van acties. Waar traditionele systemen worden getraind met precies vastgelegde acties (bijvoorbeeld 'draai motor A drie graden'), leren systemen met een latente actieruimte die acties af uit puur visueel materiaal — video's van mensen, robots of games — zonder toegang tot de onderliggende besturingssignalen. Dat maakt het mogelijk om te leren van een veel grotere hoeveelheid data, zoals de miljoenen uren video die al op internet staan.
Wat is het precies?
Om latente actieruimte te begrijpen, moet je eerst weten wat een latente ruimte is. Neurale netwerken comprimeren complexe informatie vaak tot een korte reeks getallen die de essentie vastleggen — vergelijkbaar met hoe een politietekenaar een gezicht kan samenvatten met een handvol kenmerken (vorm van de neus, afstand tussen de ogen) in plaats van elke pixel apart te beschrijven. Zo'n compacte, door het model zelf geleerde representatie heet 'latent', wat Latijn is voor 'verborgen': de getallen hebben geen directe, voor mensen leesbare betekenis, maar coderen wel bruikbare informatie.
Een actieruimte is simpelweg de verzameling van alle mogelijke handelingen die een systeem kan uitvoeren — bij een robotarm bijvoorbeeld de hoeken van elk gewricht, bij een game de knoppen op een controller. Een latente actieruimte combineert beide ideeën: in plaats van te werken met de werkelijke, vaak zeer specifieke besturingssignalen, leert het model zelf een compacte, abstracte code die het verschil tussen twee opeenvolgende situaties het beste verklaart.
In de praktijk werkt dit meestal zo. Het model krijgt twee opeenvolgende beelden te zien — bijvoorbeeld frame 1 en frame 2 uit een video — en moet een korte code bedenken die, samen met frame 1, zo goed mogelijk voorspelt hoe frame 2 eruitziet. Die code is de 'latente actie'. Vaak wordt deze ruimte bovendien gedwongen om klein en discreet te zijn (bijvoorbeeld een keuze uit acht mogelijkheden), zodat het model niet zomaar de hele volgende afbeelding in de code verstopt, maar echt een betekenisvol, herbruikbaar begrip van 'actie' ontwikkelt. Pas in een latere stap kan zo'n latente actie eventueel gekoppeld worden aan een echte, fysieke handeling, zoals een motorcommando bij een robot.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is schaal. Robots trainen met traditionele methoden vereist doorgaans dat een mens de robot bestuurt (teleoperatie) of dat elke actie zorgvuldig wordt vastgelegd — een tijdrovend en kostbaar proces. Video van mensen die dingen doen, van kookfilmpjes tot gameplay-opnames, is daarentegen in overvloed beschikbaar en vrijwel gratis. Als een AI-systeem kan leren van video alleen, zonder actielabels, gaat er een enorme hoeveelheid extra trainingsdata open.
Een tweede doel is generalisatie. Onderzoekers hopen dat een model dat eerst een algemeen begrip van 'actie' ontwikkelt uit heel divers materiaal (mensen die koken, wandelen, spelen) daarna sneller en met minder voorbeelden kan leren om een specifieke robot te besturen. De latente actieruimte fungeert dan als een soort voorkennis die vervolgens wordt 'vertaald' naar de motoren van een specifieke machine.
Ten derde speelt het een rol in wereldmodellen: AI-systemen die een interne simulatie van de werkelijkheid opbouwen om vooruit te kunnen plannen of om interactieve, speelbare omgevingen te genereren. Een latente actieruimte geeft zo'n wereldmodel iets om op te 'sturen', ook als niemand van tevoren heeft gedefinieerd welke besturingsmogelijkheden er zijn.
Voorbeelden uit de praktijk
Een aantal recente projecten illustreert waar dit onderzoek naartoe gaat, al is dit een snel veranderend veld waarin nieuwe papers elkaar in hoog tempo opvolgen:
- Genie (Google DeepMind, 2024) — dit model werd getraind op een grote verzameling ongelabelde video's van platformgames en leerde daaruit zelf een kleine set latente acties te herkennen. Het resultaat is een 'wereldmodel' waarmee gebruikers, op basis van één startafbeelding, een speelbare, 2D-achtige omgeving kunnen genereren en besturen met deze zelf-ontdekte acties — zonder dat het model ooit echte spelbesturing te zien kreeg.
- Genie 2 (Google DeepMind, eind 2024) — een vervolgversie die de aanpak uitbreidt naar rijkere, meer 3D-achtige interactieve omgevingen, met als doel dit soort gegenereerde werelden bruikbaar te maken om agents (AI-besturingssystemen) in te trainen.
- LAPA (Latent Action Pretraining, 2024) — academisch onderzoek waarbij een model eerst latente acties leert uit grote hoeveelheden 'actievrije' video van mensen en robots, en pas in een tweede, kleinere trainingsstap deze latente acties koppelt aan de werkelijke motorcommando's van een specifieke robotarm. De auteurs rapporteerden dat deze aanpak op sommige taken beter presteerde dan methoden die alleen trainen op schaarse, wél gelabelde robotdata.
- Video PreTraining / VPT (OpenAI, 2022) — een verwant, iets eerder voorbeeld: dit systeem leerde Minecraft spelen door eerst met een beperkt aantal gelabelde voorbeelden een model te trainen dat vanuit video kan raden welke toetsen en muisbewegingen zijn gebruikt, en vervolgens die aanpak toe te passen op enorme hoeveelheden ongelabelde gameplay-video's van internet. Dit gebruikt strikt genomen geen abstracte latente code maar voorspelt de werkelijke besturing, en laat daarmee zien hoe dicht verwante technieken naast elkaar bestaan.
- Wereldmodellen bij humanoïde robots — verschillende robotica-bedrijven experimenteren met vergelijkbare technieken om robots te laten leren van video-opnames van hun eigen proefopstellingen, met als doel de robot vooruit te laten 'dromen' over de gevolgen van mogelijke acties voordat deze daadwerkelijk wordt uitgevoerd.
Hoe ver is de techniek?
Latente actieruimtes zijn op dit moment vooral een actief onderzoeksonderwerp, geen kant-en-klare industriestandaard. De gepubliceerde resultaten zijn veelbelovend op specifieke, vaak nog beperkte taken — denk aan eenvoudige grijp- en verplaatsbewegingen met een robotarm, of het besturen van personages in relatief eenvoudige, spelachtige omgevingen. Overstappen naar complexe, langdurige taken in de echte, rommelige wereld blijft moeilijk.
Een belangrijk obstakel is dat latente acties die uit video worden geleerd, niet automatisch overeenkomen met fysiek zinvolle of veilige handelingen. Een model kan bijvoorbeeld een code leren die visueel goed voorspelt wat er verandert, maar die zich lastig laat vertalen naar een concreet, uitvoerbaar motorcommando. Ook is het lastig om te garanderen dat de geleerde acties consistent dezelfde betekenis houden in verschillende situaties — iets wat onderzoekers 'semantische consistentie' noemen.
Daarnaast is evaluatie een uitdaging: omdat de latente acties geen vooraf vastgelegde betekenis hebben, is het moeilijk te meten of een model 'goed' presteert, los van de uiteindelijke taak waarvoor het wordt ingezet. De voortgang is de afgelopen twee jaar wel zichtbaar versneld, mede dankzij goedkopere reken kracht en de opkomst van grote, video-gebaseerde trainingsdatasets, maar toepassingen buiten onderzoekslabs zijn nog schaars.
Wie werken eraan?
Google DeepMind is met projecten als Genie een van de meest zichtbare spelers op het gebied van wereldmodellen met latente actieruimtes. OpenAI heeft met eerder werk zoals Video PreTraining verwante technieken verkend voor het leren uit ongelabelde video. Meta AI (FAIR), onder leiding van onderzoekers rond Yann LeCun, werkt aan verwante architecturen die voorspellingen doen in latente representatieruimtes als onderdeel van bredere plannen voor 'wereldmodellen' in AI.
Op academisch vlak komt veel onderzoek naar latente actiemodellen voor robotica van Amerikaanse en Aziatische universiteiten, waaronder groepen die zich specifiek richten op robotleren en imitatieleren. Ook diverse robotica-startups die zich richten op humanoïde robots experimenteren met varianten van deze aanpak om hun robots te laten leren van eigen video-opnames, naast de traditionelere methode van teleoperatie door menselijke operators.
Het onderzoeksveld is internationaal en beweegt snel: veel van dit werk wordt eerst gepubliceerd als preprint (een nog niet formeel gereviewd wetenschappelijk artikel) voordat het eventueel verschijnt op grote AI-conferenties, wat betekent dat de status van specifieke resultaten kan veranderen naarmate vervolgonderzoek verschijnt.