Spatiale intelligentie: hoe AI leert denken in drie dimensies
Kijk eens kort om je heen. Zonder erbij na te denken weet je hoe ver de tafel bij je vandaan staat, of je langs de stoel past en wat er gebeurt als je een glas water optilt: het blijft geen platte foto, maar een plek waarin je je kunt bewegen. Die vanzelfsprekende vaardigheid heet spatiale intelligentie, of ruimtelijke intelligentie: het vermogen om de driedimensionale wereld te begrijpen, erover te redeneren en erin te handelen.
Voor mensen en dieren is dit basisgereedschap dat al werkt voordat we kunnen praten. Voor kunstmatige intelligentie is het juist opvallend lastig. De bekende taalmodellen zoals ChatGPT zijn uitstekend in het combineren van woorden, maar hebben geen idee hoe een kamer eruitziet van de achterkant, of wat er gebeurt als je een stapel dozen omstoot. Spatiale intelligentie is het onderzoeksveld dat daar verandering in probeert te brengen: AI die niet alleen tekst en plaatjes verwerkt, maar de driedimensionale, fysieke werkelijkheid begrijpt.
Wat is het precies?
De meeste AI-modellen van de afgelopen jaren zijn getraind op platte data: tekst, of losse tweedimensionale afbeeldingen. Spatiale intelligentie draait om een extra laag: het model moet begrijpen dat een foto een projectie is van een driedimensionale ruimte met diepte, volumes en onderlinge afstanden.
Dat gebeurt in grote lijnen in stappen. Eerst leert een systeem van veel beelden of video's om diepte te schatten: welk object dichterbij is en welk verder weg. Vervolgens leert het de geometrie van een scène te reconstrueren, zodat het weet welke vlakken een muur, een vloer of een tafel vormen. Een belangrijke techniek hierbij is NeRF (Neural Radiance Fields), een methode uit 2020 waarmee een computer uit een handvol foto's een volledig driedimensionaal model van een scène kan opbouwen, inclusief het aanzicht vanuit hoeken die nooit gefotografeerd zijn.
De volgende stap is een wereldmodel: een intern model dat niet alleen weergeeft hoe een scène eruitziet, maar ook voorspelt hoe die verandert. Wat gebeurt er als een object valt? Blijft een kop koffie op tafel staan als je de tafel een klein duwtje geeft? Dat noemen onderzoekers ook wel intuïtieve fysica: kennis die een kind al vroeg opbouwt door te spelen, en die een AI-systeem moet leren uit video's.
Tot slot komt er vaak een embodied (belichaamde) component bij: een robot, virtuele avatar of zelfrijdende auto die dat ruimtelijke begrip gebruikt om daadwerkelijk te navigeren of voorwerpen vast te pakken. Spatiale intelligentie is dus niet één technologie, maar een verzameling technieken die samen een AI-systeem een gevoel voor ruimte, materie en tijd moeten geven.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is dat veel nuttige toepassingen van AI zich in de fysieke wereld afspelen, niet in tekst. Een huishoudrobot, een pakketbezorgende drone of een zelfrijdende auto heeft niets aan taalvaardigheid als hij niet weet waar de trap begint of dat een kind plotseling kan oversteken.
Onderzoekers als Fei-Fei Li, hoogleraar aan Stanford en medeoprichter van het invloedrijke beeldherkenningsproject ImageNet, beargumenteren daarnaast dat spatiale intelligentie een ontbrekende schakel is op weg naar meer algemene AI. Taal is volgens haar een compressie van menselijke ervaring, terwijl echt begrip van de wereld begint bij waarneming en ruimte, zoals ook bij de evolutie van dieren het zien en bewegen vooraf ging aan taal.
Praktischer gezien wil de industrie met spatiale intelligentie ook kosten besparen: 3D-omgevingen voor games, films, architectuur, training van robots of virtual reality worden nu nog vaak met de hand gebouwd door 3D-ontwerpers, wat duur en tijdrovend is. Een model dat automatisch een geloofwaardige 3D-wereld genereert uit één foto of een korte tekstbeschrijving zou dat werk drastisch kunnen versnellen.
Voorbeelden uit de praktijk
World Labs (opgericht in 2024 door Fei-Fei Li, samen met onder anderen Justin Johnson en Ben Mildenhall, een van de bedenkers van NeRF) is het bedrijf dat de term spatiale intelligentie het meest expliciet als missie heeft omarmd. Het haalde in 2024 een grote kapitaalronde op en presenteerde in 2025 een platform waarmee gebruikers uit één foto of tekstprompt een verkenbare, persistente 3D-wereld kunnen laten genereren, bedoeld voor makers van games, film en virtual reality.
NVIDIA introduceerde begin 2025 tijdens zijn jaarlijkse CES-presentatie de Cosmos-familie van zogeheten wereldfundatiemodellen: AI-modellen die getraind zijn op enorme hoeveelheden video van de fysieke wereld, bedoeld om robots en zelfrijdende auto's te trainen in gesimuleerde omgevingen voordat ze de echte wereld ingaan.
Google DeepMind liet eind 2024 Genie 2 zien, een model dat uit één enkele afbeelding een speelbare, interactieve virtuele omgeving kan genereren waarin een figuur zich even kan bewegen. Het is vooral bedoeld als trainingsomgeving voor andere AI-agenten, niet als kant-en-klaar product.
Bij Meta werkt de onderzoeksgroep van AI-pionier Yann LeCun aan V-JEPA, een familie van modellen die door zelfsupervisie (zonder handmatige labels) uit video leren welke gebeurtenissen in de fysieke wereld wel en niet plausibel zijn, als bouwsteen voor toekomstige wereldmodellen.
Tot slot speelt spatiale intelligentie een centrale rol in de robotica: het project GR00T van NVIDIA, aangekondigd in 2024, is een basismodel dat humanoïde robots moet helpen om objecten in de fysieke ruimte te herkennen en te manipuleren, van het oppakken van gereedschap tot het openen van deuren.
Hoe ver is de techniek?
Spatiale intelligentie staat, vergeleken met tekst- en beeldgeneratie, nog in een vroeg ontwikkelstadium, ongeveer te vergelijken met waar taalmodellen enkele jaren geleden stonden. De gegenereerde 3D-werelden ogen op eerste gezicht indrukwekkend, maar blijven bij langer gebruik vaak inconsistent: geometrie die vervormt zodra je te ver doorloopt, objecten die door muren zakken, of fysica die niet klopt.
Een belangrijk obstakel is data: er bestaat online enorm veel tekst en 2D-beeld om modellen op te trainen, maar veel minder gelabelde 3D-data of video met betrouwbare dieptemetingen. Onderzoekers moeten daarom veel werk steken in het genereren van synthetische trainingsdata of het combineren van simulatie met echte video.
Ook ontbreekt het nog aan gedeelde, algemeen geaccepteerde manieren om te meten hoe goed een model werkelijk is in ruimtelijk redeneren; benchmarks hiervoor worden nog volop ontwikkeld. Onafhankelijke, langdurige tests buiten de laboratoriumdemo's zijn schaars, en het is nu nog onduidelijk hoe snel de sprong van indrukwekkende demo naar betrouwbare toepassing (bijvoorbeeld een robot die zelfstandig in een onbekend huis kan werken) gemaakt zal worden. Deskundigen zijn het erover eens dat dit jaren, en niet maanden, gaat vergen.
Wie werken eraan?
Naast het gespecialiseerde World Labs in de Verenigde Staten investeren vrijwel alle grote AI-spelers in dit veld. NVIDIA combineert het met zijn simulatiesoftware Omniverse en zijn robotica-tak. Google DeepMind en Meta AI (FAIR) publiceren er onderzoek over vanuit hun ambitie om tot meer algemene, op de fysieke wereld gebaseerde AI te komen. Ook Stanford University, via het Stanford Institute for Human-Centered AI waar Fei-Fei Li aan verbonden is, en andere academische centra zoals UC Berkeley leveren fundamenteel onderzoek.
Daarnaast trekken grote techbedrijven met robotica-ambities, zoals Tesla met zijn Optimus-robot en verschillende Chinese techbedrijven en universiteiten, in hoog tempo mensen en middelen naar dit onderzoeksgebied, al is over de precieze voortgang van veel van dat werk minder publiek bekend dan over de Amerikaanse spelers.