Deep Variational Bayes Filter: een AI die zelf de fysica van de wereld leert
Stel je voor dat je een computer alleen video's laat zien van een balletje dat over een tafel stuitert, zonder ooit uit te leggen wat zwaartekracht of botsing is. Kan die computer daar zelf een intern model van maken waarmee hij kan voorspellen waar de bal over een seconde is? Dat is precies waar een Deep Variational Bayes Filter, afgekort DVBF, voor is ontworpen. Het is een techniek uit de machine learning waarmee een computer, puur op basis van ruwe waarnemingen zoals camerabeelden, een verborgen "toestand" leert bijhouden die zich gedraagt volgens consistente natuurwetten, ook al krijgt het systeem die wetten nooit voorgeschoteld.
Het bijzondere is niet dat een computer patronen in beelden herkent, dat kunnen veel systemen. Het bijzondere is dat een DVBF gedwongen wordt om een innerlijk model op te bouwen dat zich stap voor stap logisch ontwikkelt, net zoals de werkelijkheid dat doet: de toestand op moment twee volgt uit de toestand op moment één, plus een beetje onvoorspelbaarheid. Dat maakt het verschil tussen een systeem dat losse foto's herkent en een systeem dat begrijpt hoe de wereld zich in de tijd ontvouwt. Die eigenschap is precies wat robots en zelflerende systemen nodig hebben om vooruit te kunnen plannen.
Wat is het precies?
Om DVBF te begrijpen, helpen twee bouwstenen. De eerste is het state space model (toestandsruimtemodel), een klassiek wiskundig gereedschap uit de regeltechniek. Hierbij ga je ervan uit dat een systeem op elk moment een verborgen "toestand" heeft, bijvoorbeeld de precieze positie en snelheid van een vliegtuig, en dat je die toestand alleen indirect waarneemt via ruizige sensoren zoals radar. Het bekendste voorbeeld hiervan is het Kalmanfilter, al decennia gebruikt in navigatiesystemen en de ruimtevaart.
De tweede bouwsteen is de variational autoencoder (VAE), een neuraal netwerk dat leert om complexe data, zoals een foto, samen te persen tot een compacte, betekenisvolle code en die code weer uit te pakken tot een reconstructie van het origineel. Dat gebeurt op een kansrekenkundige manier: het netwerk leert niet één vaste code, maar een waarschijnlijkheidsverdeling van mogelijke codes, wat het geheel robuuster en flexibeler maakt.
Een DVBF combineert deze twee ideeën. Een encoder-netwerk zet elk camerabeeld om in een verborgen toestand, maar cruciaal is dat de toestand op tijdstip twee niet los wordt geraden uit alleen dat ene beeld. In plaats daarvan wordt hij berekend door een geleerde overgangsfunctie toe te passen op de toestand van tijdstip één, plus wat ruis, precies zoals bij een klassiek toestandsruimtemodel. Deze transitiefunctie is zelf ook een neuraal netwerk dat meeleert.
Het trainen gebeurt via variational inference, een wiskundige methode om met onzekere, niet exact berekenbare grootheden om te gaan door ze te benaderen met een eenvoudigere verdeling die zo goed mogelijk past. Met een wiskundige truc, de zogeheten reparameterization trick, kan deze onzekerheid toch worden meegenomen in het trainingsproces via terugpropagatie, de standaardmethode waarmee neurale netwerken leren. Het resultaat is een model dat niet alleen beelden kan reconstrueren, maar ook vooruit kan "dromen": het kan meerdere stappen in de toekomst simuleren, puur in zijn eigen interne, compacte wereldbeeld, zonder dat er telkens een nieuw echt camerabeeld nodig is.
Wat wil men ermee bereiken?
De drijfveer achter DVBF en verwante technieken is dat de klassieke regeltechniek meestal een handgemaakt wiskundig model van een systeem nodig heeft, bijvoorbeeld de exacte bewegingsvergelijkingen van een robotarm. Zulke modellen opstellen is tijdrovend, foutgevoelig en werkt slecht bij complexe, hoogdimensionale input zoals camerabeelden. Onderzoekers wilden een manier vinden waarop een systeem dat model zelf leert, puur uit waarnemingen, zonder menselijke tussenkomst.
Daar zitten meerdere beloften achter. Ten eerste data-efficiëntie: als een robot eerst intern kan oefenen in een geleerd wereldmodel, zijn er veel minder dure en tijdrovende experimenten in de echte wereld nodig. Ten tweede model-based reinforcement learning, waarbij een systeem vooruit plant door verschillende acties eerst "in gedachten" te simuleren voordat het iets echt uitvoert, vergelijkbaar met hoe een schaker vooruitdenkt. Ten derde de ambitie om dit soort technieken te laten werken op rijke, visuele input in plaats van alleen simpele meetwaarden, wat nodig is voor robots die met camera's de wereld waarnemen.
Achterliggend gaat het om een breder streven in de kunstmatige intelligentie: systemen bouwen die niet alleen patronen herkennen, maar een intern "wereldmodel" opbouwen waarmee ze oorzaak en gevolg kunnen doorgronden. Dat idee, vaak aangeduid als world models, staat centraal in veel hedendaags onderzoek naar robotica en autonome systemen.
Voorbeelden uit de praktijk
Het oorspronkelijke DVBF-paper, gepresenteerd op de ICLR-conferentie van 2017, testte de methode op relatief eenvoudige, klassieke regeltechniek-systemen die met camerabeelden werden waargenomen, zoals een slingerende pendulum en een stuiterende bal. Dit waren bewust simpele testomgevingen om te laten zien dat het model daadwerkelijk consistente natuurkundige dynamica leerde, in plaats van alleen beelden te onthouden.
Een belangrijke voorloper was het Deep Kalman Filter, voorgesteld door Rahul Krishnan, Uri Shalit en David Sontag in 2015 (New York University). Zij pasten een vergelijkbaar idee toe op medische patiëntgegevens, om het verloop van een ziekte over tijd te modelleren vanuit elektronische patiëntendossiers.
De onderliggende gedachte van DVBF, een compact latent model leren dat de dynamica van een systeem volgt, leeft sterk voort in latere, veel grotere "world model"-systemen. Een bekend voorbeeld is PlaNet (Danijar Hafner en collega's, Google, 2019), dat via een vergelijkbaar geleerd dynamica-model robotbesturingstaken uit pixels leerde uitvoeren met veel minder trainingsdata dan gangbare methoden. Dit werk werd verder uitgebouwd tot de Dreamer-reeks (2020-2023), waarbij een AI-agent grotendeels "droomt" binnen zijn eigen geleerde wereldmodel om te leren handelen. DreamerV3, gepubliceerd in 2023, kreeg aandacht doordat het als een van de eerste systemen zonder menselijke demonstraties zelfstandig diamanten wist te verzamelen in het computerspel Minecraft, een notoir lastige taak vanwege de lange reeks tussenstappen die daarvoor nodig is.
Hoe ver is de techniek?
DVBF zelf is en blijft vooral een academische, conceptuele bijdrage uit 2016-2017: een relatief kleinschalige proof-of-concept, getest op eenvoudige simulatietaken, niet een kant-en-klaar product dat ergens in de praktijk wordt ingezet. De waarde zit vooral in het onderliggende idee, dat vervolgens jarenlang is doorontwikkeld en opgeschaald.
Het bredere onderzoeksveld van latente dynamica-modellen en world models is anno 2025 juist zeer actief. Grote technologiebedrijven investeren fors in opvolgers die veel groter en algemener zijn dan het oorspronkelijke DVBF, zoals modellen die interactieve, speelbare omgevingen genereren op basis van videomateriaal van het internet. Toch blijven er stevige obstakels: geleerde dynamica-modellen worden nog steeds onnauwkeuriger naarmate ze verder vooruit voorspellen, doordat kleine fouten zich opstapelen ("compounding errors"), en complexe, rommelige echte-wereldscènes zijn nog altijd veel lastiger dan de nette simulatieomgevingen waarin deze technieken meestal worden getest. Robuuste, veilige inzet op echte robots buiten het laboratorium is daardoor nog geen uitgemaakte zaak.
Kortom: het specifieke DVBF-model uit 2016 is intussen vooral van historisch en educatief belang binnen de vakliteratuur, maar het achterliggende principe, een neuraal netwerk dat een intern, tijdconsistent model van de werkelijkheid leert, vormt een bouwsteen onder een onderzoekslijn die tot op vandaag volop in ontwikkeling is.
Wie werken eraan?
Het originele DVBF-paper is geschreven door Maximilian Karl, Maximilian Soelch, Justin Bayer en Patrick van der Smagt, verbonden aan fortiss, een onderzoeksinstituut gelieerd aan de Technische Universität München in Duitsland. Van der Smagt heeft zich sindsdien breder beziggehouden met machine learning voor robotica en was later verbonden aan onderzoek binnen de Volkswagen Group op het gebied van kunstmatige intelligentie.
Het bredere veld van latente dynamica-modellen en world models wordt momenteel vooral gedreven door grote onderzoekslabs zoals Google DeepMind, met onderzoekers als Danijar Hafner als drijvende kracht achter PlaNet en de Dreamer-reeks, en Meta AI, waar hoofdwetenschapper Yann LeCun al enige tijd pleit voor wereldmodellen als volgende grote stap in AI. Ook academische groepen dragen substantieel bij, waaronder onderzoekers aan de New York University (de makers van het Deep Kalman Filter) en diverse Amerikaanse en Europese universiteiten die onderzoek doen naar model-gebaseerd reinforcement learning voor robotica.
Geografisch ligt de oorsprong van DVBF in Duitsland, terwijl het grootste deel van de vervolgontwikkeling zich de afgelopen jaren heeft geconcentreerd bij Amerikaanse techbedrijven en universiteiten, aangevuld met bijdragen uit de bredere internationale onderzoeksgemeenschap die publiceert op conferenties als ICLR, NeurIPS en ICML.