Open-loop simulatie: testen zonder dat de wereld terugpraat

Bijgewerkt: 27 augustus 2026 · 7 min leestijd

Stel je een rij-examen voor waarbij de kandidaat niet echt hoeft te rijden, maar naar een video van een eerder gereden rit kijkt. Bij elk moment wordt gevraagd: "wat zou jij nu doen?" Het antwoord wordt genoteerd en vergeleken met wat de oorspronkelijke bestuurder toen daadwerkelijk deed. Maar de video zelf verandert niet: als de kandidaat zegt dat hij zou remmen, rijdt de auto op het scherm gewoon door alsof er niets is gezegd. Dat is in de kern open-loop simulatie: een systeem, meestal een stukje zelfrijdende software of een ander besturingsalgoritme, reageert op eerder vastgelegde situaties, maar de omgeving reageert niet terug op die reactie.

De term komt oorspronkelijk uit de regeltechniek, het vakgebied dat zich bezighoudt met het automatisch aansturen van machines. Daar betekent "open loop" dat een systeem zijn acties uitvoert zonder te meten of het gewenste resultaat ook echt bereikt wordt, zoals een sproeier die precies tien minuten sproeit, ongeacht hoe nat de tuin al is. In simulaties van zelfrijdende auto's en robots is het begrip een eigen leven gaan leiden: het beschrijft nu vooral een testmethode waarbij de simulatie niet "terugpraat" tegen het systeem dat getest wordt. Dat maakt open-loop simulatie goedkoop en snel, maar ook beperkt, en dat spanningsveld staat centraal in dit artikel.

Wat is het precies?

Een open-loop test verloopt meestal in vier stappen. Eerst wordt er data verzameld uit de echte wereld: camerabeelden, radar- en lidarmetingen van een auto of robot die daadwerkelijk ergens heeft gereden of bewogen. Bij die opname hoort ook de ground truth, ofwel wat er in werkelijkheid gebeurde: hoe hard er geremd werd, welke kant het stuur op ging, hoe de andere weggebruikers zich gedroegen.

Vervolgens wordt die opgenomen situatie, frame voor frame, aan het te testen systeem gevoerd. Het systeem, bijvoorbeeld een AI-planner in een zelfrijdende auto, berekent op basis van wat het tot dat moment "ziet" welke actie het zou ondernemen: een bocht, een remming, een bepaalde snelheid.

Daarna vergelijkt men die berekende actie met de ground truth, meestal met wiskundige maatstaven zoals de afwijking in meters tussen de voorgestelde en de werkelijke route, of de vraag of de voorgestelde actie tot een botsing met de vastgelegde omgeving zou hebben geleid. Het cruciale punt is de laatste stap, of eigenlijk het ontbreken ervan: de omgeving zelf wordt niet aangepast. Andere auto's, fietsers of voetgangers in de opname blijven precies doen wat ze in werkelijkheid deden, wat het systeem ook "beslist".

Dat staat tegenover closed-loop simulatie, waarbij de actie van het systeem er echt toe doet: de gesimuleerde auto beweegt daadwerkelijk, en gesimuleerde andere weggebruikers kunnen daarop reageren, bijvoorbeeld door af te remmen als de geteste auto plots invoegt. De feedback-lus sluit zich dan, precies zoals een thermostaat die de kamertemperatuur meet, de verwarming bijstelt en vervolgens opnieuw meet. Bij open-loop simulatie ontbreekt die lus: de uitkomst van de ene stap beïnvloedt nooit de volgende stap in de simulatie.

Wat wil men ermee bereiken?

Het belangrijkste voordeel is snelheid en kostprijs. Het opnieuw afspelen van bestaande ritlogs kost veel minder rekenkracht dan het volledig naspelen van een levendige, reagerende verkeerswereld, waardoor bedrijven miljoenen kilometers aan opgenomen data binnen uren kunnen doorrekenen.

Een tweede doel is reproduceerbaarheid. Omdat de situatie exact hetzelfde blijft bij elke test, kunnen ontwikkelaars twee softwareversies eerlijk met elkaar vergelijken: is de nieuwe versie op precies dezelfde honderdduizend situaties beter of slechter dan de vorige? Dat maakt open-loop tests uitstekend geschikt voor geautomatiseerde regressietests die bij elke software-update worden gedraaid.

Ten derde helpt het om onderdelen geïsoleerd te beoordelen. Een team dat alleen de waarneming of de voorspelling van andermans gedrag wil verbeteren, kan dat testen zonder dat afwijkende reacties van een besturingsmodule de resultaten vertroebelen.

Tot slot fungeert open-loop simulatie als eerste, goedkope zeef in een getrapt testproces: pas als software goed scoort op log-replay, is het de moeite waard om over te stappen op de duurdere closed-loop simulatie en uiteindelijk op echte testritten.

Voorbeelden uit de praktijk

Het nuPlan-benchmark, gepubliceerd door het bedrijf Motional in 2021, is een van de bekendste voorbeelden binnen het onderzoek naar zelfrijdende auto's. Het werd specifiek ontworpen om open-loop en closed-loop metingen naast elkaar te tonen, en bracht een ongemakkelijke waarheid aan het licht: planningsalgoritmes die uitstekend scoorden op open-loop vergelijking met menselijk rijgedrag, presteerden in closed-loop tests soms juist slecht, omdat ze nooit hadden hoeven omgaan met de gevolgen van hun eigen, net iets afwijkende keuzes.

De open-source simulator CARLA, sinds 2017 ontwikkeld door onderzoekers verbonden aan onder meer het Computer Vision Center in Barcelona, Intel Labs en Toyota Research Institute, wordt wereldwijd in universitair onderzoek gebruikt. CARLA ondersteunt zowel closed-loop tests via zijn bekende "leaderboard", waarin een rijbeleid live in een gesimuleerde stad moet functioneren, als klassieke open-loop vergelijkingen met opgenomen trajecten.

Waymo, het zelfrijdende-autobedrijf van Alphabet, heeft in eigen publicaties beschreven dat het dagelijks vele miljoenen gesimuleerde kilometers aflegt als aanvulling op fysieke testritten. De precieze technische opzet is grotendeels bedrijfsgeheim, maar uit het gepubliceerde materiaal blijkt dat zowel log-replay-achtige, open-loop technieken als meer reactieve, closed-loop simulaties onderdeel zijn van die aanpak.

Het Britse bedrijf Wayve presenteerde in 2023 GAIA-1, een generatief "wereldmodel" dat op basis van video, stuuracties en tekst geloofwaardige nieuwe verkeersbeelden kan genereren. Dit soort generatieve modellen wordt vooralsnog vooral op een open-loop manier ingezet, namelijk om plausibele vervolgbeelden te genereren, terwijl de ambitie op langere termijn is om er een interactieve, closed-loop omgeving mee te bouwen.

Ook het opensourceproject openpilot van comma.ai gebruikt open-loop log-replay: nieuwe modelversies worden getoetst aan grote hoeveelheden opgeslagen ritdata van menselijke bestuurders, voordat er wordt overgegaan tot uitgebreidere tests.

Hoe ver is de techniek?

Open-loop simulatie is op zichzelf geen nieuwe of exotische technologie. Het vergelijken van een voorspelde met een werkelijke trajectorie bestaat al zo lang als voertuigen data verzamelen, en de methode wordt inmiddels op grote schaal en routinematig toegepast in de hele sector.

De echte discussie gaat niet over de techniek zelf, maar over wat ze wel en niet vertelt. Sinds ongeveer 2021, mede door de publicatie van nuPlan, groeit binnen de onderzoeksgemeenschap de erkenning dat goede open-loop scores maar zwak, en soms zelfs misleidend, samenhangen met echte rijprestaties. Een model kan heel goed zijn geworden in het nabootsen van hoe mensen in vergelijkbare situaties reageerden, zonder te weten hoe het moet omgaan met de nieuwe situaties die door zijn eigen afwijkende beslissingen ontstaan.

Dat inzicht duwt de sector richting geavanceerdere closed-loop simulaties met reactieve, deels zelflerende figuranten in het verkeer, en recenter richting generatieve wereldmodellen die op basis van camerabeelden nieuwe scenario's voorspellen. Die laatste ontwikkeling staat nog in de kinderschoenen: gegenereerde scenario's zijn niet altijd fysisch consistent, en het blijft lastig te bewijzen dat succes in zo'n gesimuleerde wereld zich vertaalt naar succes op straat, een probleem dat in het vakgebied wel de sim-to-real gap wordt genoemd, oftewel de kloof tussen simulatie en werkelijkheid.

Harde, publiek gecontroleerde cijfers over hoeveel exact welk bedrijf test met welke methode ontbreken grotendeels, omdat interne testinfrastructuur doorgaans bedrijfsgeheim is. Wat wel duidelijk is: vrijwel niemand in het veld beschouwt open-loop simulatie nog als voldoende bewijs op zichzelf. Het geldt als noodzakelijke, maar niet als afdoende stap in een veel bredere testketen die eindigt bij echte, fysieke testkilometers.

Wie werken eraan?

In de Verenigde Staten zijn Waymo (onderdeel van Alphabet) en Cruise (onderdeel van General Motors, waar de ontwikkeling na incidenten in 2023 tijdelijk werd teruggeschroefd) grote spelers met eigen simulatie-infrastructuur. Chipmaker NVIDIA levert met zijn DRIVE Sim-platform, gebouwd op de Omniverse-technologie, simulatiesoftware aan tal van autofabrikanten en toeleveranciers wereldwijd.

Motional, een Amerikaans-Zuid-Koreaanse joint venture van Hyundai en het voormalige Aptiv, publiceerde de nuScenes- en nuPlan-datasets die als standaard gelden in academisch onderzoek naar dit onderwerp. De Amerikaanse start-up Applied Intuition heeft zich volledig gespecialiseerd in simulatiesoftware voor de automotive- en defensie-industrie.

In het Verenigd Koninkrijk werkt Wayve aan camera-gebaseerde besturing en generatieve wereldmodellen. In Duitsland zijn dSPACE en IPG Automotive gevestigde namen op het gebied van hardware-in-the-loop en closed-loop simulatie, niet alleen voor zelfrijdende AI maar voor regelsystemen in de bredere automotive-industrie.

Op academisch vlak zijn onder meer het Computer Vision Center in Barcelona (medeoprichter van CARLA), Toyota Research Institute, MIT en ETH Zürich actief betrokken bij onderzoek naar de verschillen tussen open-loop en closed-loop evaluatie. Buiten de autosector levert het Amerikaanse MathWorks met MATLAB en Simulink generieke gereedschappen waarmee ingenieurs in bijvoorbeeld de lucht- en ruimtevaart en industriële automatisering vergelijkbare open-loop en closed-loop simulaties van regelsystemen bouwen. China, met platforms zoals Baidu's Apollo, is een snel groeiende speler waarover in het Westen relatief weinig gedetailleerd, publiek onderzoek beschikbaar is.