MTBI (Mean Time Between Interventions): hoe je meet of een zelfrijdend systeem echt zelfstandig is
Stel je een proefrit voor in een zelfrijdende auto. De computer stuurt, remt en geeft gas, terwijl een menselijke toezichthouder achter het stuur blijft zitten voor het geval dat. Soms grijpt die persoon in: omdat de software een situatie niet goed inschat, omdat een sensor iets mist, of puur uit voorzichtigheid. MTBI, voluit Mean Time Between Interventions (gemiddelde tijd tussen ingrepen), is de maatstaf die uitdrukt hoe vaak dat gebeurt. Hoe langer de gemiddelde tijd of afstand tussen twee ingrepen, hoe zelfstandiger het systeem in de praktijk functioneert.
Het begrip komt oorspronkelijk uit de betrouwbaarheidstechniek, waar ingenieurs al decennia werken met MTBF (Mean Time Between Failures, gemiddelde tijd tussen storingen) om te bepalen hoe vaak een machine kapot gaat. MTBI is een variant die niet naar defecten kijkt, maar naar het moment waarop een mens moet bijspringen om een autonoom systeem — een zelfrijdende auto, een robot, een drone — weer op het juiste spoor te krijgen. Het is dus minder een maat voor falen en meer een maat voor vertrouwen: durf je het systeem zijn gang te laten gaan, of moet je constant op de rem staan?
Wat is het precies?
MTBI wordt berekend door de totale tijd (of afgelegde afstand) dat een systeem autonoom actief was te delen door het aantal keren dat een mens moest ingrijpen. Reed een zelfrijdende auto in totaal 10.000 kilometer autonoom en moest de veiligheidschauffeur vijf keer overnemen, dan is de MTBI 2.000 kilometer per interventie.
Een "interventie" is overigens een breed begrip. Het kan gaan om een noodgreep omdat het systeem een fietser verkeerd inschat, maar ook om een voorzichtige overname omdat de chauffeur twijfelt terwijl de software het eigenlijk nog onder controle had. In de sector wordt dit onderscheid vaak gemaakt tussen disengagements (ontkoppelingen) die veiligheidskritisch zijn en die welke puur preventief zijn. Bedrijven en toezichthouders hanteren hierbij niet altijd dezelfde definities, wat vergelijken tussen fabrikanten lastig maakt.
In de praktijk wordt MTBI meestal gemeten tijdens testritten met een menselijke vangnet-chauffeur (in de auto of op afstand via teleoperatie), of achteraf afgeleid uit loggegevens van voertuigen die volledig zonder chauffeur rijden. Bij dat laatste type telt men hoe vaak een extern operator moest bijspringen om een voertuig dat vast was gelopen weer op weg te helpen.
Wat wil men ermee bereiken?
Het uiteindelijke doel is aantonen dat een autonoom systeem veilig genoeg is om zonder permanent menselijk toezicht te opereren. Een hoge en gestaag stijgende MTBI is het cijfermatige bewijs dat ontwikkelaars aan toezichthouders, investeerders en het publiek kunnen voorleggen: "dit systeem heeft steeds minder hulp nodig."
Voor bedrijven is het ook een intern stuurmiddel. Elke interventie wordt geanalyseerd: wat ging er mis, welk onderdeel van de software of sensorset schoot tekort, en hoe voorkom je herhaling? Zo wordt MTBI een motor achter iteratief verbeteren, vergelijkbaar met hoe vliegtuigbouwers incidenten gebruiken om volgende generaties toestellen veiliger te maken.
Daarnaast speelt MTBI een rol in de discussie over opschaling. Een taxidienst met zelfrijdende auto's kan pas winstgevend draaien als er geen (duur betaalde) chauffeur meer nodig is. Een lage interventiefrequentie is dan niet alleen een veiligheidskwestie, maar ook een economische voorwaarde.
Voorbeelden uit de praktijk
De California Department of Motor Vehicles (DMV) verplicht sinds 2015 elk bedrijf dat autonome voertuigen op de openbare weg test in Californië om jaarlijks te rapporteren hoeveel autonome kilometers zijn gereden en hoe vaak er werd ingegrepen. Dit leverde de eerste publiek toegankelijke, vergelijkbare interventiecijfers op, al gebruiken bedrijven onderling niet exact dezelfde definities.
Waymo (voorheen het zelfrijdende-autoproject van Google, nu onderdeel van Alphabet) rapporteerde via deze weg jarenlang een van de laagste interventiefrequenties in de sector en liet de MTBI in de tests in Silicon Valley en Phoenix over de jaren gestaag toenemen. Sinds 2020 rijdt Waymo in delen van Phoenix, Arizona zonder veiligheidschauffeur, en breidde de dienst nadien uit naar delen van San Francisco, Los Angeles en Austin.
Cruise, het autonome-rijden-bedrijf van General Motors, bouwde een vergelijkbare robotaxidienst op in San Francisco, maar kreeg in oktober 2023 een rijverbod na een incident waarbij een voertuig een voetganger die al door een ander voertuig was aangereden, meesleurde. GM besloot eind 2024 te stoppen met verdere financiering van Cruise's robotaxi-ambities, een duidelijk voorbeeld van hoe interventiestatistieken alléén niet voldoende zijn als er zich een zeldzaam maar zwaar incident voordoet.
Buiten de autosector gebruiken bedrijven als Amazon (via de overname van Zoox) en Chinese spelers als Baidu Apollo Go, Pony.ai en WeRide vergelijkbare interventiestatistieken om hun robotaxidiensten in onder meer Wuhan en Guangzhou te verantwoorden aan lokale toezichthouders.
Ook in de luchtvaart bestaat een vergelijkbaar principe: moderne autopiloten en "fly-by-wire"-systemen worden mede beoordeeld op hoe vaak piloten moeten overschakelen naar handmatige besturing buiten routinemomenten, al gebruikt de sector daarvoor eigen terminologie en strengere certificeringskaders dan de auto-industrie.
Hoe ver is de techniek?
De trend over het afgelopen decennium is duidelijk: de gerapporteerde interventiefrequenties bij de koplopers zijn sterk gedaald, van enkele kilometers per ingreep in de vroege testjaren (rond 2015) tot duizenden kilometers per ingreep bij de meest geavanceerde systemen nu. Toch blijft voorzichtigheid geboden bij het interpreteren van deze cijfers.
Ten eerste testen bedrijven in zeer verschillende omstandigheden: een zonnig, breed uitgelegd Phoenix is een ander probleem dan een regenachtig, chaotisch kruispunt in een Europese binnenstad. Een hoge MTBI in de ene stad zegt weinig over prestaties in de andere.
Ten tweede verschuift de definitie van "interventie" mee met de ambitie: zodra chauffeurs uit de auto verdwijnen, verandert een fysieke overname in een melding aan een externe operator, wat de vergelijkbaarheid van historische reeksen bemoeilijkt.
Ten derde blijven zogeheten "edge cases" — zeldzame, onvoorspelbare situaties zoals een omgewaaide boom of een voetganger in een kostuum — de grootste bottleneck. Juist deze zeldzame gevallen bepalen het vertrouwen van publiek en toezichthouders, meer dan een hoog gemiddelde over miljoenen routinekilometers. Het incident met Cruise in 2023 liet zien dat één zwaar ongeval het momentum van een heel bedrijf kan breken, ongeacht de MTBI-cijfers tot dan toe.
Wie werken eraan?
In de Verenigde Staten zijn Waymo (Alphabet), Zoox (Amazon), Aurora Innovation (gericht op autonome vrachtwagens) en Motional (samenwerking tussen Hyundai en het voormalige Aptiv) de belangrijkste commerciële spelers. Tesla volgt een eigen pad met camera-gebaseerde "Full Self-Driving"-software die via miljoenen klantvoertuigen data verzamelt, al hanteert het bedrijf een andere rapportagestructuur dan de robotaxi-aanbieders.
In China zijn Baidu (met de Apollo Go-robotaxidienst), Pony.ai en WeRide de grootste namen, met steun van lokale overheden die specifieke testzones hebben aangewezen in steden als Wuhan, Guangzhou en Beijing.
Op regelgevend vlak is de California DMV de belangrijkste bron van publieke interventiedata in de VS, terwijl de National Highway Traffic Safety Administration (NHTSA) op federaal niveau ongevallen en incidenten met autonome systemen onderzoekt. Standaardisatie van definities en testprotocollen komt mede van SAE International, de organisatie die ook de bekende schaal van autonomie-niveaus (0 tot 5) heeft opgesteld. In Europa werken onder meer Duitse en Nederlandse onderzoeksinstellingen aan testprotocollen, maar een uniforme Europese MTBI-rapportageverplichting zoals in Californië bestaat op dit moment niet.