Sensorfusie: hoe machines de wereld om zich heen leren begrijpen
Stel je voor dat je met dichte ogen probeert te bepalen waar je bent: je voelt de wind, hoort verkeer, telt je stappen en herinnert je grofweg welke kant je op liep. Geen van die aanwijzingen is op zichzelf betrouwbaar, maar samen geven ze een verrassend goed beeld van je positie. Dat is in de kern wat sensorfusie is: het combineren van meerdere, elk voor zich onvolmaakte sensoren tot één betrouwbaarder totaalbeeld.
In technologie gebeurt precies hetzelfde, maar dan met camera's, radar, lasers, versnellingsmeters en GPS-ontvangers in plaats van ogen en oren. Een zelfrijdende auto die alleen op een camera vertrouwt, wordt verblind door felle tegenlichten. Een auto die alleen radar gebruikt, ziet geen verkeersborden. Door de gegevens van meerdere sensoren slim te combineren, ontstaat een beeld van de omgeving dat betrouwbaarder is dan wat elke sensor afzonderlijk kan leveren. Die combinatietruc, en de wiskunde die daarachter zit, staat centraal in dit artikel.
Wat is het precies?
Elke sensor heeft zijn eigen zwakke plek. Een camera levert veel detail, maar werkt slecht in duisternis, mist of tegenlicht. Radar (radiogolven die terugkaatsen op objecten) ziet prima door regen en mist heen, maar levert een grof beeld zonder scherpe randen. Lidar (een soort laserscanner) meet afstanden zeer nauwkeurig, maar is duur en kan moeite hebben met regen of sneeuw. GPS geeft een positie, maar valt weg in tunnels of tussen hoge gebouwen.
Sensorfusie combineert deze bronnen met wiskundige technieken die rekening houden met de onzekerheid van elke sensor. De bekendste methode is het Kalman-filter, genoemd naar de Hongaars-Amerikaanse ingenieur Rudolf Kálmán, die het concept in 1960 publiceerde. Een Kalman-filter voorspelt steeds waar een object zich zou moeten bevinden op basis van eerdere metingen, vergelijkt die voorspelling met nieuwe sensordata, en past de schatting bij naargelang hoe betrouwbaar elke bron op dat moment is. Voor complexere, niet-lineaire situaties bestaan varianten zoals het uitgebreide Kalman-filter en het particle filter.
Er zijn grofweg drie manieren om sensoren te combineren. Bij low-level fusie worden ruwe metingen direct samengevoegd, nog voordat er iets uit is afgeleid. Bij feature-level fusie worden eerst kenmerken uit elke sensor gehaald (bijvoorbeeld: 'dit lijkt een voetganger') die daarna worden gecombineerd. Bij decision-level fusie geeft elke sensor een eigen conclusie, en wordt pas op het eind een gezamenlijke beslissing genomen. Moderne systemen, zeker in zelfrijdende auto's, gebruiken vaak een mix van deze niveaus, aangevuld met machine learning dat leert welke sensor in welke situatie het meest te vertrouwen is.
Wat wil men ermee bereiken?
Het uiteindelijke doel is betrouwbaarheid: een systeem dat blijft functioneren, of op zijn minst op een veilige manier faalt, ook als één sensor tijdelijk minder goed werkt. Dat heet redundantie. Als de camera van een auto verblind wordt door laagstaande zon, kan radar alsnog een naderend voertuig detecteren.
Daarnaast gaat het om nauwkeurigheid die geen enkele sensor alleen kan bieden. Een smartphone gebruikt bijvoorbeeld de combinatie van versnellingsmeter, gyroscoop (die rotatie meet) en magnetometer (een digitaal kompas) om precies te bepalen hoe het toestel is georiënteerd, iets waarvoor geen van de drie sensoren apart nauwkeurig genoeg is.
Een derde doel is robuustheid tegen ruis en fouten. Sensoren maken voortdurend kleine meetfouten; door meerdere onafhankelijke bronnen te combineren, middelt een deel van die ruis zich uit. Tot slot draait het om het scheppen van vertrouwen: voor toepassingen als autonoom rijden of medische bewaking moet een systeem niet alleen gemiddeld goed presteren, maar ook zelden en op voorspelbare wijze falen.
Voorbeelden uit de praktijk
Smartphones en AR-apps. Elke moderne smartphone voert continu sensorfusie uit tussen versnellingsmeter, gyroscoop en magnetometer om schermrotatie, stappentellers en augmented reality-toepassingen zoals Apple's ARKit en Google's ARCore mogelijk te maken. Dit gebeurt duizenden keren per seconde, meestal zonder dat de gebruiker het merkt.
Zelfrijdende auto's. Waymo, voortgekomen uit het Google Self-Driving Car Project dat in 2009 startte en in 2016 een zelfstandig bedrijf werd, combineert lidar, radar en camera's om een driedimensionaal beeld van de omgeving op te bouwen. Tesla koos vanaf 2021 juist voor een aanpak die vrijwel volledig op camerabeelden leunt ('Tesla Vision'), een omstreden keuze binnen de sector omdat critici wijzen op het verlies van redundantie die radar en lidar bieden.
Marsverkenning. De NASA-rover Curiosity (geland in 2012) en zijn opvolger Perseverance (geland in 2021) gebruiken een combinatie van traagheidssensoren, wielodometrie (het bijhouden van wielrotaties) en visuele navigatie om hun positie op Mars te bepalen, in een omgeving zonder gps.
Luchtvaart. Moderne verkeersvliegtuigen combineren traagheidsnavigatiesystemen (INS), die versnelling en rotatie meten, met gps- en luchtdrukgegevens. Deze fusie zorgt ervoor dat het vliegtuig zijn positie kan blijven bepalen, zelfs als het gps-signaal even wegvalt.
Draagbare gezondheidstechnologie. De valdetectie in smartwatches, zoals geïntroduceerd door Apple in de Apple Watch Series 4 (2018), combineert versnellingsmeter- en gyroscoopdata om een val te onderscheiden van gewone bewegingen.
Hoe ver is de techniek?
De wiskundige basis van sensorfusie, met name het Kalman-filter, bestaat al sinds 1960 en werd voor het eerst grootschalig toegepast in het Apollo-ruimtevaartprogramma voor navigatie. In die zin is de kerntechniek volwassen en al decennia bewezen.
Wat de afgelopen tien tot vijftien jaar sterk is veranderd, is de schaal en complexiteit. Waar vroege systemen enkele sensoren combineerden met relatief eenvoudige wiskundige modellen, combineren hedendaagse systemen tientallen sensoren met deep learning-modellen die patronen herkennen die met klassieke filters niet te vangen zijn. Dat maakt systemen krachtiger, maar ook moeilijker te doorgronden: het is lastiger te achterhalen waaróm een neuraal netwerk een bepaalde beslissing neemt, wat een probleem is voor veiligheidscertificering.
De grootste openstaande uitdaging is het omgaan met tegenstrijdige of onbetrouwbare sensordata in zeldzame, onvoorziene situaties, precies de gevallen waarin het er het meest toe doet. Zelfrijdende auto's presteren goed in doorsnee verkeer, maar worstelen nog met uitzonderlijke scenario's ('edge cases'), zoals een omgevallen bord dat er half uitziet als een voetganger. Ook de kosten van de nauwkeurigste sensoren, met name lidar, vormen nog een drempel, al zijn de prijzen de afgelopen jaren fors gedaald. Er is geen brede consensus in de sector of camera's alleen ooit voldoende zullen zijn, of dat aanvullende sensoren zoals radar en lidar onmisbaar blijven voor veiligheid.
Wie werken eraan?
Op het gebied van automotive sensorfusie zijn Duitse toeleveranciers als Bosch en Continental toonaangevend, samen met chipfabrikanten als STMicroelectronics en InvenSense die de kleine MEMS-sensoren (microscopisch kleine mechanische sensoren op een chip) leveren die in vrijwel elke telefoon en auto zitten. Autobedrijven als Waymo, Mobileye (onderdeel van Intel) en Tesla investeren zwaar in eigen fusiesoftware.
In de ruimtevaart zijn NASA's Jet Propulsion Laboratory (JPL) en het Europese ruimtevaartagentschap ESA de belangrijkste spelers voor navigatietoepassingen, samen met nationale ruimtevaartcentra zoals het Duitse DLR. Academisch onderzoek naar de onderliggende algoritmes gebeurt onder meer aan MIT, Stanford University en, in Nederland, aan de TU Delft, die onderzoek doet naar robotica en autonome systemen.