Voetgangersdetectie: hoe auto's leren zien wie er oversteekt
Stel je voor: je auto rijdt 's avonds een woonwijk in en plotseling loopt er een kind achter een geparkeerde auto vandaan de straat op. Nog voordat jij het gevaar bewust registreert, remt de auto zelf al af. Dit is voetgangersdetectie in actie: een systeem dat via camera's, radar en soms lidar (een soort laserscanner) voetgangers herkent tussen alle andere objecten in het verkeer, en een auto waarschuwt of automatisch laat remmen.
Het is dezelfde technologie die ervoor zorgt dat een zelfrijdende auto weet dat de bewegende vorm bij het zebrapad een mens is en geen lantaarnpaal of vuilniszak die door de wind wordt voortgeblazen. Wat voor mensen een fractie van een seconde kost, moet een computer razendsnel en betrouwbaar berekenen, onder wisselende licht- en weersomstandigheden, en dat is minder vanzelfsprekend dan het klinkt.
Wat is het precies?
Voetgangersdetectie begint met sensoren die de omgeving van de auto in kaart brengen. De belangrijkste is meestal een camera, die continu beelden opneemt zoals een videocamera dat doet. Daarnaast gebruiken veel systemen radar, die met radiogolven de afstand en snelheid van objecten meet, ook als het donker is of mistig. Duurdere systemen voegen lidar toe: een sensor die met laserpulsen een driedimensionaal 'puntenwolk'-beeld van de omgeving maakt, vergelijkbaar met echolocatie maar dan met licht.
De camerabeelden worden geanalyseerd door software die getraind is met deep learning, een vorm van kunstmatige intelligentie waarbij een zogeheten neuraal netwerk (een wiskundig model losjes geïnspireerd op hersencellen) leert patronen te herkennen na het bekijken van miljoenen voorbeeldfoto's. Specifiek gebruikt men vaak een convolutioneel neuraal netwerk (CNN), een type netwerk dat bijzonder goed is in het herkennen van vormen en texturen in afbeeldingen, zoals de contouren van een mens in verschillende houdingen.
Het systeem doet dit in twee stappen: eerst classificatie, waarbij het bepaalt of iets een voetganger is, en vervolgens lokalisatie, waarbij het de exacte positie in het beeld vaststelt, vaak met een rechthoekig kadertje om de gedetecteerde persoon. Omdat één sensor alleen nooit helemaal betrouwbaar is, combineren fabrikanten meestal meerdere databronnen in een proces dat sensorfusie heet: de auto legt de gegevens van camera, radar en eventueel lidar over elkaar heen om tot één, betrouwbaarder beeld van de werkelijkheid te komen.
Wat wil men ermee bereiken?
Het primaire doel is verkeersveiligheid. Voetgangers behoren wereldwijd tot de meest kwetsbare verkeersdeelnemers: zij hebben geen kreukelzone en een botsing die voor een automobilist onopgemerkt blijft, kan voor een voetganger dodelijk aflopen. Automatisch noodremmen bij dreigend gevaar, ook wel Autonomous Emergency Braking (AEB) genoemd, moet het aantal aanrijdingen en de ernst daarvan terugdringen.
Voetgangersdetectie is bovendien een essentiële bouwsteen voor zelfrijdende auto's. Een voertuig dat zelfstandig door een stad moet navigeren, kan onmogelijk veilig functioneren zonder mensen op straat betrouwbaar te herkennen en hun gedrag in te schatten, bijvoorbeeld of iemand op het punt staat over te steken.
Ten slotte wordt de technologie ook buiten de auto ingezet. Gemeenten experimenteren met slimme verkeerslichten die voetgangers detecteren en de groenfase verlengen voor mensen die nog niet zijn overgestoken, of camera's die drukte bij oversteekplaatsen meten om verkeersstromen te sturen.
Voorbeelden uit de praktijk
Volvo introduceerde in 2010 op de S60 een van de eerste commercieel beschikbare voetgangersdetectiesystemen met automatisch noodremmen, en positioneerde zich daarmee al vroeg als voorloper op het gebied van autoveiligheid.
Mobileye, een Israëlisch bedrijf dat sinds 2017 onderdeel is van Intel, ontwikkelt de EyeQ-serie chips die in veel merken auto's worden gebruikt voor camera-gebaseerde detectie van voetgangers, fietsers en andere obstakels. Het bedrijf combineert eigen chips met software die op basis van enorme hoeveelheden rijdata is getraind.
Waymo, het zelfrijdende-autoproject van Google-moederbedrijf Alphabet, gebruikt een combinatie van camera's, radar en lidar om voetgangers te detecteren en test dit al jaren op de openbare weg, onder meer in Phoenix (Arizona) waar het bedrijf sinds 2020 een betaalde taxidienst zonder bestuurder aanbiedt.
Een pijnlijk leermoment kwam in maart 2018 in Tempe, Arizona, toen een zelfrijdend testvoertuig van Uber ATG een vrouw genaamd Elaine Herzberg doodreed terwijl zij met haar fiets aan de hand overstak. Onderzoek van de Amerikaanse veiligheidsraad NTSB wees uit dat het detectiesysteem haar wel had waargenomen, maar haar niet consistent als voetganger classificeerde, mede doordat ze buiten een zebrapad liep en het automatische noodremsysteem van de fabrikant was uitgeschakeld tijdens de test. Het ongeval leidde tot strengere veiligheidsprotocollen in de sector.
In Nederland en andere Europese steden lopen kleinschalige proeven met slimme kruispunten die voetgangers en fietsers detecteren om verkeerslichten dynamisch aan te passen, bijvoorbeeld in het kader van gemeentelijke smart-city-programma's, al gaat het hier vaak nog om pilots in plaats van grootschalige uitrol.
Hoe ver is de techniek?
Onder gunstige omstandigheden, bij daglicht en helder weer, presteren moderne detectiesystemen van gerenommeerde fabrikanten doorgaans goed. Euro NCAP, de Europese organisatie die auto's op veiligheid test en beoordeelt, neemt sinds ongeveer 2016 voetgangersdetectie mee in haar botstests en beloont auto's met goede systemen met een hogere veiligheidsscore.
Wettelijk is er ook beweging: de Europese General Safety Regulation verplicht automatisch noodremmen met voetgangersdetectie voor nieuwe voertuigtypes sinds juli 2022, en voor alle nieuw geregistreerde auto's in de EU sinds juli 2024. Ook de VN-regeling R152 stelt internationale minimumeisen aan dit soort systemen.
Toch kent de techniek duidelijke grenzen. Prestaties verslechteren merkbaar in het donker, bij regen, mist of tegenlicht, situaties waarin camera's minder goed beeld hebben en radar en lidar soms ruis of reflecties verkeerd interpreteren. Gedeeltelijk verscholen voetgangers, bijvoorbeeld iemand die net achter een geparkeerde auto vandaan komt, ofwel occlusie in vakjargon, blijven lastig te detecteren omdat het systeem minder van het lichaam ziet. Ook kinderen, met hun kleinere en anders verhoudende lichamen, en fietsers, die zich sneller en met een ander bewegingspatroon voortbewegen, zijn moeilijker betrouwbaar te herkennen dan volwassen voetgangers die rechtop lopen. Donkere kleding in het donker vormt eveneens een bekend knelpunt.
Fabrikanten en onderzoekers melden gestage verbetering dankzij grotere trainingsdatasets en krachtigere algoritmes, maar exacte foutpercentages verschillen sterk per testomstandigheid en worden niet altijd onafhankelijk gepubliceerd. Voorzichtigheid bij het interpreteren van marketingclaims blijft dan ook op zijn plaats.
Wie werken eraan?
Naast Volvo, Mobileye en Waymo zijn ook toeleveranciers als Bosch, Continental en Aptiv grote spelers; zij ontwikkelen sensoren en software die door meerdere autofabrikanten wereldwijd worden ingekocht. Tesla kiest een afwijkende, camera-only aanpak zonder lidar of radar, gebaseerd op de gedachte dat mensen ook alleen met hun ogen rijden, een strategie die binnen de sector omstreden blijft. Amazon-dochter Zoox en General Motors-dochter Cruise ontwikkelen eigen zelfrijdende platforms waarin voetgangersdetectie een kernonderdeel vormt.
Op onderzoeksgebied spelen publieke datasets een cruciale rol: de Caltech Pedestrian Dataset, de KITTI-dataset van het Karlsruhe Institute of Technology in Duitsland, de Cityscapes-dataset gericht op Europese stadsscènes, en de recentere EuroCity Persons-dataset dienen als gedeelde maatstaf waarmee onderzoekers wereldwijd algoritmes met elkaar kunnen vergelijken.
Landen die in dit veld vooroplopen zijn de Verenigde Staten, met Silicon Valley en Detroit als centra voor zelfrijdende technologie, Duitsland vanwege zijn sterke automotive-industrie en onderzoeksinstituten, Israël als thuisbasis van Mobileye, en China, waar zowel overheid als bedrijven als Baidu fors investeren in autonome mobiliteit.