Coöperatieve perceptie: hoe voertuigen elkaars ogen worden
Stel je voor: je staat aan een kruising en een grote vrachtwagen blokkeert het zicht op de zijstraat. Jij ziet niet of er een fietser aankomt, maar de bestuurder net achter die vrachtwagen misschien wel. Als jullie op dat moment razendsnel informatie konden uitwisselen, zou jij ook weten dat er een fietser aankomt — nog voordat je hem zelf ziet. Dat is in de kern waar coöperatieve perceptie (ook wel collaborative perception) om draait: voertuigen, verkeersinfrastructuur en soms zelfs voetgangers delen wat hun sensoren waarnemen, zodat elk van hen een completer beeld van de omgeving krijgt dan met de eigen sensoren alleen mogelijk zou zijn.
De term komt vooral voor in onderzoek naar zelfrijdende auto's en 'slimme' verkeerssystemen. Een auto met camera's, radar en lidar (een sensor die met laserpulsen een 3D-kaart van de omgeving maakt) ziet altijd maar een deel van de wereld: het zicht wordt belemmerd door andere voertuigen en gebouwen, en de reikwijdte van sensoren is beperkt. Coöperatieve perceptie probeert dat gezichtsveld te vergroten door voertuigen en apparatuur langs de weg elkaars sensordata te laten delen via draadloze verbindingen, vaak aangeduid met de verzamelterm V2X: vehicle-to-everything, oftewel 'voertuig-naar-alles'.
Wat is het precies?
Een normaal zelfrijdend voertuig werkt met een vaste keten: sensoren verzamelen data, boordcomputers verwerken die data tot een lijst van herkende objecten (auto's, fietsers, verkeersborden), en op basis daarvan neemt het systeem beslissingen. De zwakke plek zit aan het begin: als de sensor iets niet ziet — door een obstakel, mist, of gewoon afstand — kan de rest van het systeem daar niets aan doen.
V2X-communicatie bestaat uit meerdere varianten. V2V (vehicle-to-vehicle) laat auto's onderling data uitwisselen. V2I (vehicle-to-infrastructure) verbindt voertuigen met apparatuur langs de weg, zoals camera's of radars op verkeerslichten en lantaarnpalen. V2P (vehicle-to-pedestrian) betrekt voetgangers en fietsers erbij, bijvoorbeeld via een smartphone. Samen vormen ze het V2X-netwerk waarop coöperatieve perceptie leunt.
Binnen dat netwerk kan data op verschillende niveaus gedeeld worden, en dat onderscheid is belangrijk in het onderzoek. Bij early fusion (vroege fusie) wordt de ruwe sensordata zelf gedeeld, bijvoorbeeld complete lidar-puntenwolken. Dat levert de meest nauwkeurige resultaten op, maar vereist enorme hoeveelheden bandbreedte. Bij late fusion verwerkt elk voertuig zijn eigen data eerst tot een lijst van herkende objecten en deelt alleen die eindresultaten — compact, maar fouten van individuele sensoren blijven bestaan en subtiele details gaan verloren. Daartussenin zit intermediate fusion (tussenliggende of 'feature-level' fusie): voertuigen delen een tussentijdse, door een neuraal netwerk gecomprimeerde representatie van wat ze waarnemen. Dit wordt in recent onderzoek vaak gezien als een goede balans tussen nauwkeurigheid en de benodigde bandbreedte, en is daardoor een actief onderzoeksgebied.
In de praktijk verloopt het proces ongeveer zo: sensordata wordt verzameld en eventueel gecomprimeerd, vervolgens via een V2X-radioverbinding uitgezonden (bijvoorbeeld op basis van 5G-technologie of oudere wifi-achtige standaarden), waarna de ontvangende voertuigen de binnenkomende data moeten uitlijnen in tijd en ruimte — want elk voertuig staat op een andere plek en de klokken en gps-posities moeten op elkaar worden afgestemd. Pas daarna kan de data worden samengevoegd met de eigen waarnemingen tot één gedeeld beeld van de omgeving.
Wat wil men ermee bereiken?
Het belangrijkste doel is veiligheid: veel ongelukken met zelfrijdende en gewone auto's ontstaan doordat iets of iemand op het cruciale moment niet zichtbaar was, vaak op kruispunten. Door meerdere gezichtspunten te combineren, moet dat soort 'blinde vlekken' grotendeels verdwijnen.
Daarnaast speelt kostenefficiëntie mee. In plaats van elk voertuig uit te rusten met steeds duurdere en uitgebreidere sensorpakketten, kan een deel van het 'zien' worden overgelaten aan relatief goedkope, vast opgestelde sensoren langs de weg die hun data delen met alle passerende voertuigen. Dat is vooral aantrekkelijk voor toepassingen in afgebakende gebieden, zoals bedrijventerreinen, havens of stadswijken met veel robotaxi's of bezorgvoertuigen.
Een derde doel is redundantie: als de camera van een voertuig verblind wordt door laagstaande zon, of een sensor tijdelijk uitvalt, kan het voertuig tijdelijk terugvallen op de waarnemingen van anderen. Tot slot hoopt men op een vlottere verkeersdoorstroming, omdat voertuigen eerder kunnen anticiperen op gevaar en minder abrupt hoeven te remmen.
Voorbeelden uit de praktijk
Het onderzoeksveld leunt sterk op een aantal openbare datasets en testomgevingen die als gemeenschappelijke maatstaf dienen:
- OPV2V (2022) — een open, in simulatie opgebouwde dataset van onderzoekers verbonden aan de University of California, Los Angeles (UCLA). Gemaakt in de rijsimulator CARLA, is dit een veelgebruikte benchmark geworden waarmee onderzoekers wereldwijd hun coöperatieve-perceptiealgoritmes met elkaar kunnen vergelijken.
- DAIR-V2X (2022) — een dataset gepresenteerd door Baidu en Tsinghua University in China, met gelijktijdige, real-world (dus niet-gesimuleerde) data van zowel voertuigsensoren als vaste sensoren langs de weg, verzameld in een testgebied in Beijing. Deze dataset wordt vaak genoemd als een van de eerste grootschalige praktijkdatasets op dit gebied.
- Mcity — een afgesloten testterrein van de University of Michigan dat sinds het midden van de jaren 2010 dient als miniatuurstad met kruispunten, gebouwen en wegmarkeringen, waar connected en autonome voertuigen — inclusief V2X-communicatie — onder gecontroleerde omstandigheden worden getest.
- Chinese pilotzones voor 'vehicle-road cooperation' — in verschillende Chinese steden zijn kruispunten uitgerust met camera's, radar en snelle draadloze verbindingen die data delen met passerende voertuigen, als onderdeel van door de overheid gesteunde proeven voor slimme mobiliteit. Bedrijven als Baidu (met zijn Apollo-platform voor zelfrijdende technologie) en Huawei (netwerktechnologie) zijn hierbij betrokken.
- Europese onderzoeksprojecten — binnen het Horizon Europe-programma van de EU lopen projecten rond coöperatief en connected rijden, zoals Hi-Drive, waarin autofabrikanten, toeleveranciers en kennisinstellingen samenwerken aan geautomatiseerd rijden dat rekening houdt met infrastructuur en andere weggebruikers.
Hoe ver is de techniek?
Coöperatieve perceptie bevindt zich grotendeels nog in de onderzoeks- en pilotfase. In auto's die vandaag te koop zijn, kom je hooguit eenvoudige vormen van V2X tegen, zoals waarschuwingen voor noodstops van voorliggers of gevaarlijke situaties verderop — niet het delen van volledige, ruwe sensordata tussen willekeurige voertuigen van verschillende merken.
Toch gaat de ontwikkeling gestaag. De opkomst van 5G-gebaseerde communicatiestandaarden (C-V2X, vastgelegd door de standaardisatieorganisatie 3GPP) heeft de benodigde snelheid en betrouwbaarheid voor het delen van sensordata dichterbij gebracht. De komst van openbare datasets zoals OPV2V en DAIR-V2X heeft sinds de vroege jaren twintig geleid tot een golf van academisch onderzoek en steeds betere fusiealgoritmes op basis van neurale netwerken.
De grootste obstakels liggen niet alleen bij de technologie zelf, maar ook eromheen. Standaardisatie is een groot knelpunt: er bestaan concurrerende radiostandaarden (het oudere DSRC/802.11p tegenover het nieuwere C-V2X, met in Europa ook nog ETSI's ITS-G5), en fabrikanten moeten het eens worden over gedeelde dataformaten wil coöperatieve perceptie merkoverstijgend werken. Bandbreedte en vertraging (latency) vormen een tweede probleem: het delen van ruwe sensordata tussen tientallen voertuigen op een druk kruispunt kan netwerken snel overbelasten, wat de zoektocht naar efficiëntere tussenvormen zoals feature-level fusie verklaart. Een derde punt is vertrouwen en beveiliging: een kwaadwillende of defecte deelnemer zou valse waarnemingen kunnen uitzenden — bijvoorbeeld een niet-bestaand voertuig of voetganger — waardoor systemen gedeelde data moeten kunnen verifiëren, een actief thema binnen defensief beveiligingsonderzoek. Ten slotte zijn de kosten van infrastructuur (sensoren, rekenkracht en netwerken langs elke te ondersteunen weg) en privacyvragen over wie gedeelde beelddata mag inzien en bewaren, reden waarom implementatie vooralsnog beperkt blijft tot afgebakende pilotgebieden in plaats van landelijke uitrol.
Wie werken eraan?
Op onderzoeksgebied lopen universiteiten voorop: UCLA (met OPV2V), Tsinghua University in samenwerking met Baidu Research (met DAIR-V2X), en de University of Michigan via het Mcity-testterrein zijn enkele van de bekendste namen. Ook diverse Europese technische universiteiten doen onderzoek naar coöperatieve en connected verkeerssystemen.
In de industrie werken chipmaker Qualcomm (die C-V2X-chipsets levert), en toeleveranciers als Bosch en Continental (sensor- en communicatiesystemen voor de auto-industrie) actief mee aan de ontwikkeling. In China spelen Baidu, met zijn Apollo-platform voor zelfrijdende technologie, en netwerkbedrijf Huawei een grote rol bij het uitrollen van pilotprojecten voor 'vehicle-road cooperation'.
Standaardisatie wordt vormgegeven door organisaties als 3GPP (mondiale mobiele-communicatiestandaarden, inclusief C-V2X), ETSI (Europese telecomstandaarden zoals ITS-G5), en 5GAA — de 5G Automotive Association, een samenwerkingsverband van telecom- en automotivebedrijven dat zich specifiek inzet voor C-V2X-standaarden. Op overheidsniveau stimuleert de Chinese overheid 'vehicle-road cooperation' actief als onderdeel van haar mobiliteitsstrategie, financiert de Europese Unie onderzoek via het Horizon Europe-programma en werkt ze aan een gezamenlijk Europees beleidskader voor coöperatieve intelligente transportsystemen (C-ITS), en onderzoeken Amerikaanse instanties en universiteiten als Michigan V2X-toepassingen in testomgevingen zoals Mcity.