Perceptiesysteem: de ogen en oren van slimme machines
Stel je voor dat je moet autorijden met een blinddoek om, maar met een team assistenten dat voortdurend in je oor fluistert wat er gebeurt: "auto twee meter links", "fietser nadert van rechts", "verkeerslicht springt op rood". Zo'n team van onzichtbare assistenten is in de kern wat een perceptiesysteem doet voor een robot, zelfrijdende auto of drone. Het is de verzameling techniek die een machine in staat stelt de wereld om zich heen waar te nemen, te interpreteren en er betekenis aan te geven.
Een perceptiesysteem bestaat grofweg uit twee onderdelen: sensoren die ruwe gegevens verzamelen, zoals camera's, radar of een laserscanner (lidar), en software die die gegevens omzet in begrip: "dat is een voetganger", "die weg loopt daar dood", "dit voorwerp beweegt op mij af". Zonder een werkend perceptiesysteem is autonomie waardeloos: een robotstofzuiger die de trap niet herkent, valt eraf, en een zelfrijdende auto die een fietser mist, is gevaarlijk. Perceptie is daardoor vaak het meest kritieke, en tegelijk het minst zichtbare, onderdeel van autonome technologie.
Wat is het precies?
Een perceptiesysteem werkt in een paar stappen die voortdurend, vele keren per seconde, worden herhaald. Eerst verzamelen sensoren ruwe data over de omgeving. Camera's leveren beelden, radar meet afstand en snelheid van objecten met radiogolven, en lidar ("light detection and ranging") stuurt laserpulsjes uit en berekent aan de hand van de terugkaatsing een driedimensionale puntenwolk van de omgeving.
Vervolgens moet die ruwe data worden geïnterpreteerd. Dit gebeurt tegenwoordig vrijwel altijd met neurale netwerken: wiskundige modellen die, getraind op miljoenen voorbeelden, patronen leren herkennen zoals "dit pixelpatroon is een voetganger" of "deze puntenwolk vormt een geparkeerde auto". Dit onderdeel van kunstmatige intelligentie heet computer vision, letterlijk "computerzicht".
Een derde, vaak onderschatte stap is sensorfusie: het combineren van gegevens uit verschillende sensoren tot één samenhangend beeld. Een camera ziet kleur en vorm maar heeft moeite met afstand schatten in mist; radar meet afstand goed maar herkent geen kleuren of tekst. Door de sterke punten van elke sensor te combineren, ontstaat een betrouwbaarder totaalbeeld dan één sensor alleen kan bieden. Recente systemen gebruiken hiervoor vaak een "vogelvluchtperspectief" (bird's-eye view, afgekort BEV): alle sensordata wordt omgerekend naar één plattegrond van de omgeving rond het voertuig, wat het makkelijker maakt om objecten en hun bewegingen te volgen.
Wat wil men ermee bereiken?
Het uiteindelijke doel van een perceptiesysteem is dat een machine zelfstandig en veilig kan functioneren in een omgeving die niet vooraf is vastgelegd. Bij een fabrieksrobot die altijd dezelfde beweging maakt op een vaste plek, is uitgebreide perceptie nauwelijks nodig. Zodra een machine zich moet begeven in een wisselende, onvoorspelbare wereld met mensen, verkeer of obstakels, wordt perceptie onmisbaar.
Ontwikkelaars van zelfrijdende auto's willen daarmee uiteindelijk verkeersveiligheid vergroten en menselijke rijfouten, die verantwoordelijk zijn voor het overgrote deel van verkeersongelukken, uitsluiten. Robotmakers willen machines die kunnen assisteren in zorg, magazijnen of huishoudens zonder dat elke stap vooraf geprogrammeerd hoeft te worden. Bij drones gaat het vaak om obstakelherkenning voor inspecties of pakketbezorging zonder menselijke piloot.
Belangrijk om te beseffen: perceptie is een middel, geen doel op zich. Een goed perceptiesysteem garandeert nog geen veilig of verstandig gedrag; dat hangt ook af van de besluitvormingssoftware die op basis van de waargenomen informatie beslist wat de machine vervolgens doet. Perceptie levert het "zien", niet het "beslissen".
Voorbeelden uit de praktijk
Waymo, voortgekomen uit het zelfrijdende-autoproject dat Google in 2009 startte en dat in 2016 een zelfstandig bedrijf werd binnen moederbedrijf Alphabet, gebruikt een combinatie van lidar, camera's en radar. Sinds 2020 biedt Waymo in Phoenix een betaalde taxidienst zonder bestuurder aan, en inmiddels rijdt de dienst ook in onder meer San Francisco, Los Angeles en Austin.
Tesla koos een andere weg. Vanaf 2021 verwijderde het bedrijf geleidelijk radar en later ook ultrasone sensoren uit zijn auto's, en zette het voluit in op "Tesla Vision": perceptie op basis van uitsluitend camerabeelden, verwerkt door neurale netwerken. In 2022 introduceerde Tesla het concept van "occupancy networks", die per volume-eenheid in de ruimte rond de auto inschatten of daar iets aanwezig is, ook als dat object nooit eerder is gezien. Deze camera-only-aanpak is onder vakgenoten omstreden: critici wijzen op het verlies van de redundantie die sensorfusie biedt.
Mobileye, opgericht in 1999 en later overgenomen door Intel, levert al sinds de jaren 2000 camerachips (de EyeQ-serie) die rijhulpsystemen van talloze automerken van perceptie voorzien, en werkt daarnaast aan eigen volledig zelfrijdende systemen.
Boston Dynamics toont met zijn tweevoetige robot Atlas hoe perceptie robots helpt lopen over oneffen terrein en objecten oppakken; in 2024 presenteerde het bedrijf een volledig elektrische, sterk vernieuwde versie van Atlas met verbeterde visuele waarneming.
Figure AI, een Amerikaans robotbedrijf, kondigde in 2024 een samenwerking aan met OpenAI om spraak- en taalmodellen te combineren met de perceptie- en bewegingssystemen van zijn humanoïde robot Figure 02, gericht op taken in magazijnen en later mogelijk huishoudens.
Hoe ver is de techniek?
Perceptiesystemen zijn de afgelopen tien jaar sterk verbeterd, vooral dankzij de opkomst van diepe neurale netwerken en later transformer-architecturen (dezelfde soort modellen die ook achter taalmodellen als ChatGPT zitten) die goed zijn in het herkennen van patronen in grote, complexe datasets. Objectherkenning onder normale omstandigheden, zoals droog weer en overzichtelijke wegen, werkt inmiddels behoorlijk betrouwbaar.
Toch blijven er stevige obstakels. Zogeheten "edge cases", zeldzame of ongebruikelijke situaties zoals een omgevallen boom, een dier op de snelweg of ongebruikelijke wegmarkeringen, blijven lastig omdat een systeem daar per definitie weinig trainingsvoorbeelden van heeft gezien. Slecht weer zoals dichte mist, zware regen of sneeuw verstoort camera's en lidar allebei, wat een van de redenen is waarom sommige bedrijven juist vasthouden aan meerdere sensortypes. Ook zijn lidar-sensoren nog altijd relatief duur, al zijn de prijzen de afgelopen jaren fors gedaald.
Onafhankelijke experts zijn het erover eens dat volledige, overal inzetbare autonomie (zonder enige beperking van gebied of weersomstandigheden) nog niet is bereikt door welk bedrijf dan ook. Diensten zoals die van Waymo werken vooralsnog alleen binnen zorgvuldig in kaart gebrachte gebieden. Hoe snel dat verder opschaalt, is onzeker en wordt zowel door technische beperkingen als door regelgeving bepaald.
Wie werken eraan?
De Verenigde Staten vormen momenteel het zwaartepunt van deze technologie, met bedrijven als Waymo (Alphabet), Tesla, Cruise (General Motors), Aurora, Zoox (Amazon) en chipmaker NVIDIA, dat met zijn DRIVE-platform hardware en software voor perceptie aan meerdere autofabrikanten levert. Mobileye, met wortels in Israël en banden met Intel, is wereldwijd een van de grootste leveranciers van perceptiechips voor rijhulpsystemen.
China ontwikkelt zich eveneens snel op dit gebied, met spelers als Baidu (met zijn Apollo-platform), Pony.ai en WeRide, die onder meer in Chinese steden proefdiensten met zelfrijdende taxi's uitvoeren. In Europa dragen zowel gevestigde toeleveranciers als Bosch en Continental als universitaire onderzoeksgroepen bij, bijvoorbeeld aan de TU Delft en ETH Zürich, die onderzoek doen naar robotperceptie en veilige inzet van autonome systemen.
Op onderzoeksgebied lopen instituten als het MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), het Stanford Artificial Intelligence Laboratory en het Robotics Institute van Carnegie Mellon University voorop met fundamenteel onderzoek naar computer vision en robotperceptie, vaak in samenwerking met de industrie.