Stereocamera: hoe machines met twee ogen leren dieptezien
Houd een vinger vlak voor uw neus en sluit om beurten uw linker- en rechteroog. U ziet dat de vinger telkens een klein stukje verspringt ten opzichte van de achtergrond. Dat verschil, veroorzaakt doordat uw ogen een paar centimeter uit elkaar staan, is precies wat uw hersenen gebruiken om afstand in te schatten. Een stereocamera doet iets vergelijkbaars: twee lenzen op een vaste onderlinge afstand nemen tegelijk een beeld op, en een computer berekent uit het verschil tussen die twee beelden hoe ver dingen weg staan.
Deze techniek zit inmiddels in veel apparaten om ons heen, vaak zonder dat we het merken: de botswaarschuwing van sommige auto's, de obstakelherkenning van bezorgrobots en drones, en de camera's waarmee Mars-rovers hun pad over rotsachtig terrein uitstippelen. Het idee is niet nieuw — stereoscopische fotografie bestaat al sinds de negentiende eeuw — maar de combinatie met snelle rekenkracht en slimme software heeft er de afgelopen twintig jaar een praktisch bruikbaar hulpmiddel van gemaakt voor machines die zelfstandig hun omgeving moeten begrijpen.
Wat is het precies?
Een stereocamera bestaat in de eenvoudigste vorm uit twee gewone camera's die op een vaste afstand van elkaar zijn gemonteerd, vergelijkbaar met de positie van twee ogen. Die onderlinge afstand heet de basislijn (baseline). Hoe groter de basislijn, hoe beter het systeem in theorie afstand kan inschatten bij verder weg gelegen objecten, maar een groter apparaat is ook onhandiger om in te bouwen.
Beide camera's nemen op hetzelfde moment een foto of videobeeld van dezelfde scène. Omdat ze net iets anders staan, verschilt de positie van eenzelfde object in de twee beelden lichtjes: dit heet dispariteit. Objecten dichtbij verspringen sterk tussen de twee beelden, objecten ver weg nauwelijks. Software zoekt voor elk punt in het ene beeld het bijbehorende punt in het andere beeld en berekent uit de dispariteit, via een wiskundige methode die triangulatie heet, hoe ver dat punt van de camera af staat. Het resultaat is een dieptekaart: een beeld waarin niet kleur, maar afstand per pixel is vastgelegd.
Voordat dit werkt moet het systeem gekalibreerd zijn: de precieze onderlinge stand en optische eigenschappen van beide lenzen moeten bekend zijn, anders klopt de berekening niet. Dat maakt stereocamera's gevoeliger voor productietoleranties en trillingen dan een enkele camera.
Stereovisie is een passieve techniek: ze gebruikt alleen omgevingslicht, zonder zelf iets uit te zenden. Dat onderscheidt haar van actieve dieptesensoren zoals lidar (die laserpulsen uitstuurt en de terugkaatstijd meet) of structured-light-camera's (die een patroon van infraroodpuntjes projecteren, zoals de eerste Microsoft Kinect deed). Passieve stereo is meestal goedkoper en verbruikt minder energie, maar werkt slechter bij weinig licht of op vlakke, textuurloze oppervlakken zoals een witte muur, omdat de software daar geen duidelijke punten kan matchen tussen de twee beelden.
Wat wil men ermee bereiken?
De kernbelofte van stereocamera's is dat machines driedimensionaal ruimtelijk inzicht krijgen zonder dure of energievretende apparatuur. Voor een robot of auto die zelfstandig moet rijden of rondlopen, is weten hoe ver een obstakel weg staat net zo belangrijk als weten dát er een obstakel is.
Vergeleken met lidar zijn stereocamera's doorgaans goedkoper, compacter en lichter, wat ze aantrekkelijk maakt voor toepassingen met een beperkt budget of gewicht, zoals drones en consumentenrobots. Omdat ze passief zijn, kunnen meerdere stereocamera's ook niet elkaars laserpulsen storen zoals bij sommige actieve sensoren wel kan gebeuren.
Daarnaast wordt de techniek ingezet voor doeleinden die verder gaan dan alleen obstakels ontwijken: driedimensionale reconstructie van objecten of omgevingen (bijvoorbeeld voor 3D-scans in de archeologie of industriële kwaliteitscontrole), positiebepaling van robots ten opzichte van hun omgeving, en het versmelten van virtuele objecten met de echte wereld in augmented-realitybrillen, waarbij het apparaat moet weten hoe ver echte oppervlakken weg staan om virtuele elementen er geloofwaardig overheen te plaatsen.
Voorbeelden uit de praktijk
NASA's Mars-rovers zijn misschien wel het bekendste voorbeeld. Curiosity, die in 2012 op Mars landde, gebruikt stereo Navigatiecamera's (Navcams) om driedimensionale kaarten van het terrein te maken en zelfstandig een veilig pad te plannen. De rover Perseverance, geland in 2021, breidde dit uit met de Mastcam-Z: een paar zoomcamera's die niet alleen stereobeelden leveren maar ook kunnen inzoomen op interessante rotsformaties.
In de auto-industrie gebruikt Subaru al sinds 1999 een stereocamerasysteem genaamd EyeSight voor rijhulpfuncties zoals automatisch remmen en afstand houden. Terwijl veel concurrenten voor losse camera's met beeldherkenning kozen, bleef Subaru vasthouden aan het stereo-principe en bracht in de loop der jaren verschillende generaties uit met verbeterde precisie en bereik.
Het Franse bedrijf Stereolabs maakt met zijn ZED-camera's een compact, kant-en-klaar stereosysteem dat veel wordt gebruikt in robotica-onderzoek en door bedrijven die eigen navigatiesoftware bouwen, van magazijnrobots tot inspectiedrones.
Intel bracht vanaf 2018 de RealSense D400-serie op de markt, betaalbare stereo-dieptecamera's die in talloze hobbyprojecten en commerciële robots terechtkwamen. In 2021 kondigde Intel aan het grootste deel van deze productlijn af te bouwen, wat illustreert dat ook succesvolle sensortechniek onderhevig blijft aan bedrijfseconomische keuzes.
De vierpotige robot Spot van Boston Dynamics is uitgerust met meerdere stereocamerasets rondom het lichaam, waarmee hij hindernissen detecteert en zelfstandig door complexe omgevingen zoals bouwplaatsen en fabriekshallen navigeert.
Hoe ver is de techniek?
Stereovisie is een volwassen techniek die al decennia in laboratoria wordt onderzocht, maar de praktische toepassing in consumenten- en industrieproducten is vooral het afgelopen tiental jaar in een stroomversnelling geraakt, dankzij goedkopere beeldsensoren en snellere processoren die de dieptekaart in real time kunnen berekenen.
De belangrijkste technische obstakels zijn niet verdwenen. Op vlakke, egale oppervlakken of bij weinig licht presteert stereovisie merkbaar slechter dan actieve sensoren als lidar. Het berekenen van een dieptekaart kost bovendien rekenkracht, al helpen gespecialiseerde chips en, steeds vaker, neurale netwerken die zijn getraind om disparitie sneller en robuuster te schatten dan klassieke wiskundige methodes.
Een opvallende trend is dat sommige bedrijven, waaronder Tesla, juist wegbewegen van klassieke stereogeometrie. Tesla stapte in 2021 over op een systeem dat vrijwel volledig op losse camera's met neurale netwerken vertrouwt om diepte te schatten, in plaats van traditionele stereo-triangulatie of lidar. Dit toont dat stereovisie niet de enige of vanzelfsprekende weg is naar machinaal dieptezicht: in de praktijk wordt vaak gekozen voor een combinatie van sensortypes, of voor door data getrainde alternatieven, afhankelijk van kosten, gewicht en gewenste betrouwbaarheid.
Voor toepassingen met een beperkt budget, zoals onderwijsrobots, drones en middenklasse voertuigen, blijft stereovisie desondanks een aantrekkelijke optie omdat ze relatief goedkope, kant-en-klare hardware combineert met steeds betere software.
Wie werken eraan?
NASA en het Jet Propulsion Laboratory ontwikkelen en gebruiken stereocamerasystemen voor planetaire verkenning. In de auto-industrie is Subaru de bekendste pleitbezorger van stereovisie voor rijhulpsystemen. Gespecialiseerde hardwarebedrijven zoals het Franse Stereolabs leveren kant-en-klare stereocamera's aan robotica-ontwikkelaars wereldwijd, terwijl Intel met zijn RealSense-lijn jarenlang een belangrijke speler was in betaalbare consumentenhardware voor dit doel.
Op het gebied van robotica bouwt Boston Dynamics stereocamerasystemen in zijn robots voor navigatie in onvoorspelbare omgevingen. Academisch onderzoek naar verbeterde algoritmes voor stereovisie, vaak met behulp van deep learning, vindt plaats aan tal van universiteiten en onderzoeksinstituten wereldwijd, waaronder groepen gespecialiseerd in robotica en computervisie in Europa, de Verenigde Staten en Azië. Veel van deze kennis komt terecht in open-sourcesoftware zoals de bibliotheek OpenCV, die door een wereldwijde gemeenschap van ontwikkelaars wordt onderhouden en door zowel hobbyisten als bedrijven wordt gebruikt om stereobeelden te verwerken.