Dieptecamera: hoe machines leren schatten hoe ver iets weg is
Een gewone camera legt vast hoe een scène eruitziet: kleuren, vormen, contrasten. Een dieptecamera legt daarnaast vast hoe ver elk punt in die scène van de camera af staat. Het resultaat is geen platte foto, maar een soort landkaart van afstanden: voor elke pixel een getal in centimeters of meters. Stel je een fotograaf voor die niet alleen een foto maakt, maar er met een meetlint ook bij schrijft hoe ver elk voorwerp op die foto in werkelijkheid staat — dat is in essentie wat een dieptecamera doet, alleen dan automatisch en razendsnel voor honderdduizenden punten per seconde.
Je gebruikt het resultaat waarschijnlijk al zonder het te beseffen. Als een telefoon je gezicht herkent om te ontgrendelen, als een stofzuigrobot een bank ontwijkt, of als een game-personage reageert op je bewegingen, zit er vrijwel altijd een dieptecamera achter. Het is een van de stille bouwstenen van veel technologie die om ruimtelijk begrip draait: van robots en zelfrijdende voertuigen tot augmented reality-brillen.
Wat is het precies?
Er bestaan grofweg drie manieren om met een camera afstand te meten, en elke methode heeft zijn eigen aanpak.
De eerste heet time-of-flight (ToF), letterlijk "looptijd van licht". De camera stuurt korte, onzichtbare infraroodlichtflitsen de ruimte in en meet hoe lang het duurt voordat dat licht terugkomt. Omdat de snelheid van licht bekend is, kun je uit die tijd de afstand berekenen. Het principe is vergelijkbaar met hoe een vleermuis met echolocatie afstand schat, maar dan met licht in plaats van geluid.
De tweede methode is structured light (gestructureerd licht). Hierbij projecteert de camera een patroon van infrarode stippen of lijnen op de omgeving. Een sensor kijkt hoe dat patroon vervormt op oneffen oppervlakken — vergelijkbaar met hoe een rooster van lijnen kromtrekt als je het op een bobbelig tafelkleed projecteert. Uit die vervorming berekent de software de diepte van elk punt.
De derde aanpak is stereo vision, geïnspireerd op hoe mensen met twee ogen diepte zien. Twee camera's, een paar centimeter uit elkaar, nemen tegelijk een beeld op. Software vergelijkt de twee beelden en berekent uit de kleine verschillen tussen wat elk "oog" ziet hoe ver objecten weg staan.
Elke methode heeft sterke en zwakke punten. ToF-camera's werken goed op afstand maar hebben relatief lage resolutie. Structured light is nauwkeurig op korte afstand, maar werkt slecht in fel zonlicht omdat het infraroodpatroon dan verdrinkt in het omgevingslicht. Stereo vision heeft geen eigen lichtbron nodig, maar presteert slecht in het donker of op egale, textuurloze oppervlakken waar weinig te vergelijken is.
Wat wil men ermee bereiken?
De drijfveer achter dieptecamera's is simpel: computers en robots moeten de fysieke ruimte om hen heen begrijpen, en een gewone 2D-foto geeft daarvoor te weinig informatie. Op een plat beeld is het voor software lastig te zien of iets groot en ver weg is, of klein en dichtbij. Dieptemeting lost die onduidelijkheid op.
Voor robotica betekent dit dat een machine objecten, obstakels en vrije ruimte kan onderscheiden zonder aanraking. Voor beveiliging en identificatie betekent het dat een systeem een echt gezicht kan onderscheiden van een foto, omdat een foto plat is en een gezicht niet. Voor consumentenelektronica en gaming betekent het dat software lichaamsbewegingen en gebaren in 3D kan volgen. En voor vastgoed, architectuur en industrie betekent het dat ruimtes digitaal en op schaal kunnen worden ingescand.
Onder al deze toepassingen ligt dezelfde ambitie: apparaten minder blind maken voor de driedimensionale wereld waarin ze functioneren, zodat ze zelfstandiger en veiliger kunnen handelen.
Voorbeelden uit de praktijk
De Microsoft Kinect, geïntroduceerd in 2010 voor de Xbox 360, was voor veel mensen de eerste kennismaking met deze technologie. De oorspronkelijke Kinect gebruikte structured light, ontwikkeld met technologie van het Israëlische bedrijf PrimeSense, om lichaamsbewegingen te vertalen naar besturing van games. De opvolger uit 2013 stapte over op time-of-flight.
Apple introduceerde in 2017 met de iPhone X de TrueDepth-camera, die met structured light een puntenpatroon op het gezicht projecteert voor Face ID-gezichtsherkenning. Vanaf de iPhone 12 Pro (2020) voegde Apple daar een LiDAR-scanner aan toe — een time-of-flight-variant — vooral voor augmented reality-toepassingen en scherpstellen in het donker.
Intel RealSense is een reeks dieptecamera's die sinds ongeveer 2015 veel gebruikt wordt in robotica, drones en industriële toepassingen, met zowel stereo- als ToF-varianten. Intel bouwde de divisie in 2021 gedeeltelijk af, waarna RealSense in 2022 verder ging als zelfstandig bedrijf met kapitaal van Intel.
Matterport, een Amerikaans bedrijf, gebruikt dieptecamera's en LiDAR om interieurs van woningen en gebouwen om te zetten in doorzoekbare 3D-modellen, een dienst die sinds de jaren 2010 veel wordt ingezet door makelaars en de bouwsector.
Ook veel robotstofzuigers, onder meer van iRobot en Ecovacs, gebruiken sinds de late jaren 2010 kleine ToF- of stereocamera's naast of in plaats van laserscanners om obstakels te herkennen en kamers in kaart te brengen.
Hoe ver is de techniek?
Dieptecamera's zijn volwassen technologie: de basisprincipes zijn al decennia bekend en zitten inmiddels in miljoenen smartphones, spelconsoles en industriële systemen. Wat de afgelopen tien jaar vooral is verbeterd, is de miniaturisering: sensoren zijn kleiner, energiezuiniger en goedkoper geworden, waardoor ze in steeds compactere apparaten passen.
Toch blijven er duidelijke beperkingen. Infraroodgebaseerde methoden (ToF en structured light) presteren merkbaar slechter in direct zonlicht, omdat natuurlijk infraroodlicht in de zon de eigen lichtbron van de camera overstemt. De resolutie van dieptebeelden blijft doorgaans lager dan die van gewone camerabeelden, en op grote afstand neemt de nauwkeurigheid van vrijwel alle methoden af. Reflecterende of volledig doorzichtige oppervlakken, zoals glas en glimmend metaal, zijn voor alle drie de technieken notoir lastig.
Een opvallende trend is dat sommige fabrikanten dedicated dieptecamera's juist weer hebben verwijderd uit consumentenproducten. Verschillende Android-smartphones hadden rond 2019-2020 een losse ToF-sensor voor portretfoto's met vervaagde achtergrond, maar fabrikanten lieten die later vaak weg omdat slimme software met één gewone camera en kunstmatige intelligentie vergelijkbare resultaten kan benaderen. Dat laat zien dat dieptecamera's niet altijd de goedkoopste of enige route zijn naar ruimtelijk begrip — algoritmische schattingen uit 2D-beelden winnen in sommige toepassingen terrein, al blijven ze een benadering in plaats van een directe meting.
Voor zelfrijdende voertuigen wordt vaak losstaand LiDAR gebruikt (laserscanning op basis van hetzelfde time-of-flight-principe, maar met een roterende laser in plaats van een vast camerabeeld), wat aangeeft dat voor de meest veeleisende toepassingen soms een ander soort dieptemeting nodig is dan de compacte dieptecamera's uit consumentenelektronica.
Wie werken eraan?
Op het gebied van chips en sensoren zijn Sony (met ToF-sensorchips die in veel smartphones van andere merken zitten) en het Duitse pmdtechnologies (gespecialiseerd in ToF-sensoren) belangrijke namen. Apple en Samsung integreren dieptecamera's in hun eigen telefoons en, in het geval van Apple, ook in AR-apparatuur zoals de Vision Pro. Microsoft heeft met de Kinect en de HoloLens-brillen een lange geschiedenis in deze techniek. Intel en het daaruit voortgekomen zelfstandige RealSense richten zich vooral op robotica en industriële toepassingen.
Op onderzoeksgebied werken universiteiten als TU Delft en diverse Fraunhofer-instituten in Duitsland aan verbetering van sensorprecisie en nieuwe toepassingen. Landen als de Verenigde Staten, Duitsland, Japan en Zuid-Korea hebben relatief sterke industrieën rond beeldsensoren, mede dankzij hun bredere halfgeleider- en camera-industrie.