iToF-sensor: dieptezicht op basis van lichtvertraging
Een iToF-sensor is een chip die afstand meet met licht, en daarmee een driedimensionaal beeld van een scène opbouwt. De afkorting staat voor indirect Time-of-Flight, ofwel indirecte tijd-van-vlucht. In plaats van een gewone foto met kleuren levert zo'n sensor een dieptekaart: een plaatje waarbij elke pixel niet aangeeft hoe iets eruitziet, maar hoe ver het van de camera af staat.
Een handige analogie is echolocatie, zoals een vleermuis gebruikt. Stuur een geluidsgolf uit, meet wanneer de echo terugkomt, en reken om naar afstand. Een iToF-sensor doet iets vergelijkbaars met infrarood licht, alleen is licht zo snel (300.000 kilometer per seconde) dat je de reistijd niet rechtstreeks kunt stopwatchen. Daarom meet de sensor een subtielere eigenschap van het teruggekaatste licht: de verschuiving in de golfvorm, de zogeheten fase. Die faseverschuiving is indirect een maat voor afstand, vandaar de naam.
Wat is het precies?
Het proces begint met een lichtbron, meestal een infrarode led of laser (een zogeheten VCSEL), die knippert met een vaste, zeer hoge frequentie van enkele tientallen megahertz. Dit knipperende signaal wordt niet met het blote oog waargenomen, want het licht valt buiten het zichtbare spectrum.
Dit gemoduleerde licht verlaat de sensor, kaatst af op objecten in de ruimte, en een deel keert terug naar een speciale beeldchip. Elke pixel op die chip is geen gewone lichtsensor, maar een zogeheten lock-in pixel: een elektronisch schakelingetje dat het binnenkomende licht op meerdere momenten binnen elke knippercyclus apart opvangt, doorgaans vier keer per cyclus.
Door die vier metingen met elkaar te vergelijken, kan de elektronica berekenen hoeveel de golf van het teruggekaatste licht is verschoven ten opzichte van het uitgezonden signaal. Omdat de modulatiefrequentie bekend is, vertaalt die faseverschuiving zich rechtstreeks in een afstand: hoe verder een object staat, hoe groter de gemeten faseverschuiving (tot een bepaalde grens, waarna de telling weer van voren af aan begint, een probleem waarover verderop meer).
Omdat elke pixel deze berekening zelfstandig uitvoert, ontstaat in één keer een complete dieptekaart van de hele scène, doorgaans met dertig tot zestig beelden per seconde. Dat maakt iToF geschikt voor bewegende toepassingen zoals gebarenherkenning of navigatie.
Er bestaat ook een andere familie sensoren, directe Time-of-Flight of dToF. Die meet niet een faseverschuiving maar de werkelijke, minieme reistijd van een enkele lichtflits, met ultrasnelle fotondetectoren (SPAD's) die tijdsverschillen van biljoensten van seconden kunnen registreren. dToF is preciezer op grote afstand, maar de sensoren zijn complexer en duurder te maken, en leveren doorgaans minder pixels per beeld. iToF is de goedkopere, laagdrempeliger technologie die met bestaande chipfabricageprocessen (CMOS) te maken is, wat de brede toepassing in consumentenelektronica verklaart.
Wat wil men ermee bereiken?
Het doel van iToF is om compacte, betaalbare 3D-waarneming mogelijk te maken zonder dure of omvangrijke apparatuur zoals laserscanners. Een gewone camera ziet kleur en vorm, maar weet niet hoe ver iets weg staat; een iToF-sensor vult precies dat gat.
Concreet maakt dit allerlei toepassingen mogelijk: een smartphone die de achtergrond van een portret vervaagt omdat hij weet welk deel van het beeld dichtbij en welk deel veraf is, een robotstofzuiger die meubels ontwijkt, een auto die detecteert of een kind los in een stoel zit, of een headset voor augmented reality die virtuele objecten realistisch tussen echte meubels plaatst.
Een belangrijke belofte is ook kostenbesparing en miniaturisatie: waar vroeger een volledig lasersysteem nodig was om diepte te meten, past een iToF-module nu op een oppervlak van een paar vierkante millimeter, tegen een fractie van de prijs.
Voorbeelden uit de praktijk
De Microsoft Kinect voor Xbox One (2013) was een van de eerste veelgebruikte consumentenapparaten met een time-of-flight dieptecamera, en verving daarmee de structured-light-techniek van de eerste Kinect. Microsoft bouwde hierop voort met de Azure Kinect DK (2019), een ontwikkelaarskit met een iToF-dieptemodule die veel wordt gebruikt in robotica- en onderzoeksprojecten.
In smartphones dook de techniek breed op rond 2019: de Samsung Galaxy Note10+ en S10 5G kregen een 'DepthVision'-camera voor afstandsmetingen en AR-toepassingen, en de Huawei P30 Pro en Mate 30 Pro gebruikten een vergelijkbare ToF-camera voor portretfoto's en 3D-scans.
De LG G8 ThinQ (2019) plaatste een iToF-sensor (het REAL3-type van Infineon en pmdtechnologies) aan de voorkant van het toestel om handgebaren in de lucht te herkennen, een functie genaamd 'Air Motion'.
In de industrie en auto-elektronica gebruiken bedrijven als Infineon en pmdtechnologies hun REAL3-sensorfamilie sinds begin jaren 2020 voor bestuurder- en inzittendenbewaking in auto's (het detecteren van lichaamshouding of het controleren of een gordel correct zit), en voor volumemeting van pakketten in de logistiek.
Hoe ver is de techniek?
iToF is een volwassen technologie: de eerste onderzoekspatenten dateren uit de jaren negentig, en sinds ongeveer 2013 wordt ze in miljoenenoplages toegepast. Toch is de ontwikkeling niet stilgevallen.
Opvallend is dat verschillende smartphonefabrikanten de aparte ToF-camera de afgelopen jaren juist weer hebben laten vallen: het voordeel bleek voor gewone gebruikers vaak marginaal ten opzichte van slimme softwarematige diepteschatting uit gewone camerabeelden, en het kostte extra ruimte en geld. De technologie verschuift daardoor meer richting gespecialiseerde toepassingen: auto's, robotica, industriële meetapparatuur en AR/VR-brillen.
Er blijven ook technische obstakels. Fel omgevingslicht, zoals direct zonlicht, kan het zwakke infrarode signaal overstemmen. Licht dat meerdere keren kaatst voordat het terugkeert (multipath-interferentie) veroorzaakt foutieve metingen, vooral bij hoeken, spiegelende oppervlakken of doorschijnende materialen. Ook is het bereik beperkt: bij een te grote afstand 'wrapt' de faseméting rond en denkt de sensor dat een ver object juist dichtbij is. Fabrikanten pakken dit deels aan met metingen op meerdere modulatiefrequenties tegelijk, wat het effectieve bereik vergroot maar de sensor complexer maakt.
Wie werken eraan?
De grondlegger van de onderliggende chiptechniek is de Duitse hoogleraar Rudolf Schwarte, wiens onderzoek aan de Universiteit Siegen leidde tot het zogeheten Photonic Mixer Device (PMD), de basis van veel huidige iToF-pixels. Dat onderzoek werd later commercieel voortgezet door het Duitse bedrijf pmdtechnologies, dat sindsdien nauw samenwerkt met chipreus Infineon Technologies voor de productie van de REAL3-sensorfamilie.
Op het gebied van beeldsensoren voor smartphones is Sony Semiconductor Solutions (Japan) een van de grootste leveranciers van iToF-camerachips geweest voor diverse Android-toestellen. Andere chipbedrijven die zich met ToF-sensoren bezighouden zijn onder meer Melexis (België, met focus op automotive-toepassingen), Texas Instruments en Analog Devices voor industriële modules, en Microsoft, dat eigen ToF-chips ontwikkelt voor de Kinect- en Azure Kinect-lijn.
Academisch onderzoek naar verbeterde lock-in pixels en foutcorrectie voor multipath-interferentie gebeurt onder meer aan Duitse instituten zoals Fraunhofer, en aan diverse technische universiteiten wereldwijd die publiceren in vaktijdschriften over beeldsensoren en optica.