Epipolaire geometrie: hoe machines diepte leren zien uit platte foto's
Sluit één oog en probeer een pen recht op een tafel neer te zetten waar u met uw vinger naar wijst. Dat valt lastiger dan verwacht, want met één oog mist u dieptezicht. Uw hersenen bepalen afstand normaal gesproken door de twee net iets verschillende beelden van uw linker- en rechteroog met elkaar te vergelijken. Epipolaire geometrie is de wiskundige beschrijving van precies dat principe, maar dan toegepast op camera's in plaats van ogen.
Stel dat twee camera's, of één camera die zich verplaatst, vanuit verschillende hoeken een foto maken van hetzelfde voorwerp. Een computer die weet hoe die twee foto's zich meetkundig tot elkaar verhouden, hoeft niet de hele tweede foto af te zoeken om een punt uit de eerste foto terug te vinden: hij hoeft alleen langs één rechte lijn te zoeken. Die versimpeling, en alles wat daarbij komt kijken, noemen we epipolaire geometrie. Het is een van de fundamenten waarop computers 3D-vormen, dieptekaarten en navigatiesystemen bouwen uit gewone platte camerabeelden.
Wat is het precies?
Neem twee camera's die vanuit een andere positie naar hetzelfde 3D-punt kijken, bijvoorbeeld de punt van een tafelpoot. Teken een denkbeeldige driehoek tussen de twee cameracentra en dat 3D-punt. Dat vlak heet het epipolaire vlak. Waar dit vlak het beeldvlak van elke camera snijdt, ontstaat een rechte lijn: de epipolaire lijn. Het punt waar de lijn die de twee cameracentra verbindt door een beeldvlak steekt, heet het epipool.
De kern van de zaak is de epipolaire beperking (epipolar constraint): als een punt in de eerste foto bekend is, moet het corresponderende punt in de tweede foto ergens op de bijbehorende epipolaire lijn liggen, en nergens anders. Een zoekprobleem dat in principe de hele tweede afbeelding zou beslaan, wordt zo teruggebracht tot een zoektocht over één lijn. Dat scheelt enorm in rekenwerk en vermindert het risico op verkeerde matches.
Deze meetkundige relatie wordt wiskundig vastgelegd in een 3x3-matrix. Is bekend hoe de camera's precies gekalibreerd zijn (brandpuntsafstand, vertekening enzovoort), dan gebruikt men de essentiële matrix (essential matrix, E), voor het eerst beschreven door de Britse wetenschapper Christopher Longuet-Higgins in 1981. Is die kalibratie niet bekend, wat in de praktijk vaak het geval is bij foto's uit een willekeurige bron, dan gebruikt men de meer algemene fundamentele matrix (fundamental matrix, F), die in de jaren negentig werd geformaliseerd door onder anderen Olivier Faugeras en Richard Hartley. Zodra deze matrix bekend is, kan een computer voor elk punt in de ene foto de bijbehorende zoeklijn in de andere foto berekenen. Vindt hij vervolgens het overeenkomstige punt, dan kan hij via triangulatie — dezelfde driehoeksmeting die landmeters al eeuwen gebruiken — de 3D-positie van dat punt in de ruimte berekenen.
Wat wil men ermee bereiken?
Het uiteindelijke doel is steeds hetzelfde: van meerdere platte, tweedimensionale foto's terug naar een betrouwbare driedimensionale beschrijving van de wereld. Dat klinkt abstract, maar is de basis onder een hele reeks praktische toepassingen: een robot die moet weten hoe ver een obstakel weg staat, een drone die een landschap in 3D wil vastleggen, of een zelfrijdende auto die de afstand tot een voetganger moet inschatten.
Epipolaire geometrie levert daarbij vooral twee dingen: snelheid en betrouwbaarheid. Door de zoekruimte van twee dimensies naar één dimensie terug te brengen, wordt puntmatching tussen foto's rekenkundig veel lichter. En doordat de epipolaire beperking een harde meetkundige regel is, kan ze ook gebruikt worden om foute matches — punten die toevallig op elkaar lijken maar niet bij elkaar horen — er automatisch uit te filteren. Dat maakt het een bouwsteen voor grotere systemen zoals 3D-reconstructie, robotnavigatie en camera-tracking, eerder dan een toepassing op zichzelf.
Voorbeelden uit de praktijk
NASA's Marswagentjes Curiosity (geland in 2012) en Perseverance (geland in 2021) gebruiken stereocamera's — de Navcams en Hazcams — om hun directe omgeving in 3D te reconstrueren. Op basis van dat soort stereo-triangulatie, die op epipolaire geometrie steunt, bepalen de rovers zelfstandig of de grond veilig genoeg is om overheen te rijden, iets wat onmisbaar is met een communicatievertraging van vele minuten naar de Aarde.
In de fotogrammetrie en 3D-scanning speelt de opensource-software COLMAP, ontwikkeld door onderzoeker Johannes Schönberger, een grote rol. Het programma reconstrueert 3D-modellen van gebouwen, archeologische sites of landschappen uit series overlappende foto's, en gebruikt daarbij expliciet fundamentele en essentiële matrices om cameraposities ten opzichte van elkaar te bepalen. Commerciële software als Agisoft Metashape wordt op vergelijkbare wijze ingezet, bijvoorbeeld voor het documenteren van cultureel erfgoed of voor landmeetkundig werk met drones.
In de robotica is ORB-SLAM (voor het eerst gepubliceerd in 2015 door onderzoekers van de Universiteit van Zaragoza) een veelgebruikt voorbeeld van SLAM (Simultaneous Localization and Mapping): een robot of camera bepaalt tegelijk zijn eigen positie én bouwt een kaart van de omgeving op, waarbij epipolaire geometrie wordt gebruikt om de eerste cameraposities ten opzichte van elkaar te schatten.
Ook in de filmindustrie is de techniek terug te vinden: bij match-moving, het proces waarbij computeranimatie naadloos wordt ingepast in live-action beeldmateriaal, berekenen programma's als 3DEqualizer de camerabeweging uit het gefilmde beeldmateriaal met technieken die direct voortbouwen op epipolaire geometrie.
Hoe ver is de techniek?
Epipolaire geometrie is geen opkomende technologie maar een volwassen, decennialang beproefd vakgebied. De wiskundige basis ligt al sinds de jaren tachtig en negentig vast en staat beschreven in het standaardwerk Multiple View Geometry in Computer Vision van Richard Hartley en Andrew Zisserman. De praktische implementatie is inmiddels zo gestandaardiseerd dat ze kant-en-klaar in vrij beschikbare software als OpenCV zit, waardoor ontwikkelaars de onderliggende wiskunde zelden nog van scratch hoeven te programmeren.
De belangrijkste beperkingen zitten niet in de meetkunde zelf, maar in de stap ervoor: het vinden van betrouwbare overeenkomstige punten tussen twee foto's. Bij vlakke, textuurloze oppervlakken (een witte muur), sterk repeterende patronen (een tegelvloer) of veel bewegende objecten in de scène gaat puntmatching vaak mis, met een onbetrouwbare of foute matrix als gevolg. Om die reden wordt klassieke epipolaire geometrie steeds vaker gecombineerd met neurale netwerken die getraind zijn om robuustere overeenkomsten te vinden, zoals SuperGlue (2020, ontwikkeld door onderzoekers verbonden aan Magic Leap en ETH Zürich) en LoFTR (2021). Die systemen vervangen de meetkunde niet, maar maken de input ervoor betrouwbaarder.
Een eerlijke kanttekening is dat sommige toepassingsgebieden, met name zelfrijdende auto's, deels wegbewegen van klassieke stereo-opstellingen richting monoculaire dieptezicht-systemen die dieptekaarten direct met neurale netwerken uit één camerabeeld schatten, of richting lidar. Epipolaire geometrie blijft daarmee onmisbaar in fotogrammetrie, robotica en ruimtevaart, maar is niet overal meer de enige of vanzelfsprekende oplossing voor dieptezicht.
Wie werken eraan?
De academische basis is grotendeels gelegd en wordt nog altijd onderhouden door onderzoeksgroepen als de Visual Geometry Group van de Universiteit van Oxford, onder leiding van Andrew Zisserman, en de computer vision-groep van ETH Zürich, met onderzoekers als Marc Pollefeys, die ook vanuit dit vakgebied is doorgestroomd naar de industrie, onder meer bij Microsoft. NASA's Jet Propulsion Laboratory (JPL) past de techniek toe in de besturing van zijn Mars-rovers.
Op softwarevlak is het opensource-project OpenCV, oorspronkelijk gestart bij Intel en nu onderhouden als non-profitinitiatief, de facto standaard waarmee ontwikkelaars wereldwijd met epipolaire geometrie werken. Chipmakers als NVIDIA en Intel (met zijn RealSense-camera's) verwerken de techniek in hardware en SDK's voor robotica en industriële toepassingen. Daarnaast houden talloze universiteiten en bedrijven in de robotica-, drone- en autonome-voertuigensector zich bezig met verdere verfijning, vooral in combinatie met deep learning voor robuustere puntmatching.