Nieuw algoritme leert humanoïde robots dieper kijken, net als mensen

De meeste robots met twee camera's gebruiken conventionele stereocamera's die recht vooruit kijken. Het verschil tussen het linker- en rechterbeeld levert dan informatie op over afstand. Mensen doen dit anders: onze ogen draaien naar binnen om precies op hetzelfde punt te focussen, vooral bij dichtbij gelegen objecten. Die 'convergerende' blik levert extra informatie op die conventionele camerasystemen missen. Het onderzoeksteam onder leiding van York University wilde deze menselijke manier van kijken nabootsen in een perceptiesysteem voor humanoïde robots.

Het resultaat heet convergent binocular stereo, afgekort CBS. Waar gewone stereosystemen vooral horizontale verschillen tussen twee beelden berekenen, houdt CBS ook rekening met verticale verschillen die ontstaan zodra camera's naar elkaar toe draaien. Daardoor kan het systeem niet alleen afstand bepalen, maar ook de helling van een oppervlak en de oriëntatie van een object inschatten, zoals een mens dat ook kan.

Hoe het algoritme dieptezicht berekent

CBS begint met beide camera's op hetzelfde 3D-punt te richten en berekent daarna de geometrische relatie tussen de twee beelden. Vervolgens bouwt het algoritme een zogeheten Gaussische pyramide op: hetzelfde beeld in vijf steeds grovere resoluties. Op de grofste niveaus zoekt het systeem naar herkenbare punten met de SIFT-methode en gebruikt het de zogeheten epipolaire geometrie om een eerste schatting te maken van de horizontale en verticale verschillen tussen de twee camerabeelden. Daarna verfijnen Gabor-filters, die texturen en randen in verschillende richtingen analyseren, welke pixels in het linker- en rechterbeeld exact bij elkaar horen. Door dit proces stap voor stap te herhalen op steeds scherpere beelden, ontstaat een steeds preciezere dieptekaart.

Beter bij lastige patronen, maar traag

Om CBS te testen bouwde het team een eigen dataset met 49 scenes, van gewone tafeltaferelen tot oppervlakken met herhalende patronen en objecten die deels aan het zicht onttrokken zijn. Bij scenes met herhalende patronen, waar gewone stereosystemen vaak in de war raken omdat vergelijkbare punten moeilijk uit elkaar te houden zijn, presteerde CBS aanzienlijk beter: de gemiddelde afstandsfout lag zo'n 0,8 meter lager dan de beste concurrerende methode. Over de hele dataset was CBS minstens zo nauwkeurig als bestaande technieken, inclusief enkele op deep learning gebaseerde systemen.

Het systeem heeft ook beperkingen. De nauwkeurigheid neemt af bij objecten op grotere afstand en het vereist precieze camerakalibratie. Bovendien duurde een berekening in de testopstelling ongeveer 69 seconden op een gewone desktopprocessor, veel te langzaam voor gebruik in real time. De onderzoekers benadrukken dat CBS gewone stereocamera's niet gaat vervangen, maar vooral bedoeld is voor humanoïde robots waarbij oogbewegingen en beeldverwerking samen moeten werken, zoals bij mensen.