Egocentrische video: de wereld filmen door de ogen van een ander
Stel je voor: je zet een bril op met een klein cameraatje in het montuur, en gaat een kop koffie zetten. De camera filmt niet jou terwijl je door de keuken loopt, zoals een bewakingscamera aan het plafond dat zou doen. In plaats daarvan filmt hij precies wat jij ziet: je handen die de waterkoker pakken, het kastje dat opengaat, de koffiepot die dichterbij komt. Dat is egocentrische video: beeldmateriaal dat is opgenomen vanuit het perspectief van de persoon die het beleeft, in plaats van vanaf een afstand door een buitenstaander.
Het tegenovergestelde noemen onderzoekers exocentrische video, of "third-person" video: de klassieke bewakingscamera, de tv-cameraman die een interview filmt, of een vriend die je met zijn telefoon filmt terwijl je aan het koken bent. Bij egocentrische video is er geen buitenstaander: de camera zit op je hoofd of borst, en registreert de wereld zoals die zich voor je ogen ontvouwt, inclusief je eigen handen, de dingen die je aanraakt en de richting waarin je kijkt. Die schijnbaar simpele verschuiving van standpunt blijkt voor kunstmatige intelligentie verrassend veel uit te maken, en ligt aan de basis van technologie zoals slimme brillen die met je meekijken en robots die leren door naar mensen te kijken.
Wat is het precies?
Egocentrische video wordt meestal opgenomen met een op het hoofd of de borst gemonteerde camera. In onderzoekslabs zijn dat vaak simpele actiecamera's zoals GoPro's; in nieuwere projecten zijn het speciale onderzoeksbrillen zoals Project Aria van Meta, of consumentenproducten zoals de Meta Ray-Ban slimme brillen, die een kleine camera in het montuur hebben verwerkt.
Veel van deze apparaten verzamelen meer dan alleen beeld. Ze bevatten vaak een IMU (inertial measurement unit), een bewegingssensor die versnelling en rotatie meet, vergelijkbaar met wat een gamecontroller gebruikt om beweging te registreren. Sommige, zoals Project Aria, hebben ook eye-tracking, waarbij camera's gericht op de ogen bijhouden waar iemand precies naar kijkt, en microfoons voor audio. Samen leveren die sensoren een rijk beeld op van wat iemand doet, ziet en waar zijn aandacht naar uitgaat.
Die video is voor computers om een paar redenen lastiger te analyseren dan gewone film. Ten eerste is het beeld vaak schokkerig: elke hoofdbeweging schudt de camera mee, wat leidt tot bewegingsonscherpte (motion blur), waarbij snelle bewegingen vaag worden op de opname. Ten tweede is het gezichtsveld (field of view, het deel van de omgeving dat de camera kan zien) beperkt: alles wat buiten je kijkrichting valt, wordt simpelweg niet gefilmd, terwijl een bewakingscamera juist een vaste, overzichtelijke ruimte in de gaten houdt. Ten derde staan handen en objecten vaak heel dichtbij en gedeeltelijk buiten beeld, wat het herkennen van wat er precies gebeurt bemoeilijkt.
AI-modellen die op deze video's worden losgelaten, richten zich meestal op een paar taken: actieherkenning (welke handeling voert iemand uit: snijden, gieten, tillen), het analyseren van hand-object-interactie (welk object wordt vastgepakt en hoe), en het voorspellen van de eerstvolgende actie op basis van wat er tot dan toe gebeurd is. Dat laatste is een vorm van anticiperen die bij gewone, van buitenaf gefilmde video veel minder relevant is, maar bij egocentrische toepassingen juist cruciaal, want een assistent die met je meekijkt heeft er baat bij te weten wat je waarschijnlijk hierna gaat doen.
Wat wil men ermee bereiken?
De belangrijkste drijfveer achter onderzoek naar egocentrische video is het bouwen van AI-systemen die daadwerkelijk vanuit menselijk perspectief kunnen meedenken. Denk aan een slimme bril die ziet dat je een recept aan het volgen bent en je waarschuwt dat je een ingrediënt vergeet, of die achteraf kan navertellen "waar heb ik mijn autosleutels neergelegd", omdat het systeem urenlang heeft meegekeken.
Een tweede, minstens zo belangrijke toepassing ligt in de robotica. Robots die leren door simpelweg te kijken hoe mensen taken uitvoeren, in plaats van dat een programmeur elke beweging met de hand vastlegt, gebruiken een aanpak die imitation learning heet: het nabootsen van gedrag op basis van demonstraties. Egocentrische video, gefilmd vanuit het perspectief van de handelende persoon, geeft daarbij precies het soort informatie dat een robot nodig heeft: welke hand pakt wat, in welke volgorde, en met welke beweging.
Daarnaast speelt egocentrische video een rol in augmented reality (AR), waarbij digitale informatie over de echte wereld heen wordt geprojecteerd, bijvoorbeeld via een bril. Om die informatie op het juiste moment en de juiste plek te tonen, moet het systeem begrijpen wat de drager ziet en doet. Ook in sportanalyse en training wordt egocentrisch beeld gebruikt, bijvoorbeeld om de precieze handbewegingen van een chirurg of de kijkrichting van een sporter te bestuderen.
Voorbeelden uit de praktijk
Ego4D is een van de bekendste datasets op dit gebied: een grote verzameling egocentrische video, uitgebracht door Meta AI (het onderzoeksonderdeel voorheen bekend als FAIR) rond 2021-2022. De dataset bevat ruim 3.000 uur video, gefilmd door bijna duizend deelnemers op tientallen locaties in negen landen, verzameld in samenwerking met een internationaal consortium van universiteiten. Het doel was om onderzoekers wereldwijd een gedeelde, grootschalige bron te geven om AI-modellen voor egocentrisch zien te trainen en te testen.
Als vervolg daarop bracht Meta rond 2024 Ego-Exo4D uit, een dataset die egocentrische video combineert met exocentrische video, dus dezelfde handeling tegelijk gefilmd vanuit het perspectief van de uitvoerder én vanaf de zijkant door meerdere camera's. Het gaat daarbij vaak om vaardige, geoefende handelingen zoals koken, muziek maken, sporten of het repareren van een fiets, met als doel te onderzoeken hoe AI kan leren van het verschil tussen beginners en experts.
EPIC-KITCHENS is een oudere en veel geciteerde dataset van de University of Bristol, ontwikkeld onder leiding van onderzoeker Dima Damen. De eerste versie verscheen rond 2018 en werd rond 2020 flink uitgebreid. Deelnemers filmden met een hoofdcamera hun eigen, volledig ongescripte keukenactiviteiten: koken, afwassen, opruimen, precies zoals ze dat toch al zouden doen. Die natuurlijke, niet-geregisseerde aanpak maakt de dataset waardevol omdat hij dicht bij echt dagelijks gedrag blijft.
Project Aria is geen dataset maar een apparaat: een onderzoeksbril van Meta, nadrukkelijk geen consumentenproduct, die is ontworpen om onderzoekers te helpen egocentrische data te verzamelen. De bril combineert video, eye-tracking, audio en bewegingsdata, en wordt gebruikt om nieuwe AR-technologie te ontwikkelen. Als voorbeeld van hoe deze technologie richting consumenten beweegt, kunnen de Meta Ray-Ban slimme brillen worden genoemd: een op de markt gebracht product met een ingebouwde camera waarmee gebruikers vanuit hun eigen perspectief foto's en video's kunnen maken.
Hoe ver is de techniek?
Egocentrische video-AI bevindt zich grotendeels nog in de onderzoeksfase. Er is duidelijke vooruitgang geboekt in taken zoals actieherkenning en in zogenoemde video-taalmodellen, AI-systemen die video's kunnen koppelen aan tekstuele beschrijvingen en vragen daarover kunnen beantwoorden. Maar een aantal problemen blijft hardnekkig.
Het begrijpen van lange, ongestructureerde video's, dus uren aan opnames zonder duidelijk begin, midden en eind, is nog altijd lastig voor AI-modellen, die van oorsprong beter zijn in het analyseren van korte, afgebakende clips. Het voorspellen van toekomstige acties, wat nodig is voor een assistent die daadwerkelijk vooruit kan meedenken, is eveneens nog verre van betrouwbaar.
Daarnaast spelen praktische obstakels een grote rol. Privacy is een belangrijk punt: een camera die de hele dag meekijkt, filmt onvermijdelijk ook omstanders die daar niet om hebben gevraagd, wat vragen oproept over toestemming en dataopslag. Verder vergt het verwerken van video on-device, dus rechtstreeks op de bril of camera zelf in plaats van via een dataverbinding naar een server, veel rekenkracht, terwijl slimme brillen juist klein en licht moeten blijven. Batterijduur is om diezelfde reden een knelpunt: continu filmen en analyseren kost energie, en niemand wil een bril die na een uur leeg is. Ten slotte blijven de eerder genoemde technische beperkingen, zoals bewegingsonscherpte en een beperkt gezichtsveld, gewoon bestaan, hoe goed de AI-modellen ook worden.
Wie werken eraan?
Meta AI, met name via het onderzoeksonderdeel voorheen bekend als FAIR en de Reality Labs-divisie die zich met AR/VR-hardware bezighoudt, is een van de grootste spelers op dit gebied, mede dankzij datasets als Ego4D en Ego-Exo4D en hardware zoals Project Aria en de Ray-Ban-brillen. De University of Bristol is een vooraanstaand academisch centrum voor dit onderzoeksveld, met EPIC-KITCHENS als bekendste bijdrage.
Ego4D en Ego-Exo4D zijn geen soloprojecten van Meta alleen, maar zijn tot stand gekomen in samenwerking met tientallen universiteiten en onderzoeksinstellingen wereldwijd, die elk data hebben aangeleverd of aan de ontwikkeling van methodes hebben bijgedragen. Daarnaast houden diverse robotica-labs zich bezig met het gebruik van egocentrische video voor imitation learning, waarbij robots leren door menselijke demonstraties na te bootsen. Tot slot vormen fabrikanten van slimme brillen en AR-headsets, naast Meta ook bedrijven als Google en Microsoft, de bredere context waarin deze technologie zijn weg naar consumenten en professionele toepassingen vindt.