Gebarenherkenning: hoe machines onze handen leren lezen
Gebarenherkenning is de technologie waarmee een computer, camera of sensor de bewegingen van je handen, vingers of lichaam herkent en omzet in een opdracht of tekst. Denk aan het zwaaien voor een deur die vanzelf opengaat, het draaien van je hand om het volume van de radio in de auto te veranderen, of een systeem dat gebarentaal automatisch vertaalt naar gesproken taal. In alle gevallen 'kijkt' een apparaat naar wat je doet met je handen en probeert het daar betekenis aan te geven, net zoals een mens dat doet wanneer hij een collega een duim omhoog ziet steken.
De technologie combineert twee dingen: een manier om beweging waar te nemen (bijvoorbeeld een camera of een radarsensor) en software die die waarneming interpreteert. Dat laatste gebeurt tegenwoordig meestal met kunstmatige intelligentie, specifiek met neurale netwerken die getraind zijn op duizenden voorbeelden van handbewegingen. Het resultaat is dat een telefoon, VR-bril of auto kan 'zien' of je een vuist maakt, zwaait, of een specifiek gebaar uit de Nederlandse Gebarentaal (NGT) uitvoert.
Wat is het precies?
Gebarenherkenning verloopt meestal in een aantal stappen. Eerst wordt beeldmateriaal of sensordata verzameld. Dit kan met een gewone camera, maar vaak wordt een dieptecamera gebruikt: een camera die niet alleen een plat beeld maakt, maar ook meet hoe ver elk punt in het beeld van de lens af staat. Daardoor kan het systeem een hand in de ruimte plaatsen, ook als de achtergrond rommelig is.
Vervolgens wordt de hand of het lichaam 'gesegmenteerd', oftewel losgeknipt van de achtergrond. Software zoekt daarna naar zogeheten skeletpunten: de gewrichten van vingers, pols en eventueel elleboog en schouder. Dit heet skeletal tracking of pose-estimation. Door deze punten te volgen in de tijd ontstaat een soort digitaal draadpoppetje dat precies dezelfde bewegingen maakt als jouw hand.
Die bewegende punten worden daarna aangeboden aan een neuraal netwerk, een wiskundig model dat is getraind op enorme hoeveelheden voorbeeldgebaren. Dit model herkent patronen: bijvoorbeeld dat een bepaalde volgorde van vingerbuigingen hoort bij het gebaar voor 'stop' of bij een letter uit het handalfabet. Bij eenvoudige, statische gebaren (zoals een vuist of een open hand) volstaat vaak één momentopname. Bij gebarentaal, waarbij betekenis ontstaat uit een vloeiende reeks bewegingen én gezichtsuitdrukkingen, moet het systeem juist een hele reeks beelden achter elkaar analyseren, vergelijkbaar met hoe spraakherkenning niet naar losse klanken maar naar hele zinnen luistert.
Naast camera's bestaan er ook andere sensortechnieken. Radarchips, zoals Google's Project Soli, sturen radiogolven uit en meten hoe die terugkaatsen op bewegende vingers, zonder dat er een camerabeeld nodig is. Er zijn ook armbanden die spierelektriciteit meten (elektromyografie, afgekort EMG) en zo een gebaar al herkennen voordat de vingers volledig bewegen. Elke methode heeft zijn eigen voor- en nadelen op het gebied van nauwkeurigheid, privacy en kosten.
Wat wil men ermee bereiken?
De belangrijkste drijfveer achter gebarenherkenning is een natuurlijkere manier van omgaan met apparaten. Toetsenborden, muizen en knoppen zijn handig, maar niet altijd praktisch: denk aan een chirurg die tijdens een operatie geen scherm mag aanraken, of een automobilist die niet naar een knop wil zoeken terwijl hij rijdt. Gebaren maken interactie mogelijk zonder fysiek contact.
Een tweede, minstens zo belangrijke doelstelling is toegankelijkheid. Wereldwijd gebruiken tientallen miljoenen dove en slechthorende mensen een gebarentaal als eerste taal. Automatische gebarenherkenning zou drempels kunnen wegnemen bij bijvoorbeeld bellen met een instantie, het volgen van onderwijs of het bekijken van nieuws, doordat gebaren direct vertaald worden naar geschreven of gesproken taal, en andersom.
Daarnaast speelt gebarenherkenning een groeiende rol in virtual reality (VR) en augmented reality (AR), waar een fysiek toetsenbord vaak ontbreekt en de handen zelf de belangrijkste besturing vormen. Ook in de auto-industrie en bij slimme tv's wordt het gezien als een manier om menu's te bedienen zonder afstandsbediening.
Voorbeelden uit de praktijk
Microsoft bracht in 2010 de Kinect-sensor uit voor de Xbox 360, een van de eerste massaal verkochte apparaten met betaalbare dieptecamera's en lichaamsherkenning. De Kinect was primair bedoeld voor gaming, maar werd door onderzoekers wereldwijd ook gebruikt als goedkoop startpunt voor gebarenherkenningsonderzoek.
Google presenteerde in 2015 Project Soli, een miniatuurradarchip voor gebarenherkenning zonder camera. De technologie kwam in 2019 daadwerkelijk in een consumentenproduct terecht: de Pixel 4-smartphone, waarbij gebruikers met een handzwaai boven het scherm muziek konden pauzeren of een wekker konden uitzetten (de functie heette Motion Sense).
Het Britse bedrijf Ultraleap, ontstaan uit een fusie van Leap Motion en Ultrahaptics, levert al sinds de jaren 2010 handtracking-sensoren die veel gebruikt worden in VR-headsets en interactieve schermen, bijvoorbeeld in musea en winkels.
BMW voerde in 2015 met de nieuwe 7-serie gebarenbediening in de auto in: bestuurders kunnen met een draaiende vingerbeweging het volume aanpassen of een oproep afwijzen met een zwaaigebaar, gemeten door een camera boven de middenconsole.
Op het gebied van gebarentaal loopt onderzoek van onder meer Google (het SignAll- en ASL-onderzoek en het in 2023 gepubliceerde model voor Amerikaanse gebarentaalherkenning) en diverse universiteiten. In Nederland werkt het Nederlands Gebarencentrum samen met technologiepartijen aan digitale hulpmiddelen voor NGT, al is een volwaardige automatische vertaler nog niet beschikbaar.
Hoe ver is de techniek?
Voor eenvoudige, geïsoleerde gebaren, zoals een vuist, een zwaai of een specifieke handpositie, is de techniek inmiddels behoorlijk betrouwbaar en wordt ze al commercieel toegepast, zoals de bovengenoemde voorbeelden laten zien. De foutmarges zijn klein genoeg voor gebruik in auto's, VR-brillen en telefoons.
Volledige, vloeiende gebarentaalherkenning is echter een veel harder probleem en bevindt zich grotendeels nog in de onderzoeksfase. Gebarentalen zijn complete talen met een eigen grammatica, waarin niet alleen handvorm en beweging, maar ook gezichtsuitdrukking, mondbeeld en lichaamshouding betekenis dragen. Een systeem moet dus meerdere informatiebronnen tegelijk correct interpreteren en aan elkaar koppelen, iets wat spraakherkenning-systemen niet hoeven te doen.
Een ander obstakel is de beschikbaarheid van trainingsdata. Voor gesproken taal bestaan enorme hoeveelheden opgenomen spraak om AI-modellen op te trainen; voor gebarentalen, waaronder NGT, is die hoeveelheid gestandaardiseerde, geannoteerde video veel kleiner, mede omdat er relatief weinig gebruikers zijn en gebarentalen regionaal sterk kunnen verschillen. Onderzoekers waarschuwen daarom expliciet dat huidige 'AI-vertalers' voor gebarentaal nog geen betrouwbare vervanging zijn voor menselijke tolken, en dat overhaaste beloften op dit vlak schadelijk kunnen zijn voor de dovengemeenschap.
Ook zaken als variatie in huidskleur, handgrootte, belichting en achtergrond blijven een uitdaging voor de nauwkeurigheid van camera-gebaseerde systemen, al verbetert dit gestaag door grotere en diversere trainingsdatasets.
Wie werken eraan?
Grote techbedrijven investeren fors in dit veld. Google Research en Google DeepMind werken aan zowel radarsensoren (Soli) als aan taalmodellen voor gebarentaalherkenning. Meta ontwikkelt handtracking voor zijn Quest-VR-headsets via de onderzoeksdivisie Reality Labs. Apple bouwde hand- en oogtracking in de Vision Pro, die in 2023 werd aangekondigd. Microsoft blijft actief in onderzoek naar lichaams- en handherkenning, voortbouwend op de kennis uit het Kinect-project.
Gespecialiseerde bedrijven zoals Ultraleap (Verenigd Koninkrijk) en SignAll (Hongarije/VS, gericht op gebarentaalvertaling) richten zich specifiek op deze technologie. Op onderzoeksgebied zijn onder meer het MIT, de Universiteit van Boston (bekend om het ASLLVD-dataproject voor Amerikaanse gebarentaal) en diverse Europese universiteiten actief. In Nederland doet onder meer de Radboud Universiteit onderzoek naar gebarentaal en -technologie, in samenwerking met het Nederlands Gebarencentrum en dovenorganisaties, die benadrukken dat ontwikkeling in nauwe samenspraak met de doelgroep zelf moet gebeuren.