Sensorhandschoen
Een sensorhandschoen is een handschoen vol elektronica die bijhoudt hoe je hand beweegt en soms ook gevoel teruggeeft aan die hand. Vergelijk het met een heel geavanceerd toetsenbord dat niet op een bureau ligt, maar om je vingers zit: elke beweging, elke buiging van een vinger en soms zelfs elke druk die je uitoefent, wordt omgezet in een digitaal signaal dat een computer kan begrijpen.
Die signalen worden vervolgens gebruikt om bijvoorbeeld een virtuele hand in een game te besturen, een robot op afstand te laten grijpen, of iemands spierkracht te ondersteunen na een beroerte. Sommige sensorhandschoenen kunnen ook de andere kant op werken: ze duwen, trillen of knijpen zachtjes in je hand om het gevoel van 'aanraking' na te bootsen, zodat een virtuele knop echt aanvoelt alsof je ergens op drukt.
Wat is het precies?
De kern van een sensorhandschoen bestaat uit meerdere soorten sensoren die samen de stand en beweging van de hand vastleggen. De belangrijkste zijn buigsensoren, dunne strips die van elektrische weerstand veranderen zodra je ze buigt. Die strips liggen over de gewrichten van je vingers, zodat het systeem precies weet hoe ver elke vinger gebogen is.
Daarnaast bevatten veel handschoenen een IMU, een inertial measurement unit. Dit is een piepklein chipje dat versnelling en rotatie meet, vergelijkbaar met wat er ook in een smartphone zit om te bepalen hoe je het toestel vasthoudt. Zo weet het systeem niet alleen hoe je vingers buigen, maar ook hoe je hele hand door de ruimte beweegt en draait.
Bij sommige handschoenen komen daar druk- of krachtsensoren bij, vaak in de vingertoppen, die meten hoe hard je ergens tegenaan drukt. Een kleiner aantal onderzoeksmodellen gebruikt ook EMG-elektrodes, sensoren die de zwakke elektrische signalen van je spieren op de onderarm oppikken, nog voordat de vingers zelf goed bewegen.
Al deze signalen worden door een klein microcontrollertje, in feite een minicomputertje in de handschoen zelf, omgezet in digitale data. Die data wordt meestal draadloos via bluetooth naar een computer of VR-headset gestuurd. Software herkent daarin patronen, bijvoorbeeld met behulp van kunstmatige intelligentie, en vertaalt dat naar een bewegend 3D-handmodel op een scherm of naar een besturingscommando voor een robotarm.
Een deel van de sensorhandschoenen werkt ook de andere kant op met haptische feedback, een verzamelnaam voor technieken die tastgevoel nabootsen. Dat kan met simpele trilmotoren, met piepkleine luchtkamers die opblazen en zo druk op de huid geven, of met kleine motortjes die als een mini-exoskelet tegendruk geven aan je vingers, zodat een virtueel object echt 'iets' lijkt te wegen of aan te voelen.
Wat wil men ermee bereiken?
Een groot deel van de motivatie achter sensorhandschoenen is een natuurlijkere manier vinden om met computers en robots om te gaan, zonder toetsenbord, muis of joystick. Handen zijn ons meest veelzijdige gereedschap, en de gedachte is dat besturing via handbewegingen intuïtiever aanvoelt dan via knoppen.
In virtual en augmented reality is het doel vooral meer realisme: als je in een virtuele wereld een deur openduwt of een steen oppakt, voelt dat overtuigender wanneer je vingers ook echt weerstand voelen, in plaats van dat je alleen een controller met een trilknopje vasthoudt.
Buiten entertainment spelen er serieuzere toepassingen. Bij teleoperatie, het op afstand bedienen van een robot, kan een sensorhandschoen een operator in staat stellen fijne bewegingen door te geven aan een robotarm in een gevaarlijke omgeving, zoals een kerncentrale, een ruimtestation of een operatiekamer.
In de zorg wil men sensorhandschoenen inzetten voor revalidatie, bijvoorbeeld om de handfunctie van iemand na een beroerte te trainen en te meten, en voor het monitoren van repetitieve belasting die RSI kan veroorzaken. Er wordt ook gekeken naar toepassingen voor toegankelijkheid, zoals het helpen vertalen van gebarentaal, al blijkt dat in de praktijk lastiger dan het klinkt (zie hieronder). Tot slot worden handschoenen met haptische feedback gebruikt in trainingssimulaties, bijvoorbeeld voor chirurgen of fabrieksmedewerkers, omdat het gevoel in de handen helpt om spiergeheugen op te bouwen.
Voorbeelden uit de praktijk
CyberGlove Systems maakt al sinds de jaren negentig databehandschoenen die vooral gebruikt worden voor motion capture, het digitaal vastleggen van handbewegingen voor films, games en wetenschappelijk onderzoek naar handfunctie.
Manus, een bedrijf uit Eindhoven, maakt motion-capture handschoenen die wereldwijd gebruikt worden in de film- en game-industrie en voor virtual reality-toepassingen. Het is een van de weinige Nederlandse bedrijven die internationaal meedraait op dit gebied.
HaptX ontwikkelt handschoenen met wat het bedrijf 'true contact'-feedback noemt: microscopisch kleine luchtkamers in de handschoen die druk op de huid simuleren. Deze handschoenen worden vooral ingezet in industriële trainingsomgevingen en bij onderzoek naar robotteleoperatie, niet als consumentenproduct.
Het Zweedse bedrijf Bioservo maakt met Ironhand een grijp-ondersteunende handschoen, een soort zacht exoskelet dat fabrieksmedewerkers extra kracht geeft bij het vastpakken van gereedschap, met als doel vermoeidheid en RSI-klachten te verminderen.
Een bekend, maar ook leerzaam voorbeeld is SignAloud, een studentenproject van de University of Washington uit 2016 dat een prijs won met een handschoen die Amerikaanse gebarentaal zou kunnen 'vertalen'. Het project kreeg achteraf stevige kritiek van dovengemeenschappen en taalkundigen: gebarentaal bestaat niet alleen uit handvormen, maar ook uit gezichtsuitdrukking, lichaamshouding en grammatica die met woordvolgorde te maken heeft. Een handschoen die alleen vingerbewegingen leest, mist daardoor een groot deel van de taal. Het voorbeeld wordt in vakkringen vaak aangehaald als waarschuwing tegen te snel juichen over technologie die complexe menselijke communicatie zou 'oplossen'.
Hoe ver is de techniek?
Databehandschoenen voor motion capture, zoals die van CyberGlove en Manus, zijn inmiddels volwassen techniek: ze worden al jaren op grote schaal gebruikt in film, gaming en onderzoek, en zijn commercieel verkrijgbaar.
Haptische feedback-handschoenen staan minder ver. Modellen zoals die van HaptX zijn indrukwekkend in wat ze kunnen simuleren, maar zijn nog vrij zwaar, vaak met kabels verbonden aan een externe luchtcompressor, en kosten duizenden euro's. Ze worden daarom vooral gebruikt door bedrijven en onderzoeksinstellingen, niet door consumenten thuis.
Grijp-ondersteunende handschoenen zoals Ironhand worden al daadwerkelijk gebruikt op fabrieksvloeren, maar onafhankelijk, langlopend bewijs over de gezondheidswinst op de lange termijn is nog beperkt; de meeste cijfers komen vooralsnog van de fabrikanten of kleinschalige pilots.
Gebarentaal-vertaalhandschoenen blijven een lastig, nog niet opgelost onderzoeksprobleem. Werkende prototypes herkennen vaak losse letters of geïsoleerde woorden, maar geen vloeiende, natuurlijke gebarentaal, juist omdat gezichtsuitdrukking en grammatica ontbreken in wat een handschoen kan meten.
Over de hele linie geldt: de sensoren zelf zijn inmiddels goedkoop, klein en betrouwbaar genoeg. De grootste onopgeloste uitdagingen zitten in de software, namelijk het met kunstmatige intelligentie betrouwbaar herkennen van genuanceerde gebaren, en in de haptica, namelijk het maken van feedback die licht, draadloos, betaalbaar én overtuigend realistisch is. Op beide vlakken wordt gestaag vooruitgang geboekt, maar een doorbraak naar een goedkoop consumentenproduct is er nog niet.
Wie werken eraan?
Op het gebied van motion-capture handschoenen zijn CyberGlove Systems (Verenigde Staten) en Manus (Nederland, gevestigd in Eindhoven) belangrijke commerciële spelers. Manus is daarmee een van de weinige Nederlandse bedrijven die internationaal meetelt in deze niche.
Op haptische feedback richt vooral HaptX (Verenigde Staten) zich, terwijl techbedrijf Meta via zijn onderzoekslab Reality Labs Research experimenteert met zachte, flexibele haptische handschoenen voor toekomstige VR-toepassingen. Voor industriële grijp-ondersteuning is het Zweedse Bioservo Technologies een van de bekendere namen.
Op onderzoeksgebied doen universiteiten als de University of Washington en UCLA in de Verenigde Staten, en het MIT Media Lab, veel werk aan sensortechniek en gebarenherkenning. In Nederland houden onder meer de TU Delft en de TU Eindhoven zich bezig met haptica en wearable robotica, technologie die je op of aan het lichaam draagt. Ook de Europese Unie financiert via onderzoeksprogramma's zoals Horizon Europe projecten op het gebied van wearable robotica en haptische technologie.