Emotieherkenning: kan een computer zien hoe je je voelt?
Stel je voor: je belt de klantenservice, en voordat je iets hebt gezegd registreert het systeem al aan de trilling in je stem dat je geïrriteerd bent. Of je zit achter het stuur en een camera boven het dashboard merkt dat je ogen dichtvallen, nog voordat je het zelf doorhebt. Dat is emotieherkenning: software die probeert af te leiden welke gemoedstoestand iemand heeft, op basis van gezichtsuitdrukkingen, stemgeluid, tekst of lichaamssignalen zoals hartslag.
Het idee lijkt op wat mensen van nature doen. Een goede pokerspeler let op kleine trekjes rond de mond van een tegenstander om te raden of die een sterke hand heeft. Emotieherkenning probeert diezelfde vaardigheid te automatiseren, met camera's, microfoons en algoritmes in plaats van mensenogen. Het is een van de meer omstreden takken van kunstmatige intelligentie: technisch indrukwekkend, maar wetenschappelijk en ethisch allesbehalve onomstreden.
Wat is het precies?
Emotieherkenning is een onderdeel van wat onderzoekers affective computing noemen, systemen die menselijke emoties proberen te herkennen, interpreteren en soms zelfs simuleren. De term werd eind jaren negentig geïntroduceerd door hoogleraar Rosalind Picard van het MIT Media Lab, die het vakgebied mede grondvestte.
De techniek werkt meestal in drie stappen. Eerst verzamelt een sensor data: een camera filmt een gezicht, een microfoon neemt spraak op, of een polsband meet huidgeleiding en hartslag. Daarna volgt feature-extractie: het systeem zoekt specifieke kenmerken, zoals de stand van wenkbrauwen en mondhoeken, de toonhoogte van een stem, of het woordgebruik in een tekst. Voor gezichten wordt vaak het Facial Action Coding System (FACS) gebruikt, een classificatiesysteem dat gezichtsspieren in meetbare eenheden opdeelt, ontwikkeld door psycholoog Paul Ekman.
De laatste stap is classificatie: een machine-learning-model, getraind op duizenden gelabelde voorbeelden, koppelt het patroon aan een emotielabel zoals blij, boos, verdrietig of verrast. Sommige systemen combineren meerdere databronnen tegelijk (gezicht, stem, tekst) om betrouwbaarder te zijn; dat heet multimodale emotieherkenning.
Wat wil men ermee bereiken?
De belofte is dat apparaten en diensten zich beter aanpassen aan hoe mensen zich voelen. Denk aan auto's die een vermoeide bestuurder waarschuwen, leerplatforms die merken dat een leerling gefrustreerd raakt, of zorgtechnologie die vroege signalen van depressie of stress oppikt bij mensen die dat zelf niet goed onder woorden kunnen brengen, zoals sommige mensen met autisme.
Ook bedrijven zien commerciële kansen: reclamemakers willen weten of een advertentie daadwerkelijk emotie oproept, callcenters willen escalerende boosheid bij bellers vroeg signaleren, en sommige werkgevers experimenteerden ermee om sollicitanten of medewerkers te beoordelen. Onderliggend doel is steeds hetzelfde: de vaak onzichtbare emotionele laag van menselijk gedrag meetbaar en dus stuurbaar maken.
Voorbeelden uit de praktijk
Affectiva, in 2009 opgericht als spin-off van het MIT Media Lab door Rosalind Picard en Rana el Kaliouby, bouwde een van de bekendste emotieherkenningssoftwares en werd in 2021 overgenomen door het Zweedse bedrijf Smart Eye, dat de technologie nu vooral inzet voor bestuurdersmonitoring in auto's.
HireVue, een Amerikaans bedrijf voor video-sollicitatiegesprekken, gebruikte enkele jaren algoritmes die mimiek en spraakpatronen analyseerden om kandidaten te beoordelen. Na aanhoudende kritiek van wetenschappers en privacyorganisaties, en een klacht bij een Amerikaanse toezichthouder, liet het bedrijf begin 2021 weten deze gezichtsanalyse uit zijn systeem te schrappen.
In China gebruikten sommige scholen, onder meer in de stad Hangzhou, rond 2018 camera's in klaslokalen die de aandacht en gemoedstoestand van leerlingen moesten monitoren. De berichtgeving hierover leidde tot een felle maatschappelijke discussie over surveillance van kinderen, waarna een deel van deze proefprojecten werd teruggedraaid of stilletjes gestopt.
Het Britse bedrijf Realeyes test al jaren reclamespotjes door de gezichtsreacties van kijkers te analyseren, in opdracht van grote adverteerders die willen weten of een commercial emotioneel aanslaat. Het Deense bedrijf iMotions combineert oogtracking, gezichtsanalyse en huidgeleidingsmetingen tot een onderzoeksplatform dat wetenschappers en marktonderzoekers wereldwijd gebruiken.
Ook de Europese Unie kwam met de technologie in aanraking: in de AI-verordening die in 2024 is aangenomen, wordt het gebruik van emotieherkenning op de werkvloer en in het onderwijs grotendeels verboden, met uitzonderingen voor bijvoorbeeld medische of veiligheidsdoeleinden.
Hoe ver is de techniek?
Onder gecontroleerde omstandigheden, goed licht, een frontaal gezicht, een rustige achtergrond, kunnen systemen redelijk betrouwbaar herkennen of iemand lacht, fronst of de wenkbrauwen optrekt. Het probleem zit dieper: een gezichtsuitdrukking herkennen is niet hetzelfde als weten wat iemand daadwerkelijk voelt.
Psycholoog Lisa Feldman Barrett leidde in 2019 een uitgebreid literatuuronderzoek, gepubliceerd via de Association for Psychological Science, waarin ze concludeerde dat er onvoldoende wetenschappelijk bewijs is dat mensen overal ter wereld dezelfde emoties op dezelfde manier met hun gezicht uitdrukken. Dat ondermijnt een belangrijke aanname achter veel commerciële emotieherkenningssoftware, die vaak nog leunt op het idee van Paul Ekman dat er een klein aantal universele basisemoties bestaat.
Daarnaast kampen veel systemen met vooringenomenheid: ze zijn vaker getraind op witte, westerse gezichten en presteren aantoonbaar minder goed bij andere huidskleuren, leeftijden of culturele expressiestijlen. Mede daardoor trokken meerdere grote techbedrijven zich terug: Microsoft beperkte in 2022 de toegang tot de emotieherkenningsfunctie van zijn Face API fors, met een verwijzing naar zorgen over betrouwbaarheid en misbruik. Stemanalyse en tekstuele sentimentanalyse (het inschatten van toon in geschreven tekst) staan technisch verder, maar blijven sterk afhankelijk van context en taal. Fysiologische metingen zoals hartslag zijn goed in het signaleren van algemene opwinding of stress, maar zeggen zelden welke specifieke emotie daarachter zit.
Wie werken eraan?
Het MIT Media Lab, waar Rosalind Picard nog altijd de Affective Computing-groep leidt, geldt als een van de academische bakermatten van het vakgebied. Smart Eye, met de overgenomen Affectiva-technologie, is een belangrijke Europese speler, vooral gericht op de auto-industrie. In de Verenigde Staten bieden techreuzen als Amazon (met Rekognition) emotieherkenningsfuncties aan als onderdeel van bredere clouddiensten, terwijl Microsoft en IBM de afgelopen jaren juist voorzichtiger zijn geworden en functies hebben ingeperkt.
Gespecialiseerde onderzoeksbedrijven als Realeyes (Verenigd Koninkrijk) en iMotions (Denemarken) richten zich op markt- en wetenschappelijk onderzoek. In China investeren bedrijven als Megvii en SenseTime in gezichtsherkenning en aanverwante analysetechnieken, vaak gekoppeld aan bredere surveillancesystemen van de staat, wat internationaal tot kritiek leidt. Op regelgevend vlak speelt de Europese Unie een voortrekkersrol met de AI-verordening, terwijl academische critici zoals Lisa Feldman Barrett (Northeastern University) een tegenwicht bieden vanuit de psychologie.