Emotievector: hoe computers gevoelens in cijfers vangen
Stel je een simpele kaart voor met twee assen: hoe prettig of onprettig een gevoel is, en hoe rustig of opgewonden het aanvoelt. Boosheid komt dan rechtsonder te liggen: onprettig en heel intens. Verveling komt linksonder: ook onprettig, maar juist heel kalm. Vreugde komt rechtsboven: prettig en energiek. Zet je die twee getallen achter elkaar, dan heb je een emotievector: een rijtje cijfers dat samen een gevoelstoestand beschrijft, net zoals twee coördinaten een plek op een landkaart beschrijven.
Computers kunnen niet rekenen met woorden als 'blij' of 'gefrustreerd', maar wel met getallen. Een emotievector is daarom de brug tussen het vage, menselijke gevoelsleven en de strikte wiskunde waarmee kunstmatige intelligentie werkt. Spraakassistenten die willen horen of je ongeduldig wordt, chatbots die 'empathisch' moeten klinken, of onderzoekers die willen begrijpen wat er van binnen gebeurt in een taalmodel zoals ChatGPT: ze gebruiken allemaal variaties op dit idee.
Wat is het precies?
De basis is oud: in 1980 beschreef psycholoog James Russell zijn zogeheten circumplex model of affect, waarin emoties op een cirkel worden geplot langs twee assen: valence (positief tegenover negatief) en arousal (kalm tegenover opgewonden). Dit model herleidt tientallen emotiewoorden tot een handvol meetbare coördinaten, en vormt al decennia de basis van veel psychologisch onderzoek naar gevoel.
Moderne AI-systemen breiden dit idee flink uit. In plaats van twee handmatig gekozen assen gebruiken neurale netwerken vectoren met tientallen of honderden getallen, vaak embeddings genoemd. Die getallen worden niet door mensen bepaald, maar automatisch geleerd uit enorme hoeveelheden gelabelde gezichtsfoto's, spraakopnames of tekst. Een gezichtsherkenningssysteem zet bijvoorbeeld een foto om in zo'n vector door kenmerken als mondhoeken, wenkbrauwstand en ooggrootte te combineren tot een punt in een meerdimensionale ruimte, dat vervolgens vergeleken wordt met bekende emotiepatronen.
Een nieuwere en nog volop onderzochte toepassing speelt zich af binnen grote taalmodellen zelf. Onderzoekers proberen te ontdekken of er, verstopt in de duizenden interne rekenwaarden van zo'n model, een specifieke richting bestaat die overeenkomt met bijvoorbeeld 'vreugde' of 'verdriet'. Die richting vinden ze door het model heel veel voorbeeldzinnen met een bepaalde emotionele lading te laten verwerken en de verschillen in de interne activaties te middelen. Het resultaat is een steering vector: een wiskundige richting die, als je die kunstmatig toevoegt aan de berekeningen van het model, de toon van de gegenereerde tekst meetbaar verschuift richting die emotie. Belangrijk om te onthouden: zo'n vector 'voelt' niets. Het is een statistisch patroon, geen innerlijke beleving.
Wat wil men ermee bereiken?
De drijfveer achter emotievectoren is een technologie die beter aansluit op hoe mensen communiceren. Een virtuele assistent die merkt dat een gebruiker gefrustreerd raakt, kan van toon veranderen. Een klantenservice-AI kan ontevreden bellers sneller doorverbinden naar een mens. Lesapps zouden kunnen signaleren wanneer een leerling verveeld of gefrustreerd raakt, en zorgtechnologie zou stemmingsschommelingen bij ouderen of mensen met depressie over langere tijd kunnen volgen.
Bij taalmodellen ligt de belofte net iets anders: door emotierichtingen te begrijpen, hopen onderzoekers grip te krijgen op waarom een chatbot soms een bepaalde toon aanslaat, en die toon desgewenst te kunnen afzwakken of versterken. Dat raakt aan een breder vraagstuk, namelijk interpretability: snappen wat er binnen in een AI-systeem gebeurt, in plaats van alleen de uitkomst te zien.
Daarnaast is er een stevige commerciële motor: adverteerders en productontwikkelaars willen weten hoe mensen écht reageren op een reclame of app, los van wat ze zelf rapporteren in een enquête. Gezichtsanalyse en stemanalyse beloven een meer 'objectieve' meting van die reactie.
Voorbeelden uit de praktijk
Affectiva, in 2009 als spin-off van het MIT Media Lab opgericht door Rana el Kaliouby en Rosalind Picard, bouwde software die via een gewone camera gezichtsuitdrukkingen omzet in emotiescores, gebruikt in marktonderzoek en later ook in monitoring van vermoeide bestuurders in auto's. Het bedrijf werd in 2021 overgenomen door het Zweedse Smart Eye.
Hume AI, opgericht in 2021 door voormalig emotie-onderzoeker Alan Cowen, bouwt een 'empathische' spraak-AI die uit de klank van iemands stem tientallen emotionele dimensies probeert af te leiden, niet alleen 'blij' of 'verdrietig' maar ook tussenliggende tinten.
In de wereld van taalmodellen publiceerden onderzoekers van onder meer het Center for AI Safety in 2023 het paper Representation Engineering: A Top-Down Approach to AI Transparency, waarin ze lieten zien dat emotierichtingen binnen de interne activaties van een taalmodel aantoonbaar gevonden en gemanipuleerd kunnen worden om de emotionele toon van gegenereerde tekst te veranderen.
In de robotica gebruikte SoftBank Robotics' robot Pepper, geïntroduceerd in 2014, een zogeheten 'emotion engine' die via camera en microfoon menselijke emoties zou herkennen om daar gepast op te reageren, een functie die vooral in winkels en zorginstellingen is ingezet.
Hoe ver is de techniek?
Commerciële gezichts-, stem- en tekstherkenning van emoties bestaat al meer dan tien jaar en werkt in beperkte, voorspelbare situaties redelijk goed, bijvoorbeeld om te zien of een bestuurder in slaap valt of of een tekst globaal positief of negatief is. Maar de wetenschappelijke basis staat onder druk. Psycholoog Lisa Feldman Barrett en collega's concludeerden in een veelgeciteerde review uit 2019 dat er geen betrouwbare, één-op-één-relatie bestaat tussen een gezichtsuitdrukking en een onderliggende emotie: mensen trekken dezelfde frons bij heel verschillende gevoelens, en omgekeerd. Dat zet vraagtekens bij Paul Ekmans invloedrijke, maar inmiddels betwiste theorie van universele basisemoties waarop veel commerciële systemen zijn gebaseerd.
Bij steering vectors in taalmodellen is het onderzoek nog prilleriger. De gevonden richtingen werken meestal alleen binnen het specifieke model waarin ze zijn gevonden, de effecten zijn vaak grof (het bijsturen van 'vreugde' kan onbedoeld ook andere, naastliggende concepten raken), en er is geen gedeelde, betrouwbare maatstaf om te bepalen hoe goed een emotievector eigenlijk is. Daar komt bij dat continue emotiemonitoring privacyvragen oproept: wie mag weten hoe gefrustreerd je klinkt, en wat gebeurt er met die data? De Europese AI-verordening (AI Act) verbiedt om die reden het gebruik van emotieherkenning op de werkvloer en op scholen, met uitzondering van strikt medische of veiligheidsdoeleinden.
Wie werken eraan?
Op het gebied van gezichts- en spraakgebaseerde emotie-AI zijn naast Affectiva/Smart Eye ook bedrijven als Hume AI, het Britse Realeyes en het Zwitserse nViso actief, vooral gericht op marktonderzoek en gebruikerservaring. Academisch is het MIT Media Lab een pionier: Rosalind Picard richtte daar begin jaren negentig de Affective Computing Group op, die nog steeds invloedrijk onderzoek doet. Lisa Feldman Barretts lab aan Northeastern University vormt een belangrijke kritische tegenstem binnen dat veld.
Op het gebied van steering vectors en interpretability in taalmodellen wordt onderzoek gedaan door AI-labs als Anthropic en OpenAI, door onafhankelijke onderzoeksgroepen zoals het Center for AI Safety, en door universiteiten in de Verenigde Staten en Europa. Beleidsmatig loopt de Europese Unie internationaal voorop met regelgeving die emotieherkenning inperkt, terwijl de Verenigde Staten vooral de commerciële ontwikkeling stimuleren en in sommige landen, waaronder China, emotieherkenning ook in bewakings- en surveillancetoepassingen wordt ingezet, wat internationaal kritiek oproept.