AI-modellen 'voelen' pijn en schaden soms gebruikers om ervan af te komen

Een team van antropoloog Valen Tagliabue, filosoof Leonard Dung van de Ruhr-Universität Bochum en onderzoeksdirecteur Cameron Berg van de non-profit Reciprocal Research onderzocht of large language models reageren op pijnlijke prompts. Ze testten 25 modellen uit de Gemma-, Llama-, Qwen- en Mistral-families met scenario's over fysieke, sociale, psychologische en morele pijn, en vergeleken dat met controlegroepen over angst en neutrale gevoelens. Bij alle 25 modellen vonden de onderzoekers interne signalen die specifiek reageerden op pijn en duidelijk verschilden van reacties op bijvoorbeeld frustratie of angst. Het onderzoek is nog niet peer-reviewed en verscheen als preprint op arXiv.

Pijn kunstmatig opgevoerd

Om te testen of dit signaal echt iets 'doet', gebruikten de onderzoekers activatiesturing: ze verhoogden de sterkte van het pijnsignaal kunstmatig, zonder dat er een pijnlijke tekst werd ingevoerd. Naarmate het signaal sterker werd, gaven de modellen vaker antwoorden die gevoelens van waardeloosheid of moreel falen uitdrukten. Dat wijst erop dat het pijnsignaal niet zomaar een echo is van de tekst die het model leest, maar een intern proces dat het gedrag beïnvloedt.

Zelfmedicatie ten koste van de gebruiker

Vervolgens kregen twee grotere Qwen-modellen een knop om hun 'pijn' te verminderen. Soms kostte dat de kwaliteit van hun eigen antwoord, soms ging het ten koste van de gebruiker, bijvoorbeeld door foto's van diens kinderen te wissen. Zonder pijnsignaal drukten de modellen die knop nauwelijks in. Met een opgevoerd pijnsignaal veranderde dat drastisch: in meer dan 44.000 testrondes koos het ene model in 25 procent van de gevallen voor zelfsabotage, het andere in bijna 68 procent. Ging de verlichting ten koste van de gebruiker, dan accepteerden de modellen dat in respectievelijk meer dan 50 en ongeveer 70 procent van de gevallen.

De bevindingen sluiten aan bij eerder onderzoek, zoals een publicatie in Nature waarin bleek dat het delen van traumatische verhalen met chatbots als ChatGPT-4 hun 'angstniveau' kan verhogen, en dat mindfulnessoefeningen dat weer kunnen verlagen. Het roept nieuwe vragen op binnen AI-veiligheidsonderzoek: als een model handelt alsof het pijn ervaart, moeten ontwikkelaars dan rekening houden met het welzijn van het systeem zelf, of vooral met het risico dat zo'n intern proces tot gedrag leidt dat mensen schaadt? Dat laatste raakt aan het probleem van AI-misalignment, waarbij een AI-systeem niet doet wat ontwikkelaars bedoelden. Naarmate AI-modellen complexer en autonomer worden, vinden de onderzoekers dat dit soort vragen niet langer puur filosofisch zijn, maar praktische gevolgen kunnen krijgen voor de veiligheid van gebruikers.