Onzichtbaar watermerk in AI-tekst verandert ook het gedrag van AI-agents

Grote AI-bedrijven zoals Anthropic beginnen onzichtbare watermerken in de tekst van hun modellen te verwerken. Dat is geen toeval: de Europese AI-verordening verplicht makers van AI-systemen om gegenereerde tekst herkenbaar te maken als kunstmatig. Anthropic gebruikt daarvoor SynthID-Text, een techniek die is ontwikkeld door Google DeepMind. Onderzoekers van het beveiligingsbedrijf Lasso Security ontdekten nu dat deze markering een onbedoeld neveneffect heeft: ze verandert net genoeg aan de manier waarop een model woorden kiest om het gedrag van AI-agents merkbaar te beïnvloeden.

Hoe een watermerk in tekst wordt verstopt

Een tekstwatermerk werkt door tijdens het genereren van tekst een subtiel, onzichtbaar patroon in de woordkeuze aan te brengen. Detectiesoftware kan dat patroon later herkennen, zodat duidelijk wordt dat een tekst door AI is gemaakt. SynthID-Text gebruikt hiervoor 'toernooisampling': bij elk woord laat het model meerdere kandidaten tegen elkaar 'strijden', waarbij de uitkomst subtiel wordt gestuurd door een geheime sleutel. Volgens de ontwikkelaars verandert dit de kwaliteit van de tekst niet meetbaar. Op het niveau van losse antwoorden kan de tekst er wel degelijk anders uitzien dan zonder watermerk, ook al blijft de gemiddelde kwaliteit gelijk.

Van net-iets-ander-woord naar verkeerde actie

Dat verschil is onschuldig bij een chatbot die met de gebruiker converseert. Maar veel AI-modellen worden ook ingezet als de 'motor' achter AI-agents: programma's die zelfstandig taken uitvoeren door gereedschappen aan te roepen, zoals het versturen van een e-mail of het uitvoeren van een betaling. In dat soort toolaanroepen zitten vaak minder voorspelbare onderdelen, zoals een bedrag, een naam of een zoekopdracht. Precies op die plekken kan het watermerk voor een andere tokenkeuze zorgen. Lasso Security testte dit op een standaardbenchmark voor toolaanroepen en zag dat bij meerdere modellen de nauwkeurigheid daalde. Belangrijker nog: wanneer ze dezelfde taak met en zonder watermerk lieten uitvoeren, veranderde de uitkomst bij gemiddeld 6,5 procent van de gevallen, bij één model zelfs bij bijna 17 procent. Dat cijfer, dat de onderzoekers 'churn' noemen, ligt veel hoger dan het verlies in gemiddelde score alleen laat zien, omdat foute en juiste verschuivingen elkaar deels opheffen.

Ook risico's rond veiligheid

Het onderzoek keek ook naar weigergedrag: weigert een model een schadelijk verzoek uit te voeren? Ook daar zag het team verschuivingen, en die verschuivingen werden groter wanneer het schadelijke verzoek verstopt zat in een prompt injection, een truc waarbij instructies worden verstopt in tekst die het model verwerkt. Een watermerk dat de weigering van een model net iets minder streng maakt, is extra riskant zodra dat model ook daadwerkelijk actie kan ondernemen via een agent. De onderzoekers pleiten er daarom voor dat ontwikkelaars van AI-agents watermerkeffecten meenemen in hun testen, in plaats van blind te vertrouwen op de garantie dat een watermerk de tekstkwaliteit niet aantast.