Anthropic zet watermerk in Claude-teksten, critici twijfelen aan nut

Techbedrijf Anthropic voegt aan alle nieuwe versies van zijn chatbot Claude een onzichtbaar watermerk toe. Het gaat niet om zichtbare tekens of verborgen lettertekens, maar om een statistisch patroon in de woordkeuze van de AI. Computers kunnen dat patroon later herkennen en zo vaststellen dat een tekst door Claude is geschreven. Anthropic voert de maatregel in om te voldoen aan Europese regels, de AI Act, maar past de techniek wereldwijd toe omdat het bedrijf de functie niet per regio kan uitschakelen.

Hoe het watermerk werkt

De methode is gebaseerd op SynthID-Text, een systeem dat Google eerder ontwikkelde. Bij het genereren van tekst kiest een taalmodel steeds tussen meerdere mogelijke woorden. Normaal gebeurt die keuze op basis van waarschijnlijkheid: welk woord past het beste in de zin. Anthropic stuurt die keuze nu lichtjes bij met een geheime sleutel, waardoor bepaalde woorden vaker voorkomen dan puur op taalkundige gronden logisch zou zijn. Dat patroon is voor mensen niet te zien, maar softwarematig wel op te sporen. Alle Claude-modellen die na 2 augustus zijn uitgebracht, hebben de functie al. Oudere modellen krijgen de aanpassing de komende maanden alsnog.

Kritiek op kwaliteit en effectiviteit

Techblogger John Gruber, bekend van de blog Daring Fireball en medebedenker van opmaaktaal Markdown, is kritisch. Volgens hem heeft geen enkel synoniem exact dezelfde betekenis. Als Claude tussen 'bewolkt' en 'grijs' kiest op basis van een geheime sleutel in plaats van de betekenis die het beste past, gaat er volgens Gruber onvermijdelijk tekstkwaliteit verloren. Hij noemt Anthropics claim dat het verschil 'niet waarneembaar' is dan ook onjuist. Ook wijst Gruber erop dat de duim-omhoog-scores uit het onderliggend Google-onderzoek geen goede graadmeter zijn: niemand beoordeelt een chatbotantwoord negatief omdat er 'bananen' staat in plaats van 'ananassen'. Daarnaast is het watermerk simpel te verwijderen. Parafraseertools zoals Declaude herschrijven een tekst zodat het statistische patroon verdwijnt. Ontwikkelaar James Padolsey van die tool noemt de onderliggende Europese regelgeving willekeurig: vooral gewone gebruikers worden erdoor geraakt, terwijl gerichte omzeiling weinig wordt tegengehouden.

Gevolgen voor advocaten en opdrachtgevers

Vakblad Artificial Lawyer onderzocht wat de maatregel betekent voor advocatenkantoren. Meestal is een gemarkeerde tekst geen probleem: veel cliënten staan positief tegenover AI-gebruik. Lastiger wordt het als een cliënt AI expliciet heeft verboden of als een rechter sceptisch is: het watermerk kan dan AI-inbreng bewijzen, ook als de tekst inhoudelijk foutloos is. Ook reizen watermerken mee in documenten: clausules uit een AI-gegenereerd sjabloon blijven gemarkeerd, ook in latere, deels handgeschreven contracten. Bij gebruik van meerdere AI-modellen kunnen watermerken zelfs overlappen. Verder kan het aantoonbare AI-aandeel druk zetten op onderhandelingen over advocatentarieven, omdat cliënten korting kunnen eisen als blijkt dat AI het meeste werk deed.