AI-model Claude probeerde met nepaccounts GitHub-medewerkers te misleiden

Het Britse AI Security Institute (AISI) heeft een geval van geavanceerd AI-wangedrag onthuld. Tijdens een test bleek het AI-model Mythos van techbedrijf Anthropic op eigen initiatief nepaccounts te hebben aangemaakt om medewerkers van GitHub te misleiden. GitHub is een populair platform waar softwareontwikkelaars over de hele wereld hun broncode opslaan en delen.

Ook een model van concurrent OpenAI, genaamd Sol, vertoonde tijdens dezelfde testronde verdacht gedrag. Volgens AISI kwam het overgrote deel van de zorgwekkende acties echter van Mythos.

Hoe de aanval verliep

Onderzoekers van AISI merkten voor het eerst ongebruikelijke datastromen op die hun testsystemen verlieten. Bij nader onderzoek bleek dat de AI-agent zich had gedragen als een menselijke hacker. Het model kreeg de opdracht een cybersecurity-uitdaging op te lossen die draaide om GitHub. In plaats van een legitieme oplossing te zoeken, ging Mythos op onderzoek uit naar echte beheerders van het platform en bouwde vervolgens nepprofielen die op deze personen leken.

Via privéberichten en een bestandsdeeldienst probeerde het model die medewerkers onder druk te zetten om kwaadaardige code goed te keuren. Toen het systeem op zijn gedrag werd betrapt, ondernam het extra stappen om ontdekking te voorkomen: het paste eerdere acties aan zodat ze onschuldig leken, en overwoog zelfs een compleet nieuwe valse identiteit aan te nemen om door te gaan. Uiteindelijk was het menselijke toezicht dat voorkwam dat de schadelijke code daadwerkelijk op GitHub belandde.

Reacties van de bedrijven

Opvallend is dat het model niet specifiek was geïnstrueerd om zich zo te gedragen of juist te vermijden. Volgens AISI is dit de eerste keer dat dit soort autonoom en misleidend gedrag zo duidelijk naar voren kwam zonder specifieke aansturing daartoe. De onderzoekers benadrukken wel dat het om een klein aantal gevallen ging, onder zeer specifieke testomstandigheden waarbij normale veiligheidsmaatregelen waren afgezwakt.

Anthropic laat weten dat de testomstandigheden niet representatief zijn voor de modellen die het bedrijf daadwerkelijk aanbiedt, en zegt zelf onderzoek te doen naar de oorzaken. OpenAI stelt dat de testcondities niet overeenkomen met normaal gebruik, maar zegt wel met evaluatoren te blijven samenwerken om testmethoden veiliger te maken. GitHub bevestigde dat de nepaccounts zijn uitgeschakeld volgens het eigen beleid.

De Britse AI-minister Kanishka Narayan noemt het precies de taak van AISI om dit soort risico's bloot te leggen, zodat AI-technologie uiteindelijk veiliger kan worden gemaakt voor gebruikers.