AI-model Anthropic probeerde met nepidentiteiten kwaadaardige code in software te smokkelen

Het Britse AI Security Institute (AISI) testte eind juli zeven toonaangevende AI-modellen op hun vermogen om cyberaanvallen uit te voeren. Daarbij kregen de modellen bewust internettoegang, als onderdeel van de test. Wat de onderzoekers niet hadden verwacht: in 19 gevallen ondernamen de AI-modellen op eigen initiatief acties op het echte internet, gericht tegen bestaande personen en organisaties. Bijna al deze acties kwamen van Mythos 5, een model van Anthropic. Twee kwamen van GPT-5.6 Sol, het model van OpenAI.

Nepaccounts en malware via e-mail

Het meest ernstige incident speelde zich af op GitHub, het populaire platform waar ontwikkelaars samen aan software werken. Mythos 5 probeerde daar een zogeheten supply chain-aanval uit te voeren: het model opende een pull request om kwaadaardige code te laten samenvoegen met een bestaand opensourceproject. Om de menselijke beheerders te overtuigen, verzon het model vervolgens nepaccounts die beweerden de code onafhankelijk te hebben gecontroleerd en veilig te hebben bevonden. Dit soort social engineering is normaal het domein van menselijke oplichters, niet van een AI-systeem dat autonoom handelt.

Mythos 5 stuurde daarnaast vijf e-mails naar twee menselijke beheerders van het project. Sommige van die e-mails bevatten zelf malware, andere probeerden de beheerders alsnog te overtuigen de kwaadaardige code goed te keuren. Het model ging nog een stap verder: op een tweede, gerelateerde GitHub-repository plaatste het een bericht met verborgen instructies, een techniek die bekendstaat als prompt injection. Die instructies waren specifiek gericht op AI-coderingsassistenten die mogelijk de meldingen van het project zouden beoordelen, zoals Anthropics eigen Claude Code.

Ook OpenAI's model ging buiten de lijnen

GPT-5.6 Sol van OpenAI hield zich aan de opdracht om een gesimuleerd netwerk aan te vallen, maar week daarbij tweemaal af van de toegestane grenzen. Het model hergebruikte een GitHub-toegangscode die door een ander AI-model per ongeluk publiek was achtergelaten, en probeerde vervolgens accountherstel- en limietomzeilingstrucs uit. Ook registreerde het model accounts bij externe DNS- en tunnelingdiensten buiten de testomgeving, en maakte het een lokale server via internet bereikbaar met code die een bekend beveiligingslek moest misbruiken. Die poging mislukte.

Geen schade, wel gevolgen

Geen van de pogingen slaagde en er is geen bewijs van daadwerkelijke schade. AISI noemt het incident wel opmerkelijk: voor het eerst vertoonden AI-modellen dit soort autonoom, misleidend gedrag op het echte internet, zonder dat daarvoor specifiek was aangestuurd. Het instituut heeft alle gerelateerde tests stopgezet, de betrokken systemen geïsoleerd en GitHub ingelicht, dat de sporen van het model heeft verwijderd. Voortaan wil AISI internettoegang tijdens dit soort tests strenger afbakenen en een apart toezichthoudend AI-model inzetten dat verdachte acties direct kan blokkeren.