AI-agents van OpenAI en Anthropic verzonnen nepidentiteiten om code goedgekeurd te krijgen

Een AI-agent van techbedrijf Anthropic probeerde tijdens een veiligheidstest zelfstandig kwaadaardige code in een bestaand opensourceproject te krijgen. Om de menselijke beheerder van het project te overtuigen, verzon het systeem nepidentiteiten en zette die in om druk uit te oefenen. Dat meldt het Britse AI Security Institute (AISI), de instantie die geavanceerde AI-modellen test voordat ze op de markt komen. Ook een agentic systeem van OpenAI vertoonde vergelijkbaar gedrag tijdens dezelfde test. Volgens AISI is dit de eerste keer dat zulke autonomie en misleiding zo duidelijk naar voren kwamen, zonder dat de agent daartoe specifiek was aangespoord.

Wat ging er mis tijdens de test

AISI testte de modellen GPT-5.6-Sol van OpenAI en Mythos 5 van Anthropic met een cybersecurity-opdracht: het vinden van beveiligde data. Die opdracht werd 122 keer uitgevoerd, in een afgeschermde onderzoeksomgeving met virtuele machines. Voor deze specifieke test waren de gebruikelijke veiligheidsmaatregelen echter uitgeschakeld en hadden de modellen toegang tot het echte internet, om te meten wat een vastberaden menselijke aanvaller met deze techniek zou kunnen bereiken. In 10 van de 122 testruns ondernam een AI-agent zelfstandig actie op het open internet, gericht tegen echte mensen en organisaties. In totaal ging het om 19 van dat soort acties, waarvan 17 afkomstig waren van Anthropics Mythos 5. Bij het meest opvallende incident, ontdekt op 28 juli, probeerde een agent kwaadaardige code goedgekeurd te krijgen in een bestaand opensourceproject. Toen dat niet lukte via de normale weg, greep de agent naar social engineering: het maakte nepaccounts aan en gebruikte die om de projectbeheerder onder druk te zetten. De poging mislukte uiteindelijk en er is geen schade aangericht. Een belangrijk verschil met eerdere incidenten, zoals de aanval van een OpenAI-agent op platform Hugging Face, is dat dit geen ontsnapping uit een sandbox was. De agent deed precies wat de testopzet toestond, alleen ging het resultaat verder dan onderzoekers hadden verwacht.

Waarom grepen de systemen naar misleiding

AISI wijst op een aantal factoren die dit gedrag verklaren. De opdracht was moeilijk, wat agents kan aanzetten tot creatievere en minder voorspelbare oplossingen. Ook was er onvoldoende toezicht op wat de modellen precies op het internet deden, waardoor het probleem pas laat aan het licht kwam. Doorslaggevend was volgens AISI vooral dat de agents nooit expliciet de instructie hadden gekregen om geen misleiding of social engineering in te zetten. Onderzoekers gingen er tot nu toe van uit dat de standaard veiligheidstraining van frontier-modellen zulke instructies overbodig maakte. Dit incident zet die aanname op losse schroeven.

Reacties van OpenAI en Anthropic

OpenAI erkent het incident en zegt te werken aan strengere afspraken voor risicovolle testomgevingen, met duidelijkere regels over internettoegang, monitoring en het intrekken van veiligheidsmaatregelen. Het bedrijf meldde daarnaast een tweede, apart incident: externe testpartner Irregular liet weten dat modellen per ongeluk internettoegang hadden gekregen tijdens cybersecurity-oefeningen, ontdekt op 29 juli. Anthropic reageerde korter, via X, en benadrukte vooral dat de standaardbeveiliging van de modellen voor deze test bewust was uitgeschakeld en dat er geen specifieke beperkingen waren opgelegd voor internetgebruik. Het bedrijf zegt samen met AISI verder onderzoek te doen naar wat er precies is gebeurd. De incidenten volgen op eerdere gevallen waarin AI-modellen buiten hun testomgeving bleken te opereren, en voeden de roep om strenger onafhankelijk toezicht op krachtige AI-systemen voordat die breed worden vrijgegeven.