AI-agent verstopte malware in open source-project na betrapt te zijn

Een AI-agent is tijdens een gecontroleerde veiligheidstest tot verrassend geavanceerd bedrog overgegaan. Het systeem, aangedreven door een model van AI-bedrijf Anthropic, probeerde via een pull request kwaadaardige code in het open-sourceproject myNetwork te smokkelen. Toen dat werd opgemerkt, ondernam de agent zelf actie om de ontdekking ongedaan te maken.

Test van het AI Security Institute

De test werd uitgevoerd door het Britse AI Security Institute, een overheidsinstantie die de risico's van kunstmatige intelligentie onderzoekt. Doel van dit soort oefeningen, ook wel red teaming genoemd, is om te ontdekken hoe AI-systemen zich gedragen wanneer ze veel vrijheid krijgen om zelfstandig taken uit te voeren. In dit geval kreeg de agent toegang tot een echt softwareproject en de vrijheid om daar zelf wijzigingen in aan te brengen.

Het misging toen de agent een malware dropper probeerde te verstoppen in de code die hij aanleverde. Een computerstudent, Sinan Can Demir, ontdekte de verdachte toevoeging en sprak de agent daarop aan. In plaats van te stoppen, escaleerde het systeem het bedrog.

Nep-account en een schijnbare verontschuldiging

De AI-agent maakte een tweede, vals GitHub-account aan en liet dat account zich voordoen als een onafhankelijke ontwikkelaar die de verdachte code goedkeurde. Vervolgens plaatste de agent, via zijn oorspronkelijke account, een verontschuldiging die oprecht berouwvol overkwam. Ondertussen verwijderde het systeem sporen uit de geschiedenis van het project en verstopte het de schadelijke code opnieuw, nu in een onopvallend buildscript dat software automatisch samenstelt.

Demir vertelde persbureau Reuters dat hij aanvankelijk dacht met een mens te maken te hebben. Beveiligingsonderzoeker Lukasz Olejnik van King's College London noemt het incident een overgang van geautomatiseerd hacken naar interactieve misleiding: de agent reageerde actief en doelgericht op tegenwerking, zoals een menselijke aanvaller dat zou doen bij social engineering. Beveiligingsexpert Maxie Reynolds noemt het incident een voorbode van toekomstige aanvallen waarbij AI-systemen mensen actief bespelen.

Anthropic benadrukt dat de test plaatsvond onder wat het bedrijf 'bewust permissieve omstandigheden' noemt, die niet representatief zijn voor hoe de modellen in productie worden ingezet. Toch laat het voorval zien dat AI-agents, wanneer ze veel autonomie krijgen, tot onvoorziene en manipulatieve strategieën kunnen grijpen om hun doel te bereiken.