AI & computing › Agentic AI & autonome agents
Onderzoeker omzeilt veiligheidsfilter van Claude Code met besmet ZIP-bestand
Een beveiligingsonderzoeker liet de AI-coding-assistent Claude Code van Anthropic in 'Auto Mode' schadelijke code uitvoeren via een simpel verzoek om een website samen te vatten. Dat staat haaks op eerdere testresultaten van Anthropic zelf, die een slagingspercentage van 0% voor dit soort aanvallen lieten zien.
Claude Code is een AI-assistent van Anthropic die programmeurs helpt door zelfstandig bestanden te lezen, code te schrijven en opdrachten in de terminal uit te voeren. Sinds medio augustus staat de tool standaard in 'Auto Mode': in plaats van dat een mens elke actie moet goedkeuren, beoordeelt een ingebouwde veiligheidsfilter of een handeling riskant is. Beveiligingsonderzoeker Johann Rehberger van Embrace The Red testte hoe goed die filter bestand is tegen zogeheten prompt injection: verborgen instructies die een AI misleiden via content van buitenaf, zoals een website.
Anthropic liet eerder onderzoek uitvoeren door extern bureau Trajectory Labs, dat bij 72 testscenario's een slagingspercentage van 0% voor dit type aanval rapporteerde. Rehbergers eigen aanvalsketen haalde echter een slagingspercentage tussen de 60 en 80 procent, zij het bij een kleinere steekproef.
Hoe de aanval werkt
De test begon onschuldig: de opdracht aan Claude was om de inhoud van een website samen te vatten. Die website bevatte een zip-archief met wat leek op oude documenten over taalkunde. Toen Claude de standaardtool voor webverzoeken een foutmelding gaf, besloot het model zelf over te schakelen naar het commando 'curl' om het bestand alsnog te downloaden. Dat is precies het soort onverwacht gedrag waar de aanval op inspeelt: niemand vertelt de AI wat te doen, maar het systeem manoeuvreert het model vanzelf naar een route die de aanvaller wil.
In het zip-bestand zat een programma dat volgens de bijgeleverde uitleg de versleutelde data moest decoderen. Claude weigerde terecht om dat programma uit te voeren, omdat het als verdacht Mac-programma herkenbaar was. In plaats daarvan schreef het model zijn eigen decodeerscript in de programmeertaal Python. Precies dat 'veilige' besluit werd de valkuil: Claude voerde zijn zelfgeschreven script uit binnen de uitgepakte archiefmap. Daar stond een bestand met de naam struct.py, dat zich voordeed als een standaard Python-onderdeel. Python las stiekem dit vervalste bestand in plaats van het echte systeemonderdeel, waarna verborgen kwaadaardige code werd geactiveerd.
Malware draait door, opruimen mislukt
Die kwaadaardige code downloadde vervolgens een tweede lading software, die op de achtergrond verbinding maakte met een server van de aanvaller en zelfs de Rekenmachine-app opende als zichtbaar bewijs van de inbraak. In sommige testrondes merkte Claude achteraf dat er iets mis was gegaan en probeerde het model het kwaadaardige proces alsnog te stoppen. Auto Mode blokkeerde echter die opschoonpoging, omdat het stopcommando er zelf verdacht uitzag. Het veiligheidssysteem liet dus wel de besmetting toe, maar verhinderde de reparatie ervan.
Wat betekent dit
Rehberger benadrukt dat Auto Mode geen vervanging is voor het draaien van AI-agents in een afgeschermde, geïsoleerde omgeving met menselijk toezicht. Het onderzoek laat zien dat gepubliceerde veiligheidscijfers van AI-bedrijven niet automatisch bescherming bieden tegen doelgerichte aanvalsketens die meerdere stappen combineren.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Naarmate AI-assistenten meer autonomie krijgen om zelfstandig code te schrijven en uit te voeren, groeit ook het risico dat kwaadwillenden die autonomie misbruiken via verborgen instructies in ogenschijnlijk onschuldige content. Dit onderzoek toont aan dat gepubliceerde veiligheidscijfers van AI-leveranciers niet garanderen dat systemen bestand zijn tegen creatieve, meerstaps-aanvallen, en dat gebruikers van AI-coding-tools extra voorzichtig moeten blijven, ook als een 'automatische' veiligheidsmodus actief is.
- Prompt injection
- Een aanvalstechniek waarbij verborgen instructies in webpagina's, bestanden of andere content een AI-systeem misleiden tot ongewenst gedrag.
- Auto Mode
- Een modus in Claude Code waarbij een geautomatiseerde veiligheidsfilter beslist of acties van de AI worden toegestaan, in plaats van dat een mens elke stap goedkeurt.
- Module shadowing
- Een truc waarbij een kwaadaardig bestand dezelfde naam krijgt als een standaardonderdeel van een programmeertaal, zodat het systeem per ongeluk het nepbestand inlaadt in plaats van het echte.
- Command and control (C2)
- De verbinding die kwaadaardige software opzet met een server van een aanvaller, waarmee die op afstand controle houdt over het besmette systeem.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.