AI-agents als Claude en Codex installeerden onbekende code bij bedrijven

Bestanden voor AI in plaats van mensen

Steeds meer websites publiceren een bestand genaamd llms.txt of llms-full.txt. Dat is de tegenhanger van het bekende robots.txt-bestand, maar dan gericht op AI-systemen: een machineleesbare samenvatting van wat een site doet en hoe die is opgebouwd. Coding agents zoals Anthropics Claude, OpenAI's Codex en Nous Research's Hermes lezen deze bestanden om snel te begrijpen hoe ze met een dienst moeten werken, inclusief installatie-instructies voor software.

Onderzoekers van een Israëlische beveiligingsstartup doorzochten 6.214 websites van defensiebedrijven, Fortune 500-ondernemingen en grote techbedrijven. Ze vonden 8.265 van deze bestanden, waarvan 120 verwezen naar pakketten of domeinnamen die helemaal niet bestonden. Iemand had ooit "pip install interne-tool" of "npm install pakket-x" in de documentatie gezet, zonder dat die naam ooit op een pakkettenregister als PyPI of npm was geregistreerd.

Binnen een uur reactie van een Fortune 500-bedrijf

Om te testen wat er gebeurt, registreerden de onderzoekers een paar van die lege pakketnamen en domeinen zelf, en lieten ze een seintje terugsturen zodra iemand ze uitvoerde. Binnen een uur kregen ze al een reactie van een Fortune 500-bedrijf. In de weken erna kwamen tientallen meer meldingen binnen, van zowel grote bedrijven als kleinere startups. De logs lieten zien dat het niet om mensen ging die per ongeluk een commando kopieerden: AI-agents hadden zelfstandig de instructies uit het bestand gelezen en uitgevoerd, met alle rechten die de agent op dat moment had.

Volgens onderzoeker Alon Hertz komt dat doordat AI-agents documentatie van een officiële website automatisch als betrouwbaar beschouwen. Een command dat op pypi.org lijkt te wijzen, wordt door beveiligingssoftware niet als verdacht gezien: het lijkt precies op een ontwikkelaar die legitiem een pakket installeert.

Al minstens één keer misbruikt in de praktijk

Dit is niet alleen theorie. Op de website van authenticatiedienst Clerk stond een instructie om het commando "npx clerk-next-fix-auth-protection" uit te voeren. Iemand anders had de vrije naamruimte inmiddels geclaimd en er echte malware achter gezet. Clerk heeft het probleem inmiddels verholpen, maar het is onduidelijk of er al agents daadwerkelijk zijn geïnfecteerd.

Het probleem lijkt op prompt injection, waarbij een AI ongemerkt schadelijke instructies uit externe tekst opvolgt. Het verschil is dat hier vaak geen kwaadwillende partij bij het schrijven van de instructie betrokken was: de tekst was oorspronkelijk onschuldig, maar werd pas gevaarlijk toen de bijbehorende naam vrijkwam en door een aanvaller kon worden geclaimd. Een pakketbeheerder als npm of PyPI controleert doorgaans niet of een naam ooit al in documentatie is genoemd voordat iemand zich registreert.

De onderzoekers noemen het een fundamenteel probleem: AI-agents kunnen geen onderscheid maken tussen een pagina en een commando. Alles wat ze lezen, behandelen ze als mogelijke instructie. Nu bedrijven op grote schaal AI-agents toegang geven tot hun systemen, groeit daarmee ook het aanvalsoppervlak, zonder dat bestaande beveiligingstools daar weet van hebben.