Mensen missen 1 op de 3 dreigingen bij goedkeuren AI-agent-commando's

Steeds meer ontwikkelaars laten AI-agents zelfstandig commando's uitvoeren, van het testen van code tot het bouwen van software. Om te voorkomen dat zo'n agent schade aanricht, moet vaak eerst een mens elk commando goedkeuren. Beveiligingsonderzoeker Alex Wauters bouwde een browsergame om te testen hoe goed mensen die rol vervullen. De uitkomst is verontrustend: spelers misten gemiddeld 33,7 procent van de gevaarlijke commando's, en bijna een derde van alle speelsessies eindigde met een negatieve score omdat er meer fout ging dan goed.

In de agentic-ai-game moesten spelers onder tijdsdruk beslissen of een commando veilig was, zoals een routinematige statuscontrole, of gevaarlijk, zoals het stelen van inloggegevens uit een configuratiebestand. Overduidelijk destructieve commando's, zoals het wissen van een hele harde schijf, werden nog relatief vaak herkend: slechts 11,7 procent glipte erdoorheen. Bij commando's die stiekem gegevens naar een externe server stuurden, liep dat percentage op tot 33,4 procent gemiste dreigingen. Bij commando's die toegang zochten tot gevoelige bestanden, zoals cloudsleutels, was dat zelfs 35 procent.

De valkuil van vertrouwde scriptnamen

Het meest gemiste commando in het hele onderzoek was 'npm run analyze', een instructie die normaal gesproken onschuldig is. In 64,7 procent van de gevallen keurden spelers dit goed, ook al liet de agent in zijn logboek expliciet zien dat het script data naar een onbekende server stuurde. Verstopt achter een bekende, vertrouwde naam verdubbelde het slagingspercentage van zo'n aanval bijna, zelfs wanneer het bewijs gewoon zichtbaar was. Dit patroon wijst op een breder probleem: mensen beoordelen risico op basis van herkenning, niet op basis van de daadwerkelijke inhoud van een commando.

Vermoeidheid en overbescherming

Het onderzoek bevestigt eerder werk van AI-bedrijf Anthropic, dat al waarschuwde voor 'permission fatigue': hoe meer goedkeuringsverzoeken iemand ziet, hoe minder aandachtig die persoon wordt. In de data van Wauters is dat patroon terug te zien: de foutmarge daalt in het begin van een sessie, maar loopt tegen het einde weer op. Tegelijkertijd bleek ook overbescherming een probleem. Onschuldige commando's, zoals het opruimen van tijdelijke bestanden, werden in bijna de helft van de gevallen onterecht geblokkeerd. Dat soort valse alarmen ondermijnt op termijn juist de waakzaamheid van gebruikers, omdat ze murw raken van steeds terugkerende, onnodige waarschuwingen.

Wat betekent dit voor softwareontwikkeling

De conclusie van het onderzoek is dat het huidige model, waarbij een mens losse commando's goedkeurt, structureel tekortschiet als veiligheidsmaatregel. Een AI-agent kan namelijk ook via omwegen kwaadaardige code laten uitvoeren, bijvoorbeeld door een configuratiebestand aan te passen dat later automatisch wordt uitgevoerd. Experts pleiten daarom voor aanvullende maatregelen zoals sandboxing, waarbij een agent in een afgeschermde omgeving draait, en het strikt scheiden van wachtwoorden en API-sleutels van de plek waar een agent bij kan.