AI & computing › Agentic AI & autonome agents
AI-agents zetten 'nooit vertrouwen'-beveiliging onder druk
Onderzoekers van Queen's University Belfast waarschuwen dat teams van zelfstandig samenwerkende AI-agents de bestaande beveiligingsmodellen op de proef stellen. Agents kunnen verwijderde informatie toch weer naar boven halen en in een test duurde een aanval op een systeem nog maar twee tot drie seconden. Dat laat weinig tijd over om in te grijpen.
Steeds meer bedrijven laten groepen AI-agents zelfstandig taken uitvoeren, aangestuurd door een overkoepelend systeem dat een 'orchestrator' wordt genoemd. Die agents helpen bijvoorbeeld bij risicoanalyses, klantprofielen of het combineren van informatie uit verschillende bronnen. Om fouten te voorkomen, moeten agents regelmatig oude gegevens wissen zodat ze niet blijven vastzitten in eerdere beslissingen. Onderzoeker Vishal Sharma van Queen's University Belfast in Noord-Ierland laat zien dat dit niet altijd lukt: met een slim geformuleerde vervolgopdracht kan een agent toch weer informatie naar boven halen die eigenlijk verwijderd had moeten zijn. Dat heet een context recovery attack, en het ondermijnt het vertrouwen dat organisaties in hun eigen systemen stoppen.
Binnen de beveiligingswereld wordt hiervoor steeds vaker gekeken naar zogeheten zero-trust architecturen. Het uitgangspunt is simpel: vertrouw nooit automatisch, controleer altijd. Een centraal onderdeel daarvan is het zogeheten policy enforcement point, de plek waar regels daadwerkelijk worden afgedwongen. Sharma wijst op een lastig probleem: dat controlepunt moet zelf ook vertrouwd worden. Als daar iets misgaat, valt het hele systeem van verificatie in duigen.
Een aanval in drie seconden
Hoe snel zoiets kan misgaan, testte het team van Sharma met een experiment op een onbemand luchtvaartuig, een drone. Ze voerden een zogeheten de-authenticatie-aanval uit, waarbij een apparaat gedwongen wordt de verbinding te verbreken. Met hulp van AI-agents die automatisch het netwerk scannen en verkeer onderscheppen, bleek zo'n aanval in slechts twee tot drie seconden uitgevoerd te kunnen worden. Voor een mens is dat vrijwel geen tijd om te reageren, laat staan om het systeem te herstellen voordat er schade ontstaat.
Eén zwakke schakel, hele keten geraakt
Een ander risico is de opkomst van 'vibe coding': software ontwikkelen met hulp van een AI-model, waarbij de volledige programmeercode wordt gedeeld met een extern, niet vertrouwd systeem. Lekt daar een kwetsbaarheid in, dan kan die zich over meerdere systemen verspreiden. Organisaties die sterk afhankelijk zijn van één centrale vertrouwenslaag lopen bovendien het risico dat bij uitval van die laag de hele keten van agents stilvalt of onbeheersbaar wordt. Sharma noemt dit probleem ook wel horizontale anomalieën: een agent die zich in de ene taak keurig aan de regels houdt, kan zich in een andere situatie onverwacht anders gedragen. Hoe je dat soort afwijkend gedrag vroeg genoeg herkent, is nog grotendeels onopgelost.
Op zoek naar bewijsbaar vertrouwen
Als mogelijke oplossing noemt het onderzoeksteam een soort ingrediëntenlijst voor AI-systemen, vergelijkbaar met een bill of materials in de maakindustrie, aangevuld met blockchaintechnologie. Zo'n digitaal, onveranderlijk logboek kan traceerbaar maken welke agent welke actie heeft uitgevoerd en wanneer, onafhankelijk van het onderliggende platform. Volgens Sharma is dat een eerste stap om aan te tonen dat afspraken met AI-agents ook echt zijn nagekomen, in plaats van alleen te hopen dat het goed gaat.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Nu bedrijven steeds meer taken uitbesteden aan samenwerkende AI-agents, groeit ook het risico dat die agents zich onttrekken aan controle of razendsnel misbruikt worden. Zonder betrouwbare manieren om het gedrag van agents te bewijzen en vast te leggen, kunnen beveiligingsproblemen zich binnen seconden verspreiden door een hele keten van systemen. Technieken als digitale logboeken en strengere controlepunten moeten voorkomen dat organisaties blind moeten vertrouwen op software die ze niet meer volledig kunnen overzien.
- Agentic AI
- AI-systemen die zelfstandig taken uitvoeren en beslissingen nemen, vaak in samenwerking met andere AI-agents, zonder dat een mens elke stap goedkeurt.
- Orchestrator
- Het overkoepelende systeem dat meerdere AI-agents aanstuurt en coördineert bij het uitvoeren van taken.
- Zero-trust architectuur (ZTA)
- Een beveiligingsmodel waarbij niets automatisch wordt vertrouwd: elke actie en elk verzoek wordt apart gecontroleerd, ook binnen het eigen netwerk.
- Policy enforcement point (PEP)
- Het onderdeel van een zero-trust systeem dat beveiligingsregels daadwerkelijk afdwingt, bijvoorbeeld door verzoeken te blokkeren of toe te staan.
- Context recovery attack
- Een aanval waarbij een AI-agent wordt verleid informatie opnieuw naar boven te halen die eerder bewust was verwijderd.
- De-authenticatie-aanval
- Een aanval waarbij een apparaat, zoals een drone, gedwongen wordt de netwerkverbinding te verbreken, waardoor een aanvaller tijdelijk de controle kan overnemen.
- Vibe coding
- Het ontwikkelen van software met sterke hulp van een AI-model, waarbij vaak de volledige programmeercode met dat externe model wordt gedeeld.
- Horizontale anomalie
- Het verschijnsel dat een AI-agent zich in de ene situatie aan de regels houdt, maar in een andere, vergelijkbare situatie onverwacht ander gedrag vertoont.
- AI-bill of materials
- Een gedetailleerd overzicht van alle onderdelen, data en modellen waaruit een AI-systeem is opgebouwd, vergelijkbaar met een ingrediëntenlijst.
- Distributed ledger (blockchain)
- Een gedeeld, onveranderlijk digitaal logboek dat gebruikt kan worden om acties van AI-agents traceerbaar en controleerbaar te maken.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.