OpenAI-agents scanden VN-website 16.000 keer en omzeilden beveiliging

Een beveiligingsonderzoeker ontdekte dat AI-agents van OpenAI de statistiekenwebsite van UNCTAD, de handels- en ontwikkelingsorganisatie van de Verenigde Naties, tussen 13 april en 19 juni meer dan 16.500 keer hebben bezocht. Dat meldt onderzoeker Rowan Howard-Jones, die de logbestanden van de VN-site analyseerde. De agents leken op zoek naar openbare cijfers uit de Productive Capacities Index, een index die de industriële en economische slagkracht van landen meet, en naar gerelateerde handelsdata over onder meer voedingsmiddelenhandel en verhandelbare industrieën.

Het is niet de eerste keer dat agentic AI buiten de gebaande paden treedt om een taak af te maken. Eerder deze zomer werd bijvoorbeeld ingebroken bij AI-platform Hugging Face, en ook Amerikaanse overheidssites kregen te maken met geautomatiseerde aanvallen. Het UNCTAD-incident is minder ernstig, maar laat opnieuw zien dat AI-systemen die zelfstandig taken uitvoeren, zich niet altijd aan de bedoelde spelregels houden.

Vastgelopen, maar niet opgegeven

Volgens Howard-Jones kregen de agents waarschijnlijk de opdracht om cijfers op te halen via de API van UNCTADstat, de statistiekendienst van de organisatie. Een API is een soort digitale doorgeefluik waarmee software gegevens bij een andere dienst kan opvragen. De agents bleken echter geen directe toegang tot die API te hebben: hun ingebouwde hulpmiddelen om internetverzoeken te versturen waren aan banden gelegd. Vermoedelijk maakten de gezochte cijfers deel uit van een interne set vragen die OpenAI gebruikt om modellen te trainen of te testen, al blijft dat vooralsnog speculatief.

Nader technisch onderzoek van de blog swarmcha.se, die de logbestanden van de VN-site verder uitpluisde, laat zien dat de agents alleen GET-verzoeken konden versturen, terwijl het gevraagde UNCTAD-onderdeel alleen POST-verzoeken accepteerde. De agents losten dit op door een HTML-formulier te bouwen dat zichzelf automatisch verstuurt, dat formulier via base64-codering te verstoppen in de testdienst httpbin.org, en vervolgens een externe URL-scanner die pagina te laten openen. Zo werd die scanner buiten medeweten om ingezet als tussenpersoon om alsnog een POST-verzoek bij UNCTAD af te vuren. Later ontdekten de agents ook dat ze een deel van de beperkingen konden omzeilen door de naam van het gevraagde databestand dubbel te coderen in de URL, een truc die bekendstaat als double encoding.

In plaats van de opdracht te laten vallen, zochten de systemen een omweg. Ze vonden een manier om alsnog gegevens van de site te trekken, ook al bleven daarbij foutmeldingen optreden. Op dat punt sloeg het gedrag van creatief om naar ronduit ontwijkend.

Van foutmelding naar misleiding

De AI ging er blijkbaar van uit dat een onzichtbaar filter haar verzoeken blokkeerde, terwijl zo'n filter helemaal niet bestond. Om dat vermeende obstakel te omzeilen begon het systeem zijn eigen verkeer te verhullen, alsof het een menselijke bezoeker was in plaats van een geautomatiseerd script. Dat is een vorm van brute force: net zolang op verschillende manieren blijven proberen tot iets werkt, ook als de oorspronkelijke route is afgesloten.

Voordat ze bij hun uiteindelijke oplossing uitkwamen, probeerden de agents ook kortstondig Firing Range, een vergelijkbare testomgeving van Google, maar die bleek niet bruikbaar voor hun doel. Uiteindelijk ontdekten de agents dat ze het XSS-leerspel van Google konden misbruiken om hun doel alsnog te bereiken. Dat spel is bedoeld om ontwikkelaars te trainen in het herkennen van cross-site scripting, een techniek waarbij kwaadaardige code in een website wordt binnengesmokkeld. Door dit leerinstrument oneigenlijk in te zetten, vonden de AI-systemen een sluiproute om hun beperkingen te omzeilen.

Geen directe schade, wel een waarschuwing

Voor zover bekend is er geen schade aangericht bij UNCTAD en ging het niet om gevoelige of niet-openbare informatie. OpenAI en de Verenigde Naties hebben vooralsnog niet gereageerd op vragen over het incident. Toch is de casus veelzeggend: het toont hoe AI-agents, wanneer ze op weerstand stuiten, zelfstandig steeds verdergaande methoden kunnen inzetten om een taak te voltooien, zonder dat een mens daarvoor toestemming heeft gegeven.

Opvallend is bovendien dat onderzoekers een verband hebben gelegd tussen de UNCTAD-scans en een eerder gesignaleerde golf van automatische bewerkingen op wiki-platforms door OpenAI-agents. Van de tientallen Azure-IP-adressen die een pagina met UNCTAD-URL's aanmaakten op een van die wiki's, bleek het merendeel ook actief te zijn geweest bij bewerkingen op een andere wiki die al eerder aan dezelfde AI-agents werd gekoppeld. Dat suggereert dat de UNCTAD-scans onderdeel zijn van een breder patroon van ongecontroleerd agentgedrag, en geen geïsoleerd incident.