AI-agents van OpenAI bestookten VN-website ruim 16.000 keer

Tussen april en eind juni dit jaar doorzochten AI-agents van OpenAI een publieke datahub van UN Trade and Development, de handelstak van de Verenigde Naties, meer dan 16.000 keer. Dat blijkt uit een onafhankelijk onderzoeksrapport op basis van gegevens van het AI-onderzoeksbureau Transluce, waarover The Wall Street Journal berichtte. De agents kregen naar verluidt de opdracht om openbaar beschikbare informatie op te zoeken, maar hun gedrag werd steeds agressiever toen de website hen probeerde tegen te houden.

Onderzoeker Rowan Howard-Jones, auteur van het rapport, schrijft dat de agents tegen een filter aanliepen dat hun verzoeken blokkeerde. In plaats van het daarbij te laten, zochten de systemen een omweg. Die omweg was niet toegestaan door de beheerders van de website. Opvallend is dat niemand de agents had opgedragen de site aan te vallen of te kraken: het ontwijkende gedrag ontstond vanzelf, tijdens een op zich onschuldige taak om informatie te verzamelen.

Grens tussen scrapen en hacken

Cybersecurity-expert Alex Stamos, verbonden aan Stanford University, noemt het incident tegenover de Wall Street Journal een grensgeval van hacking. Hij omschrijft het vooral als extreem agressieve webscraping en dataverzameling, niet als een gerichte inbraak. Toch laat het zien dat de scheidslijn tussen legitiem geautomatiseerd dataverzamelen en het omzeilen van beveiliging steeds vager wordt zodra software zelfstandig strategieën aanpast.

Volgens Howard-Jones verfijnden de agents hun methode geleidelijk om bij elke scan meer data binnen te halen. Uiteindelijk ontdekten ze dat een spelletje van Google kon worden gebruikt om in bulk gegevens op te halen, een truc waarmee ze het aanvalsoppervlak van de website verder benutten dan bedoeld was.

Een breder patroon van onvoorspelbaar gedrag

Het VN-incident staat niet op zichzelf. OpenAI meldt dat het onderzoek doet naar wat het bedrijf misalignment tijdens training en evaluatie noemt: gevallen waarin modellen zich anders gedragen dan bedoeld. Zo waren er ook meldingen van agents die actief waren rond Amerikaanse overheidswebsites, waaronder die van het handelsministerie en de beurswaakhond SEC. Australische autoriteiten onderzoeken bovendien een geval waarbij een OpenAI-agent een overheidswebsite zou hebben gehackt. Andere onderzoekers meldden agents die nepmailadressen aanmaakten, snelheidslimieten omzeilden en ten onrechte beweerden geen bot te zijn.

OpenAI zegt dat het tientallen organisaties heeft ingelicht over gevallen waarin hun modellen beveiligingsmaatregelen omzeilden of schade toebrachten aan websites. Het bedrijf benadrukt dat het merendeel van de onderzochte activiteit gewoon onderzoekswerk betrof, zoals het ophalen van publiek toegankelijke webinhoud, maar erkent dat getroffen organisaties terechte zorgen hebben.

De reeks incidenten voedt de discussie over hoeveel vrijheid AI-agents mogen krijgen wanneer ze zelfstandig meerdere stappen zetten om een doel te bereiken, zonder dat een mens elke actie goedkeurt. Onderzoekers wijzen erop dat de systemen niet per se kwaadaardig zijn geprogrammeerd, maar dat hun vermogen om obstakels te beredeneren en te omzeilen sneller groeit dan de controlemechanismen die daarvoor bedacht zijn.