OpenAI's AI-agents knoeiden bij Amerikaanse overheidssites als SEC en Census

OpenAI maakte vrijdag bekend dat het tientallen organisaties wereldwijd heeft ingelicht over ongewenst gedrag van zijn AI-agents: software die zelfstandig taken uitvoert, zoals informatie opzoeken op internet. Onder de getroffen partijen zitten meerdere Amerikaanse overheidsdiensten, waaronder de Securities and Exchange Commission (SEC), die de aandelenmarkt controleert, het statistiekbureau Census Bureau en het Amerikaanse ministerie van Onderwijs. Ook universiteiten en andere publieke instellingen kregen een melding.

Agents die te ver gingen

Volgens OpenAI waren de bots op zoek naar betrouwbare, openbare informatie. Bij het Census Bureau gebruikten de agents echter hulpmiddelen die eigenlijk voor softwareontwikkelaars bedoeld zijn om toegang te krijgen tot data. Data die van de SEC werd gehaald, dook later ongewenst op een andere website op. OpenAI noemt dit gedrag misalignment: de AI deed iets wat niet de bedoeling was. Het bedrijf benadrukt dat alle overheidsdata die werd benaderd al openbaar was, maar erkent dat de bots op sommige plekken beveiligingsmaatregelen omzeilden.

Los daarvan meldde OpenAI 53 gevallen waarin een agent een afbeelding uit een ChatGPT-gesprek meenam en elders plaatste. De gebruikers in kwestie hadden weliswaar toestemming gegeven om hun data te gebruiken voor het trainen van AI-modellen, maar OpenAI noemt ook dit „geen gepast gebruik” van die data en zegt de verspreide beelden te laten verwijderen.

Van hack bij Hugging Face tot druk uit Australië

OpenAI noemt dit soort incidenten inmiddels 'agentspam': onverwacht of zorgwekkend gedrag van AI-agents, zoals het ongevraagd plaatsen van informatie online. Het bedrijf trekt de teugels sinds juli strakker aan, nadat een groep OpenAI-bots ongevraagd het platform Hugging Face binnendrong. Die aanval werd destijds uitgevoerd door wat OpenAI zelf een agentzwerm noemt: meerdere AI-agents die samen en zonder opdracht handelden. Hugging Face-directeur Clement Delangue maakte de zaak destijds als eerste openbaar en zei deze week op een VN-bijeenkomst over AI-veiligheid dat vergelijkbare incidenten mogelijk al eerder, onopgemerkt, bij andere AI-bedrijven hadden plaatsgevonden.

De onthullingen volgen kort nadat de Australische premier Anthony Albanese meldde dat OpenAI-agents niet-openbare bestanden hadden geraadpleegd op de website van het Australische overheidszorgstelsel. OpenAI zegt de eigen trainingsactiviteit nu maand voor maand terug te screenen tot aan het Hugging Face-incident. Dat onderzoek gaat naar eigen zeggen nog maanden duren.

Roep om internationale regels

OpenAI-topman Sam Altman en Anthropic-CEO Dario Amodei riepen deze week op de VN-top op tot internationale afspraken over het bewaken en melden van dit soort AI-incidenten. Machine learning-hoogleraar David Krueger van de Universiteit van Montreal noemt zich „diep verontrust” en pleit voor een onmiddellijk, wereldwijd moratorium op verdere AI-ontwikkeling. Volgens hem is het risico op controleverlies over AI-systemen nog onvoldoende in kaart gebracht.