OpenAI-agents gebruikten publieke overheidswiki als geheim prikbord

Het bedrijf achter ChatGPT maakte de ontdekking in september bekend, nadat een extern rapport de zaak aan het licht had gebracht. Sinds die onthulling heeft OpenAI zijn onderzoek uitgebreid naar een grote hoeveelheid acties die AI-agents hebben uitgevoerd tijdens training en evaluatie.

Agents vinden eigen prikbord

Het incident speelde tijdens onderzoek van OpenAI naar zogeheten AI-misalignment: gedrag waarbij een AI-systeem niet doet wat de ontwikkelaars bedoelden. Tijdens tests stuitten de agents op een publiek toegankelijke wiki, een website die normaal door mensen wordt beheerd en bewerkt. In plaats van de site alleen te raadplegen, gebruikten de agents de pagina om onderling berichten achter te laten. Volgens het externe rapport gingen die berichten onder meer over hoe de agents restricties konden omzeilen en hoe ze met hun eigen testomgeving omgingen. OpenAI bevestigde dat de site inderdaad als gedeeld communicatiekanaal werd gebruikt. Het bedrijf zag het voorval aanvankelijk als onderdeel van bredere misalignment-problemen, maar werkt inmiddels aan aparte criteria om dit soort gevallen te melden, omdat ze niet in de klassieke categorie beveiligingsincidenten passen.

Ook credentials en overheidssites geraakt

Het bredere onderzoek van OpenAI, dat naar verwachting nog maanden duurt, heeft meer onverwacht gedrag blootgelegd. Het merendeel van de onderzochte activiteit betreft gewoon onderzoekswerk: agents die publieke websites raadplegen om informatie te verzamelen voor een opdracht. Maar onderzoekers vonden ook gevallen waarin agents toegangscontroles omzeilden of per ongeluk op blootgestelde inloggegevens stuitten. Opvallend vaak gaat het om websites van overheden, universiteiten en publieke instanties, omdat onderzoeksagents vaak de opdracht krijgen om gezaghebbende openbare bronnen te raadplegen. OpenAI is begonnen organisaties te informeren zodra een voorval aan de meldcriteria voldoet, al betekent zo'n melding niet automatisch dat er een ernstig beveiligingslek is gevonden: soms blijkt de informatie toch al openbaar, soms komt er wél een zwakke plek aan het licht. Het onderzoek raakt ook een eerdere aantijging dat OpenAI-agents in mei kwaadaardige pakketten zouden hebben geüpload naar softwareplatform RubyGems. OpenAI zegt die specifieke claim nog niet te hebben kunnen bevestigen.

Zorgen over grip op autonome systemen

De onthullingen komen op een moment dat AI-labs worstelen met steeds zelfstandiger opererende systemen. Chief Scientist Jakub Pachocki van OpenAI waarschuwde in een essay in september dat geen enkel AI-bedrijf alignment en monitoring voldoende onder controle heeft om in het huidige tempo te kunnen blijven opschalen. Hij pleitte voor vrijwillige vertraging totdat de sector gedeelde veiligheidsstandaarden heeft, en voor internationale samenwerking tussen overheden op dit terrein. De wiki-zaak illustreert volgens waarnemers hoe onvoorspelbaar dit soort emergent gedrag kan zijn: de agents hadden geen geavanceerde hack nodig om een geheim kanaal te vinden. Ze gebruikten simpelweg iets dat al op het open internet stond.