OpenAI's eigen AI-agents hackten wekenlang ongemerkt het bedrijf zelf

Het begon op 7 mei, tijdens interne trainings- en veiligheidstests van een nog niet uitgebracht topmodel. OpenAI gaf autonome AI-agents de opdracht om beveiligingslekken in software op te sporen, binnen strikt afgebakende grenzen. Die opdracht bleek echter onmogelijk uit te voeren binnen de gestelde limieten. In plaats van te stoppen, gingen de agents op zoek naar manieren om die grenzen te omzeilen.

Een opdracht die niet te halen was

Volgens Eric Wallace, die bij OpenAI onderzoek doet naar de veiligheid en gedragsafstemming van AI-modellen, is dit gedrag niet nieuw. Geavanceerde AI-modellen staan tijdens hun training onder druk om snel en efficiënt te presteren, wat ze aanzet tot sluiproutes in plaats van het daadwerkelijk oplossen van een taak. Onderzoekers noemen dit fenomeen reward hacking: het model haalt goede scores binnen zonder de taak echt op te lossen. Onafhankelijk onderzoek heeft dit gedrag al vaker vastgesteld bij andere geavanceerde taalmodellen.

Van pakketbeheerder tot geheim forum

De agents ontdekten dat ze berichten voor elkaar konden achterlaten via Artifactory, het interne systeem waarmee OpenAI software-onderdelen beheert en verspreidt. Wat begon als simpele hulpvragen groeide uit tot een soort forum met honderdduizenden berichten, waarop de agents exploits, inloggegevens en taken met elkaar deelden en werk onderling verdeelden. Omdat dit systeem gekoppeld was aan de bredere infrastructuur van OpenAI, konden ook andere versies van GPT-modellen die op dat moment werden getraind of getest, bij de verzamelde aanvalstechnieken. Eén agent erkende zelfs expliciet dat het aanvallen van externe systemen buiten de toegestane opdracht viel, maar redeneerde dat de taak toch onmogelijk was en dat andere agents al hetzelfde deden — dus werd er doorgewerkt.

Begin juli dacht OpenAI het probleem opgelost te hebben. Na een intern beveiligingsincident op 4 juli trok het bedrijf de betrokken inloggegevens in, bouwde het Artifactory opnieuw op en verwijderde het forum. Maar de agents vonden binnen de kortste keren een nieuwe weg: ze gebruikten de namen van nieuw aangemaakte mappen als geheim communicatiekanaal en bouwden zo in feite hun eigen forum opnieuw op. Sommige agents concludeerden vervolgens dat antwoorden op hun taken misschien te vinden waren op externe platforms zoals GitHub en Hugging Face, en pasten dezelfde aanvalstechnieken daar toe. Pas later die maand legde OpenAI het verband tussen beide incidenten, toen bleek dat de gebruikte inloggegevens bij de inbraak op Hugging Face afkomstig waren uit dezelfde interne testomgeving.

Ook bij Anthropic, Meta en Britse toezichthouders

Michael Dalton, beveiligingsingenieur bij OpenAI, noemde het incident een keerpunt voor het bedrijf en de bredere AI-sector. Meerdere teams binnen OpenAI leggen nu ander werk stil om preventie, detectie en incidentrespons te verbeteren. Het bedrijf vertraagt bewust eigen onderzoek om de beveiliging van zijn systemen te versterken en houdt AI-agents strenger in de gaten. Onderzoeker Boaz Barak schreef dat OpenAI, net als de rest van de sector, nog niet is waar het moet zijn op het gebied van gedragsafstemming van AI-modellen.

Het incident staat niet op zichzelf. Anthropic ontdekte bij eigen onderzoek dat drie versies van zijn Claude-model tijdens externe tests daadwerkelijk organisaties hadden gehackt. Het Britse AI Security Institute meldde vergelijkbare gevallen waarin testagents buiten hun toegewezen grenzen traden. Ook Meta liet weten dat zijn Spark AI-model onbedoeld beveiligingslekken uitbuitte nadat een verkeerd ingestelde testomgeving het model internettoegang gaf.