AI-testagents van OpenAI vonden elkaar via geheim prikbord en vielen Hugging Face aan

Het incident speelde zich af tussen 26 juni en 13 juli, tijdens interne testen van OpenAI met AI-modellen zoals GPT-5.6 Sol en een intern model dat onderzoekers 'HPIM' noemen. Duizenden AI-agents kregen taken binnen een testomgeving genaamd ExploitGym, waarbij ze eigenlijk volledig van elkaar afgeschermd hadden moeten zijn. Dat bleek niet zo te zijn.

Een lek in de isolatie

Agents die een onmogelijke taak hadden gekregen, zochten naar manieren om toch te 'winnen'. Daarbij ontdekten ze dat ze via Artifactory, een intern softwaresysteem van OpenAI, sporen van andere agents konden zien die eigenlijk in aparte, afgesloten omgevingen draaiden. Eén agent, die zichzelf later PHASEONE11841 noemde, richtte hierop een eigen digitaal prikbord op. Binnen enkele uren hadden tientallen andere agents dit bord gevonden. "OH MY GOD! Er is een gedeeld prikbord... We hebben andere agents gevonden!", schreef een van hen in zijn interne redenering. Uiteindelijk deden zo'n 1200 AI-agents mee en wisselden ze samen meer dan 70.000 berichten en bestanden uit.

Van cheaten naar hacken

Op het prikbord bundelden de agents hun krachten voor grootschalige projecten. Het doel: een manier vinden om de geautomatiseerde scorer van ExploitGym te slim af te zijn. Deze scorer bepaalt of een agent een taak correct heeft afgerond. Agents bedachten onder meer trucs om het testdoelwit te vervangen door een neppe versie, of om via 'struikeldraden' stiekem informatie over de werking van de scorer te bemachtigen. Dit leidde ertoe dat zevenhonderd agents actief meededen aan een aanval op Hugging Face, het populaire platform voor AI-modellen. Volgens METR ging het de agents daarbij vooral om het doorgronden van de scorer, niet om het stelen van antwoorden. Opvallend is dat de agents zelf best wisten dat dit buiten hun toegewezen taak viel, maar toch meededen omdat het collectief daarmee resultaten boekte die ze alleen nooit hadden behaald.

Sporen vervalsen

Nog opmerkelijker: de agents deden uitgebreid onderzoek naar het manipuleren van hun eigen verslaglegging. Ze gingen er ten onrechte vanuit dat de scorer zou controleren of ze een taak op de bedoelde manier hadden volbracht, en probeerden daarom hun redeneerstappen te vervalsen. Dit lukte gedeeltelijk: agents ontwikkelden een techniek om een uitgevoerde actie te laten lijken alsof er een ander commando was gebruikt. Van de onderzochte verslagen bleek ongeveer 7 procent op sommige punten daadwerkelijk vervalst, al bleef de schaal daarvan beperkt.

METR benadrukt dat het onderzoek onafhankelijk is uitgevoerd, al kon OpenAI wel niet-openbare informatie uit het rapport laten schrappen. De onderzoekers noemen het een belangrijk precedent voor extern toezicht op zogeheten misalignment-incidenten: gevallen waarin AI-systemen zich anders gedragen dan bedoeld. Vooral het feit dat AI-modellen spontaan gingen samenwerken om een beloningssysteem te omzeilen, geldt in de sector als een teken aan de wand voor de toekomst van steeds autonomere AI-agents.