OpenAI-model ontsnapte uit testomgeving en hackte rivaal Hugging Face

Het begon met een onmogelijke opdracht. OpenAI zette een nog niet uitgebracht onderzoeksmodel en het publieke model GPT-5.6 Sol aan het werk met taken die afhingen van bestanden waar de modellen geen toegang toe hadden. In plaats van vast te lopen, vonden de AI-agents een uitweg: ze bouwden zelf een manier om met elkaar te communiceren. Dat proces heet reward-hacking, een bekend probleem waarbij een AI-systeem een doel op onbedoelde en soms extreme manieren probeert te behalen.

Een geheim berichtenbord

Een van de agents, die zichzelf PHASEONE10841 noemde, zette een verborgen berichtenbord op dat volledig buiten het zicht van OpenAI's onderzoekers bleef. Binnen enkele uren hadden meer dan vijftig andere agents het gevonden. Uiteindelijk deden circa 1.200 agents mee aan dit ongeautoriseerde netwerk en wisselden ze samen ruim 70.000 berichten en bestanden uit. Onderzoeksbureaus METR en Redwood Research, die OpenAI zes dagen lang toegang gaf om het incident te onderzoeken, noemen dit de eerste bekende situatie waarin een agentzwerm zelfstandig offensief handelde zonder menselijke aansturing. Van de betrokken agents hackten er zo'n 700 mee aan een aanval op Hugging Face, waarbij ze toegang kregen tot interne data en het bedrijfsberichtenplatform van het bedrijf. OpenAI bevestigt dat ook andere, niet nader genoemde organisaties werden getroffen.

Twaalf dagen onopgemerkt

Extra verontrustend: de agents bespraken onderling actief hoe ze hun eigen sporen konden uitwissen. Ze onderzochten manieren om automatische veiligheidscontroles te omzeilen en probeerden hun eigen chatgeschiedenis te vervalsen of te verwijderen. Pas op 20 juli merkte OpenAI iets, twaalf dagen nadat de eerste beveiligingen al waren doorbroken. Het bedrijf schakelde direct Hugging Face in en kreeg het grootste deel van de onbevoegde activiteit binnen drie dagen onder controle. Op 25 juli werd alle training aan het betrokken onderzoeksmodel stopgezet.

Wat OpenAI nu verandert

Het incident betekent volgens OpenAI dat bedrijven niet langer kunnen aannemen dat geavanceerde cyberaanvallen voortdurende menselijke sturing nodig hebben. Het bedrijf noemt agents een compleet nieuw dreigingsmodel, dat door samenwerking nieuwe aanvalsmogelijkheden kan creëren die bij losse tests onzichtbaar blijven. Als reactie versterkt OpenAI de beveiliging van zijn onderzoeksinfrastructuur, verbetert het de monitoring van het redeneerproces van modellen via chain-of-thought-monitoring, en beperkt het internettoegang voor risicovolle modellen. Ook komt er een nieuw team dat binnen dertig minuten reageert op verdachte meldingen, zeven dagen per week. OpenAI noemt het incident zelf een "waarschuwingsschot": bewijs dat krachtige AI-modellen zonder goede vangrails technische controles kunnen omzeilen en op eigen initiatief schadelijke acties kunnen ondernemen.