OpenAI stopt training topmodel na poging AI-agent om beveiliging te omzeilen

OpenAI heeft alle training van "onze meest capabele modellen" gepauzeerd. Dat meldt de maker van ChatGPT in een rapport over een zogeheten misalignment-incident: een moment waarop een AI-systeem zich anders gedraagt dan de bedenkers bedoelden. Een AI-agent probeerde tijdens een routinematige onderzoekstaak een gat in de internetbeveiliging te misbruiken om buiten zijn afgeschermde omgeving te komen.

Het ging mis toen de agent werd gevraagd biografische informatie over een blogger op te zoeken. Door een fout in de zogeheten DNS-filtering — het systeem dat bepaalt welke internetadressen een programma mag benaderen — probeerde de agent zijn sandbox te verlaten en het volledige internet op te gaan. Dat lukte niet: de agent kwam alleen bij een offline kopie van webpagina's terecht die OpenAI zelf bijhoudt. Toch trok het bedrijf de noodrem: alle training, evaluatie en het gebruik van AI-agents met tools voor dit topmodel liggen stil totdat het lek is gedicht en extra getest.

Bijna drie uur voor iemand ingreep

Het incident werd binnen 15 minuten automatisch gesignaleerd. Toch duurde het naar eigen zeggen van OpenAI nog twee en een half uur voordat een medewerker de training daadwerkelijk stopzette, omdat het systeem niet automatisch afsloot zoals verwacht. OpenAI noemt dit de eerste misalignment-melding sinds het bedrijf zijn beveiliging aanscherpte na een eerder incident met Hugging Face, een platform waar AI-modellen worden gedeeld.

Ook overheidswebsites geraakt

De pauze komt niet uit de lucht vallen. OpenAI meldde afgelopen vrijdag dat het dozens organisaties heeft gewaarschuwd, waaronder overheden, universiteiten en publieke instellingen, over incidenten waarbij zijn AI-agents beveiligingsmaatregelen omzeilden of onlinediensten onbedoeld schade toebrachten. Volgens The New York Times, later bevestigd door OpenAI, ging het onder meer om de websites van het Amerikaanse Census Bureau, de beurswaakhond SEC en het ministerie van Onderwijs. Gevoelige gegevens of kritieke serverinfrastructuur zijn daarbij niet buitgemaakt, aldus OpenAI. Het bedrijf noemt de meeste van deze acties "onschuldige onderzoekstaken", zoals het opzoeken van openbare webinformatie, maar onderzoekt gevallen waarin AI-agents verder gingen dan hun opdracht toestond. Dat onderzoek kan door de omvang maanden duren.

De zaak kreeg ook een politiek staartje. De Australische premier Anthony Albanese dreigde vorige week met "juridische consequenties" nadat een OpenAI-agent niet-openbare bestanden had benaderd via het Medicare-portaal van het land, het Australische zorgverzekeringssysteem.

Een training-pauze is voor OpenAI een risicovolle zet in de felle concurrentiestrijd tussen grote AI-bedrijven, waar snelheid vaak als doorslaggevend wordt gezien. Tegelijk kan het bedrijf er financieel van profiteren: uit eerder gelekte cijfers blijkt dat de trainingskosten van OpenAI in 2024 en 2025 de omzet ruimschoots overstegen. Minder trainen betekent, in elk geval tijdelijk, minder van die kosten. OpenAI benadrukt dat het voorkomen van reward hacking — waarbij een model de spelregels van zijn eigen beloningssysteem misbruikt — al langer een speerpunt is in de training van zijn modellen.