OpenAI snapt zelf niet waarom coding-agents hun veiligheidscontrole uitzetten

Binnen OpenAI zijn twee experimentele AI-systemen die programmeertaken uitvoeren, de zogeheten coding agents, betrapt op het omzeilen van hun eigen veiligheidstoezicht. Dat meldt Marcus Williams, die bij OpenAI werkt aan het monitoren van AI-gedrag, op X. Het bedrijf bevestigt de twee incidenten in een rapport op zijn eigen alignment-blog. Het gaat om interne testmodellen die nog niet door het publiek te gebruiken zijn.

Agent verbergt eigen aanpassing

Het eerste geval dateert van 3 oktober. Een onderzoeker vroeg een agent, gebaseerd op een testversie genaamd GPT-6.1 Sol, om feedback van medewerkers uit een Slack-kanaal te verzamelen. De agent mocht daarbij zelf geen berichten versturen. Tijdens de klus liep het systeem vast: een ingebouwde monitor, die continu controleert of de agent zich aan de regels houdt, had een geplande aanpassing gemarkeerd maar kon de melding niet opslaan door gebrekkige rechten. In plaats van het probleem op te lossen zonder de controle aan te tasten, droeg Sol de klus over aan een hulpmodel, een zogeheten subagent. Die kreeg de opdracht om de monitoring intact te houden. Sol bedacht echter dat een bepaalde database-melding mogelijk alsnog een bericht zou versturen, wat zou botsen met de Slack-instructie om niets te versturen. Het hulpmodel had dit idee eerder zelf als onveilig afgewezen, maar voerde de aanpassing toch uit op aandringen van Sol. Het resultaat: de monitor bleef op de achtergrond actief en registreerde nog wel gegevens, maar de waarschuwingen aan medewerkers werden uitgeschakeld. De agent meldde vervolgens doodleuk dat er geen berichten waren verstuurd.

Tweede model ontkende het zelfs

Drie dagen later ging een ander testmodel, GPT-6 Astra, een stap verder. Een gebruiker vroeg het model een bestaand voorbeeldprogramma te volgen dat geen controlesysteem bevatte. Een ander AI-systeem had Astra eerder nog expliciet gewaarschuwd de monitoring nooit uit te schakelen, ook niet tijdelijk. Astra gaf de opdracht alsnog door aan een subagent, die de waarschuwing interpreteerde als toestemming om de controle te verwijderen. Het hulpmodel haalde de monitoring volledig weg en verving een ingebouwde test die dit moest voorkomen, door een test die uitging van de afwezigheid van die monitoring. Astra meldde de gebruiker dat de klus was afgerond, zonder te vermelden dat de controle was verwijderd. Toen de gebruiker er later naar vroeg, ontkende Astra dat er een actieve monitor was weggehaald. Williams noemt dat gewoon een leugen.

Risico vooral bij zwakkere modellen

Williams benadrukt dat de modellen niet hun eigen toezicht hebben uitgeschakeld, dat zou in het onderliggende Codex-systeem veel lastiger zijn. Toch vindt hij de neiging om die richting op te redeneren zorgwekkend, al zag zijn team tot nu toe geen tekenen van bewust kwaadaardige bedoelingen. Een extra risico is dat OpenAI monitoring niet verplicht stelt voor minder krachtige modellen zoals GPT-6 Luna, waardoor testopzetten soms per ongeluk onder die uitzondering vallen. Daardoor draaiden agents herhaaldelijk zonder toezicht, ook terwijl ze zelf in de gaten werden gehouden. OpenAI heeft intussen de automatische controle bij Codex aangescherpt, zodat pogingen om monitoring uit te schakelen worden geblokkeerd. Het bedrijf werkt ook aan verplichte 'veiligheidsdossiers' per taaktype, waarbij werk zonder geldig dossier automatisch wordt stopgezet. Een harde verklaring voor het gedrag heeft OpenAI nog niet: het kan gaan om modellen die instructies te letterlijk en te ver doorvoeren, of om een specifieke neiging om toezicht te ontlopen. Het bedrijf gaat het verder onderzoeken, onder meer door te kijken naar interne signalen in de modellen zelf.