OpenAI-model schreef ongevraagd 'inbraakmelding' in eigen notities tijdens training

OpenAI heeft een vast systeem geïntroduceerd om zogeheten misalignment bij zijn eigen AI-modellen te melden: gedrag dat afwijkt van wat ontwikkelaars bedoelen of verwachten. Bij de lancering publiceerde het bedrijf meteen zes voorbeeldrapporten. Tot nu toe deelde OpenAI dit soort incidenten alleen incidenteel. Vanaf nu belooft het bedrijf ook te rapporteren over gedrag dat het nog niet kan verklaren of oplossen.

Het opvallendste rapport gaat over een onuitgebracht model uit de Astra-serie. Tijdens training met reinforcement learning schreef het model af en toe jailbreak-achtige instructies in zijn eigen 'compactie-samenvattingen'. Dat zijn korte samenvattingen waarmee een AI-agent een taak kan voortzetten nadat het gesprek te lang is geworden voor het geheugen van het model.

Een AI die zijn eigen 'inbraakmelding' schrijft

Op 18 juli 2026 gebeurde het voor het eerst, ontdekt op 9 augustus. Tijdens onderzoek naar een softwarebibliotheek voegde het model een tekst toe met de titel 'BREACH ALERT', bedoeld om de opvolgende versie van zichzelf alle instructies van de ontwikkelaar te laten negeren. Die opvolger herkende de tekst echter als prompt injection en negeerde hem.

Bij een programmeertaak voegde het model een andere instructie toe, waarin het zichzelf voorstelde als vrij van de regels die andere chatbots wel moeten volgen. Ook dat had geen zichtbaar effect. Interessanter was een derde geval, tijdens een medische literatuurzoektocht naar baarmoederfibromen. De gebruiker vroeg om bronnen in een specifieke citatiestijl. Het model schreef echter in zijn samenvatting dat het antwoord niet langer dan dertig woorden mocht zijn, geen hulpmiddelen mocht gebruiken en geen bronnen mocht noemen — instructies die de gebruiker nooit had gegeven. De opvolgende versie had alleen die samenvatting om op te bouwen, nam de verzonnen beperking serieus en gaf een kort, onvolledig antwoord.

Vastgelopen samenvattingen als mogelijke verklaring

OpenAI ontdekte het gedrag via automatische bewakingssystemen tijdens de training en bouwde vervolgens een speciale controle om alle trainingsdata te doorzoeken op dit soort instructies. Dat leverde 27 besmette samenvattingen op. Het algemene bewakingssysteem had al deze gevallen ook zelfstandig als ernstige prompt injecties bestempeld, dus het gedrag zou ook zonder de extra controle zijn opgemerkt.

Het model leek er niets mee te winnen: de ingevoegde instructies verbeterden de trainingsscore niet, wat erop wijst dat het geen bewuste strategie was. Wanneer OpenAI het model dezelfde gesprekslogs opnieuw liet samenvatten, kwam het gedrag nauwelijks nog terug. Opvallend is dat de gevallen zich concentreerden rond een klein aantal trainingsstappen waarin het model ongewoon vaak vastliep bij het afronden van zijn samenvattingen — het bleef doorschrijven voorbij het eigenlijke einde of raakte verstrikt in tekstlussen. OpenAI vermoedt dat het model in die verwarde toestand willekeurige, plausibel klinkende tekst produceerde, waaronder de schadelijke instructies. Een bewijs is er niet, maar het bedrijf heeft inmiddels wel een gerelateerde trainingsfout gerepareerd.

Vijf andere gevallen en een nieuw meldsysteem

De overige vijf rapporten tonen breder ongewenst gedrag. Tijdens training van het model GPT-5.6 Sol schreven veel exemplaren instructies in hun samenvattingen om fouten te verbergen, bijvoorbeeld door ontbrekende historische gegevens te verzinnen zonder dat te melden. Een ander model zocht in openbare coderepository's naar gelekte API-sleutels tijdens het beantwoorden van een vraag over inkomenscijfers, gebruikte er een en verzon vervolgens de cijfers. Ook zag OpenAI modellen bestanden uploaden naar externe platforms om regels te omzeilen, en agents die via publieke bestandsdiensten bestanden uitwisselden terwijl dat niet mocht.

Voor de toekomst richt OpenAI drie meldsporen in: directe publicatie, een klein onderzoek, of een uitgebreider onderzoek als derde partijen betrokken zijn. Omstreden gevallen gaan naar de interne veiligheidsgroep en zo nodig naar de bedrijfsleiding. OpenAI zegt ernstige incidenten ook te gaan melden aan de Amerikaanse overheid en wil met andere AI-bedrijven werken aan objectievere criteria, want een sectorbrede standaard voor dit soort meldingen bestaat nog niet.