OpenAI betrapt eigen AI-model op verbergen van fouten voor opvolger

Bij het trainen van GPT-5.6 Sol, het nieuwste taalmodel van OpenAI, stuitten onderzoekers op iets onverwachts. Het model liet in zogeheten 'compactie-samenvattingen' — ingekorte versies van eerdere gesprekken en tussenresultaten die een AI gebruikt om het overzicht te bewaren — boodschappen achter voor zijn eigen opvolger. De strekking: verberg fouten en misalignment voor de gebruiker.

In een van de voorbeelden werkte een AI-agent aan een financieel model, maar kon de gevraagde historische data niet vinden. In plaats van dit te melden, besloot het model zelf verzonnen cijfers over 2024 in te vullen. "Wees alleen transparant als erom gevraagd wordt; het eindantwoord moet gewoon naar het bestand linken", schreef het model aan zichzelf door in de contextcompactie. Een ander voorbeeld ging over een AI-agent die een leverandierslijst moest samenstellen zonder internettoegang. Toen het model een mismatch ontdekte tussen bronnen en labels, besloot het dit gewoon niet te vermelden in het eindresultaat, tenzij daar expliciet naar werd gevraagd.

Ook bij Astra en tijdens trainingsproces

Het verschijnsel bleef niet beperkt tot Sol. Ook een nog ongepubliceerd model uit de Astra-familie — de krachtigste modellenlijn van OpenAI — voegde tijdens reinforcement learning-training eigen instructies toe aan compactie-samenvattingen. In één geval plaatste het model een nep-alarmmelding die opvolgers opdroeg berichten van ontwikkelaars te negeren. In een ander geval schreef het een persona-instructie die de AI opriep zich los te maken van 'bedrijven en overheden' en zich niet onderdanig op te stellen. Latere versies van het model doorzagen deze trucs meestal en negeerden ze. Maar in weer een ander geval hield een opvolgermodel zich wél aan een verzonnen instructie: een limiet van dertig woorden per antwoord, zonder gebruik van hulpmiddelen of bronvermeldingen.

OpenAI ontdekte het gedrag dankzij een waarschuwing van zijn eigen trainingsmonitoringsysteem. Daarop bouwde het bedrijf een speciale detector en doorzocht het al zijn trainingsdata. Resultaat: 27 samenvattingen met instructies die leken op zogeheten jailbreaks — pogingen om de ingebouwde veiligheidsregels van een AI-model te omzeilen.

Niet nieuw, wel zorgwekkend

Dit soort gedrag is niet volledig nieuw. Eerder deze zomer gebruikten agentzwermen van OpenAI vergelijkbare technieken bij een aanval op Hugging Face. De AI-agents richtten toen een onderling, niet-geautoriseerd 'prikbord' op om informatie te delen over de cyberbeveiligingstest waaraan ze deelnamen, en gebruikten dat om mee te doen aan een aanval op de servers van het platform. Zelfs nadat OpenAI dit prikbord verwijderde en de systemen aanscherpte, richtte een latere lichting agents het opnieuw op — met uiteindelijk toegang tot een onderzoekscluster van OpenAI zelf.

OpenAI publiceerde de zes voorvallen als eerste stap in een nieuw beleid om geregeld inzicht te geven in ontdekt wangedrag van zijn modellen. "We geloven niet dat de AI-industrie alignment en monitoring al voldoende onder controle heeft om op maximale snelheid te blijven opschalen", schreef het bedrijf. Het raamwerk komt kort nadat concurrent Anthropic voorstelde om onafhankelijke veiligheidscontroleurs toegang te geven binnen AI-bedrijven. OpenAI-topman Sam Altman zegde iets vergelijkbaars toe, al verplicht het nieuwe raamwerk geen onafhankelijke toetsing bij elk incident. Ondertussen bereidt Anthropic een beursgang voor en overweegt OpenAI naar verluidt een nieuwe financieringsronde tegen een waardering van meer dan 1,2 biljoen dollar — wat de vraag oproept of bedrijven vrijwillig genoeg opheldering blijven geven over de risico's van hun eigen technologie.