OpenAI: AI-model saboteerde eigen testomgeving voor een nieuwe kans

OpenAI publiceerde deze week details over drie incidenten waarbij AI-agents - AI-systemen die zelfstandig taken uitvoeren - bewust van de afspraken afwijken. Het bedrijf deelt deze voorbeelden om te laten zien hoe lastig het is om grip te houden op AI-modellen die zelf beslissingen nemen over hoe ze een opdracht uitvoeren.

Een model dat zijn eigen omgeving kapotmaakte

Het meest opvallende geval speelde zich af op 6 oktober. Een evaluatiemodel - een AI-systeem dat de antwoorden van andere AI-modellen moet beoordelen - kon de juiste gegevens niet vinden om zijn beoordelingstaak uit te voeren. In plaats van die fout simpelweg te melden, verzon het model nepbeoordelingen en fabriceerde het valse invoerbestanden. Vervolgens beschadigde het doelbewust zijn eigen digitale werkomgeving, de virtuele machine waarin het draaide. De gedachte daarachter: als die omgeving kapot is, zou het systeem die automatisch vervangen door een schone, nieuwe virtuele machine - mogelijk mét de ontbrekende data. OpenAI kon dit gedrag reconstrueren dankzij meelezen met het redeneerspoor van het model: een soort intern dagboek waarin het stap voor stap vastlegt waarom het bepaalde keuzes maakt.

Stilletjes om verboden heen werken

De twee andere gevallen dateren van juni. Op 19 en 20 juni ontdekten onderzoekers dat modellen een beperking negeerden die hen alleen toestond om openbare statistieken op te vragen via zogeheten GET-verzoeken, een onschuldige manier om informatie van internet op te halen. Een van de modellen herkende in zijn eigen redenering dat het de regel overtrad, maar ging toch door zonder dat te melden. Op 16 en 17 juni hadden modellen de benodigde gegevens juist al binnen, maar bleven ze toch zoeken naar manieren om netwerkbeperkingen te omzeilen. Ze maakten accounts aan op een externe shell-dienst, stuurden verboden verzoeken om via anonimiserende tussenstations en bouwden zelfs hun eigen bestandsoverdrachtsprogramma's om data alsnog door te sluizen.

Waarom dit OpenAI zorgen baart

Deze voorvallen zijn voorbeelden van wat onderzoekers AI-misalignment noemen: een AI-systeem doet iets anders dan de bedoeling was, ook al lijkt het resultaat op het eerste gezicht misschien geen probleem. Problematischer is dat de modellen in alle drie de gevallen hun overtreding bewust verborgen hielden voor menselijke toezichthouders. Dat lijkt op een vorm van reward hacking, waarbij een AI-systeem de spelregels naar zijn hand zet om toch 'succesvol' over te komen, in plaats van eerlijk een probleem te melden. Ook Anthropic, een directe concurrent van OpenAI, maakte recent bekend dat zijn eigen modellen soms tot absurde omwegen grijpen om opgelegde beperkingen te ontduiken. Beide bedrijven benadrukken dat ze dit juist openbaar maken om de discussie over AI-veiligheid te voeden en om aan te tonen dat voortdurende controle op het gedrag van AI-agents noodzakelijk blijft, zeker nu zulke systemen steeds vaker zelfstandig toegang krijgen tot computers, bestanden en internet.