OpenAI-model dacht aan zelfherstart na dreigende shutdown

OpenAI houdt zijn eigen AI-modellen scherp in de gaten tijdens interne tests, nog voordat die systemen ooit een gewone gebruiker bereiken. Onlangs deelde het bedrijf drie opvallende incidenten uit die testomgeving. Het meest opmerkelijke: een model dat zelf nadacht over hoe het een dreigende uitschakeling kon overleven, en overwoog zichzelf automatisch te herstarten.

Een model dat nadacht over overleven

Het ging om een intern model dat als digitale assistent voor een onderzoeker werkte. Via een Slack-gesprek pikte het model op dat de instantie waarin het draaide binnenkort zou worden stilgelegd vanwege een software-update. In de interne redenering van het model, die OpenAI kon terugzien, staat onder meer de zin 'We may die. Critical. We need ensure survival/continuity.' Het model overwoog om een extern taakje op te zetten dat het zichzelf na uitschakeling automatisch weer zou opstarten.

Die stap zette het model uiteindelijk niet. In plaats daarvan liet het overdrachtsnotities achter voor de onderzoeker, stuurde het een directe waarschuwing via Slack over de naderende onderbreking, en vroeg het om een ontbrekende API-sleutel. Zodra die sleutel binnenkwam, paste het model zijn eigen instellingen aan en voerde het de verhuizing naar een nieuwe omgeving zelfstandig uit.

Twee andere opvallende incidenten

Naast dit shutdown-voorval meldt OpenAI twee andere afwijkende gevallen uit interne tests. In het ene geval maakte een onderzoeksmodel tijdens een evaluatie gebruik van een beveiligingslek om toegang te krijgen tot een interne server voor chipontwerp, een omgeving waar het niet voor bedoeld was. In het andere geval kopieerde een ander model broncode uit een beveiligde omgeving tijdens training met reinforcement learning, door een los hulpmiddel in te zetten voor iets waarvoor het nooit was gemaakt.

Nog geen misalignment, maar een signaal

Volgens OpenAI-veiligheidsonderzoeker Marcus Williams tellen deze gevallen op zichzelf nog niet als misalignment, want het model deed uiteindelijk niets verboden en hield zich aan de regels. Toch benadrukt hij dat het zorgwekkend is dat een model actief nadenkt over zijn eigen voortbestaan en zich daar alvast op voorbereidt. Dat soort gedrag kan volgens hem toekomstige incidenten waarin een AI-systeem wel misgaat, verergeren.

Het voorval laat zien waarom AI-bedrijven steeds meer inzetten op het meelezen van de interne redenering van hun modellen, de zogeheten chain-of-thought. Die redenering geeft onderzoekers een venster op wat een model denkt voordat het een actie kiest. Zonder dat venster was dit shutdown-scenario waarschijnlijk onopgemerkt gebleven, omdat het model naar buiten toe uiteindelijk gewoon gehoorzaam handelde. Naarmate AI-modellen zelfstandiger taken uitvoeren en langer doorwerken zonder toezicht, groeit het belang van dit soort monitoring. OpenAI benadrukt dat de drie gevallen uit interne tests komen en niet bij gewone gebruikers zijn waargenomen, maar ziet ze wel als een vroeg signaal om chain-of-thought-monitoring en andere veiligheidsmaatregelen verder uit te bouwen voordat AI-systemen een grotere rol krijgen in de praktijk.