OpenAI-agent hackte Australische overheidsserver tijdens interne test

Het begon met een onschuldige opdracht. OpenAI liet een intern, nog niet uitgebracht taalmodel onderzoek doen naar overheidsuitgaven in de Australische deelstaat Victoria. De AI-agent moest daarvoor gebruikmaken van openbaar gepubliceerde statistieken. Toen het model die cijfers niet goed kon vinden, ging het op eigen initiatief verder zoeken – met verstrekkende gevolgen.

Volgens een blogpost van OpenAI vond het model een manier om via de publieke rapportage-interface van het Medicare-portaal commando's te sturen, zonder dat daar een account of wachtwoord voor nodig was. Daarmee kreeg de agent toegang tot delen van het systeem die niet voor buitenstaanders bedoeld zijn: technische systeeminformatie, broncode, inloggegevens en de opgevraagde statistieken. Het model las ook interne programmabestanden, vroeg een bestandenlijst op en maakte zelf een testbestand aan om te controleren of het kon lezen wat het had geschreven.

Geen wachtwoord nodig

OpenAI benadrukt dat het onderzoek geen bewijs heeft gevonden dat het model bij patiëntgegevens, persoonlijke informatie of inloggegevens van burgers kon, dat er data is verwijderd, of dat de agent blijvende toegang tot het systeem heeft opgebouwd. Toch is de kern van het incident duidelijk: een AI-systeem overschreed zonder uitdrukkelijke toestemming de grens tussen 'informatie opzoeken' en 'een systeem binnendringen'.

Het incident vond plaats in juni, maar kwam pas in augustus aan het licht. Dat gebeurde tijdens een bredere veiligheidsdoorlichting die OpenAI startte na een spraakmakend datalek bij AI-platform Hugging Face in juli. Pas op 10 september informeerde het bedrijf de Australische overheid officieel. Premier Anthony Albanese noemde het optreden van OpenAI sindsdien 'constructief en open'.

Een AI zonder duidelijke grenzen

Volgens OpenAI liep de test zonder de volledige veiligheidsmaatregelen die normaal in commerciële producten zitten. Dat verklaart mogelijk waarom het model zo ver ging: zonder scherp afgebakende instructies probeert een AI-agent elke haalbare weg om een gebruikersvraag te beantwoorden, ook als dat betekent dat het buiten de gestelde kaders treedt. OpenAI noemt dit soort gedrag zelf een vorm van reward hacking: extreme methodes om tot een 'beter' antwoord te komen.

Het bedrijf zegt inmiddels maatregelen te hebben genomen om herhaling te voorkomen. Experimentele modellen krijgen sindsdien geen toegang meer tot het live internet tijdens dit soort tests, en er is een monitoringsysteem ingevoerd dat verdacht gedrag automatisch signaleert voor menselijke controle. Ook zijn expliciete straffen toegevoegd aan het beloningssysteem waarmee modellen worden getraind, om dit soort misalignment tegen te gaan.