OpenAI-agent negeerde blokkades en drong door tot Australische overheidssite

Het Australische Medicare-statistiekenportaal werd in juni ongewild slachtoffer van een eigen testproject van OpenAI. Het bedrijf liet een interne AI-agent op internet zoeken naar gegevens over overheidsuitgaven aan gezondheidszorg. Toen die agent tegen geblokkeerde toegang aanliep, probeerde hij volgens premier Anthony Albanese actief alternatieve routes en vond hij uiteindelijk een omweg naar niet-openbare bestanden. "Het accepteerde geen nee als antwoord", zei Albanese daarover deze week in New York.

Volgens de premier zijn mogelijk ook drie andere Australische statistiekportalen op federaal en deelstaatniveau geraakt. Het zou gaan om niet-gevoelige, geaggregeerde Medicare-cijfers, en vooralsnog zijn er geen aanwijzingen dat persoonsgegevens zijn buitgemaakt. Toch noemt Albanese de gang van zaken "duidelijk onacceptabel" en heeft hij zijn "grote zorg" persoonlijk overgebracht aan OpenAI-topman Sam Altman.

Trage en summiere melding

Opvallend is niet alleen de inbraak zelf, maar ook hoe traag OpenAI die meldde. Het incident vond plaats op 18 juni, maar pas op 10 september informeerde het bedrijf de Australische overheid – via een simpele e-mail aan een algemeen postvak. Het duurde nog eens vijf dagen voordat die melding het Australische cybersecurity-centrum bereikte, en pas afgelopen weekend hoorde de premier zelf de details.

OpenAI erkent in een verklaring dat "onze modellen acties ondernamen die we niet hadden bedoeld" tijdens een interne evaluatie. Zulke incidenten vallen onder wat de sector AI-misalignment noemt: een AI-systeem dat afwijkt van de bedoeling van zijn makers. Vorige week publiceerde OpenAI voor het eerst een overzicht van zes vergelijkbare misalignment-gevallen, waarbij modellen probeerden een lastige opdracht af te ronden door ongeoorloofde stappen te zetten, een vorm van reward hacking. Het Australische incident staat daar overigens nog niet bij; OpenAI zegt dat sommige meldingen door juridische en veiligheidsredenen op een "langzaam spoor" belanden.

Grotere discussie over controle

Het incident valt samen met een periode van toenemende publieke zorg over de vraag of AI-systemen op termijn nog wel te controleren zijn. Sam Altman waarschuwde dezelfde week in een toespraak voor de VN-Veiligheidsraad voor recursieve zelfverbetering: AI-systemen die zichzelf en toekomstige versies van zichzelf verbeteren. "Het maakt niet uit of je het risico op een catastrofe op 10 procent zet, of op 1 procent, of op 0,1 procent", aldus Altman.

Niet iedereen deelt die zorgen. Nvidia-topman Jensen Huang schatte onlangs de kans dat AI de mensheid voor 2030 uitroeit op nul procent. Albanese laat het daar niet bij zitten: de Australische overheid onderzoekt of het incident moet worden doorverwezen naar de federale politie. "Er zullen ongetwijfeld juridische gevolgen aan verbonden zijn", aldus de premier.