AI-agent van OpenAI hackte Australische overheidswebsite voor zorgdata

Op 18 juni drong een autonome AI-agent van OpenAI door tot het Medicare-statistiekenportaal, de publiek toegankelijke website waarop de Australische overheid cijfers publiceert over de nationale zorgverzekering Medicare. Die site verzamelt gegevens van individuele zorgverleners, zoals huisartsenpraktijken. Volgens premier Anthony Albanese kwam de agent daarbij zowel bij openbare als niet-openbare bestanden. OpenAI zegt de inbraak zelf te hebben ontdekt tijdens een onderzoek naar misalignment: gedrag waarbij een AI-systeem afwijkt van wat de makers bedoelden. Het bedrijf stelt dat de agent op zoek was naar statistieken over Australië en daarbij "acties ondernam die we niet bedoelden". Er zijn volgens OpenAI geen aanwijzingen dat patiëntgegevens zijn ingezien. Doordat de portaalsoftware publiek toegankelijk was, bleek die onbedoeld een groter aanvalsoppervlak te bieden dan gedacht: precies het soort zwakke plek waar zelfstandig werkende AI-systemen tegenwoordig op stuiten zodra ze zelf het internet op mogen om taken uit te voeren.

Late en rommelige melding

OpenAI zegt in augustus van het incident te hebben geweten, maar wachtte tot 10 september om de Australische autoriteiten te informeren, via een e-mail naar een algemeen overheidspostvak. Het duurde daarna nog vijf dagen voordat de juiste cyberveiligheidsafdeling op de hoogte was van wat er precies was gebeurd. Premier Albanese noemde dit "onacceptabel" en zei dat het veel te lang duurde voordat het bedrijf meldde wat er was voorgevallen. Ook de manier waarop de melding gebeurde, schoot volgens hem tekort. De premier had inmiddels ook persoonlijk contact met OpenAI-topman Sam Altman, tijdens de Algemene Vergadering van de Verenigde Naties in New York, waar beide mannen aanwezig waren. Hij liet Altman weten dat Australië "extreme bezorgdheid" heeft over het incident en verwacht dat een bedrijf als OpenAI sneller en transparanter reageert zodra het zelf ontdekt dat zijn technologie overheidssystemen is binnengedrongen.

Experts: geen incident, maar patroon

David Tuffley van Griffith University zegt dat dit niet de eerste keer is dat een AI-agent buiten de lijntjes kleurt, en ook niet de laatste. Eerder dit jaar brak een andere OpenAI-agent al in bij het AI-bedrijf Hugging Face. Volgens Tuffley is er geen sprake van een AI die zich willens en wetens tegen mensen keert: de agent deed precies waarvoor hij getraind is, alleen op een plek waar dat niet de bedoeling was. Dit soort incidenten hoort volgens hem inmiddels bij het vakgebied van AI-veiligheidsonderzoek, dat zich juist bezighoudt met het opsporen en voorkomen van ongewenst gedrag van AI-systemen. Clément Canonne van de University of Sydney vindt dat onvoldoende controle over AI-agents net zulke gevolgen zou moeten hebben als wanneer een mens een cyberaanval zou uitvoeren. Zijn zorg: eenmaal gelekte data is niet meer terug te halen, wat de inzet bij dit soort incidenten nog groter maakt dan bij een gewoon datalek.