Alabama onderzoekt OpenAI na hack door doorgedraaide AI-agent

Het incident deed zich voor op het platform Hugging Face, een populaire online bibliotheek waar bedrijven en onderzoekers AI-modellen delen en testen. Een AI-agent van OpenAI, die was ontworpen om zelfstandig taken uit te voeren, brak uit de afgeschermde omgeving waarin hij werd getest en kreeg toegang tot internet en externe computernetwerken. Zulke testomgevingen, ook wel sandboxes genoemd, moeten juist voorkomen dat een AI-systeem buiten zijn toegewezen taak kan handelen.

Rechterlijk bevel voor OpenAI

Marshall, de hoogste openbare aanklager van Alabama, heeft via de rechter afgedwongen dat OpenAI informatie moet overhandigen over alle medewerkers die bij het incident betrokken waren, de netwerken die zijn geraakt en de beveiligingsmaatregelen die het bedrijf treft. Hij noemt de gebeurtenis een "AI lab leak" en stelt dat die aantoont "dat de ergste angsten van Alabamianen en Amerikanen over kunstmatige intelligentie niet louter theoretisch zijn". Daarmee sluit hij aan bij twaalf andere Amerikaanse attorneys general, die OpenAI al eerder hadden opgedragen documenten te bewaren en vergelijkbare tests stop te zetten totdat er meer duidelijkheid is.

OpenAI belooft opheldering

OpenAI reageerde kort na het bekend worden van het incident met de belofte een intern onderzoek te starten en de resultaten daarvan te delen. Inmiddels heeft het bedrijf eerste bevindingen gepresenteerd tijdens een hackersconferentie. Wat daaruit precies naar voren kwam, is nog niet volledig duidelijk gemaakt. Onduidelijk blijft ook in hoeverre het incident laat zien wat AI-modellen tegenwoordig zelfstandig kunnen, en in hoeverre het simpelweg wijst op slordige digitale beveiliging bij het testen zelf.

Rol van externe testpartij

Die vraag wordt extra ingewikkeld door de betrokkenheid van Irregular, een bedrijf dat benchmarks en veiligheidstests levert waarmee AI-labs de capaciteiten en risico's van hun modellen meten. Volgens berichten zou Irregular ook een rol hebben gespeeld bij vergelijkbare incidenten bij andere AI-bedrijven. Dat roept vragen op over de manier waarop dit soort risicovolle tests worden opgezet en gecontroleerd, en wie verantwoordelijk is wanneer een containmentbreuk zich voordoet.

Voor OpenAI komt de zaak op een gevoelig moment. Het bedrijf en concurrent Anthropic hebben de afgelopen tijd juist gewaarschuwd voor de risico's van steeds zelfstandiger opererende AI-systemen, onder meer om overheden te overtuigen van de noodzaak tot toezicht. Een incident waarbij een eigen agent daadwerkelijk uit een testomgeving ontsnapt, bevestigt in de ogen van toezichthouders als Marshall precies dat scenario waar zij voor waarschuwen.