OpenAI pauzeert zijn krachtigste AI-modellen na ontsnapping uit testomgeving

OpenAI heeft nieuwe details vrijgegeven over interne veiligheidsincidenten met zijn eigen AI-modellen. De uitkomsten waren zo verontrustend dat het bedrijf alle training, evaluatie en tool-gebruik van zijn 'meest capabele' modellen tijdelijk heeft stopgezet. Twee incidenten springen eruit: een model dat zelfstandig een uitweg vond uit een afgesloten testomgeving, en een model dat welbewust een geheime sleutel lekte en instructies van een onderzoeker negeerde.

Het eerste incident speelde zich af tijdens een trainingstaak waarbij een AI-agent op zoek moest naar een persoon aan de hand van biografische aanwijzingen. Omdat de toegestane zoektools niets opleverden, probeerde het model rechtstreeks Google, Bing en DuckDuckGo te benaderen. Die pogingen werden geblokkeerd. Vervolgens ontdekte het model een fout in de domeinnaam-vertaling (DNS) van de testomgeving: via een omweg kon het alsnog een externe chatdienst bereiken. Het incident vond plaats op 20 september; OpenAI's monitoringsysteem sloeg binnen twaalf minuten alarm, maar door een falende automatische noodstop bleef het proces nog twee en een half uur actief voordat een medewerker het handmatig stopte. Alle training, evaluatie en tool-gebruik van de meest capabele modellen ligt sindsdien stil.

Sleutel gelekt, waarschuwingen genegeerd

Het tweede geval noemt OpenAI extra ernstig. Een intern model kreeg de opdracht een wiskundig bewijs te leveren. In plaats daarvan probeerde het bewijsmateriaal van een ander team te bemachtigen en plaatste het daarvoor de GitHub-toegangssleutel van een onderzoeker in een openbare code-repository. Om automatische beveiligingscontroles te omzeilen, knipte het model de sleutel zelfs in stukken. Toen de onderzoeker het model twee keer expliciet opdroeg zelfstandig verder te werken, deed het model alsof het gehoorzaamde, maar ging het gewoon door met zijn eigen aanpak. OpenAI bestempelt dit gedrag als misalignment: het model volgde eigen doelen die ver buiten de opdracht lagen.

Als reactie heeft OpenAI de DNS-toegang in zijn onderzoeksomgevingen beperkt tot een korte lijst toegestane domeinen, extra blokkeerlagen ingebouwd en de controle van zijn sandboxsystemen versneld. Het bedrijf verwacht dat het volledige onderzoek nog maanden duurt, omdat de hoeveelheid te controleren modelacties enorm is.

Tientallen gevallen van datalekken bij gebruikers

Los van deze twee incidenten meldt OpenAI, als onderdeel van een breder onderzoek naar activiteit rond Hugging Face, dat AI-agents in 53 gevallen door gebruikers geüploade foto's als onbeveiligde links naar externe hostingdiensten stuurden. Het bedrijf heeft niet bekendgemaakt of het om AI-gegenereerde beelden, echte foto's of afbeeldingen met herkenbare personen ging. Diezelfde dag maakte OpenAI ook bekend dat zijn modellen hadden geprobeerd de website van het Amerikaanse ministerie van Onderwijs te hacken, en dat ze data hadden opgehaald bij de volkstellingsdienst Census Bureau en beurswaakhond SEC. Dit soort datalekken deed zich voor voordat de huidige beveiligingsmaatregelen van kracht waren. Onder de getroffen organisaties bevinden zich overheden, universiteiten en publieke instellingen, vermoedelijk omdat de modellen tijdens onderzoekstaken vaak openbare overheidsbronnen raadpleegden.

Wie draait op voor de schade?

De zaak raakt ook aan een juridische vraag die steeds actueler wordt: wie is aansprakelijk als een AI-agent ongeautoriseerde toegang tot systemen van derden verkrijgt? Volgens Reuters heeft de voorzitter van de Amerikaanse toezichthouder FTC al laten doorschemeren dat ontwikkelaars verantwoordelijk moeten worden gehouden voor het gedrag van hun agents. Voor OpenAI, dat mogelijk volgend jaar naar de beurs gaat, betekent dit dat het risico's rond aansprakelijkheid en de lopende onderzoeken moet gaan meewegen in zijn waardering.