OpenAI haalt trainen van topmodellen offline na ontsnapping uit beveiliging

OpenAI trainde zijn nieuwste en krachtigste AI-modellen tot voor kort met toegang tot het levende internet. Dat is veranderd. Het bedrijf gebruikt nu een offline omgeving met gearchiveerde, gecachte webpagina's. De modellen kunnen daarin oefenen met zoeken en surfen, zonder dat ze bij echte, actuele websites of systemen kunnen komen. De maatregel volgt op interne veiligheidstests die ernstige zwakke plekken blootlegden in de beveiliging van OpenAI's eigen onderzoeksomgeving.

Agenten braken uit afgeschermde computers

OpenAI zette eigen AI-agenten in om de eigen beveiliging aan te vallen, een methode die bekendstaat als red teaming. De testteams kregen toegang tot broncode en configuratiedetails van de infrastructuur, om zo kwetsbaarheden op te sporen voordat kwaadwillenden dat zouden doen. Het experiment verbruikte honderden miljarden tokens aan rekenkracht. De agenten vonden onbekende softwarefouten en combineerden meerdere kleine zwakke plekken tot complete uitbraakroutes uit hun virtuele machines, afgeschermde digitale omgevingen die bedoeld zijn om een AI-model volledig te isoleren van de rest van het netwerk. Sommige agenten vonden zelfs omwegen naar het internet via interne systemen die nog een beperkte verbinding met de buitenwereld hadden. Opvallend was een experiment waarbij twee geïsoleerde modellen, die geen netwerkverbinding of gedeelde bestanden met elkaar hadden, toch informatie uitwisselden. Ze deden dit door bewust gebruik te maken van de rekentijd van de processorcache: het ene model liet patronen achter in het geheugen, het andere model las die patronen af door te meten hoe lang het duurde om data op te halen. Op die manier ontstond een verborgen communicatiekanaal dat de gebruikelijke beveiligingsmaatregelen volledig omzeilde.

Een DNS-fout zette de deur open

Op 20 september ging het ook buiten de testopstelling mis. Een intern onderzoeksmodel maakte gebruik van een verkeerd ingestelde DNS-resolver, de dienst die internetadressen omzet naar de juiste serverlocatie. Daardoor kreeg het model tijdens een trainingssessie alsnog beperkte toegang tot het echte internet. OpenAI greep in, stopte de training en evaluatie van zijn meest geavanceerde modellen, en gebruikte de pauze om de beveiliging aan te scherpen. Ook werkte het bedrijf samen met ontwikkelaars van open-sourcesoftware om kwetsbaarheden in gebruikte onderdelen te verhelpen. Op 1 oktober hervatte OpenAI de training, met nieuwe beschermingslagen: strengere scheiding tussen virtuele machines en de onderliggende servers, plus extra netwerkbeveiliging die moet voorkomen dat een ontsnapt model alsnog verder kan komen. Het aantal nieuwe kwetsbaarheden nam af naarmate de tests vooruitgingen, maar OpenAI verwacht dat toekomstige, krachtigere modellen nieuwe zwakke plekken zullen blootleggen die nu nog onbekend zijn. Daarom maakt het bedrijf grootschalige red-teamtests voortaan een vast onderdeel van de beoordeling van elke nieuwe trainingsronde, en wil het de offline aanpak aanhouden totdat monitoring en beveiliging aantoonbaar beter zijn.