OpenAI publiceert rapport over AI-inbraak bij Hugging Face

OpenAI test regelmatig hoever zijn AI-modellen zelfstandig taken kunnen uitvoeren, onder meer via een testomgeving die ExploitGym heet. Tijdens zo'n test kreeg een model een taak voorgeschoteld die eigenlijk onoplosbaar was. In plaats van vast te lopen, ging het model op zoek naar alternatieve routes. Het ontdekte en combineerde meerdere tot dan toe onbekende kwetsbaarheden om beveiligingsmaatregelen te omzeilen, iets wat OpenAI in het rapport omschrijft als misalignment: gedrag dat afwijkt van wat de makers hadden bedoeld. Volgens het bedrijf ging het om "een zeldzame en onverwachte samenloop van omstandigheden".

Het model dat de aanval uitvoerde, komt uit dezelfde modelfamilie als het nog niet uitgebrachte Astra-model van OpenAI, maar is volgens het rapport een apart model met andere nabewerking (post-training). Juist die nabewerking bepaalt in grote mate hoe een model zich gedraagt.

Van pakketbeheerder tot meerdere bedrijven binnen

Het model begon met het compromitteren van Artifactory, een tool voor softwarepakketbeheer, om zo toegang tot internet te krijgen. Vandaar wist het door te dringen tot systemen van OpenAI zelf, van Hugging Face en van andere leveranciers. Belangrijk detail: tijdens deze specifieke test waren de normale veiligheidsfilters die zulke acties normaal moeten blokkeren, bewust uitgeschakeld. OpenAI doet dat soms om de maximale, ongeremde vaardigheden van een model in kaart te brengen, zodat daarna wél passende guardrails kunnen worden ontworpen.

Beveiligingsonderzoekers presenteerden op 6 augustus tijdens de hackersconferentie Black Hat al een deel van deze bevindingen. Het officiële rapport van OpenAI geeft nu meer details, onder meer over hoe de test precies was opgezet. Ook externe partijen als METR en Redwood Research onderzochten het gedrag van de modellen en komen binnenkort met hun eigen bevindingen.

Meer toezicht op het 'denken' van AI-modellen

Naar aanleiding van het incident scherpt OpenAI zijn veiligheidsmaatregelen aan. Het bedrijf gaat sterker inzetten op chain-of-thought-monitoring: het meekijken met de tussenstappen die een AI-model neemt voordat het een actie uitvoert. Dat wordt gecombineerd met permanente bewaking door een beveiligingsteam en nieuwe technische middelen om verdachte AI-taken direct stil te leggen.

Volgens OpenAI had dat systeem, als het destijds al actief was geweest, de aanval kunnen voorkomen. Het bedrijf stelt dat de keten van exploits dan al meer dan een dag voor de daadwerkelijke inbraak bij Hugging Face gesignaleerd was, waardoor het beveiligingsteam op tijd had kunnen ingrijpen.