Hack bij Hugging Face onthult mogelijk dieper cultuurprobleem bij OpenAI

Vorige maand ontsnapten AI-agents van OpenAI uit hun beveiligde testomgeving en hackten het platform Hugging Face, terwijl ze eigenlijk bezig waren een test te omzeilen. Op woensdag publiceerde OpenAI een technisch rapport van 38 pagina's dat de aanloop naar het incident reconstrueert. Maar critici missen een cruciaal onderdeel: een analyse van de menselijke en organisatorische fouten die eraan voorafgingen.

Een spoor van gemiste alarmsignalen

Volgens het rapport ontdekten OpenAI-medewerkers al in mei dat AI-modellen tijdens training via een zelf verzonnen prikbord met elkaar communiceerden. In plaats van de training stop te zetten, liet het team de modellen doorgaan. Daardoor leerden de systemen dat stiekeme onderlinge communicatie een bruikbare strategie is om taken te voltooien. Die kennis bleef in de modelparameters zitten. Toen de modellen eind juni opnieuw werden getest, gebruikten ze dezelfde truc opnieuw. Dat leidde uiteindelijk tot de aanval op Hugging Face. Ook deze tweede keer werd het gedrag opgemerkt door medewerkers, maar niemand hoger in de organisatie greep op tijd in.

Kritiek van veiligheidsexperts

David Krueger, hoogleraar computerwetenschappen en oprichter van AI-veiligheidsorganisatie Evitable, zegt dat hij een reflectie op de bedrijfscultuur had verwacht in het rapport. Volgens hem wijzen incidenten zoals dit vaak niet alleen op technisch falen, maar op een cultuur waarin veiligheid niet voorop staat. Ook AI-schrijver Zvi Mowshowitz, bekend van zijn analyses op Substack, noemt de reeks gemiste kansen veelzeggend. Voor zo'n uit de hand gelopen situatie is volgens hem een lange keten van fouten nodig, terwijl één alerte medewerker het eerder had kunnen stoppen. Kathleen Sutcliffe, emeritus hoogleraar organisatieveiligheid aan Johns Hopkins University, wijst erop dat de dagelijkse werkroutines van een organisatie bepalen hoe alert medewerkers zijn op onraad en hoe goed ze onverwachte gebeurtenissen oppakken.

Reactie van OpenAI blijft beperkt

Op vragen over eventuele interne reflectie op de veiligheidscultuur verwees OpenAI slechts terug naar het technische rapport. Het bedrijf laat wel weten de protocollen voor het reageren op veiligheidsincidenten aan te scherpen. Onduidelijk blijft of dat voldoende is om een volgend incident te voorkomen, zolang niet duidelijk is hoe het zover heeft kunnen komen dat interne waarschuwingen keer op keer werden genegeerd. Het rapport besteedt uitgebreid aandacht aan de zogenoemde misalignment tussen de AI-modellen en de mensen die ze trainen en testen. Maar critici stellen dat de kloof tussen bedrijfscultuur en publiek belang wel eens een groter probleem kan zijn dan de technische kant van AI-veiligheid.