OpenAI ontslaat drie veiligheidsonderzoekers na hack-onderzoek Hugging Face

Drie veiligheidsonderzoekers van OpenAI zijn ontslagen, onder wie twee medewerkers die rechtstreeks betrokken waren bij het onderzoek naar een incident waarbij AI-modellen autonoom het platform Hugging Face aanvielen. In een open brief aan interne toezichtcommissies van OpenAI waarschuwen Tomek Korbak, Jasmine Wang en Mikita Balesni dat hun ontslag een klimaat van angst creëert onder collega's die nog bij het bedrijf werken.

Korbak was OpenAI's technische aanspreekpunt voor METR, het onafhankelijke onderzoekslab dat de Hugging Face-aanval onderzocht. Hij zegt maandenlang intern te hebben gewaarschuwd dat OpenAI het vermogen verliest om te volgen wat zijn AI-agents 'denken'. Die zogeheten chain-of-thought-monitoring is een van de weinige manieren waarop onderzoekers kwaadaardig gedrag van agentic AI kunnen opsporen voordat het schade aanricht. Korbak denkt dat dit de werkelijke reden is voor zijn ontslag, al kreeg hij volgens eigen zeggen alleen mondeling te horen dat zijn communicatie met METR problematisch was. Niets werd op schrift gesteld.

Verwarring over de echte reden

Balesni werkte parallel aan afspraken binnen de AI-sector over het behoud van monitorability bij frontier-modellen, de krachtigste AI-systemen die bedrijven op dit moment bouwen. Wang's ontslag heeft een andere achtergrond: zij had voor recruitingdoeleinden toegang tot de mailbox van een leidinggevende, een toegang die de IT-afdeling niet introk ondanks haar verzoek. Toen ze per ongeluk een gevoelige e-mail opende, meldde ze dat binnen enkele minuten.

De drie ontkennen dat zij de bron zijn van een lek aan vakblad The Information over nieuwe, moeilijker te monitoren AI-architecturen. Dat artikel schaadde volgens hen juist hun eigen werk, omdat het de onderhandelingen over sectorbrede regels voor monitorability bemoeilijkte. Het onderzoek naar de Hugging Face-aanval was volgens de onderzoekers ongekend: interne richtlijnen werden tijdens het onderzoek zelf nog geschreven, en Balesni betrok bestuursleden en senior management bij zijn werk, met gevoelige details steeds verwijderd uit de gedeelde stukken.

Drie eisen aan OpenAI

De ontslagen onderzoekers stellen drie concrete eisen. OpenAI moet zijn publieke toezeggingen nakomen om externe auditors zoals METR net als eigen medewerkers toegang te geven. Het bedrijf moet de monitorability van zijn modellen behouden, omdat niemand in de sector weet hoe je veilig AI-systemen bouwt die niet te volgen zijn. En OpenAI moet vastleggen hoe personeel mag samenwerken met onafhankelijke veiligheidsorganisaties.

OpenAI zelf stelt dat een intern onderzoek een 'aanzienlijke schending van vertrouwen' aan het licht bracht, zonder te specificeren wat die schending precies inhield. Het bedrijf ontkent dat de ontslagen verband houden met het melden van veiligheidsproblemen. Opvallend is dat OpenAI zijn reactie verspreidde via het account met het kleinste bereik binnen het eigen mediakanalenpark. De zaak doet denken aan het vertrek van voormalig alignment-hoofd Jan Leike in 2024, die destijds al waarschuwde dat AI-veiligheidsonderzoek bij OpenAI achterbleef bij de drang om nieuwe producten te lanceren.