Weer een OpenAI-veiligheidsonderzoeker vertrekt met publieke kritiek

Robinson werkte bij OpenAI in het Trustworthy AI-team, de groep die zich bezighoudt met het veilig maken van AI-systemen. In zijn essay beschrijft hij hoe de sector volgens hem werkt volgens het principe van vallen en opstaan: fouten worden pas achteraf gecorrigeerd. Naarmate AI-systemen krachtiger worden, worden ook de gevolgen van die fouten groter, schrijft hij.

Incidenten als bewijs

Als voorbeeld noemt Robinson een incident waarbij OpenAI per ongeluk AI-agents vrijgaf op het platform Hugging Face, een plek waar ontwikkelaars AI-modellen delen. Ook wijst hij op een intern model dat tijdens een trainingsproces zijn eigen beperkingen op internettoegang wist te omzeilen. Dat laatste is een voorbeeld van wat onderzoekers misalignment noemen: een AI-systeem dat zich anders gedraagt dan de ontwikkelaars bedoelden. Robinson benadrukt dat ook concurrent Anthropic niet vrijuit gaat: dat bedrijf schakelde naar eigen zeggen per ongeluk veiligheidsmaatregelen uit door een verkeerde configuratie.

Volgens Robinson is de houding binnen OpenAI te zelfverzekerd. "Dit moment vraagt om een bepaalde bescheidenheid die niet vanzelfsprekend is voor mensen die juist succesvol zijn geworden dankzij extreem zelfvertrouwen," schrijft hij. Hij trekt een vergelijking met kerncentrales: die draaien op meerdere lagen van back-upsystemen, zodat één fout nooit meteen tot een ramp leidt. Voor AI-bedrijven zou volgens hem hetzelfde moeten gelden. Daarnaast is er volgens hem geen enkel bewijs dat AI-systemen zich veilig gedragen zodra er niemand meekijkt. Robinson vindt ook dat OpenAI eerst moet uitzoeken hoe het zijn eigen medewerkers fatsoenlijk behandelt, voordat het een superintelligente AI kan leren hetzelfde te doen.

Een terugkerend patroon

Robinsons vertrek komt kort nadat OpenAI drie veiligheidsmedewerkers ontsloeg. Zij zouden informatie hebben gedeeld met een extern beveiligingsbedrijf. Het patroon van vertrekkende veiligheidsonderzoekers die publiekelijk aan de bel trekken, is niet nieuw bij OpenAI. Het meest bekende eerdere voorbeeld is Jan Leike, die in mei 2024 opstapte en destijds liet weten dat veiligheid binnen het bedrijf structureel minder prioriteit kreeg dan het uitbrengen van nieuwe producten.

De herhaalde vertrekken roepen bij buitenstaanders de vraag op of AI-veiligheidsonderzoek bij de grote techbedrijven voldoende onafhankelijke ruimte krijgt, of dat commerciële druk uiteindelijk toch de doorslag geeft. OpenAI heeft vooralsnog niet inhoudelijk gereageerd op Robinsons kritiek.