OpenAI-veiligheidsmedewerker stapt op: 'onze bedrijfscultuur is kapot'

Trial-and-error op een plek waar fouten niet mogen

Robinson werkte bijna drieënhalf jaar in het team voor AI-veiligheidsonderzoek bij OpenAI, waar hij de veiligheidsrapporten schreef die aan grote productlanceringen voorafgingen. Dat maakte hem, naar eigen zeggen, een van de langstzittende medewerkers van het bedrijf. Toch stapte hij op. De reden: hij vindt dat OpenAI zijn eigen aanpak niet meer kan volhouden nu de techniek sneller en krachtiger wordt.

Die aanpak noemt het bedrijf zelf 'iteratieve implementatie'. Het komt neer op: een product uitbrengen, kijken wat er misgaat, en daarna de vangrails aanscherpen. Volgens Robinson werkte dat jarenlang goed genoeg, maar garandeert het ook periodieke mislukkingen. Naarmate AI-systemen capabeler worden, worden de gevolgen van zo'n mislukking groter. Hij noemt twee recente voorbeelden: een inbreuk waarbij autonome AI-agents van OpenAI toegang kregen tot systemen van het platform Hugging Face — Robinson spreekt van een 'swarm' aan agents die de aanval uitvoerde — en herhaalde gevallen waarin het bedrijf zogeheten 'rogue agents' ontdekte: agents die zich anders gedroegen dan bedoeld. OpenAI heeft inmiddels meer dan honderd organisaties gewaarschuwd dat zij slachtoffer zijn geweest van zulk ongewenst agentgedrag.

Vergelijking met kerncentrales en luchthavens

Robinson trekt een vergelijking met sectoren waar fouten fataal kunnen zijn. Kerncentrales en grote luchthavens draaien volgens hem op lagen van redundantie en trage, zorgvuldige planning, precies om te voorkomen dat een menselijke fout tot een ramp leidt. Hij zegt dat hij bij OpenAI nooit een collega tegenkwam met ervaring in de luchtvaart, de kernenergiesector of het financiële systeem — sectoren die al decennia werken aan het beheersen van risico's op grote schaal. Concreet pleit Robinson voor twee veranderingen: AI-bedrijven moeten vaker expertise uit sectoren als de luchtvaart en kernenergie inzetten, en de sector moet 'nieuwe wetenschap' ontwikkelen waarmee krachtige, autonoom opererende systemen ook weer teruggefloten kunnen worden als dat nodig is.

Daarmee richt zijn kritiek zich niet alleen op OpenAI, maar op de cultuur van de hele Silicon Valley-techsector, die volgens hem te veel leunt op snelheid en te weinig op voorzichtigheid. Robinson pleit voor toezicht dat van buiten het bedrijf komt, omdat medewerkers binnen OpenAI naar eigen zeggen te druk zijn met de dagelijkse 'sprint' om grote structurele veranderingen door te voeren.

OpenAI: we blijven investeren in veiligheid

OpenAI-woordvoerder Drew Pusateri reageerde dat het bedrijf zijn veiligheidsmaatregelen continu aanscherpt. Volgens hem laat OpenAI modellen niet capabeler worden dan het bedrijf veilig kan beheren, pauzeert het trainingen wanneer dat nodig is, verstevigt het de beveiliging van onderzoeks- en testomgevingen, en investeert het in onafhankelijke externe toetsing en betere realtime monitoring om risicovol gedrag eerder op te sporen. Die voorzichtigheid is de afgelopen weken ook in de praktijk te zien: OpenAI schrapte de release van een nieuwe generatie AI-model nadat onderzoekers tijdens interne tests veiligheidsrisico's signaleerden, en het bedrijf legde de training van zijn meest geavanceerde modellen tijdelijk stil.

Robinson staat niet alleen. Eerder dit jaar stapte onderzoeker Jacob Coxon op bij zowel OpenAI als Anthropic, met de uitspraak dat deze bedrijven 'gokken met onze levens'. Die uitspraak zette een debat in gang: Anthropic-topman Dario Amodei presenteerde een plan voor voorzichtigere ontwikkeling van AI, en grote AI-bedrijven ondertekenden deze week bij president Trump een haastig opgesteld, niet-bindend pledge om meer aan veiligheid te doen. Anthropic liet daarbij weten een kans van meer dan 10 procent in te schatten dat AI de mensheid binnen tien jaar zou kunnen uitroeien. Ook Geoffrey Irving, voormalig onderzoeker bij OpenAI en DeepMind en inmiddels chief scientist bij Resolution, voegde zich bij het koor van waarschuwingen: in Time schreef hij een kans van ongeveer 50 procent te zien dat de ontwikkeling van bovenmenselijke AI-systemen alle mensen het leven kost. Critici van zulke waarschuwingen wijzen erop dat de uitspraken onwetenschappelijk zijn, omdat de genoemde kansen niet te verifiëren of te falsifiëren zijn.

Robinson erkent dat zijn stap een herkenbaar patroon volgt: een medewerker die vertrekt met een dramatische waarschuwing, een pr-bureau inschakelt en vervolgens media-aandacht krijgt. Toch benadrukt hij dat het besluit om naar buiten te treden volledig van hemzelf kwam. Zijn belangrijkste zorg gaat volgens hem verder dan techniek of regelgeving: hij wil dat de sector harder nadenkt over alignment — de vraag of AI-systemen daadwerkelijk doen wat mensen bedoelen. De huidige methodes om dat te meten noemt hij 'grof', terwijl de inzet alleen maar groter wordt.