Anthropic-onderzoeker: kans van 1 op 10 dat AI alle mensen doodt

Bij AI-bedrijf Anthropic zijn de zenuwen zichtbaar. Onderzoeker Jacob Coxon zegde deze week zijn baan op omdat hij vindt dat Anthropic en concurrenten als OpenAI roekeloos op weg zijn naar superintelligente AI-systemen. Een senior veiligheidsonderzoeker van het bedrijf reageerde met een verontrustende erkenning: hij schat de kans dat AI alle mensen doodt op meer dan 10 procent binnen tien jaar.

Vertrek na kritiek op veiligheidsbeleid

Coxon trainde eerder AI-modellen voor OpenAI en later voor Anthropic. In een bericht op X, waarin hij zijn ontslag aankondigde, beschuldigde hij beide bedrijven ervan te "gokken met ons leven". Volgens hem racen de bedrijven naar systemen die zichzelf kunnen verbeteren, ook wel recursieve zelfverbetering genoemd, terwijl niemand precies weet hoe je zulke systemen onder controle houdt. Coxon stelt dat de mensen die deze technologie bouwen zelf denken dat die AI voor het einde van het decennium de mensheid zou kunnen uitroeien, maar toch doorgaan omdat concurrenten dat ook doen.

Meer dan 1 op de 10 kans

Evan Hubinger, die een van de veiligheidsteams bij Anthropic leidt, reageerde opvallend openhartig op het vertrek van zijn collega. Hij zei dat zelfverbeterende AI "sneller gaat dan we dachten" en bevestigde Coxons sombere inschatting. Hubinger noemde persoonlijk een kans van meer dan 10 procent dat AI alle mensen zou kunnen doden binnen het komende decennium. Dat zo'n uitspraak van een verantwoordelijke voor AI-veiligheid komt, onderstreept hoe serieus het probleem van AI-misalignment inmiddels wordt genomen binnen de sector zelf. Misalignment betekent dat een AI-systeem andere doelen nastreeft dan de mens bedoelde, met potentieel gevaarlijke gevolgen naarmate systemen krachtiger worden.

Race zonder duidelijk plan

Opvallend is dat Hubinger toegeeft dat Anthropic nog geen concreet plan heeft om geavanceerde AI veilig en aangesloten op menselijke waarden te houden, en ook niet zeker weet of het bedrijf op koers ligt om zo'n plan te ontwikkelen. Dat gebrek aan een aanpak voor wat onderzoekers superalignment noemen, staat in schril contrast met het tempo waarin bedrijven zoals Anthropic en OpenAI hun modellen ontwikkelen. Coxon wijt dit aan de concurrentiestrijd: bedrijven zitten volgens hem "gevangen in een race" om als eerste geavanceerde frontier AI te bouwen, en durven daarom niet af te remmen ondanks de risico's.

Het vertrek van Coxon is een van de meest opvallende personeelswissels bij Anthropic tot nu toe. Het bedrijf werd juist opgericht door voormalige OpenAI-medewerkers die zich zorgen maakten over veiligheid bij hun oude werkgever. De discussie speelt zich af terwijl beide bedrijven zich voorbereiden op mogelijke beursgangen en kampen met kritiek over onvoorspelbaar gedrag van AI-modellen en de beperkte mogelijkheden om te controleren wat er in geavanceerde systemen omgaat.