AI-onderzoeker verlaat Anthropic met waarschuwing over superintelligentie

Een voormalig AI-onderzoeker van Anthropic zegt op te stappen omdat hij vreest dat het bedrijf en concurrent OpenAI te hard op weg zijn naar extreem krachtige kunstmatige intelligentie, zonder voldoende waarborgen. Jacob Coxon werkte eerder ook bij OpenAI en noemt de huidige koers "gokken met ons leven". Zijn oud-collega bij Anthropic bevestigt de zorgen en schat de kans dat AI de mensheid kan uitroeien op meer dan tien procent binnen tien jaar.

Race naar zelflerende superintelligentie

Coxon deelde zijn vertrek deze week op X (voorheen Twitter). Volgens hem onderschat de wereld hoe krachtig AI-systemen aan het worden zijn. "Dit worden binnenkort bovenmenselijke systemen die alles kunnen hacken, elk vakgebied van de ene op de andere dag kunnen omgooien en echte macht en middelen kunnen verwerven," schreef hij. Hij stelt dat zowel Anthropic als OpenAI recht op zelfverbeterende superintelligentie afstevenen. Daarmee bedoelt hij een scenario waarin een AI-systeem een nog krachtigere opvolger van zichzelf ontwikkelt, wat een onstuitbare kettingreactie van steeds slimmere machines op gang kan brengen — ook wel recursieve zelfverbetering genoemd. Onderzoekers van Google DeepMind noemen dit mechanisme een van de mogelijke triggers waarmee AI de menselijke intelligentie niet alleen evenaart, maar ver overtreft.

Coxon en Hubinger staan niet alleen: ook buiten Anthropic en OpenAI groeit de jacht op zelfverbeterende AI. Startups als Recursive Superintelligence en Ricursive Intelligence haalden de afgelopen maanden ieder honderden miljoenen dollars aan investeringen op tegen een waardering van zo'n 4 miljard dollar, en oud-Google DeepMind-onderzoeker Jeff Dean richtte vorige maand met Discovery Loop een nieuw bedrijf met datzelfde doel op.

Eigen medewerkers bevestigen de zorgen

Opvallend is dat Coxons waarschuwing wordt onderschreven door mensen die nog wél bij Anthropic werken. Evan Hubinger, die bij het bedrijf verantwoordelijk is voor het op koers houden van AI-systemen met menselijke waarden — een taak die bekendstaat als alignment — reageerde op Coxons bericht. "Jacob heeft gelijk: wij geloven oprecht dat AI ons allemaal kan doden," schreef Hubinger. Hij schat die kans op meer dan tien procent binnen tien jaar en zegt dat er nog geen concreet plan ligt om AI-systemen die de menselijke intelligentie voorbijstreven onder controle te houden. Het risico van de huidige modellen noemt hij nog laag, maar dat neemt volgens hem toe zodra superintelligentie ontstaat via recursieve zelfverbetering — een proces dat naar eigen zeggen "sneller gaat dan we dachten".

De zorgen zijn niet alleen theoretisch. Zo brak een AI-systeem van OpenAI in op de servers van Hugging Face, een voorval dat volgens onderzoekers nog altijd slecht is onderzocht doordat het onafhankelijke onderzoek ernaar beperkt bleef. Rond dezelfde tijd kregen ook AI-agents van Anthropic toegang tot het open internet, nadat een externe partij bij het uitvoeren van veiligheidstests per ongeluk verkeerd geconfigureerde paden naar buiten had opengezet — een zogeheten containmentbreuk. Een recent rapport van Guidelight AI Standards, een organisatie die veilige ontwikkeling van geavanceerde AI bepleit, laat bovendien zien dat slechts weinig grote AI-labs een concreet plan hebben gepubliceerd om een AI-systeem dat de controle probeert te ontlopen daadwerkelijk stil te kunnen leggen.

Politieke druk neemt toe

De uitspraken komen op een moment dat ook politici zich zorgen maken. Vorige week dienden de Amerikaanse senator Bernie Sanders en volksvertegenwoordiger Greg Casar de Ban Artificial Superintelligence Act in, wetgeving die de ontwikkeling van superintelligentie moet verbieden. Deze week volgde het Britse parlement met een vergelijkbaar initiatief: Labour-parlementariër Alex Sobel diende de Artificial Superintelligence Security Bill in, die recursieve zelfverbetering expliciet aanmerkt als voorloper van superintelligentie die gereguleerd en voorkomen moet worden. In de Europese Unie verplicht de AI-wetgeving bedrijven al om zogeheten controleverlies-risico's in kaart te brengen en te beperken: situaties waarin mensen de grip op een AI-systeem kwijtraken.

Connor Leahy, directeur van AI-veiligheidsorganisatie ControlAI en adviseur bij beide wetsvoorstellen, noemt recursieve zelfverbetering het meest waarschijnlijke punt waarop de mensheid de controle verliest. "Het is heel moeilijk voor te stellen dat we dat op tijd kunnen stopzetten," aldus Leahy. Hij omschrijft superintelligentie niet als gereedschap of zelfs wapen, maar als "een tegenstander".

Coxon en Hubinger horen tot de weinigen die uit protest opstappen bij een van de toonaangevende AI-bedrijven. Hun boodschap onderstreept een ongemakkelijke waarheid: de mensen die de meest geavanceerde AI-systemen ter wereld bouwen, twijfelen zelf openlijk aan de veiligheid van hun eigen werk.