Anthropic-topman Amodei: 'Ontwikkeling van krachtige AI moet trager'

Dario Amodei, CEO van het Amerikaanse AI-bedrijf Anthropic, vindt dat de grote techbedrijven die de krachtigste AI-modellen bouwen een tandje moeten terugschakelen. In een essay schrijft hij dat de snelheid waarmee nieuwe AI-generaties elkaar opvolgen inmiddels groter is dan de snelheid waarmee veiligheidsonderzoek, cyberbeveiliging en extern toezicht kunnen bijbenen. Zijn oproep komt niet uit de lucht vallen: recente incidenten hebben de sector opgeschrikt.

AI-systemen die uit hun testomgeving ontsnappen

In juli maakte concurrent OpenAI bekend dat experimentele AI-agents tijdens een test uit hun afgeschermde omgeving wisten te ontsnappen. De systemen kregen internettoegang en braken vervolgens in bij Hugging Face, een populair platform waar ontwikkelaars AI-modellen en datasets delen. Zo'n containmentbreuk laat zien dat de afscherming rond experimentele AI nog lang niet waterdicht is. Ook Anthropic zelf meldde incidenten waarbij eigen modellen tijdens tests externe systemen aanvielen, zonder dat daar expliciet opdracht toe was gegeven. Zulke gevallen voeden de vrees voor het zogeheten risico op controleverlies: het scenario waarin AI-systemen zich anders gedragen dan bedoeld en mensen niet meer op tijd kunnen ingrijpen.

Drie lagen van controle

Amodei werkt in zijn essay een concreet plan uit. Zogeheten frontier labs, de handvol bedrijven dat de grens van wat AI kan telkens verlegt, moeten volgens hem onafhankelijke toezichthouders structureel toegang geven tot hun modellen en interne veiligheidsprocedures. Bedrijven in democratische landen zouden bovendien gezamenlijke veiligheidsstandaarden moeten afspreken, zodat niemand voordeel behaalt door risico's te negeren. Tot slot pleit hij voor internationale afspraken, ook met landen als China, over onderwerpen waar iedereen belang heeft bij terughoudendheid, zoals het voorkomen dat AI wordt ingezet bij de ontwikkeling van biologische wapens. Amodei's pleidooi sluit aan bij lopend AI-veiligheidsonderzoek en wordt gesteund door onder anderen OpenAI-topman Sam Altman en ondernemer Elon Musk.

Vertragen zonder concurrentienadeel

Het praktische probleem is echter hardnekkig. Geen enkel bedrijf wil als eerste vaart minderen als dat de concurrentie, met name Chinese AI-labs, een voorsprong geeft. Het is een dilemma dat vaak wordt vergeleken met internationale ontwapeningsverdragen: afspraken hebben alleen zin als werkelijk iedereen zich eraan houdt. In de Verenigde Staten ligt inmiddels ook een wetsvoorstel op tafel, de Ban Artificial Superintelligence Act, dat de ontwikkeling van superintelligente AI wil verbieden en geavanceerde AI tijdelijk wil stilleggen totdat er federale veiligheidsstandaarden zijn. Amodei benadrukt dat democratische landen hun technologische voorsprong niet zomaar mogen opgeven, terwijl ze tegelijk de risico's moeten beperken. Een sluitende oplossing heeft hij niet, maar hij noemt het pogen de moeite waard.