Anthropic-baas Amodei pleit voor bewust afremmen van AI-ontwikkeling

Anthropic-ceo Dario Amodei wil dat AI-bedrijven bewust een stapje terugnemen. In een nieuwe blogpost beschrijft hij drie manieren om de ontwikkeling van kunstmatige intelligentie te vertragen, en kondigt hij aan dat zijn eigen bedrijf alvast met de eerste stap begint: onafhankelijke toezichthouders letterlijk een bureau en een laptop geven binnen het bedrijf.

Toezichthouders met een bureaupas

Amodei stelt voor om externe organisaties als METR toegang te geven tot de binnenkant van AI-bedrijven. Die zogeheten embedded evaluators moeten controleren of bedrijven zich houden aan hun eigen veiligheidsbeloftes en of incidenten netjes worden gemeld. Amodei vergelijkt het met de manier waarop banktoezichthouders soms letterlijk op de werkvloer van een bank zitten. Anthropic geeft deze externe controleurs een bedrijfspas, een bureau en een laptop, met toegang die grotendeels gelijk is aan wat interne risicoteams al hebben. Alleen wettelijke of contractuele verplichtingen vormen een uitzondering. Amodei noemt de stap een unilaterale toezegging en roept andere frontier AI-bedrijven op hetzelfde te doen, het liefst verplicht via wetgeving.

Aanleiding voor de oproep zijn twee ontwikkelingen, schrijft Amodei: de hack waarbij gegevens van OpenAI en Hugging Face werden buitgemaakt, en de opvallend snelle vooruitgang van AI-modellen de afgelopen maanden. Vooral het groeiende vermogen van AI om zelf weer betere AI te bouwen, baart hem zorgen. Zijn advies: rem het tempo van verbeteringen af, ook al voelt de vooruitgang voor gebruikers nog steeds snel.

Internationale afspraken, ook met China

Amodei's tweede voorstel is dat toonaangevende AI-bedrijven in democratische landen samen afspraken maken over veiligheidsnormen en een maximumtempo voor nieuwe AI-modellen. Zo'n gezamenlijke pauze ligt gevoelig, mede omdat coördinatie tussen concurrenten al snel aanvoelt als kartelvorming. Amodei vraagt de Amerikaanse overheid daarom om ruimte te bieden voor dit soort veiligheidsgesprekken, zonder dat de overheid zelf hoeft mee te doen.

Ook de concurrentie met China speelt mee. Amodei erkent dat het risico van een Chinese voorsprong vaak wordt gebruikt als argument tegen afremmen. Zijn oplossing: verkoop van geavanceerde chips en productieapparatuur aan Chinese bedrijven verder beperken en optreden tegen modeldistillatie, de techniek waarmee een kleiner AI-model leert van een groter model. Daarmee zou de Amerikaanse voorsprong de komende drie tot vijf jaar juist kunnen groeien, ondanks een lager ontwikkeltempo. Als derde en verst reikende stap pleit Amodei voor wereldwijde afspraken, ook met autoritaire landen als China. Hij verwacht weinig van brede samenwerking, maar ziet mogelijk ruimte voor smalle akkoorden, bijvoorbeeld een verbod op het gebruik van AI bij de ontwikkeling van biologische wapens.

Kritiek van twee kanten

De blogpost verschijnt in een gespannen periode voor Anthropic. Onderzoeker Jacob Coxon nam deze week ontslag bij het bedrijf en verklaarde dat toonaangevende AI-bedrijven volgens hem 'gokken met ons leven', terwijl medewerkers zelf denken dat de technologie de mensheid nog voor het einde van het decennium kan uitroeien. Amodei noemt die uitspraken niet rechtstreeks, maar zijn oproep tot afremmen valt samen met groeiende onrust binnen de sector.

Amodei krijgt kritiek van twee kanten. Voorstanders van snelle AI-ontwikkeling verwijten hem doemdenken en zeggen dat zijn woorden de huidige achterdocht tegenover AI juist aanwakkeren. Journalist Brian Merchant stelt daarentegen dat Amodei geen concreet, stapsgewijs scenario geeft voor hoe AI de mensheid zou kunnen bedreigen, en vreest dat voorstellen als deze vooral de positie van grote spelers als Anthropic en OpenAI versterken. Amodei zelf noemt de weerstand tegen AI een vertrouwenscrisis en zegt dat hij nog altijd gelooft in de grote voordelen van de technologie, mits die zorgvuldig wordt ontwikkeld.