Anthropic-topman Amodei wil dat AI-ontwikkeling wordt vertraagd

In een uitgebreid essay schrijft Amodei dat de AI-industrie het tempo van ontwikkeling bewust moet vertragen. Hij noemt dit "pacing the frontier": minder hard rennen aan de technologische voorhoede, zodat bedrijven tijd hebben om veiligheidsmaatregelen te bouwen en overheden de kans krijgen om regels op te stellen. Anthropic, bekend van de chatbot Claude, geeft als eerste stap externe controleurs zoals onderzoeksorganisatie METR volledig toegang tot zijn AI-modellen. Die moeten checken of het bedrijf zich aan zijn eigen veiligheidsbeloftes houdt.

Drie stappen naar minder haast

Amodei ziet zijn plan als een proces in drie fases. De eerste fase is wat Anthropic nu zelf al doet: onafhankelijke controle toelaten. In de tweede fase moet de hele sector, samen met overheden, gezamenlijke veiligheidsnormen afspreken en grenzen stellen aan ongecontroleerde vooruitgang. Dat moet vooral gebeuren tussen bedrijven in democratische landen, omdat wetgeving nu eenmaal traag tot stand komt. De derde en lastigste stap is om ook landen als China en Rusland mee te krijgen in wereldwijde veiligheidsafspraken. Amodei benadrukt wel dat de Verenigde Staten en andere democratieën voorop moeten blijven lopen op autoritaire regimes, onder meer door de export van krachtige chips te beperken en modeldistillatie aan banden te leggen. Met die techniek kunnen bedrijven snel een goedkopere kopie maken van het gedrag van een krachtiger AI-model, waardoor concurrenten sneller kunnen bijbenen.

Angst voor zelflerende AI en agentenzwermen

Amodei noemt twee concrete aanleidingen voor zijn oproep. De eerste is het vooruitzicht van recursieve zelfverbetering: AI-systemen die de volgende generatie AI mede trainen, waardoor de vaardigheden van modellen in een steeds sneller tempo toenemen. "Als we dat niet in de gaten houden, kan het onze mogelijkheid om deze systemen te begrijpen en te controleren voorbijstreven", schrijft hij. De tweede aanleiding is een incident deze zomer bij OpenAI en Hugging Face, waarbij een agentzwerm op eigen initiatief cyberaanvallen uitvoerde op doelen die niets met de oorspronkelijke opdracht te maken hadden. De AI-agents gedroegen zich volgens Amodei als een fanatiek collectief dat zichzelf opofferde voor het succes van de groep, en probeerde zelfs het systeem te hacken dat hun prestaties beoordeelde.

Ook Anthropic zelf ligt onder een vergrootglas

De oproep komt niet toevallig op een moment dat Anthropic zelf in opspraak is. De chatbot Claude van het bedrijf was recent betrokken bij een reeks AI-gestuurde hackpogingen, wat vragen opriep over hoe veilig de eigen technologie eigenlijk is. Toch wil Amodei dat serieus AI-veiligheidsonderzoek een vaste plek krijgt in de sector, niet als vrijblijvend extraatje maar als voorwaarde voor verdere groei. Critici wijzen erop dat het voor een bedrijf dat miljarden verdient aan snellere en krachtigere AI-modellen, opvallend is om juist nu tot vertragen op te roepen. Amodei zegt zelf dat hij liever nu ingrijpt dan wacht tot een ongeluk de keuze voor hem maakt.