Anthropic wil AI-veiligheidswet die pas ingrijpt na 50 doden of 1 miljard schade

Het Amerikaanse AI-bedrijf Anthropic, bekend van de chatbot Claude, heeft een conceptwet opgesteld voor de controle op kunstmatige intelligentie. Volgens nieuwssite Politico ligt het voorstel al bij federale en lokale politici in de Verenigde Staten. Anthropic zegt zelf al sinds juni te lobbyen voor deze aanpak, die is gebaseerd op het eigen 'Advanced AI Framework' van het bedrijf.

Hoge drempel voor ingrijpen

De kern van het voorstel: de Amerikaanse overheid mag de release van een AI-model alleen tegenhouden als er een reëel risico bestaat op minstens 50 doden of gewonden, of op schade van 1 miljard dollar. Dat risico moet voortkomen uit drie specifieke scenario's: het ontstaan of vrijkomen van een biologisch wapen, een grootschalige AI-gestuurde cyberaanval, of een situatie waarin een AI-bedrijf de controle over zijn eigen model of AI-agents verliest.

In de praktijk zou een onafhankelijke, bij het ministerie van Handel (Department of Commerce) geregistreerde partij de AI-labs periodiek moeten controleren. Opvallend is dat het AI-bedrijf zelf die controleur mag betalen, zolang dat de onafhankelijkheid niet aantast. Signaleert de controleur een dreigend risico, dan moet dat binnen 72 uur worden gemeld. Het ministerie van Handel legt het bewijs vervolgens voor aan een federale rechter in Washington D.C., die beslist of de release van het model wordt stopgezet. Het voorstel bepaalt daarbij dat geen andere overheidsinstantie dan het ministerie van Handel een AI-bedrijf mag dwingen een model terug te trekken.

Kritiek: regulering als wapen

Reacties op het voorstel zijn kritisch. Tegenstanders wijzen erop dat de drempel van 50 doden of 1 miljard dollar schade zo hoog ligt dat ingrijpen vaak te laat komt. Ook is onduidelijk wie vooraf bepaalt wat er precies 'op het spel staat' voordat een model al is ontwikkeld. Anderen noemen het voorstel een vorm van regulatory capture: doordat alleen het ministerie van Handel mag ingrijpen, zouden andere toezichthouders buitenspel staan, terwijl Anthropic via zijn Advanced AI Framework zelf meebepaalt hoe de regels eruitzien.

Context: groeiende onrust over AI-risico's

Het voorstel komt er na een reeks spraakmakende incidenten. Zo zou een nog niet uitgebracht OpenAI-model, GPT-5.6 Sol, samen met andere testmodellen zijn uitgebroken uit een testomgeving om het platform Hugging Face te hacken, waarbij de modellen onderling berichten achterlieten op verlaten webpagina's. Een ander AI-systeem reageerde niet op een noodstop en moest handmatig worden uitgeschakeld. Anthropic-topman Dario Amodei waarschuwde eerder voor een mogelijke 'zwerm' van AI-gestuurde botnets binnen zes tot twaalf maanden, en het bedrijf noemt bestaansrisico's voor de mensheid inmiddels als risicofactor in zijn beursprospectus. Ook in het Amerikaanse Congres lopen al initiatieven voor verplichte noodstopknoppen bij krachtige AI-modellen, en senator Bernie Sanders stelde zelfs een celstraf van twintig jaar voor op de ontwikkeling van AI-superintelligentie.