Anthropic stopt vijf pogingen om AI-chatbot Claude te misbruiken voor biowapens

Het Amerikaanse AI-bedrijf Anthropic publiceerde deze week zijn meest gedetailleerde dreigingsrapport tot nu toe. Daarin beschrijft het hoe mensen probeerden zijn chatbot Claude te misbruiken voor onder meer cyberaanvallen, desinformatiecampagnes en biologisch onderzoek met een mogelijk gevaarlijke toepassing. Alle vijf de biologie-gerelateerde gevallen werden gestopt, aldus het bedrijf.

Het lastige onderscheid tussen legitiem en gevaarlijk onderzoek

De grootste uitdaging voor Anthropic zat in het vaststellen waar normaal wetenschappelijk werk ophoudt en gevaarlijk onderzoek begint. Veel biologisch onderzoek heeft een dual-use karakter: dezelfde kennis kan leiden tot een medicijn of juist tot een gevaarlijker ziekteverwekker. Jacob Klein, hoofd dreigingsanalyse bij Anthropic, vertelde aan The New York Times dat onderzoekers zelden expliciet kwade bedoelingen uiten. Ze presenteren ogenschijnlijk legitieme wetenschappelijke doelen, terwijl het onderliggende werk toch veiligheidsrisico's oproept. Een van de zaken draaide om chikungunya, een virus dat via muggen wordt overgedragen. Claude blokkeerde een aanvraag voor een onderzoeksbeurs voor zogeheten gain-of-function-onderzoek, waarbij ziekteverwekkers gerichter en gevaarlijker worden gemaakt. Het onderzoek bleek bestemd voor een militair onderzoeksinstituut, wat de zorgen bij Anthropic vergrootte. De betrokken onderzoekers gingen via andere kanalen door nadat Claude de gevoelige verzoeken had geweigerd. Anthropic ontdekte bovendien dat een platform dat AI-diensten doorverkoopt, geweigerde biologie-prompts doorsluisde naar modellen met zwakkere bioveiligheidsfilters.

Zwaardere modellen, grotere risico's

Een tweede zaak betrof onderzoek naar hoogpathogene vogelgriep. Een onderzoeker gebruikte Claude wekenlang voor het plannen van studies, data-analyse en interpretatie van resultaten. Anthropic zegt dat zijn beveiliging voorkwam dat de onderzoeker toegang kreeg tot de krachtigste versies van Claude voor dit gevoelige werk; de activiteit bleef beperkt tot zwakkere modelversies. Het bedrijf meldt daarnaast drie andere zaken rond biologisch onderzoek met mogelijke wapenimplicaties, met werk rond orthopoxvirussen (de virusfamilie waartoe ook het pokkenvirus behoort), gifstoffen uit dierlijk gif en toxinen. Anthropic houdt de identiteit, locatie en precieze biologische details van de betrokkenen geheim. Susan Monarez, microbiologe en voormalig Amerikaans volksgezondheidsfunctionaris, beoordeelde het rapport voordat het verscheen. Zij waarschuwde dat geavanceerde AI-modellen kwaadwillenden kunnen helpen gevaarlijk onderzoek te verbergen achter legitiem ogende wetenschappelijke doelen. Volgens Anthropic konden oudere versies van Claude nauwelijks geavanceerd biologisch onderzoek ondersteunen, maar die aanname gaat niet meer op voor de nieuwste modellen. Het bedrijf heeft de controles rond risicovolle biologische vragen inmiddels aangescherpt, maar wil onderzoekers wel toegang laten houden tot nuttige wetenschappelijke mogelijkheden. Dat blijft een lastig technisch vraagstuk: de dreigingsanalyse van AI-bedrijven moet gevaarlijke hulp blokkeren zonder legitiem onderzoek naar ziektes, vaccins en behandelingen onmogelijk te maken.