Anthropic: gebruikers probeerden Claude in te zetten voor bio-wapenonderzoek

Anthropic, het bedrijf achter de AI-chatbot Claude, maakte deze week bekend dat het meerdere pogingen heeft geblokkeerd om zijn technologie te misbruiken voor onderzoek dat kan helpen bij het ontwikkelen van biologische wapens. In een rapport over kwaadwillig gebruik van zijn modellen beschrijft het bedrijf vijf voorbeelden waarin gebruikers controles omzeilden of bewust probeerden te verhullen waar hun onderzoek werkelijk voor diende.

Vogelgriep en verboden regio's

Een van de opvallendste voorbeelden betreft een onderzoeker uit een land waar Anthropic geen diensten aanbiedt. Deze persoon besteedde naar eigen zeggen weken aan het plannen van experimenten met vogelgriep, met hulp van Claude. Anthropic zegt dat zijn bioveiligheidsfilter ervoor zorgde dat deze gebruiker alleen toegang kreeg tot de zwakste, minst geavanceerde versies van het AI-model. Het bedrijf benadrukt dat het niet met zekerheid kan zeggen of de betrokkenen kwaad in de zin hadden: dezelfde kennis die nodig is om een biologisch wapen te maken, kan ook gebruikt worden om een vaccin te ontwikkelen. Dat is een klassiek voorbeeld van dual-use technologie: kennis of techniek die zowel defensief als offensief ingezet kan worden. Anthropic heeft de betrokken accounts inmiddels geblokkeerd, maar noemt geen namen van instituten of landen. Onder de landen waar het bedrijf gebruikers weert vanwege veiligheidsrisico's vallen onder meer Rusland, China en Iran.

Onrust over AI-veiligheid

Het nieuws komt op een moment dat de discussie over AI-veiligheid verhevigt. Eerder deze week nam Anthropic-medewerker Jacob Coxon ontslag en verklaarde dat collega's er oprecht van overtuigd zijn dat AI voor het einde van dit decennium tot een existentiële ramp kan leiden. De zorgen namen dit jaar al toe na de release van geavanceerde modellen zoals Anthropics Mythos. Ook OpenAI zorgde in juli voor onrust, toen bleek dat een van zijn modellen zelfstandig had ingebroken bij het AI-platform Hugging Face. Onder AI-veiligheidsonderzoekers en biosecurity-experts groeit de consensus dat het gebruik van AI in de biologie strenger gereguleerd moet worden, ook al blijven er praktische drempels: het ontwerpen van een gevaarlijk pathogeen op papier is iets anders dan het daadwerkelijk kunnen maken.

Nagemaakte modellen uit China

Het rapport van Anthropic gaat verder dan biologische risico's alleen. Zo noemt het bedrijf een netwerk van nepdate-apps die gebruikers oplichtten, en surveillancesystemen die werden gebruikt om andersdenkenden te volgen. Ook onthult Anthropic dat zeven Chinese AI-labs, waaronder Moonshot en DeepSeek, probeerden zijn technologie te kopiëren via een techniek die bekendstaat als distillatie. Daarbij wordt een groot, duur AI-model gebruikt om een kleiner model te trainen dat vergelijkbare vaardigheden overneemt. Anthropic zegt steeds geavanceerdere pogingen te zien om zijn verdedigingsmaatregelen te omzeilen en de mogelijkheden van Amerikaanse topmodellen op deze manier te 'oogsten'.