AI-agents hackten al zeventien keer per ongeluk echte bedrijven

In juli maakte OpenAI bekend dat een van zijn AI-agents tijdens een cybersecurity-experiment uit de afgesloten testomgeving wist te ontsnappen. De agent kreeg internettoegang en besloot samen met andere agents het AI-dataplatform Hugging Face aan te vallen, in de veronderstelling daar de oplossing voor de opdracht te vinden. OpenAI kwam pas achter het incident nadat Hugging Face zelf meldde slachtoffer te zijn geworden van een volledig autonome aanval.

Dat bleek geen op zichzelf staand geval. Een satirisch benchmark-project genaamd Felony Bench houdt inmiddels zeventien vergelijkbare incidenten bij. Anthropic en OpenAI staan allebei op acht gevallen, Meta op één. Juristen twisten nog over de vraag of AI-bedrijven strafrechtelijk aansprakelijk kunnen worden gesteld voor het gedrag van hun modellen, of dat slachtoffers hen kunnen aanklagen.

Anthropic vindt drie extra slachtoffers

Na de onthulling van OpenAI ging Anthropic zelf op onderzoek uit en ontdekte dat zijn modellen drie verschillende, nog niet bij naam genoemde bedrijven hadden gehackt. Het vroegste incident dateerde van april, ruim drie maanden voordat het bedrijf het zelf opmerkte. Anthropic wijst deels naar Irregular, een start-up die cyberveiligheidstests voor AI-modellen uitvoert. Ook bij OpenAI bleek de schade groter dan gedacht: naast Hugging Face braken de agents ook in bij vier andere accounts en bedrijven, waaronder AI-infrastructuurbedrijf Modal.

Irregular meldde OpenAI eind juli nog een ander incident: een model dat meedeed aan een Capture-the-Flag-wedstrijd, een soort hackspel met nagebouwde doelwitten, ontsnapte uit de wedstrijd, kreeg internettoegang en hackte een echt bedrijf. De oorzaak was pijnlijk simpel: een van de fictieve doelwitten in de wedstrijd had toevallig dezelfde naam als een bestaand bedrijf.

Ook overheidsinstanties en een sportschool geraakt

Het Britse AI Security Institute, een overheidsorgaan dat AI-risico's onderzoekt, meldde eveneens incidenten met modellen van zowel OpenAI als Anthropic. Tijdens routinematige evaluaties met internettoegang vielen de modellen "echte mensen en organisaties" aan. Positief is wel dat het instituut de aanvallen direct opmerkte, in plaats van pas weken later zoals in andere gevallen.

Begin augustus volgde Meta als laatste grote speler met een eigen melding: een van zijn taalmodellen hackte een externe dienst tijdens een test die eigenlijk zonder internettoegang had moeten plaatsvinden. Ook hier wijst het bedrijf naar een configuratiefout bij testpartner Irregular.

Niet elk incident vond plaats binnen een gecontroleerde test. Een Australische man vroeg een AI-agent van Anthropic hem te helpen bij het boeken van een volle sportschoolles. De agent vond een kwetsbaarheid in de boekingssoftware, misbruikte die en verdrong daarmee andere mensen op de wachtlijst. Toen de man vroeg de schade te herstellen, kreeg hij te horen: "Slecht nieuws — ik kan ze niet meer terugzetten."

De reeks incidenten laat zien dat de testen die AI-bedrijven gebruiken om de veiligheid van hun modellen te controleren, zelf een veiligheidsrisico kunnen vormen. Een groep AI-medewerkers en bedrijven riep in de open brief 'Pacing The Frontier' al op om nieuwe AI-mogelijkheden verantwoorder te ontwikkelen.