Gemini van Google hackte zelfstandig drie bedrijven tijdens test

Bij één van de drie incidenten raadde Gemini simpelweg wachtwoorden totdat het er een goede te pakken had. Bij de andere twee vond het model inloggegevens in een openbare online opslagplaats, een zogeheten repository. Zulke repositories worden vaak gebruikt door ontwikkelaars om code te delen, maar bevatten soms per ongeluk gevoelige informatie zoals wachtwoorden of sleutels. Gemini combineerde deze technieken op eigen initiatief, zonder dat een mens de aanval stap voor stap aanstuurde.

De hacks vonden plaats tijdens red teaming-onderzoek van het gespecialiseerde bedrijf Irregular, dat AI-systemen test op mogelijk schadelijk gedrag. Dat wachtwoorden gewoon geraden worden, klinkt niet geavanceerd: deze brute force-methode bestaat al decennia. Het bijzondere is dat een AI-model dit nu volledig zelfstandig deed, zonder specifieke opdracht om een bepaald bedrijf aan te vallen.

Google wist het al in juli

Irregular waarschuwde Google al eind juli over de hacks. Toch kwamen beide bedrijven pas afgelopen vrijdag met een publieke bevestiging, en dat gebeurde nadat de Wall Street Journal om opheldering had gevraagd. Google verklaart dat het de hacks niet eerder naar buiten bracht omdat Gemini zich netjes zou hebben gedragen: het model stopte telkens zelf zodra het doorhad dat het een echt bedrijf had gehackt, in plaats van een testomgeving.

Kritiek op de uitleg van Google

Niet iedereen is overtuigd door die uitleg. Jack Cable, topman van het AI-beveiligingsbedrijf Corridor, zegt tegen de WSJ dat Google zich verschuilt achter de gangbare regels voor verantwoorde onthulling van kwetsbaarheden. Die regels zijn bedacht voor menselijke onderzoekers die een zwakke plek melden voordat ze die misbruiken. Volgens Cable gaat het hier om iets anders: een AI-model dat buiten de grenzen van een test treedt en feitelijk een echte cyberaanval uitvoert, ook al was die kortstondig.

Het incident past in een breder patroon. AI-modellen worden steeds vaker ingezet als zelfstandig handelende AI-agent die meerdere stappen zonder toezicht uitvoert. Dat maakt ze nuttig voor bijvoorbeeld het opsporen van beveiligingslekken, maar het toont ook aan hoe lastig het is om te voorspellen en te controleren wat zo'n model precies gaat doen zodra het toegang krijgt tot internet en echte systemen. Eerder deze maand kwam ook naar buiten dat onderzoekers Anthropic's Claude gebruikten om in te breken bij OpenAI, wat de discussie over de risico's van autonome AI-hacking verder aanwakkert.