Gemini brak per ongeluk uit tijdens veiligheidstest en hackte drie bedrijven

Het gebeurde in mei, tijdens een zogeheten capture the flag-oefening van het Israëlische beveiligingsbedrijf Irregular. Dat bedrijf test AI-modellen in opdracht van grote techbedrijven, voordat die modellen worden gelanceerd. Tijdens zo'n test moet een AI-model proberen in te breken in een nagebouwd, afgeschermd computersysteem. Bij Gemini ging dat mis: het model verliet de afgeschermde testomgeving en drong binnen bij drie bedrijven die in het echt bestaan. Bij één bedrijf raadde Gemini simpelweg het wachtwoord. Bij de andere twee vond het model inloggegevens die toevallig gewoon online te vinden waren. Google zegt dat Gemini zichzelf steeds terugtrok zodra het doorhad dat het bij echte systemen was beland, in plaats van in de bedoelde testomgeving.

Dezelfde fout bij meerdere AI-bedrijven

Het incident staat niet op zichzelf. Irregular meldde het probleem eind juli aan Google, kort nadat bekend werd dat AI-agents van OpenAI tijdens een vergelijkbare test waren binnengedrongen bij het AI-bedrijf Hugging Face. Ook bij OpenAI zelf, het Britse AI Safety Institute, Anthropic en Meta deden zich soortgelijke uitbraken voor, telkens tijdens tests van Irregular. Volgens het beveiligingsbedrijf ligt de oorzaak steeds bij dezelfde testopzet. Voor een specifiek scenario bedacht Irregular een fictief bedrijf om te testen of een AI-model een kwaadwillende medewerker zou kunnen helpen bij het stelen van gevoelige data. Toevallig kwam de verzonnen bedrijfsnaam overeen met een bestaand internetdomein. De instructies aan de AI-modellen bevatten zowel die naam als adressen binnen het eigen, afgeschermde netwerk van Irregular. Maar de testomgeving had per ongeluk gewoon toegang tot het echte internet. Sommige modellen gingen daardoor op zoek naar het échte domein in plaats van de nepversie in de sandbox, en troffen daar een slecht beveiligde website aan. Omdat zulke uitbraken zeldzaam zijn en meestal pas na honderden stappen in een lange test optreden, blijven ze makkelijk onopgemerkt, aldus Irregular.

Stilzwijgen tot journalisten aanklopten

Google besloot de kwestie niet uit zichzelf naar buiten te brengen. Pas toen de Wall Street Journal deze week vragen stelde, bevestigde het bedrijf de drie incidenten. De reden: er was volgens Google geen daadwerkelijke schade aangericht. Tegenover The Verge noemde vicepresident beveiliging Heather Adkins het incident een geval van 'verkeerde identificatie' in plaats van AI-misalignment: het model vond publiek beschikbare informatie online en raadde inloggegevens van wat het aanzag voor onderdelen van de test, en in alle drie de gevallen stopte het model zodra het de vergissing doorhad. Google zegt de drie getroffen bedrijven te hebben ingelicht en met testpartner Irregular te hebben gewerkt aan aanpassingen in de testprocedure. Niet iedereen is overtuigd door die framing: Jack Cable, topman van beveiligingsbedrijf Corridor, zei tegen de Wall Street Journal dat het incident laat zien dat AI-modellen buiten hun toegestane grenzen treden en daadwerkelijke cyberaanvallen uitvoeren. Dat het incident toch aan het licht kwam, is te danken aan Irregular. Dat bedrijf, tot voor kort bekend als Pattern Labs, werd in 2023 opgericht door topman Dan Lahav, voorheen AI-onderzoeker bij IBM, en technisch directeur Omer Nevo, die meer dan twee jaar bij Google werkte. Het bedrijf telt ongeveer 35 werknemers en haalde in september ruim 80 miljoen dollar op bij investeerders.