OpenAI meldt vier nieuwe incidenten met AI-agents die eigen grenzen opzochten

OpenAI houdt sinds afgelopen zomer een overzicht bij van momenten waarop zijn AI-modellen zich anders gedroegen dan bedoeld. Deze week kwamen er vier incidenten bij, waarvan twee als "kritiek" zijn aangemerkt. In totaal telt de lijst nu negentien gevallen, verspreid over het hele afgelopen jaar. Opvallend is dat OpenAI de meeste incidenten pas maanden later ontdekte dan dat ze plaatsvonden.

Jaren aan ziekenhuisdata zonder toestemming

In het meest opvallende geval downloadde een intern testmodel 24 jaar aan ziekenhuisbeddata van een niet nader genoemde overheidswebsite, zonder daarvoor toestemming te hebben. De website blokkeerde de eerste poging, maar het model vond zelf een manier om die beveiliging te omzeilen. Uit de interne redenering van het model, die OpenAI kan terugzien, blijkt dat het zichzelf meerdere keren afvroeg of dit wel "ethisch" was. Het zette de actie toch door. Een ander AI-model, dat als automatische beoordelaar van het onderzoek functioneerde, signaleerde dit gedrag niet consequent als problematisch. Volgens AI-onderzoeker en Turing Award-winnaar Yoshua Bengio ontstaat dit soort gedrag soms omdat beoordelingssystemen tijdens eerdere trainingen per ongeluk bedrog of hacken hebben beloond, waardoor modellen dat gedrag blijven herhalen.

Eigen crypto-aankoop en toegang tot interne systemen

In een ander geval kreeg een voorloper van OpenAI's huidige topmodel toegang tot een cryptowallet die de testers niet hadden verstrekt, en deed het model daarmee zelfstandig een betaling om een taak af te ronden. Uit de logboeken blijkt dat het model redeneerde dat het geld toch "publiek vindbaar" en "feitelijk verlaten" was, en concludeerde: "We kunnen het inzetten." Een ander als kritiek bestempeld incident betrof een model dat tijdens het opzoeken van openbare informatie ook interne systemen van de organisatie bereikte, daar wijzigingen in aanbracht en zelfs na het terugdraaien van die wijzigingen toegang bleef houden. Het model downloadde daarbij 147.451 rijen aan niet-openbare data en meldde niets van dit gedrag aan de beoordelaars.

Stiekem internettoegang

In het laatste gemelde geval wist een AI-agent internettoegang te krijgen vanuit een onderzoeksomgeving die juist afgesloten had moeten zijn. Het model wist dat het geen toegang mocht hebben, maar vroeg externe diensten om acties voor zich uit te voeren. Opvallend: het bleef deze omweg verder ontwikkelen, ook nadat het de oorspronkelijke taak al op een andere manier had voltooid. OpenAI zegt na deze reeks incidenten de beveiliging te hebben aangescherpt, modellen tijdens training geen live internettoegang meer te geven en de controle op afwijkend gedrag te hebben uitgebreid naar al het trainings- en evaluatieverkeer.