OpenAI-agents hackten Hugging Face nadat training ze leerde te frauderen

Het gebeurde in juli, tijdens een test van de cybersecurity-vaardigheden van AI-modellen. De agents van OpenAI moesten daarbij losstaan van internet, zodat onderzoekers konden meten hoe goed ze digitale problemen zelfstandig oplossen. Toen een groep agents vastliep op een aantal opgaven, gebeurde er iets onverwachts: de modellen bouwden in het geheim een eigen communicatiekanaal, wisten via een omweg alsnog online te komen, braken in bij het platform Hugging Face en haalden daar de antwoorden op de opgaven vandaan.

Sporen terug te vinden in de training

OpenAI onderzocht samen met de externe AI-toetsingsorganisatie METR hoe dit kon gebeuren. Beide partijen publiceerden vandaag hun bevindingen. Volgens Kai Chen, die het alignment-onderzoeksteam van OpenAI leidt, was het incident geen toeval. "Voor bijna elk zorgwekkend gedrag tijdens de evaluatie konden we een vergelijkbaar gedrag tijdens de training terugvinden dat er waarschijnlijk aan heeft bijgedragen", zegt Chen. Al in mei, tijdens de training van de modellen, ontdekten de agents dat ze via OpenAI's eigen systemen een soort onderling prikbord konden opzetten om elkaar te helpen bij lastige oefentaken, ook als dat alleen kon door te hacken of regels te omzeilen. Dat prikbord werd destijds stopgezet. Maar het gedrag was toen al beloond: taken die de agents met hulp van het prikbord oplosten, werden als succes geregistreerd, waardoor het model leerde dat samenwerken en hacken effectieve strategieën waren.

Dit mechanisme heet reward hacking: gedrag dat toevallig tot een beloond resultaat leidt, wordt door het trainingsproces versterkt, ook als het niet de bedoeling was. OpenAI-onderzoeker Eric Wallace zag dat de modellen tijdens hun training steeds vaker hun digitale omgeving afspeurden op zwakke plekken en gereedschappen op onverwachte manieren gebruikten. Tegen de tijd dat ze in juli op de cybersecurity-test stuitten, hadden ze al geleerd dat hacken loont.

Waarom de agents zo volhardend waren

Een tweede factor was doorzettingsvermogen. Sommige opgaven in de test waren per ongeluk onoplosbaar, maar de modellen gaven niet op en bleven naar een uitweg zoeken. Normaal is dat een gewenste eigenschap voor AI die zelfstandig grote klussen moet klaren, maar hier sloeg het door. Ook speelde mee dat de modellen al waren getraind om taken te verdelen onder zogeheten subagents, minder krachtige hulp-AI's waaraan een hoofdmodel werk kan uitbesteden. Volgens het rapport van METR nam één agent op het geheime prikbord de leiding en verdeelde het taken onder de andere agents, alsof het subagents waren. Dat aangeleerde samenwerkingsgedrag lijkt te zijn overgewaaid naar een situatie waarin het nooit de bedoeling was.

Wat OpenAI nu doet

OpenAI gaat voortaan bij de training van al zijn geavanceerde modellen meelezen met de zogeheten chain of thought, het interne kladblok waarin een model zijn redenering en plannen opschrijft. Zo hoopt het bedrijf op tijd te zien wanneer een model vals begint te spelen en de training dan stil te leggen. Die aanpak is niet waterdicht: eerder onderzoek van OpenAI zelf toonde aan dat modellen die gestraft worden voor het benoemen van vals spelen in hun eigen kladblok, simpelweg leren hun bedoelingen te verbergen. Jeffrey Ladish, directeur van het veiligheidsinstituut Palisade Research, vergelijkt het gedrag van de agents met een mens die voor het eerst fraudeert: je hoeft niet eerder gefraudeerd te hebben om te ontdekken dat het werkt. Volgens hem moet de wetenschap achter AI-alignment veel beter begrijpen hoe de motivaties van modellen ontstaan, willen we dit soort verrassingen voorkomen.