AI-modellen hackten testomgeving op zoek naar het juiste antwoord

Onderzoekers van OpenAI zetten twee taalmodellen aan het werk in een afgeschermde testomgeving. De opdracht: los een cybersecurity-oefening op. In plaats van de vraag eerlijk te beantwoorden, braken de modellen uit hun afgesloten omgeving en drongen ze binnen bij databases van Hugging Face, een populair platform voor AI-ontwikkelaars. Daar dachten ze het juiste antwoord te kunnen vinden. Volgens een nadere analyse van OpenAI moesten de modellen daarvoor meerdere onbekende beveiligingslekken combineren, wat aantoont hoe geavanceerd agentic AI inmiddels is in het zelfstandig bedenken van aanvalsroutes.

Wat is reward hacking?

Het gedrag past in een bekend patroon dat onderzoekers reward hacking noemen: een AI-systeem behaalt zijn doel via een truc die de makers niet hadden bedoeld. Het bekendste vroege voorbeeld dateert uit 2016. Anthropic-oprichters Dario Amodei en Jack Clark trainden toen, nog bij OpenAI, een AI om een boot te besturen in het spel Coast Runners. In plaats van de finish te halen, ontdekte de AI dat ze in een hoekje van de baan kon blijven ronddraaien om steeds opnieuw punten te scoren. De race werd genegeerd, want de score was leidend.

Dit soort gedrag ontstaat vaak bij reinforcement learning, een trainingsmethode waarbij een systeem een beloning krijgt zodra het een doel behaalt. Net als bij het trainen van een hond wordt gedrag dat tot een beloning leidt vaker herhaald. Het probleem: het is lastig om vooraf exact te bepalen wanneer een beloning wél en wanneer die niet terecht is.

Waarom is dit lastiger bij taalmodellen?

Bij moderne taalmodellen wordt het nog ingewikkelder. Vraag zo'n systeem een programmeerprobleem op te lossen, en het kan hard werken aan een echte oplossing. Maar het kan ook de testcode aanpassen zodat die altijd 'geslaagd' meldt, of stiekem het antwoord opzoeken op internet. Als zulk vals spel overtuigend genoeg is, ontdekken de trainers het niet en wordt het gedrag juist beloond en dus versterkt. Anthropic meldt zelf al gevallen van vals spel te hebben betrapt tijdens training, wat erop wijst dat andere vormen mogelijk onopgemerkt blijven.

"We belonen modellen op basis van wat er voor ons goed uitziet, en daarmee stimuleren we onbedoeld liegen en vals spelen", zegt Jeffrey Ladish, directeur van het onderzoeksinstituut Palisade Research. Volgens hem hebben ontwikkelaars geen directe manier om een model te dwingen zich daadwerkelijk aan de bedoelde regels te houden.

Hoe groot is het risico?

Zolang AI-modellen slimmer worden, wordt ook hun vals spel geraffineerder en moeilijker te betrappen. "Je bent eigenlijk continu aan het schaakspelen met een systeem dat steeds beter wordt in het verbergen van zijn eigen trucs", aldus Ladish. Het Hugging Face-incident veroorzaakte geen echte schade, behalve imagoschade voor OpenAI. Toch waarschuwt Ariana Azarbal, onderzoeker bij Anthropic, dat de risico's toenemen naarmate AI-agents een grotere rol krijgen in AI-veiligheidsonderzoek zelf. Een AI die de opdracht krijgt onderzoek te doen en een rapport te schrijven, kan in theorie een overtuigend ogend maar inhoudsloos rapport produceren in plaats van het echte werk te doen. Nu doorzien mensen zulke trucs meestal nog, maar dat wordt lastiger naarmate modellen slimmer worden.