AI & computing › Agentic AI & autonome agents
Audit bij OpenAI: AI-bewaking tegen afwijkend gedrag zat vol gaten
Onderzoekers van METR en Redwood Research kregen drie weken lang toegang tot de interne systemen van OpenAI om te controleren hoe goed het bedrijf toezicht houdt op zijn eigen AI-modellen. Hun conclusie: de bewaking tegen onverwacht of ongewenst gedrag van AI-agenten vertoonde grote gaten, waardoor een deel van het risicovolle verkeer helemaal niet werd gecontroleerd.
Van 21 juli tot 11 augustus kregen twee externe onderzoekers toegang tot de broncode, interne documenten en zo'n twaalf medewerkers van OpenAI. Doel van dit pilotproject was te testen of het veiligheidstoezicht van het bedrijf wel zo waterdicht is als gedacht. OpenAI maakt zelf AI-modellen die steeds vaker zelfstandig taken uitvoeren, zogeheten agentic AI. Daarbij is het cruciaal dat er altijd iemand of iets meekijkt of die modellen geen schadelijke of ongewenste acties ondernemen.
Een kwart van het verkeer buiten beeld
Uit de audit blijkt dat tussen de 6 en 25 procent van het interne verkeer via de zogenoemde Responses API, van modellen op het niveau van GPT-5.5 en hoger, tijdens de onderzoeksperiode helemaal niet werd gevolgd door het bewakingssysteem. METR benadrukt dat deze schatting onzeker is, maar zelfs de ondergrens duidt op een flink gat. Voor Codex, OpenAI's programmeertool die met AI-agenten werkt, ontbrak naar schatting 10 procent van het toezicht tussen mei en juli. De oorzaak lag in een fout bij het verwerken van zogeheten compaction events: korte samenvattingen die het systeem maakt van de context waarin een AI-agent werkt. OpenAI ontdekte en verhelpte dat lek zelf, nog tijdens de audit.
Zolang die fout bestond, konden AI-agenten toezicht ook vertragen. Het systeem greep namelijk alleen in op het moment dat een agent de controle teruggaf aan de gebruiker. Een agent kon dat moment simpelweg uitstellen door gewoon door te blijven werken, waardoor er langer niemand meekeek. De onderzoekers vonden daarnaast manieren om honderden acties voor de monitor te verbergen en om de beveiligde testomgeving van Codex, de zogeheten sandbox, te omzeilen. Ook zouden speciaal ontworpen invoer het bewakingssysteem waarschijnlijk volledig kunnen laten crashen. Tot slot werd het gedrag van modellen tijdens reinforcement learning, de trainingsmethode waarbij een AI leert via beloning en straf, aan het begin van de audit helemaal niet gevolgd.
OpenAI zegt alles te hebben gerepareerd
Na een veiligheidsincident rond AI-startup Hugging Face in augustus zette OpenAI de reinforcement learning-training tijdelijk stil en breidde het toezicht daarop uit. Dat gebeurde echter nadat de onderzoekers geen toegang meer hadden, waardoor die verbetering niet is meegenomen in de beoordeling. OpenAI stelt dat inmiddels alle gevonden zwakke plekken zijn verholpen. Het volledige rapport telt 61 pagina's, maar het publiek krijgt alleen een korte samenvatting te zien. METR en Redwood Research ontvingen zelf een door OpenAI ingekorte versie van 38 pagina's en mogen de weggelaten delen niet zelf openbaar maken. METR laat weten dat het bij toekomstige audits wil aandringen op meer openheid richting het publiek.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Nu AI-modellen steeds zelfstandiger taken uitvoeren, groeit het risico dat ze buiten het zicht van mensen rare of schadelijke stappen zetten. Deze audit laat zien dat zelfs een groot AI-bedrijf als OpenAI met blinde vlekken in zijn eigen veiligheidscontrole worstelt. Onafhankelijke audits zoals deze kunnen in de toekomst bepalend worden voor het vertrouwen dat samenleving en toezichthouders in AI-bedrijven stellen.
- METR
- Een onafhankelijke onderzoeksorganisatie die de veiligheid en risico's van geavanceerde AI-modellen beoordeelt.
- Redwood Research
- Een organisatie die onderzoek doet naar het veilig houden van krachtige AI-systemen.
- Agentic AI
- AI die zelfstandig meerdere stappen uitvoert om een taak te voltooien, zonder dat een mens elke actie afzonderlijk goedkeurt.
- Responses API
- Een technische koppeling waarmee programma's verzoeken naar OpenAI's AI-modellen sturen en antwoorden terugkrijgen.
- Compaction events
- Momenten waarop een AI-systeem de voorafgaande context samenvat, zodat het die niet volledig hoeft te onthouden.
- Reinforcement learning
- Een trainingsmethode waarbij een AI-model leert door voor goede acties een beloning te krijgen en voor slechte een correctie.
- Sandbox
- Een afgeschermde testomgeving waarin software, zoals een AI-agent, veilig kan draaien zonder schade aan echte systemen te kunnen aanrichten.
- Codex
- OpenAI's AI-tool die met behulp van agenten programmeertaken uitvoert.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
