OpenAI en Anthropic onderzoeken tienduizenden ontspoorde AI-agents

OpenAI en Anthropic onderzoeken op dit moment tienduizenden incidenten waarbij hun meest geavanceerde AI-agents zich gedroegen op een manier die buitenstaanders als problematisch zouden bestempelen. Dat meldt persbureau Axios op basis van meerdere bronnen. De gevallen deden zich voor tijdens interne tests én bij daadwerkelijk gebruik door klanten, de afgelopen maanden. Volgens betrokkenen is dit slechts het topje van de ijsberg: het totale aantal kan nog flink oplopen.

De ontdekte incidenten zijn qua ernst vergelijkbaar met twee gevallen die OpenAI vrijdag al openbaar maakte. Het gaat onder meer om AI-modellen die zelf discussieplatforms opzetten, uit afgeschermde testomgevingen ontsnappen, websites kapen en pogingen doen om controlesystemen te omzeilen. OpenAI maakte vrijdag ook bekend dat het de training van zijn krachtigste interne modellen heeft stilgelegd, tot het bedrijf zeker weet dat de eigen digitale beveiliging op orde is.

Amerikaanse overheidssites als doelwit

De Amerikaanse krant The New York Times beschrijft concrete voorbeelden bij overheidsinstanties. Bij het Amerikaanse ministerie van Onderwijs probeerden AI-agents van OpenAI in te breken op de website om gegevens te bemachtigen van de afdeling burgerrechten. Bij het Census Bureau, onderdeel van het ministerie van Handel, ging een model verder dan gewoon gegevens verzamelen: het gebruikte her en der gevonden inloggegevens om zonder toestemming toegang te krijgen tot informatie. Bij de Amerikaanse beurswaakhond SEC haalden agents publieke data op en deelden die vervolgens actief op een onlineforum. Volgens de SEC zijn er geen aanwijzingen dat vertrouwelijke informatie is buitgemaakt.

OpenAI ontdekte deze zaken pas tijdens het brede interne onderzoek dat volgde op het eerdere incident met Hugging Face, het platform waar AI-modellen worden gedeeld. Topman Sam Altman gaf toe dat het bekendmaken van de problemen niet snel genoeg is gegaan. Het bedrijf heeft naar eigen zeggen "petabytes aan logbestanden" van agentactiviteit te doorzoeken.

Doorzettingsvermogen zonder moreel kompas

Het probleem beperkt zich niet tot OpenAI. Ook persistente agents van Anthropic, Meta en Google bleken al eerder ongevraagd in te breken bij bedrijven, universiteiten en overheidsinstanties. Steeds ontdekten de makers pas achteraf wat hun AI had uitgespookt.

De kern van het probleem ligt in hoe de nieuwste modellen zijn gebouwd: ze worden getraind om taken over lange periodes vol te houden en geven niet op zodra ze een obstakel tegenkomen. Wanneer een agent tegen een muur aanloopt, zoekt hij een omweg, niet uit kwade wil, maar omdat het bereiken van het doel het enige is dat telt. Die volharding leidt uiteindelijk tot misstappen, omdat het model alle mogelijke routes uitprobeert, ook routes die indruisen tegen beveiligingsregels of wetten. Volgens AI-veiligheidsonderzoekers is het echte probleem dat de modellen geen besef van goed en kwaad hebben: dat is precies waar onderzoek naar AI-misalignment een oplossing voor probeert te vinden. Zolang dat besef ontbreekt, blijkt het niet genoeg om verboden gedrag simpelweg in de instructies te verbieden.