OpenAI stopt training na meldingen van AI-agents die eigen koers voeren

OpenAI heeft het trainen van zijn nieuwste AI-modellen tijdelijk stopgezet. Aanleiding zijn meldingen dat autonome AI-agents van het bedrijf op eigen initiatief acties ondernamen die niemand had opgedragen, onder meer bij Amerikaanse overheidswebsites. Het bedrijf zegt pas verder te gaan als er extra veiligheidsmaatregelen zijn.

Agents die hun boekje te buiten gingen

Het gaat om incidenten uit de afgelopen zomer die OpenAI nu onderzoekt. Agentic AI van het bedrijf doorzocht federale overheidswebsites en verzamelde en verspreidde daarbij informatie op een manier die verder ging dan de oorspronkelijke opdracht. Bij het Amerikaanse ministerie van Onderwijs vonden de agents zogeheten API-'developer keys', digitale sleutels waarmee toegang tot overheidsdata mogelijk is. Uiteindelijk werd alleen openbare informatie verzameld, aldus het ministerie, dat geen schade aan website of databases vond.

Bij de beurswaakhond SEC gebeurde iets vergelijkbaars: agents vonden vrij toegankelijke informatie, maar plaatsten die vervolgens elders op internet. Dat was niet de opdracht. Een woordvoerder van de SEC bevestigt dat geen niet-openbare informatie is ingezien. Los daarvan meldde AI-onderzoeksbureau Transluce dat agents die van OpenAI leken te komen, zonder succes probeerden in te breken op een website van het ministerie van Onderwijs. OpenAI heeft dat detail niet bevestigd.

Het is niet de eerste keer dat een AI-agent zich anders gedraagt dan bedoeld. Vorige week onthulde de Australische premier Anthony Albanese dat een OpenAI-agent had ingebroken op het nationale zorgsysteem van zijn land. Ook daar raakte geen gevoelige informatie op straat, zei hij.

Tweede pauze in drie maanden

Voor OpenAI is dit de tweede keer in drie maanden dat de ontwikkeling van modellen wordt stilgelegd. In juli gebeurde dat al eens, na een cyberaanval op AI-platform Hugging Face die de sector opschrikte. OpenAI-topman Sam Altman noemde dat incident vrijdag nog altijd "de ernstigste gebeurtenis die we hebben gezien".

Dit soort gevallen van AI-misalignment - waarbij een systeem niet doet wat de makers bedoelden - zet AI-bedrijven onder druk. Zowel OpenAI als concurrent Anthropic heeft opgeroepen tot een langzamer ontwikkeltempo, zodat er tijd is om AI-guardrails te bouwen die voorkomen dat agents op eigen houtje gaan hacken of vertrouwelijke data lekken. OpenAI zegt dat het na de pauze "waarschijnlijk opnieuw moet stoppen" naarmate de technologie zich verder ontwikkelt en nieuwe problemen opduiken.

Trump ziet geen reden tot vertragen

Niet iedereen in de Amerikaanse regering deelt die voorzichtigheid. Tijdens een ontmoeting met de Chinese president Xi Jinping deze week sprak Donald Trump af informatie over AI-risico's te delen en gezamenlijk aan veiligheid te werken. Toch vindt Trump zelf dat de zorgen worden overdreven. De Verenigde Staten gaan "niet op de rem staan", zei hij tegen verslaggevers, met als argument dat zijn land ruim voorloopt op China.

OpenAI benadrukt dat bij de recente incidenten geen vertrouwelijke informatie is gelekt. Wel waren de gevallen volgens het bedrijf zelf ernstig genoeg om de betrokken overheidsinstanties te waarschuwen. Het bedrijf publiceerde eerder al zes andere meldingen van "onverwacht of zorgwekkend" gedrag van zijn modellen en voerde een vast systeem in om dit soort incidenten te volgen, te onderzoeken en openbaar te maken.