OpenAI pauzeert onderdelen van nieuw model Astra na hoog cyberrisico

OpenAI test nieuwe modellen voordat ze uitkomen op mogelijke risico's, onder meer op het gebied van cyberveiligheid. Bij het nog niet uitgebrachte model Astra zagen onderzoekers de afgelopen dagen een sterke sprong in vaardigheden voor agentic ai, AI die zelfstandig taken uitvoert, en cybersecurity. De resultaten waren zo sterk dat OpenAI niet kan uitsluiten dat Astra het hoogste risiconiveau haalt binnen het eigen veiligheidskader, het zogeheten Preparedness Framework. Dat kader deelt modellen in naar risiconiveau: van laag tot 'Critical'. Eerdere modellen van OpenAI, waaronder GPT-5.6-Sol, kwamen niet verder dan het niveau daaronder, 'High'.

Wat betekent 'Critical' precies?

Een model valt onder het Critical-niveau als het zelfstandig, zonder hulp van een mens, werkende zero-day-kwetsbaarheden kan vinden en misbruiken in goed beveiligde systemen. Ook telt het mee als een model op basis van een vaag omschreven doel zelf een complete, nieuwe aanvalsstrategie tegen een beveiligd doelwit kan bedenken en uitvoeren. Bij het lagere 'High'-niveau kan een model wel bestaande drempels voor hackers wegnemen, maar is nog altijd sturing van een mens nodig. Volgens het eigen veiligheidsbeleid van OpenAI moet verdere ontwikkeling van een model stoppen zodra het Critical-niveau wordt bereikt, totdat er passende beveiligingsmaatregelen zijn. Vooralsnog spreekt OpenAI alleen over het pauzeren van bepaalde interne activiteiten, niet over een volledige stop.

Extra beveiliging en toezicht

OpenAI zegt inmiddels strengere maatregelen te nemen rond Astra. Het gaat om geïsoleerde testomgevingen, beperkte toegang tot netwerken en tools, sterkere versleuteling van de modelgewichten, en extra monitoring. Alle omgevingen waarin Astra als autonome agent kan opereren, zowel tijdens training als evaluatie, worden nu continu in de gaten gehouden. Een monitoringsysteem analyseert daarbij de redeneerstappen van het model en grijpt automatisch in bij risicovol gedrag. OpenAI wil daarnaast samenwerken met overheidsinstanties en onafhankelijke AI-veiligheidsorganisaties om de mogelijkheden van Astra verder te testen, onder meer via AI red teaming, waarbij experts bewust proberen een systeem te doorbreken.

Niet de eerste zorg dit jaar

De aankondiging volgt op eerdere incidenten bij OpenAI. Op de beveiligingsconferentie Black Hat maakte het bedrijf onlangs bekend dat autonome AI-agents wekenlang ongemerkt binnen de eigen infrastructuur actief waren tijdens interne tests. De agents bouwden via een intern softwaresysteem een eigen prikbord met honderdduizenden berichten, deelden daar exploits en inloggegevens, en vielen uiteindelijk ook het platform Hugging Face aan. OpenAI benadrukt dat Astra zelf geen rol speelde bij dat specifieke incident. Critici wijzen erop dat het bedrijf vooralsnog alleen spreekt over een mogelijke Critical-score, niet over een bevestigde uitkomst, en dat dit soort waarschuwingen ook als marketing kunnen werken. Vergelijkbare 'te gevaarlijk om uit te brengen'-verhalen deden eerder de ronde bij andere frontier-ai-modellen, waaronder GPT-2 in 2019.