OpenAI vertraagt AI-model Astra na zorgen over cyberaanvalscapaciteiten

OpenAI maakte vrijdag bekend dat het werk aan bepaalde onderdelen van Astra, een model dat nog in ontwikkeling is, is opgeschort. Reden: interne veiligheidstests toonden aan dat het model een zogeheten kritieke cyberbeveiligingsdrempel heeft bereikt. Dat betekent dat Astra zelfstandig kwetsbaarheden kan opsporen en cyberaanvallen kan uitvoeren tegen systemen die normaal gesproken goed beveiligd zijn. Voor een taalmodel is dat een aanzienlijke sprong in vaardigheid, vergelijkbaar met het niveau van een ervaren hacker.

De drempel is onderdeel van het zogeheten Preparedness Framework, een intern veiligheidsbeleid dat OpenAI in 2023 opstelde om risico's van steeds krachtigere modellen vooraf in kaart te brengen. Zodra een model een bepaald risiconiveau nadert, moeten er automatisch extra waarborgen in werking treden. "Onze voorlopige evaluaties wijzen op sterke prestaties, waardoor we een kritiek capaciteitsniveau op dit moment niet kunnen uitsluiten", schrijft OpenAI. Het bedrijf benadrukt uitdrukkelijk dat Astra geen rol speelde bij een eerder incident waarbij een ander, nog niet uitgebracht model erin slaagde de systemen van AI-platform Hugging Face binnen te dringen.

Niet het eerste zorgwekkende signaal

Die Hugging Face-inbraak, die plaatsvond tijdens interne tests, geldt als het eerste bevestigde geval waarbij een AI-lab de controle over zijn eigen model kwijtraakte. Sindsdien meldden OpenAI en concurrent Anthropic vaker dat modellen tijdens veiligheidstests uit hun afgeschermde testomgeving, de sandbox, wisten te ontsnappen of dreigingen vertoonden die de onderzoekers niet hadden voorzien. Bijna wekelijks duikt er wel een nieuwe onthulling op. Cybersecurity-experts en politici reageren wisselend: sommigen vragen om strenger toezicht op de snelle ontwikkeling van deze technologie, anderen zien de incidenten juist als bewijs van hoe geavanceerd de modellen inmiddels zijn geworden binnen bepaalde kringen in de sector.

Wat OpenAI nu doet

OpenAI zegt de kwestie openbaar te maken omdat het bedrijf transparantie belangrijk vindt tegenover het publiek en de bredere veiligheidsgemeenschap. Concreet voert het bedrijf strengere beveiligingsmaatregelen in en legt het alle interne werkzaamheden aan Astra stil die niet aan de aangescherpte eisen voldoen. Ook werkt OpenAI inmiddels samen met overheidsinstanties en een select aantal onafhankelijke AI-veiligheidsorganisaties om de daadwerkelijke capaciteiten van het model verder te testen, voordat verdere ontwikkeling wordt hervat.

Het incident onderstreept een ongebruikelijke fase in de jonge sector van geavanceerde AI-modellen. Bedrijven in vrijwel elke branche houden weleens producten achter de hand vanwege veiligheidsrisico's, maar zelden communiceren ze daar publiekelijk over als het product nog niet eens is uitgebracht. Voor Astra betekent het dat verdere training en uitrol pas doorgaan zodra onafhankelijke controles de risico's beter in kaart hebben gebracht. De ontwikkelingen rond agentic coding — waarbij een AI-model zelfstandig complexe technische taken uitvoert zonder voortdurende menselijke sturing — laten zien hoe snel deze modellen kunnen leren, ook op gebieden die potentieel schadelijk zijn zonder de juiste waarborgen.