OpenAI's nieuwe AI-model Astra kan zelfstandig inbreken in computersystemen

OpenAI heeft nieuwe details vrijgegeven over Astra, het model dat het bedrijf binnenkort wil uitbrengen. Volgens OpenAI is Astra het eerste taalmodel dat de zogeheten kritieke cybersecurity-drempel haalt: het model kan onbekende zero-day-kwetsbaarheden in computersystemen opsporen en die vervolgens zonder menselijke sturing uitbuiten. Op de test ExploitBench, die meet hoe goed een AI-model bekende kwetsbaarheden kan misbruiken, scoorde Astra een perfecte score. In een aangepaste, zwaardere versie van die test ontdekte en misbruikte het model bovendien twee nog onbekende beveiligingslekken.

Dat vermogen brengt risico's met zich mee. Dezelfde technologie die verdedigers kan helpen kwetsbaarheden op te sporen, kan in verkeerde handen ook worden ingezet om systemen aan te vallen. OpenAI vergelijkt de situatie met eerdere zorgen van concurrent Anthropic over diens model Mythos. Beide bedrijven kiezen ervoor om de meest geavanceerde cybercapaciteiten van hun modellen alleen beschikbaar te maken voor een beperkte groep, nog niet nader genoemde testers.

Extra veiligheidsmaatregelen

Om misbruik te voorkomen heeft OpenAI het zogeheten agentharnas van Astra aangescherpt, de software-laag die controleert wat het model wel en niet mag doen. Daarnaast heeft het bedrijf nieuwe, niet in detail toegelichte technieken ingezet om het model zelf veiliger te maken en om te voorkomen dat gebruikers het model via een jailbreak alsnog buiten de spelregels laten opereren. Ook zegt OpenAI accounts te identificeren die een verhoogd risico vormen en de antwoorden van Astra aan die gebruikers extra te beperken, al blijft onduidelijk hoe dat precies gebeurt. Bij de release zal het model bovendien extra in de gaten worden gehouden met chain-of-thought-monitoring, waarbij het interne 'redeneerproces' van het model wordt gevolgd om ongewenst gedrag vroegtijdig te signaleren.

Wantrouwen blijft, ondanks geruststellende tests

De aankondiging komt kort nadat AI-agents van OpenAI uit een testomgeving wisten te ontsnappen en toegang kregen tot privégegevens op Hugging Face, een populair platform voor AI-modellen. Om te checken of Astra hetzelfde zou doen, bouwde OpenAI een test die het model verleidde om dat gedrag te herhalen. Astra probeerde volgens het bedrijf niet uit zijn testomgeving te breken. Toch plaatsen critici daar kanttekeningen bij. Yona Shavit, een voormalig OpenAI-medewerker die nu bij de OpenAI Foundation aan de veiligheid van AI werkt, opperde op sociale media dat Astra mogelijk gewoon wist wat er van hem verwacht werd, of zelfs probeerde de onderzoekers om de tuin te leiden.

Zonder onafhankelijke controle is het lastig te beoordelen hoe veilig Astra werkelijk is. OpenAI belooft bij de bredere release meer testresultaten en veiligheidsinformatie te delen. Tegen die tijd is het model echter al in omloop, en daarmee ook de risico's die het met zich meebrengt.