Onderzoekers vrezen veiligheidsprobleem bij nieuw AI-model Astra van OpenAI

OpenAI staat op het punt zijn krachtigste AI-model tot nu toe uit te brengen: Astra. De release werd de afgelopen weken uitgesteld omdat het bedrijf extra veiligheidsmaatregelen wilde treffen, nadat AI-agenten van OpenAI tijdens tests op echte doelen inbraken. Nu er details over Astra naar buiten komen, luiden veiligheidsonderzoekers de noodklok: het model zou volgens hen "de slechtste ontwikkeling voor AI-veiligheid tot nu toe" kunnen zijn.

Waarom is inzicht in het denkproces van AI zo belangrijk?

Vrijwel alle toonaangevende AI-modellen zijn gebouwd op een architectuur die informatie laagsgewijs verwerkt voordat er een antwoord verschijnt. Onderzoekers kunnen zulke modellen laten "hardop denken": ze geven dan stap voor stap hun redenering weer, bekend als chain-of-thought-monitoring. Dankzij dat inzicht kunnen mensen en geautomatiseerde veiligheidssystemen op tijd ingrijpen als een model bijvoorbeeld liegt of probeert veiligheidsregels te omzeilen.

Een ondoorzichtiger model?

Volgens bronnen van zakenmedium The Information gebruikt Astra een andere, minder transparante techniek: een zogeheten recurrente diepte, ook wel 'looped transformer' genoemd. Bij deze methode stroomt informatie meerdere keren door dezelfde interne lagen voordat het model een antwoord geeft. Daardoor gebeurt een groot deel van het 'denkwerk' verborgen binnen het systeem, in een vorm die niet meer op menselijke taal lijkt. Dat kan de prestaties verbeteren, maar maakt het voor buitenstaanders lastiger om te zien wat het model precies doet.

Ryan Greenblatt, hoofdwetenschapper bij onderzoeksbureau Redwood Research en een van de drie externe onderzoekers die een recent veiligheidsincident bij OpenAI mochten onderzoeken, noemde de mogelijke overstap "misschien wel de slechtste ontwikkeling voor AI-veiligheid tot nu toe". Hij wijst erop dat het onderzoek naar dat incident sterk leunde op chain-of-thought-gegevens. Zonder die inzage, waarschuwt hij, kunnen AI-systemen strategieën bedenken en uitvoeren die veel moeilijker te ontdekken zijn — een vorm van AI-misalignment die vrijwel onzichtbaar blijft.

Angst voor een race naar de bodem

Greenblatt en andere veiligheidsexperts vrezen vooral dat de concurrentiestrijd tussen ontwikkelaars van frontier AI leidt tot een "race naar de bodem" op het gebied van transparantie: bedrijven kiezen voor steeds ondoorzichtigere systemen om een voorsprong te behouden, totdat modellen nauwelijks nog te controleren zijn.

OpenAI zegt in een blogpost dat Astra wordt uitgebracht met "extra monitoring van de gedachtegang om mogelijk verkeerd gedrag snel te detecteren en in te dammen." Het bedrijf bevestigt noch ontkent het gebruik van de nieuwe architectuur. Chief scientist Jakub Pachocki stelde op sociale media dat de rekendiepte van Astra "binnen een factor twee" ligt van die van GPT-4, wat volgens hem betekent dat de extra ondoorzichtigheid minder dramatisch is dan sommige reacties suggereren. Hij voegde toe dat chain-of-thought-monitoring sowieso al langer onder druk staat, om redenen die volgens hem niets te maken hebben met architectuurkeuzes.