OpenAI worstelt met veiligheid bij nieuw topmodel dat loops gebruikt

OpenAI brengt dit jaar naar verwachting nog een of twee nieuwe AI-modellen uit, maar het is onzeker of het langverwachte "grote" topmodel daarbij zit. Dat melden medewerkers aan techsite The Information. Het model heeft nog extra werk nodig op het gebied van AI-misalignment: onderzoekers moeten eerst zeker weten dat het systeem doet wat gebruikers en OpenAI zelf bedoelen, voordat het de deur uit mag.

Er komt nog een horde bij. Door een uitvoeringsbesluit van de Amerikaanse president Trump moet OpenAI nieuwe modellen tot dertig dagen voor release al delen met de Amerikaanse overheid, en nog langer voordat het publiek ermee aan de slag kan.

Dezelfde berekening, meerdere keren

De vertraging hangt samen met een nieuwe rekentechniek die OpenAI "Recurrent Depth" noemt, en die bij onderzoekers bekendstaat als recurrente diepte. In plaats van dat een transformer-model elk woord maar één keer door zijn rekenlagen stuurt, laat OpenAI het model de berekening meerdere keren herhalen voordat het een antwoord geeft. Dat verbetert vooral prestaties op rekenen en programmeren, en maakt het mogelijk om met een kleiner, goedkoper model toch sterke resultaten te halen. De techniek wordt al gebruikt in Astra, het huidige topmodel van OpenAI, en zal ook de basis vormen onder de volgende grote release.

Het probleem: een deel van het "denkproces" van het model verdwijnt daardoor in interne wiskundige berekeningen die mensen niet meer kunnen lezen. Dat ondermijnt chain-of-thought-monitoring, de methode waarmee veiligheidsonderzoekers de redenering van een model volgen om ongewenst gedrag op te sporen. OpenAI houdt daarom bewust het aantal herhalingen in Astra beperkt, zodat de redenering leesbaar blijft. Chief scientist Jakub Pachocki waarschuwde eerder al dat dit soort controle steeds "fragieler" wordt en dat de hele sector dreigt af te stevenen op modellen zonder leesbare redenering.

Microsoft lekte per ongeluk details

Hoe de techniek in de praktijk werkt, kwam aan het licht door een misser bij Microsoft, een grote investeerder met inzage in OpenAI's technologie. Het bedrijf publiceerde een technische uitleg over GPT-6.1 Sol, een goedkoper alternatief voor Astra dat deze maand uitkwam, waarin stond dat het model met twee rekenpasses werkt in plaats van drie bij het duurdere GPT-6 Sol. Microsoft haalde de tekst na publicatie meteen weer weg.

Na een eerder veiligheidsincident rond Hugging Face verschoof OpenAI ongeveer tien procent van zijn totale rekenkracht naar veiligheidsonderzoek, goed voor honderden megawatts aan datacentercapaciteit. Bij marktprijzen zou dat jaarlijks miljarden dollars kosten. Onderzoeker Noam Brown bevestigde eerder dat ook bij zijn team ongeveer een tiende van de mensen zich met veiligheid bezighoudt.