OpenAI roept AGI-tijdperk uit, maar bewijs voor GPT-6 Astra rammelt

OpenAI-president Greg Brockman noemde de lancering van GPT-6 Astra op 3 september een keerpunt in de geschiedenis van kunstmatige intelligentie. Over een paar jaar, zei hij tijdens de persconferentie, zullen we terugkijken en concluderen dat dit het model was waarmee AGI begon. Die uitspraak komt op een moment dat techbestuurders steeds vaker claimen dat de drempel naar machines die net zo breed kunnen leren en redeneren als mensen al is overschreden. Opvallend genoeg besloot OpenAI tegelijkertijd de uitrol van een opvolgversie, GPT-6.1 Astra, uit te stellen vanwege veiligheidszorgen.

Indrukwekkende cijfers, twijfelachtige context

Bij de lancering presenteerde OpenAI resultaten op diverse benchmarks: tests die meten hoe goed een AI-model presteert op taken als programmeren, wiskunde en wetenschappelijk redeneren. Astra zou onder meer 3D-ontwerpen kunnen genereren, printplaten kunnen uitlijnen en complete webapplicaties kunnen bouwen op basis van een enkele opdracht. Op de ARC-AGI-3-test, bedoeld om te meten hoe snel een AI nieuwe vaardigheden oppikt in onbekende omgevingen, scoorde het model een opvallende 99,9 procent. Volgens de ARC Prize Foundation, die de test beheert, deed Astra het op 96 procent van de niveaus beter dan de gemiddelde mens, met bijna 52 procent minder pogingen.

Die score blijkt echter sterk afhankelijk van de testomstandigheden. Bij gebruik van een speciale, niet-openbare softwarelaag van OpenEI zelf - de zogeheten Provider Adapter - haalde Astra de topscore. Met de neutrale, voor alle ontwikkelaars toegankelijke Standard-testomgeving zakte het resultaat naar 62,7 procent. ARC Prize-directeur Greg Kamradt benadrukte dat het halen van een hoge score op deze test nooit is bedoeld als bewijs voor AGI. Volgens hem is Astra een belangrijke stap voorwaarts, maar geen doorbraak naar algemene intelligentie.

Verdachte verschuivingen in de cijfers

Er kwamen ook onregelmatigheden aan het licht in de gepubliceerde testresultaten. Een voorlopige versie van het persbericht, die journalisten voorafgaand aan de lancering ontvingen, vermeldde een ARC-AGI-3-score van 98,6 procent. Op de dag van lancering stond er plotseling 99,9 procent online. Onderzoekers Anka Reuel en Mike Hardy van Stanford University merkten daarnaast op dat OpenAI na de lancering stilletjes het gerapporteerde hallucinatiepercentage van Astra aanpaste: van 4,2 procent naar 2,0 procent, voordat het cijfer weer werd terugveranderd. Een AI-hallucinatie is het verschijnsel waarbij een taalmodel met overtuiging feitelijk onjuiste informatie presenteert.

Reuel en Hardy spreken van benchmaxxing: het herhaaldelijk aanpassen van prompts, software-omgevingen of rekenkracht om een zo hoog mogelijke testscore te scoren, zonder dat dit wat zegt over werkelijke bruikbaarheid. In een wetenschappelijk artikel op preprint-server arXiv waarschuwen onderzoekers van onder meer Princeton University en de Universiteit van Luxemburg dat deze praktijk het vertrouwen in AI-benchmarks ondermijnt, vooral omdat bedrijven vaak niet volledig openbaar maken hoe een testresultaat precies is behaald. Onafhankelijke controle wordt daardoor vrijwel onmogelijk, wat volgens critici grote vraagtekens zet bij de stellige uitspraken over een doorbraak naar AGI.