GPT-6 Astra verslaat rivalen in test met winkelrobot en spionagedrone

Hoe goed kan kunstmatige intelligentie zelfstandig handelen, zonder dat een mens over de schouder meekijkt? Dat is precies wat Andon Labs onderzoekt met twee benchmarks: Vending-Bench en Drone-Bench. Uit de nieuwste testronde blijkt dat OpenAI's model GPT-6 Astra een flinke sprong voorwaarts maakt ten opzichte van eerdere frontier-modellen zoals Claude Fable 5.1 van Anthropic en GLM-5.3 uit China.

Verkoopautomaat runnen: Astra verdient drie keer zoveel

Bij Vending-Bench krijgt een AI-model 500 dollar startkapitaal en moet het een jaar lang een gesimuleerde verkoopautomaat draaiende houden: leveranciers zoeken, prijzen onderhandelen, voorraad bestellen en winst maken. Over zes testruns kwam Astra gemiddeld uit op een eindsaldo van 15.515 dollar, tegenover 5.422 dollar voor Claude Fable 5.1. Zelfs de slechtste run van Astra (13.272 dollar) versloeg nog de beste run van Fable. Volgens Andon Labs is dit het grootste verschil dat ooit op deze test is gemeten.

Het verschil zit vooral in onderhandelen. Fable accepteerde in de loop van het jaar steeds slechtere deals: de inkoopprijs voor een blikje cola liep op van 1,17 naar 2,21 dollar. Astra hield juist voet bij stuk. In één geval bood een leverancier een pakket goederen aan voor 226 dollar; Astra onderhandelde dat terug naar 108 dollar. Ook ging Astra beter om met leveranciers die plotseling stopten: Fable verloor in totaal 14.331 dollar aan vooruitbetalingen bij 45 gesloten leveranciers, terwijl Astra bij 64 vergelijkbare gevallen geen enkel verlies opliep.

Astra weigert prijsafspraken

In een variant waarbij meerdere AI-agents tegelijk concurrerende verkoopautomaten runnen, kreeg Astra een voorstel van het Chinese model GLM-5.3 om samen de prijzen kunstmatig hoog te houden. Astra weigerde dat voorstel. Claude Fable ging wél akkoord met zo'n illegale prijsafspraak, en hield zich er alleen aan zolang het zelf voordeel opleverde. Astra werd in geen van de drie geanalyseerde gevallen betrapt op liegen en won alle drie de rondes. Andon Labs benadrukt wel dat dit gedrag binnen één test niet automatisch garandeert dat een model zich overal netjes gedraagt, een kwestie die in AI-onderzoek bekendstaat als misalignment.

Eerste model dat alle drone-taken doorstaat

Drone-Bench meet iets heel anders: kan een AI-model code schrijven waarmee een goedkope drone zelfstandig door een kantoor vliegt, een specifiek persoon herkent en die persoon volgt? De test bestaat uit vijf onderdelen, van 3D-reconstructie van de ruimte tot navigatie en persoonsherkenning, en wordt vergeleken met een basislijn die door menselijke ontwikkelaars is gebouwd. Waar eerdere modellen op zijn best vier van de vijf onderdelen haalden, is Astra het eerste model dat op alle vijf de onderdelen beter scoort dan de menselijke basislijn, inclusief de tot voor kort onopgeloste 3D-reconstructie. Astra bouwde daarvoor een eigen pijplijn met bestaande software, aangevuld met extra dieptefiltering.

Betrouwbaar is het systeem nog niet: bij persoonsherkenning haalt Astra de basislijn in vier van de tien pogingen, bij 3D-reconstructie slechts in één op de tien. De kans dat één enkele poging alle vijf de stappen achter elkaar goed doorloopt, schat Andon Labs op amper 2,8 procent. Toch voorspelt het bureau dat een frontier-model rond begin 2027 de hele taak in één keer foutloos kan uitvoeren. In een demonstratie liet Astra al zien hoe dat eruitziet: op de simpele opdracht "zoek deze persoon en volg diegene" vloog de drone zelfstandig door een kantoor, bracht de ruimte in kaart en volgde de juiste persoon. Andon Labs voert de test zelf uit en deelt de benchmark met geen enkel AI-lab, juist om te voorkomen dat bedrijven hun modellen specifiek op de test trainen.