Nvidia's nieuwe AI-chip Vera Rubin verplettert voorganger in benchmarktest

Elke paar maanden meten techbedrijven hun AI-chips tegen elkaar af met MLPerf, een onafhankelijke benchmark die door de organisatie MLCommons wordt beheerd. Deze week maakte chipfabrikant Nvidia voor het eerst resultaten bekend van zijn nieuwste systeem: de Vera Rubin NVL72. Dat is een serverrek vol gekoppelde chips, bedoeld om grote AI-modellen razendsnel antwoorden te laten genereren.

Op twee van de zwaarste testen in de benchmark – met de AI-modellen DeepSeek-R1 en Qwen3-VL – haalde de Vera Rubin NVL72 tot 3,7 keer meer doorvoersnelheid dan de huidige generatie, de GB300 NVL72. Doorvoersnelheid staat voor het aantal tokens (tekstfragmenten) dat een systeem per seconde kan verwerken. Meer tokens betekent dat een chatbot of AI-assistent meer gebruikers tegelijk kan bedienen tegen lagere kosten per antwoord.

Waarom rekenkracht per rek zo belangrijk is

De winst komt niet alleen uit snellere chips. Nvidia gebruikte een lager precisieformaat genaamd NVFP4 — nee, preciezer: NVFP4 verkleint de hoeveelheid geheugen die een AI-model nodig heeft, waardoor er meer ruimte overblijft voor daadwerkelijk rekenwerk. Daarnaast splitst het systeem het genereren van tekst op in twee fasen die apart worden afgehandeld, en verdeelt het de zwaarste modellen slim over meerdere chips tegelijk. De chips in één serverrek zijn onderling verbonden met een supersnelle verbinding die volgens Nvidia tien keer meer datapakketjes per seconde verwerkt dan gewone Ethernet-kabels.

Naast de nieuwe chip testte Nvidia ook zijn bestaande GB300 NVL72-systeem op schaalbaarheid: hoe goed presteert een systeem als je er steeds meer chips aan toevoegt? Bij een opschaling van 72 naar 288 chips - dus vier keer zoveel - steeg de prestatie met 99 procent efficiëntie. Dat is opvallend, want vaak leveren extra chips verhoudingsgewijs steeds minder op. Nvidia demonstreerde dit met de DeepSeek-R1, een populair open AI-taalmodel.

Softwareverbeteringen zonder nieuwe hardware

Opvallend is dat Nvidia ook op zijn bestaande chips vooruitgang boekte, puur door software te verbeteren. Vergeleken met de vorige testronde van dit jaar steeg de prestatie op sommige taken met tot 60 procent, zonder dat er iets aan de fysieke chips veranderde. Dat kwam onder meer door slimmer datageheugen en betere samenwerking tussen verschillende software-onderdelen.

De testresultaten zijn relevant voor bedrijven die datacenters bouwen voor AI-toepassingen, van cloudleveranciers als Microsoft Azure en Oracle tot serverbouwers als Dell en Supermicro. Negentien partners namen deel aan de laatste testronde. Voor consumenten is het resultaat vooral merkbaar in de achtergrond: snellere en goedkopere AI-diensten, van chatbots tot beeld- en videogeneratie.

Meer dan alleen chatbots

Nvidia wijst ook op een nieuwe categorie: AI-agents die zelfstandig meerdere stappen uitvoeren in plaats van één vraag te beantwoorden. Op een test die dat soort taken nabootst, presteerde de Vera Rubin-chip zelfs dertig keer beter dan zijn voorganger. Trage, traditionele benchmarks meten dit soort taakgericht redeneren nog niet goed, en MLCommons werkt daarom aan een nieuwe test die specifiek is toegesneden op deze AI-agents.