Nvidia's nieuwe AI-chip Vera Rubin doet tot 30 keer meer werk per watt

Agentic AI: waarom een taak ineens duizenden stappen kost

Een gewone chatvraag aan een taalmodel is voor een computer een simpele klus. Een AI-agent die zelfstandig een taak uitvoert, is dat niet. Volgens cijfers van dataplatform OpenRouter verbruiken dit soort taken gemiddeld vijftien keer zoveel tokens, de tekstfragmenten waarmee taalmodellen rekenen, als een simpel gesprek.

Dat komt door de manier waarop agents werken. Stel dat een AI-agent onderzoek moet doen naar een bedrijf voor een investeringsbeslissing. De agent doorzoekt financiële databases en nieuwsberichten, roept een hulp-agent aan om concurrenten te vergelijken en waarderingen te berekenen, en voegt alles samen tot een advies. Elke stap levert nieuwe tekst op die weer als invoer dient voor de volgende stap. Daardoor stapelt de hoeveelheid tekst die verwerkt moet worden zich snel op, tot honderdduizenden tokens per sessie. Hetzelfde patroon speelt bij softwareontwikkeling, klantenservice en onderzoekstaken. Nu bedrijven dit soort AI-agents op grote schaal inzetten, moet de onderliggende hardware die groeiende vraag efficiënt kunnen bijbenen.

Hoe Nvidia de winst boekt

Nvidia testte de Vera Rubin NVL72-systemen met een benchmark van analysebureau SemiAnalysis, genaamd AgentX. Die bootst echte programmeersessies van AI-agents na, inclusief groeiende tekstcontext, tool-aanroepen en het inschakelen van hulp-agents. Op dat soort realistische taken presteert Vera Rubin tot dertig keer beter per megawatt dan het huidige GB300-systeem, bij het AI-model DeepSeek V4 Pro. Dat vertaalt zich ook in de portemonnee: tot vijfendertig keer lagere kosten per miljoen verwerkte tokens.

Die winst komt niet uit één truc, maar uit een stapeling van technische aanpassingen. Zo splitst het systeem het lezen van de invoer en het genereren van een antwoord in twee aparte fases die onafhankelijk van elkaar kunnen opschalen, een aanpak die bekendstaat als prefill-decode disaggregatie. Het geheugen met eerder verwerkte tekst, de kv-cache, wordt verdeeld over meerdere chips en deels overgeheveld naar opslag zodra het minder actief wordt, zodat niets dubbel hoeft te worden berekend. Rekenmodellen die uit meerdere gespecialiseerde onderdelen bestaan, worden slim verdeeld over de beschikbare chips via expertparallellisme. Daarnaast comprimeert de chip modelgewichten naar een compacter rekenformaat, wat geheugen bespaart zonder dat de kwaliteit van de antwoorden merkbaar daalt.

Nvidia's eigen energiebeheersysteem verdeelt bovendien het beschikbare vermogen slimmer over chips en rekken in het scale-up-domein, waardoor tot veertig procent meer chips binnen hetzelfde energiebudget passen. Vera Rubin NVL72 bestaat uit zeven soorten chips, waaronder een eigen processor, netwerkchips en de opvolger van de huidige generatie grafische chips, en draait inmiddels in volledige productie bij verschillende partners.