Nvidia lanceert speciale chip om AI-agents sneller te laten reageren

Van pratende chatbot naar handelende AI

Kunstmatige intelligentie verschuift langzaam van simpele chatbots naar zogeheten agentic AI: systemen die zelfstandig meerdere stappen uitvoeren, gereedschappen aanroepen en met andere AI-systemen samenwerken om een taak af te ronden. Voor dat soort taken is snelheid cruciaal. Een AI-agent bouwt zijn antwoord op uit losse woordstukjes, ook wel tokens genoemd, die één voor één worden gegenereerd. Bij een keten van meerdere stappen telt elke kleine vertraging op, waardoor een agent traag en onhandig aanvoelt als de techniek daarachter niet snel genoeg is.

Chipmaker Nvidia presenteerde deze week op de Hot Chips-conferentie in Palo Alto een nieuwe chip die dat probleem moet oplossen: de Groq 3 LPX. Dit is een zogeheten inferentiechip, gespecialiseerd in het razendsnel produceren van tokens, in plaats van het trainen van AI-modellen. In een onafhankelijke test van Artificial Analysis haalde de chip 3.400 tokens per seconde bij een contextvenster van 100.000 tokens, vergelijkbaar met een gesprek van honderdduizenden woorden dat de AI in één keer moet onthouden. Dat is volgens Nvidia vier keer sneller dan het snelste alternatief op de markt.

Honderden chips als één machine

De Groq 3 LPX werkt niet los, maar als uitbreiding op Nvidia's Vera Rubin NVL72, een compleet rek vol rekenchips dat bedrijven gebruiken om AI-diensten op grote schaal te draaien. In dat rek doen gewone grafische chips (gpu's) het zware rekenwerk om lange teksten te verwerken, terwijl de nieuwe LPX-chips zich richten op het snel wegschrijven van het antwoord, woord voor woord. Een volledige opstelling bestaat uit 256 van deze chips, die via directe verbindingen met elkaar praten en zo als één grote machine functioneren. Volgens Nvidia verdwijnt daardoor de traditionele afweging tussen snelheid en volume: bedrijven kunnen zowel snel antwoord geven als veel gebruikers tegelijk bedienen.

Cloudbedrijven en SpaceXAI stappen in

Een aantal grote partijen omarmt de nieuwe technologie meteen. Cloudbedrijf Nebius is de eerste aanbieder die de Groq 3 LPX inzet, om ontwikkelaars snellere en interactievere AI-toepassingen te laten bouwen. Branchegenoot CoreWeave gebruikt inmiddels Nvidia's netwerktechnologie Spectrum-X Multiplane, die de Vera Rubin-rekken onderling verbindt via meerdere parallelle schakelpaden. Dat voorkomt dat bedrijven een extra, kostbare laag aan hun netwerk moeten toevoegen wanneer ze willen opschalen, wat normaal gepaard gaat met meer vertraging en hogere kosten.

Ook SpaceXAI, de AI-tak van het ruimtevaartbedrijf van Elon Musk, kondigde een samenwerking aan. Het bedrijf gaat Nvidia's Vera-processoren gebruiken voor taken achter de schermen van AI-agents, zoals planning, het aansturen van andere programma's en simulaties, zowel in datacenters op aarde als straks mogelijk in satellieten. Nvidia positioneert zich met deze aankondigingen als leverancier van een compleet pakket: rekenchips, geheugen, netwerkapparatuur en gespecialiseerde versnellers die samen een 'AI-fabriek' vormen, gebouwd om zo veel mogelijk tokens tegen zo laag mogelijke kosten te produceren.