Nvidia's nieuwe open AI-model moet bedrijfsagents non-stop laten werken

Nvidia noemt het model Nemotron 3.5 Super VL. Het telt 120 miljard parameters, de instelbare knoppen waarmee een AI-model patronen leert, en is bedoeld voor agents: software die zelfstandig taken afhandelt, zoals het controleren van facturen of het doorzoeken van contracten. Het model is open: bedrijven kunnen het downloaden, aanpassen met eigen data en op hun eigen servers draaien, zonder afhankelijk te zijn van de voorwaarden van een externe AI-leverancier. Nvidia ontwikkelde het model samen met de Nemotron Coalition, een samenwerkingsverband waarin ook Mistral AI, Perplexity en Black Forest Labs zitten.

Minder rekenwerk, dezelfde prestaties

Het model gebruikt een Mixture of Experts-architectuur: van de 120 miljard parameters zijn er bij elke verwerkingsstap maar 12 miljard actief. Dat scheelt rekenkracht zonder dat de kwaliteit evenveel inlevert. Super VL is afgeleid van Nvidia's grootste model, Nemotron 3 Ultra, via modeldistillatie: een kleiner model leert de kennis van een groter model over te nemen. Volgens Nvidia evenaart Super VL de nauwkeurigheid van Ultra bij taken als het volgen van instructies en het aansturen van andere software, met maar een vijfde van het aantal actieve parameters. Op agent-testen van Hermes en LangChain scoort het zelfs hoger dan het grotere Ultra, en op programmeertesten verslaat het zijn voorganger Nemotron 3 Super.

Compressie en slim geheugengebruik voor snelheid

Om het model lichter te maken, comprimeert Nvidia het met een 4-bit rekenformaat, een vorm van modelkwantisatie waarbij getallen minder nauwkeurig maar veel compacter worden opgeslagen. Op nieuwere Nvidia-chips draait het model volledig in deze lichte modus. Omdat agents vaak dezelfde instructies en gesprekshistorie meesturen, onthoudt het systeem die herhaalde berekeningen in plaats van ze telkens opnieuw uit te voeren. Daarnaast gebruikt Nvidia speculatief decoderen: een klein hulpmodel raadt alvast een paar woorden vooruit, die het hoofdmodel in één klap controleert. Op 16 krachtige GPU's levert dit volgens Nvidia acht keer zoveel gelijktijdige gebruikers op en daalt de wachttijd tot het eerste antwoord met 85 procent.

Van pdf's tot spraakassistenten

Voor beeldherkenning richtte Nvidia zich op materiaal dat agents in de praktijk tegenkomen: tabellen, grafieken, meerpagina-documenten en video. Het model herkent tekst in scans, een vorm van OCR, en kan een grafiek koppelen aan een tabel elders in hetzelfde document. Naast Super VL komen er twee kleinere Bolt-varianten: één voor laptops en workstations met minimaal 24 GB geheugen, en een latere versie van 4 GB voor spraakassistenten op gewone chips. Bedrijven als Scale AI, Ramp, EY en cybersecurityfirma's als CrowdStrike experimenteren al met het model voor onder meer fraudedetectie, factuurverwerking en dreigingsanalyse.