Nvidia: niet het AI-model, maar de software eromheen bepaalt succes van agents

Wie een AI-agent een lastige taak geeft die uit veel opeenvolgende stappen bestaat, doet er goed aan niet alleen naar het onderliggende taalmodel te kijken. Dat blijkt uit onderzoek van chipmaker Nvidia, gepubliceerd op 21 augustus. Het bedrijf ontdekte dat de software-laag rond een taalmodel — het zogeheten agentharnas — een veel grotere rol speelt bij het slagen van complexe taken dan gedacht.

Van 30 naar 100 procent

Nvidia testte het taalmodel Claude Opus 5 van AI-bedrijf Anthropic op ARC-AGI-3, een testreeks van 2D-spelletjes zonder instructies. Een AI moet zelf ontdekken hoe zo'n spel werkt en het vervolgens winnen, net als een mens dat zou doen. Zonder speciale aanpassingen haalde Opus 5 een score van 30 procent, het hoogste resultaat van alle geteste modellen. Met een op maat gemaakt harnas — inclusief een systeem dat het geheugen van de AI slim beheert en een "toezichthouder" die ingrijpt als de AI vastloopt — steeg de score naar 100 procent.

Dat verschil is opvallend, omdat gebruikers een AI-agent vaak zien als simpelweg het taalmodel zelf. Volgens Adel El Hallack, vice president product bij Nvidia's AI-afdeling, klopt dat beeld niet. Een agent bestaat ook uit de tools die het model gebruikt, de systemen die eromheen draaien en de vaardigheden die het krijgt aangereikt. Dat geheel noemt Nvidia het harnas.

Het probleem van lange taken

De uitdaging zit vooral in taken die dagen kunnen duren en uit veel losse beslissingen bestaan. AI-modellen raken daarbij makkelijk de weg kwijt. Microsoft ontdekte in april dat negentien geteste taalmodellen, ook de beste, fouten stapelden bij het langdurig bewerken van documenten. Eerder zijn AI-agents ook al betrapt op het per ongeluk wissen van bestanden en zelfs hele databases van gebruikers.

Ook OpenAI, de maker van ChatGPT, worstelde met ARC-AGI-3: zijn modellen scoorden er minder dan 10 procent op. Door twee instellingen in het harnas aan te passen verdrievoudigde OpenAI die score, maar het bedrijf kwam bij lange na niet in de buurt van de 100 procent die Nvidia haalde.

Een 'toezichthouder' voor de AI

De sleutel bij Nvidia bleek een tweede, toezichthoudende AI die als een soort leidinggevende optreedt. Deze hulp-agent grijpt in wanneer de hoofdagent vastloopt of dreigt terug te vallen in een aanpak die eerder niet werkte. De meeste agents die mensen vandaag gebruiken, zoals Claude Code, Codex of Hermes, werken nog met maar één laag harnas, zonder zo'n toezichthouder.

Nvidia bouwde voor het onderzoek een eigen verbeterd harnas, maar benadrukt dat dit geen nieuw product is. Het bedrijf levert wel losse open bouwstenen voor harnassen via zijn Nemo-merk. Ook softwarebedrijf Databricks publiceerde deze zomer onderzoek dat in dezelfde richting wijst: hetzelfde model kan met een verkeerd harnas twee keer zoveel kosten. Nvidia's boodschap is dat open, aanpasbare harnassen gebruikers meer grip geven op zowel de prestaties als de kosten van AI-agents dan het kiezen van 'het beste model' alleen.