AI & computing › Agentic AI & autonome agents
AI-agentteams verbruiken veel meer tokens, maar presteren nauwelijks beter
Nieuw onderzoek laat zien dat teams van samenwerkende AI-agents amper beter presteren dan een enkel AI-model, terwijl ze tot vijf keer zoveel rekenkracht kosten. Ook OpenAI en Anthropic zien dat meer agents vooral snelheid opleveren, niet meer kwaliteit.
Bedrijven zetten steeds vaker meerdere AI-agents tegelijk aan het werk, in de hoop dat samenwerkende systemen betere resultaten opleveren dan één AI-model alleen. Evaluatiebedrijf Vals AI onderzocht of dat klopt en testte de taalmodellen GPT-6 Sol en Claude Opus 5.5 op een programmeertest, de 'Vibe Code Bench'. De modellen werden zowel solo als in teamverband getest, op twee niveaus van reken-inspanning: gemiddeld en maximaal.
De uitkomst is opvallend: van de vier vergelijkingen tussen teams en losse agents was er maar één waarbij het team daadwerkelijk beter scoorde. Dat was GPT-6 Sol op gemiddelde reken-inspanning, waar het team 7,3 punten hoger scoorde. Bij maximale inspanning hielp samenwerken geen van beide modellen. Toch kostten de teams tussen de 1,8 en 5,1 keer zoveel als een los model, omdat elke agent zijn eigen rekenwerk en dus eigen tokens verbruikt.
Meer agents, nauwelijks meer kwaliteit
Ook techbedrijf Anthropic zag dit patroon terug in eigen tests met zijn model Opus 5.5. Grotere teams van AI-agents bereikten een bepaald prestatieniveau sneller, maar het verschil tussen 10 en 100 samenwerkende agents was na 24 uur verwaarloosbaar klein. Bij een kennisbanktaak steeg de score van 0,53 met één agent naar 0,74 met honderd agents, maar het grootste deel van die verbetering was al bereikt met tien agents. Bij het testen van wiskundige bewijzen gold hetzelfde beeld. Concurrent Fable 5.1 liet op één taak wel sterkere verbeteringen zien bij grotere teams, maar bleef op alle onderdelen achter bij Opus 5.5.
Waarom samenwerken niet automatisch beter werkt
OpenAI-onderzoeker Noam Brown bevestigde in een recent interview dat zogeheten agentzwermen vooral snelheid opleveren, geen hogere kwaliteit. Vier agents samen losten taken twee keer zo snel op, maar kostten ook twee keer zoveel. Volgens Brown hangt het resultaat sterk af van het type taak: onderzoek doen op internet of rekenwerk laat zich goed opsplitsen over meerdere agents, maar het schrijven van een roman niet. Tienduizend agents op een roman zetten zou volgens hem even nutteloos zijn als tienduizend mensen een roman laten schrijven.
OpenAI-ontwikkelaar Eric Provencher waarschuwde eerder al voor het gebruik van grote agentzwermen in de praktijk. Hij noemt het risico dat agents elkaar in de weg lopen de 'coördinatietaks': hoe meer agents er tegelijk werken, hoe groter de kans dat hun onderlinge afstemming misgaat en het voordeel van extra rekenkracht verdampt. Voor bedrijven die AI-agents inzetten, betekent dit onderzoek vooral een waarschuwing: meer agents en meer rekenkracht garanderen geen betere resultaten, en de rekening kan snel oplopen.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit onderzoek relativeert de aanname dat AI vanzelf beter wordt als je er meer rekenkracht en meer samenwerkende systemen tegenaan gooit. Voor bedrijven en ontwikkelaars betekent dit dat ze kritischer moeten kijken naar wanneer agentteams echt waarde toevoegen, en wanneer ze vooral geld verspillen aan extra rekenwerk zonder betere resultaten.
- AI-agent
- Een AI-systeem dat niet alleen antwoord geeft, maar ook zelfstandig taken uitvoert, zoals programmeren of informatie opzoeken.
- Reken-inspanning (reasoning effort)
- De instelling die bepaalt hoeveel rekenstappen een AI-model mag gebruiken om tot een antwoord te komen; meer inspanning kost meer tijd en geld.
- Token
- Een stukje tekst, zoals een woord of lettergreep, waarmee AI-taalmodellen taal verwerken; hoe meer tokens, hoe hoger de rekenkosten.
- Benchmark
- Een gestandaardiseerde test waarmee de prestaties van verschillende AI-modellen met elkaar worden vergeleken.
- Coördinatietaks
- De term voor het verlies aan efficiëntie dat optreedt wanneer meerdere AI-agents elkaars werk moeten afstemmen in plaats van onafhankelijk te werken.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
