AI-agents falen vaak niet door slecht redeneren, maar door slecht geheugen

AI-agents die zelfstandig taken uitvoeren, van klantenservice tot softwareontwikkeling, hebben een onderschat probleem: ze onthouden te veel of juist te weinig van wat er eerder in een gesprek is gebeurd. Dat blijkt uit een nieuw onderzoek van AI-onderzoeker Gaurav Dadhich, gepubliceerd op arXiv. Volgens hem ligt de oorzaak van veel storingen in productie-AI niet bij het redeneervermogen van het model, maar bij hoe het omgaat met alles wat het aan informatie moet vasthouden: gespreksgeschiedenis, lange instructies, definities van digitale hulpmiddelen en de steeds grotere hoeveelheid tekst die die hulpmiddelen teruggeven.

Elke AI-agent werkt met een contextvenster: het werkgeheugen waarin het model alle relevante informatie voor een taak moet meenemen. Hoe langer een gesprek duurt, hoe voller dat venster raakt. Bedrijven lossen dit vaak op door simpelweg alles op te slaan en terug te halen wanneer dat nodig lijkt, een aanpak die volgens Dadhich te beperkt is. Agents die te veel oude of irrelevante informatie blijven meeslepen, raken last van wat onderzoekers contextvervuiling noemen: het model verliest overzicht doordat het contextvenster vervuild raakt met niet-relevante gegevens.

Kosten die exponentieel oplopen

Het probleem is niet alleen technisch, maar ook financieel. Elke stap die een AI-agent zet, kost geld, want elk stukje tekst dat het model verwerkt wordt afgerekend per AI-token. Als een agent simpelweg alle geschiedenis blijft opstapelen, groeien de kosten volgens het onderzoek kwadratisch mee met de lengte van het gesprek: een gesprek dat twee keer zo lang duurt, kan dus veel meer dan twee keer zoveel kosten. Een veelgebruikte oplossing, het automatisch samenvatten van oude gespreksdelen, is goedkoper maar leidt volgens de auteur tot een 'nauwkeurigheidsklif': op een gegeven moment gaat cruciale informatie alsnog verloren omdat de samenvatting te grof is.

Als alternatief introduceert het onderzoek het concept Agentic Context Management (ACM), waarbij geheugenbeheer wordt behandeld als een doorlopend proces in plaats van alleen als opslagvraagstuk. Dat proces bestaat uit vijf onderdelen: bepalen wat een agent moet onthouden, die informatie structureren, de juiste opslagmethode per soort data kiezen, verouderde informatie laten vervallen zonder de herkomst te verliezen, en het geheel comprimeren zonder essentiële details te verliezen. Dit moet niet alleen werken voor één gebruiker, maar ook over hele organisaties heen, waar meerdere teams en gebruikers gedeelde AI-agents inzetten.

Test op praktijkbenchmarks

Om te laten zien dat de aanpak werkt, bouwde de onderzoeker een systeem genaamd Maximem Synap, dat de vijf ACM-onderdelen combineert in een dienst die door meerdere klanten tegelijk gebruikt kan worden. Op twee veelgebruikte testen voor het geheugen van AI-systemen, LongMemEval en LoCoMo, scoorde het systeem respectievelijk 92 en 93,2 procent nauwkeurigheid. Dat is volgens de auteur een sterke aanwijzing dat gestructureerd geheugenbeheer, in plaats van simpelweg alles vasthouden of grof samenvatten, agents zowel goedkoper als betrouwbaarder maakt. Het onderzoek benadrukt dat bestaande testmethoden nog geen goed beeld geven van praktijkfactoren als reactiesnelheid en bestendigheid tegen contextvervuiling, en dat verder onderzoek nodig is om AI-agents ook op organisatieniveau slim te laten omgaan met hun geheugenbank.