Contextvervuiling: waarom AI soms het overzicht kwijtraakt

Bijgewerkt: 15 augustus 2026 · 6 min leestijd

Stel je een assistent voor die aan een groot bureau werkt. Aan het begin van de dag ligt het bureau leeg en overzichtelijk: alleen het dossier waaraan hij moet werken. Maar naarmate de dag vordert, komen er steeds meer papieren bij: aantekeningen, e-mails, uitdraaien van webpagina's, oude memo's die niet meer kloppen. Tegen het eind van de middag ligt het dossier begraven onder stapels rommel, en de assistent begint fouten te maken: hij haalt gegevens door elkaar, vergeet de oorspronkelijke opdracht of neemt iets uit een verouderd memo aan alsof het nog geldig is. Dat is in essentie wat contextvervuiling is, maar dan bij kunstmatige intelligentie.

Bij AI-taalmodellen zoals ChatGPT, Claude of Gemini heet dat bureau het contextvenster: het stukje tekst dat het model op elk moment "ziet" en waarop het zijn antwoord baseert. Dat venster bevat niet alleen jouw vraag, maar ook eerdere berichten in het gesprek, opgehaalde documenten, resultaten van tools die het model gebruikt, en instructies van de ontwikkelaar. Contextvervuiling ontstaat wanneer dat venster volloopt met informatie die irrelevant, verouderd, tegenstrijdig of gewoon te veel is. Het model raakt daardoor het spoor bijster, ook al is het venster technisch gezien nog lang niet vol.

Wat is het precies?

Om te begrijpen hoe vervuiling ontstaat, helpt het om te weten hoe een taalmodel werkt. Een groot taalmodel (large language model, LLM) heeft geen geheugen zoals een computer met een harde schijf. Het "onthoudt" niets tussen gesprekken door. In plaats daarvan krijgt het bij elke nieuwe stap opnieuw een lap tekst te lezen — de context — en berekent het op basis daarvan het meest waarschijnlijke vervolg. Hoe langer en rommeliger die lap tekst, hoe moeilijker het voor het model wordt om te bepalen welk stukje informatie er nu eigenlijk toe doet.

Contextvervuiling kan op verschillende manieren ontstaan. Bij een lang gesprek stapelen oude, soms achterhaalde uitspraken zich op. Bij systemen die documenten opzoeken om een vraag te beantwoorden — een techniek die retrieval-augmented generation (RAG) heet, oftewel "generatie aangevuld met opgehaalde informatie" — kunnen er ook stukken tekst worden binnengehaald die net naast de vraag liggen, of die elkaar tegenspreken. En bij AI-"agents", systemen die zelfstandig tools gebruiken zoals een zoekmachine, een rekenmachine of bestandslezer, komt vaak de volledige, ongefilterde uitvoer van zo'n tool in de context terecht: een hele webpagina in plaats van de ene relevante alinea.

Onderzoek laat bovendien zien dat modellen niet elk stukje context even goed benutten. Een veelgeciteerde studie van onderzoekers van Stanford University, getiteld "Lost in the Middle: How Language Models Use Long Contexts" (Nelson F. Liu en collega's, 2023), toonde aan dat taalmodellen informatie aan het begin en einde van een lange tekst veel beter oppikken dan informatie die ergens in het midden verstopt zit. Dat patroon wordt vaak een "U-vormige" prestatiecurve genoemd: goed aan de randen, zwakker in het midden. Vervuilende, irrelevante tekst tussen de belangrijke stukken in maakt dit probleem alleen maar groter.

Wat wil men ermee bereiken?

Onderzoekers en bedrijven proberen contextvervuiling te begrijpen en te verminderen om AI-systemen betrouwbaarder te maken, vooral naarmate ze voor langere en complexere taken worden ingezet. Een chatbot die na twintig berichten de draad kwijtraakt, of een onderzoeksassistent die door een stapel opgehaalde documenten heen een fout "feit" oppikt, is in de praktijk weinig waard.

Het uiteindelijke doel is tweeledig. Ten eerste willen ontwikkelaars modellen bouwen die grote hoeveelheden informatie aankunnen zonder in kwaliteit in te leveren — denk aan het doorzoeken van een heel boek, een juridisch dossier of een codebase in één keer. Ten tweede, en minstens zo belangrijk, willen ze systemen eromheen bouwen die alleen relevante informatie in de context stoppen, zodat het model niet hoeft te "zoeken" tussen ruis. Dat laatste wordt soms "context engineering" genoemd: het bewust samenstellen en opschonen van wat een model te zien krijgt, vergelijkbaar met hoe een goede redacteur een lang rapport inkort tot de kern.

Het gaat dus niet alleen om grotere contextvensters bouwen — dat lost het probleem niet vanzelf op — maar om slimmer omgaan met wat daarin terechtkomt.

Voorbeelden uit de praktijk

Het onderzoek naar dit onderwerp is relatief jong, maar er zijn al concrete voorbeelden van waar het misgaat en hoe men het probeert te verhelpen.

De genoemde studie "Lost in the Middle" (Stanford University, 2023) testte modellen zoals GPT-3.5 en eerdere open modellen door ze een vraag te stellen waarvan het antwoord ergens verstopt zat in een lange lijst documenten. De positie van het juiste document bleek sterk te bepalen of het model het antwoord vond, ongeacht hoeveel ruimte er in het contextvenster nog vrij was.

Rond dezelfde periode werd de zogeheten "needle in a haystack"-test (letterlijk: een naald in een hooiberg) populair als manier om contextvensters te testen. Hierbij verstopt men één specifieke zin diep in een lange, verder oninteressante tekst en kijkt men of een model die zin nog kan terugvinden. Dit soort tests wordt sindsdien breed gebruikt door AI-bedrijven om te laten zien — of juist te ontmaskeren — hoe goed hun modellen omgaan met lange, deels irrelevante input.

Contextvensters zijn de afgelopen jaren snel gegroeid: GPT-4 startte in 2023 met 8.000 tot 32.000 "tokens" (ongeveer woorddelen) aan geheugen, terwijl GPT-4 Turbo eind 2023 naar 128.000 tokens ging. Anthropic bracht in november 2023 Claude 2.1 uit met een venster van 200.000 tokens, en Google kondigde begin 2024 Gemini 1.5 Pro aan met tot wel een miljoen tokens context — genoeg voor een heel boek of uren aan video. Die groei loste het probleem van vervuiling echter niet op: een groter bureau blijft rommelig als er te veel irrelevante papieren op blijven liggen.

Een recenter voorbeeld is onderzoek van het vectordatabasebedrijf Chroma, dat in 2025 onder de noemer "context rot" liet zien dat de prestaties van meerdere populaire modellen geleidelijk terugliepen naarmate de input langer werd, zelfs ruim binnen de officiële limiet van het contextvenster. Dit bevestigde dat "meer ruimte" geen garantie is voor "betere prestaties".

Hoe ver is de techniek?

Contextvervuiling is geen technisch mankement dat op één moment "opgelost" wordt, maar eerder een structurele eigenschap van hoe huidige taalmodellen werken. Er is dan ook geen volledige oplossing, wel een verzameling deeloplossingen die de afgelopen jaren zijn ontwikkeld en nog volop in beweging zijn.

Bekende technieken zijn onder meer "reranking" (het herordenen van opgehaalde documenten zodat het belangrijkste bovenaan komt), "context compression" (het automatisch inkorten van lange tekst tot de kern voordat die naar het model gaat), en het periodiek "samenvatten" van een lang gesprek zodat oude, minder relevante details verdwijnen. Frameworks zoals LangChain en LlamaIndex, veelgebruikte hulpsoftware voor het bouwen van AI-toepassingen, bieden inmiddels ingebouwde onderdelen voor precies dit doel.

Toch blijft het een openliggend onderzoeksgebied. Er bestaat geen algemeen geaccepteerde manier om vooraf te meten hoe "vervuild" een context is, en verschillende modellen reageren verschillend op dezelfde soort ruis. Ook is er een spanningsveld: te veel filteren kan ervoor zorgen dat een model relevante nuance mist, terwijl te weinig filteren tot verwarring leidt. Onderzoekers zijn het er in grote lijnen over eens dat dit probleem urgenter wordt naarmate AI-systemen zelfstandiger worden en langer achtereen werken (zoals bij AI-"agents" die meerdere stappen na elkaar uitvoeren), maar een sluitende, algemeen werkende oplossing is er nog niet.

Wie werken eraan?

Vrijwel alle grote AI-laboratoria houden zich in meer of mindere mate bezig met dit thema, vaak als onderdeel van breder onderzoek naar lange contextvensters en betrouwbaarheid van modellen. OpenAI, Anthropic en Google DeepMind publiceren regelmatig over hoe hun modellen omgaan met lange input en werken aan interne technieken om ruis te beperken. Meta AI heeft met het originele RAG-onderzoek (Patrick Lewis en collega's, 2020) mede de basis gelegd voor de retrieval-technieken waar dit probleem vaak om draait.

Op academisch vlak zijn Amerikaanse universiteiten zoals Stanford University en University of California, Berkeley, prominent aanwezig in het onderzoek naar hoe modellen lange teksten verwerken. Daarnaast spelen gespecialiseerde bedrijven een rol: naast de eerdergenoemde Chroma zijn er databedrijven en frameworks zoals LangChain, LlamaIndex en Cohere die tools bouwen om context te filteren, ordenen en comprimeren voordat die bij een taalmodel terechtkomt.

Omdat veel van dit onderzoek in het open publiceert via preprint-platforms zoals arXiv, is de kennis over contextvervuiling relatief breed toegankelijk, en bouwen kleinere onderzoeksgroepen en bedrijven wereldwijd — ook in Europa en Azië — actief voort op deze bevindingen.