Context stuffing: alles in het geheugen van een AI-model proppen
Stel je voor dat je een nieuwe collega inwerkt, maar in plaats van een goed gesprek geef je hem in één keer de volledige bedrijfshandleiding, alle e-mails van de afgelopen maand en het complete klantenbestand om te lezen. Dat is in essentie wat 'context stuffing' is: een grote hoeveelheid tekst, documenten of gegevens in één keer meegeven aan een taalmodel (zoals ChatGPT of Claude), in de hoop dat het model daarmee de juiste antwoorden kan geven.
De term komt uit de wereld van kunstmatige intelligentie, specifiek bij het werken met grote taalmodellen (large language models, afgekort LLM's). Deze modellen hebben een 'context window' — een soort kortetermijngeheugen waarin ze tekst kunnen verwerken. Bij context stuffing wordt dat venster zo vol mogelijk gestopt met informatie, in plaats van het model vooraf te trainen op die informatie of slimmer te zoeken naar alleen de relevante stukjes.
Wat is het precies?
Een taalmodel beantwoordt vragen op basis van twee dingen: de kennis die het tijdens de training heeft opgedaan, en de tekst die je op dat moment meegeeft in je vraag (de prompt). Die prompt, plus het antwoord dat het model teruggeeft, past samen in het context window — uitgedrukt in 'tokens', ongeveer stukjes van een woord.
Vroege modellen hadden een context window van een paar duizend tokens: genoeg voor een paar pagina's tekst. Modernere modellen, zoals Google's Gemini 1.5 of Anthropic's Claude, kunnen honderdduizenden tot zelfs miljoenen tokens verwerken — vergelijkbaar met een dik boek of zelfs een hele boekenkast.
Context stuffing maakt gebruik van die groeiende capaciteit door simpelweg zoveel mogelijk relevante (en soms ook irrelevante) informatie in die ruimte te proppen: handleidingen, contracten, broncode, chatgeschiedenis, noem maar op. Het model krijgt dan de opdracht om binnen al die tekst het antwoord te vinden.
Dit staat tegenover verfijndere technieken zoals 'retrieval augmented generation' (RAG), waarbij eerst met een zoeksysteem alleen de meest relevante stukjes informatie worden opgehaald en pas die stukjes aan het model worden gegeven. Context stuffing is in feite de brute-kracht-variant: niet slim selecteren, maar gewoon alles meegeven.
Wat wil men ermee bereiken?
Het belangrijkste doel is gemak en snelheid. Het bouwen van een RAG-systeem met zoekindexen, vector-databases en filterlogica kost tijd en technische kennis. Context stuffing omzeilt dat: ontwikkelaars plakken een heel document of een hele reeks documenten in de prompt en laten het model zelf uitzoeken wat relevant is.
Daarnaast hoopt men dat het model door de volledige context te zien, verbanden legt die een zoeksysteem zou missen. Een zoeksysteem pikt vaak losse fragmenten uit hun context, terwijl het model bij context stuffing de hele samenhang van een document kan meenemen — inclusief nuances, tegenstrijdigheden of impliciete verwijzingen tussen verschillende delen van de tekst.
Voor bedrijven is er nog een praktisch motief: met een groter context window kun je soms een fine-tuning traject (het model opnieuw trainen op eigen data, wat duur en tijdrovend is) overslaan. In plaats daarvan geef je de benodigde bedrijfsinformatie gewoon telkens opnieuw mee in de prompt.
Voorbeelden uit de praktijk
Een aantal concrete toepassingen laat zien hoe context stuffing in de praktijk wordt gebruikt:
- Google Gemini 1.5 Pro (2024) — Google demonstreerde bij de lancering dat het model een volledige speelfilm (in tekst- en beeldvorm omgezet) of codebases van honderdduizenden regels in één keer kon verwerken, puur door het enorme context window van destijds 1 miljoen tokens te vullen.
- Juridische due diligence-tools (2023-2024) — Verschillende legal-tech startups, waaronder Harvey AI, lieten klanten complete contractdossiers van tientallen pagina's in één prompt uploaden, zodat het model inconsistenties tussen clausules kon opsporen zonder apart chunking- of zoeksysteem.
- Claude van Anthropic bij software-analyse — Ontwikkelaars gebruiken de lange contextvensters van Claude (tot 200.000 tokens en meer) om complete codebases in één keer te laten analyseren voor bugs of architectuurvragen, in plaats van bestand voor bestand te laten samenvatten.
- Notebooklm van Google (2023) — Deze tool laat gebruikers meerdere documenten tegelijk uploaden, die vervolgens grotendeels als één grote context aan het onderliggende model worden gevoed voor vraag-antwoord-sessies.
- Interne kennisbank-chatbots — Veel bedrijven experimenteren met simpele chatbots die bij elke vraag de hele interne wiki of handboek meesturen, zeker sinds context windows groot genoeg zijn geworden om dat te faciliteren zonder RAG-infrastructuur.
Hoe ver is de techniek?
Context stuffing is technisch gezien geen nieuwe doorbraaktechnologie, maar een praktijkstrategie die vooral haalbaar is geworden dankzij de snelle groei van context windows. In 2020 was 2.000 tokens gebruikelijk; in 2024-2025 zijn contextvensters van 128.000 tot 2 miljoen tokens bij grote aanbieders (OpenAI, Anthropic, Google) eerder regel dan uitzondering.
Toch loopt de techniek tegen duidelijke grenzen aan. Onderzoek (onder meer het veelgeciteerde 'Lost in the Middle'-paper van Liu et al., Stanford/UC Berkeley, 2023) toont aan dat modellen informatie die zich in het midden van een lange context bevindt, vaak slechter benutten dan informatie aan het begin of einde. Meer tekst meegeven betekent dus niet automatisch betere antwoorden.
Een ander obstakel is kosten en snelheid: hoe meer tokens een model moet verwerken, hoe duurder en trager een aanvraag wordt. Bij grootschalig gebruik kan dit een RAG-aanpak alsnog voordeliger maken. Ook is er risico op 'ruis': irrelevante informatie in de context kan het model juist afleiden van het juiste antwoord, een effect dat onderzoekers soms 'context dilution' noemen.
Er is dan ook geen consensus dat context stuffing de RAG-aanpak zal vervangen. Veel praktijkexperts, waaronder onderzoekers bij Anthropic en OpenAI, zien het eerder als aanvullend gereedschap: geschikt voor eenmalige, kleinschalige taken, maar minder geschikt voor systemen die continu grote, veranderende kennisbanken moeten doorzoeken.
Wie werken eraan?
De ontwikkeling van steeds grotere context windows — de technische basis onder context stuffing — wordt vooral gedreven door de grote AI-laboratoria: OpenAI (GPT-4 en opvolgers), Anthropic (de Claude-modellen), Google DeepMind (Gemini-serie) en Meta AI (Llama-modellen).
Op onderzoeksgebied naar de beperkingen van lange contexten zijn universiteiten actief betrokken, waaronder Stanford University en UC Berkeley, die met studies als 'Lost in the Middle' de zwakke plekken van de techniek in kaart brengen. Ook het in Canada gevestigde Vector Institute en diverse academische NLP-groepen (onder meer aan de Universiteit van Washington) publiceren regelmatig over hoe modellen omgaan met lange invoer.
Aan de toepassingskant zijn het vooral softwarebedrijven en legal-tech- en developer-tool-startups die context stuffing in hun producten verwerken, vaak als praktische tussenoplossing totdat geavanceerdere retrieval-systemen nodig blijken.