Contextvenster: het werkgeheugen van een taalmodel
Stel je voor dat je een boek moet samenvatten, maar je mag maar door een klein gaatje in een stuk karton kijken dat over de bladzijden schuift. Alles wat buiten dat gaatje valt, ben je meteen vergeten. Zo werkt een contextvenster ongeveer bij een taalmodel zoals ChatGPT, Claude of Gemini: het is de hoeveelheid tekst die het model tegelijk kan "zien" en meewegen wanneer het een antwoord genereert. Alles wat buiten dat venster valt, bestaat voor het model op dat moment simpelweg niet.
Het contextvenster wordt gemeten in tokens, kleine tekstbrokjes van ongeveer drie tot vier letters die samen woorden en zinnen vormen. Een model met een contextvenster van 8.000 tokens kan grofweg zes A4'tjes tekst overzien; een model met een venster van een miljoen tokens kan een dik boek in één keer doorlezen. Hoe groter het venster, hoe meer een model kan onthouden binnen één gesprek of document, zonder dat het informatie hoeft te "vergeten" of expliciet moet leren zoals mensen doen.
Wat is het precies?
Taalmodellen zoals GPT, Claude en Gemini zijn gebouwd op een architectuur die een transformer heet. Het kernonderdeel daarvan is een mechanisme genaamd attention (aandacht): voor elk woord dat het model produceert, kijkt het terug naar alle andere woorden in de invoer om te bepalen welke daarvan relevant zijn. Dat vergelijken van elk tokenpaar is krachtig, maar ook duur: verdubbel je de tekstlengte, dan verviervoudigt ongeveer de rekenkracht die nodig is. Vaklui noemen dit kwadratische schaling.
Dat is precies waarom contextvensters lange tijd klein bleven. De eerste versie van GPT-3 uit 2020 kon niet meer dan ongeveer 2.000 tokens onthouden, zo'n drieënhalve bladzijde. Om grotere vensters betaalbaar te maken, hebben onderzoekers verschillende trucs bedacht. FlashAttention, ontwikkeld door onderzoekers van Stanford University, herschikt de berekeningen zodat de grafische chip (GPU) efficiënter met geheugen omgaat, zonder de uitkomst te veranderen. Sliding window attention, gebruikt door het Franse Mistral AI, laat elk token alleen naar een beperkt aantal naaste buren kijken in plaats van naar de hele tekst. En met technieken als RoPE (Rotary Position Embeddings) en de uitbreiding daarvan, YaRN, leren modellen om ook met tekstposities om te gaan die langer zijn dan wat ze tijdens de training ooit hebben gezien.
Belangrijk is dat een groot contextvenster niet hetzelfde is als een goed geheugen. Een model dat 200.000 tokens kan verwerken, gebruikt die informatie niet per definitie even goed: onderzoek laat zien dat modellen tekst aan het begin en einde van een lang document vaak beter onthouden dan informatie die er middenin verstopt zit, een effect dat wel "lost in the middle" wordt genoemd.
Wat wil men ermee bereiken?
De belangrijkste belofte van een groter contextvenster is dat een model met veel meer informatie tegelijk kan redeneren, zonder dat een mens die informatie eerst handmatig moet samenvatten of knippen. Denk aan het analyseren van een heel jaarverslag, een complete juridische zaak met honderden pagina's aan stukken, of een softwareproject met tienduizenden regels code, allemaal in één keer aan het model voorgelegd.
Een tweede doel is het verminderen van de noodzaak voor aparte zoeksystemen. Voordat contextvensters groot werden, moesten ontwikkelaars een techniek genaamd retrieval-augmented generation (RAG) gebruiken: relevante fragmenten uit een grote database vooraf opzoeken en alleen die aan het model voeren. Met een groot contextvenster kan een deel van dat voorwerk overbodig worden, al blijft RAG voor echt enorme datasets nog steeds nuttig en vaak goedkoper.
Ten derde hoopt men dat lange contexten "in-context leren" verbeteren: een model kan tientallen voorbeelden van een taak in het venster meekrijgen en zich daarop aanpassen, zonder dat het opnieuw getraind hoeft te worden. Dat maakt taalmodellen flexibeler inzetbaar voor specifieke, ongebruikelijke taken.
Voorbeelden uit de praktijk
De ontwikkeling van contextvensters ging de afgelopen jaren snel. Een aantal mijlpalen:
- GPT-4 Turbo (OpenAI, november 2023) introduceerde een venster van 128.000 tokens, een grote sprong ten opzichte van de 8.000 tot 32.000 tokens van de eerdere GPT-4-versies uit maart 2023.
- Claude 2 (Anthropic, juli 2023) bood destijds al 100.000 tokens, genoeg om een heel boek als PDF te uploaden en er vragen over te stellen.
- Claude 3 (Anthropic, maart 2024) verhoogde dit naar 200.000 tokens als standaard, met experimenten tot een miljoen tokens voor specifieke toepassingen.
- Gemini 1.5 Pro (Google, februari 2024) trok de meeste aandacht met een venster van 1 miljoen tokens, en Google demonstreerde ook een experimentele versie met 2 miljoen tokens, groot genoeg voor bijvoorbeeld een uur aan videobeeld of duizenden pagina's tekst tegelijk.
- Llama 3.1 (Meta, juli 2024), een van de bekendste vrij te downloaden modellen, kreeg een contextvenster van 128.000 tokens, tegenover slechts 8.000 bij de eerste Llama 3-versie enkele maanden eerder.
Om te testen of modellen zulke grote vensters ook echt goed benutten, ontstond de zogeheten needle in a haystack-test ("naald in een hooiberg"), gepopulariseerd door AI-onderzoeker Greg Kamradt in 2023. Daarbij verstopt men één specifieke zin ergens in een zeer lange tekst en meet men of het model die precies kan terugvinden, ongeacht op welke plek in het document de zin staat.
Hoe ver is de techniek?
De groei van contextvensters ging de afgelopen drie jaar razendsnel: van een paar duizend tokens in 2020 naar meer dan een miljoen tokens bij sommige modellen in 2024. Tegelijkertijd zijn er nog duidelijke grenzen. Grotere vensters kosten meer rekenkracht en dus meer geld en energie per vraag, ook al zijn technieken als FlashAttention en sliding window attention veel efficiënter dan de oorspronkelijke aanpak. Aanbieders rekenen voor gebruik van lange contexten dan ook vaak hogere tarieven per opgevraagd antwoord.
Daarnaast blijft de kwaliteit van het "terugvinden" binnen een lang venster een punt van onderzoek. Modellen scoren op needle-in-a-haystack-achtige testen inmiddels vaak hoog, maar bij complexere taken, zoals het combineren van meerdere losse feiten die verspreid in een lang document staan, presteren modellen doorgaans merkbaar slechter dan bij kortere teksten. Een groot contextvenster garandeert dus geen perfect begrip van alles wat erin past.
Er is ook een alternatieve onderzoekslijn die probeert het kwadratische schaalprobleem fundamenteel te omzeilen, met zogeheten state space models zoals Mamba, die tekst verwerken op een manier die niet elk tokenpaar hoeft te vergelijken. Deze aanpak is nog experimenteel en heeft de gevestigde transformer-architectuur tot nu toe niet verdrongen, maar wordt gezien als een mogelijke uitweg voor nog veel langere contexten in de toekomst.
Wie werken eraan?
De ontwikkeling van grotere en efficiëntere contextvensters wordt vooral aangedreven door een klein aantal grote AI-bedrijven, bijna allemaal met hoofdkantoor in de Verenigde Staten: OpenAI (GPT-modellen), Anthropic (Claude), Google DeepMind (Gemini) en Meta AI (Llama). Een belangrijke uitzondering is het Franse Mistral AI, dat met sliding window attention een eigen efficiënte aanpak introduceerde.
Veel van de onderliggende technieken komen echter uit de academische wereld. FlashAttention werd ontwikkeld door onderzoekers verbonden aan Stanford University, terwijl Ring Attention, een techniek om berekeningen over meerdere grafische chips te verdelen voor extreem lange contexten, is voortgekomen uit onderzoek aan de University of California, Berkeley. Deze academische bijdragen worden vervolgens door de grote bedrijven verwerkt in hun commerciële modellen.