In-context leren: hoe AI-modellen ter plekke iets nieuws oppikken

Bijgewerkt: 16 augustus 2026 · 6 min leestijd

Stel je voor: je geeft een nieuwe collega drie voorbeeld-e-mails te lezen en vraagt daarna om een vierde te schrijven in dezelfde stijl. Geen cursus, geen weken training — gewoon een paar voorbeelden, en de collega snapt meteen het patroon. Iets vergelijkbaars gebeurt wanneer je een taalmodel zoals ChatGPT of Claude een paar voorbeelden geeft in je vraag, waarna het model die stijl of taak overneemt in zijn antwoord. Dat verschijnsel heet in-context leren.

Het bijzondere is dat het model daarbij niets 'leert' in de klassieke zin: er verandert niets blijvends aan het model zelf. Alle aanpassing gebeurt binnen het gesprek, binnen de tekst die je invoert (de 'context'). Zodra je een nieuw gesprek begint, is die kennis weer weg. Toch kan een taalmodel op basis van een handvol voorbeelden in de prompt opeens een taak uitvoeren waar het nooit specifiek voor getraind is, van het samenvatten van juridische teksten tot het schrijven van code in een ongebruikelijke stijl.

Wat is het precies?

Grote taalmodellen zoals GPT-4, Claude of Gemini worden getraind op enorme hoeveelheden tekst om te voorspellen welk woord (of woorddeel, een 'token') waarschijnlijk op de voorgaande tekst volgt. Die training is een kostbaar, langdurig proces waarbij de interne 'gewichten' van het model — miljarden getallen die bepalen hoe het model reageert — stap voor stap worden bijgesteld.

In-context leren gebeurt daarna, tijdens gebruik. Je stopt in je prompt een paar voorbeelden van de taak die je wilt: bijvoorbeeld twee zinnen die je wilt laten vertalen, gevolgd door hun vertaling, en dan een derde zin zonder vertaling. Het model herkent het patroon in de tekst die het net gelezen heeft en zet dat patroon voort — het vult als het ware de vertaling in, puur op basis van wat er in dezelfde prompt staat. De gewichten van het model veranderen daarbij niet; er wordt niets opgeslagen voor een volgende keer.

Onderzoekers maken onderscheid tussen verschillende vormen. Bij zero-shot krijgt het model geen voorbeelden, alleen een instructie. Bij one-shot is er precies één voorbeeld, en bij few-shot een handjevol. Een verwante techniek is chain-of-thought-prompting, waarbij de voorbeelden niet alleen het antwoord tonen maar ook de tussenstappen van het redeneren, waardoor het model bij complexere vragen beter leert om zelf stap voor stap te redeneren.

Belangrijk is het verschil met fine-tuning, een andere manier om een model aan te passen. Bij fine-tuning wordt het model wél opnieuw getraind op nieuwe voorbeelden, met blijvende aanpassing van de gewichten — dat kost rekenkracht en tijd, maar de kennis blijft daarna behouden. In-context leren is de snelle, tijdelijke tegenhanger: geen training nodig, maar de aanpassing verdwijnt zodra de context — het stuk tekst dat het model 'ziet' — leeg raakt of vervangen wordt.

Wat wil men ermee bereiken?

Het belangrijkste doel is flexibiliteit zonder kosten. Een model opnieuw trainen voor elke nieuwe taak is duur en vraagt technische kennis. Als een gebruiker een taak via een paar voorbeelden in gewone tekst kan uitleggen, wordt AI toegankelijk voor mensen zonder programmeerachtergrond: je 'programmeert' het model als het ware met taal in plaats van met code.

Daarnaast hoopt men dat modellen zo sneller inspelen op nieuwe, specifieke situaties: een bedrijf dat een AI-assistent wil laten werken met zijn eigen sjablonen of huisstijl, kan dat proberen te bereiken door enkele voorbeelden mee te geven, in plaats van een kostbaar aangepast model te laten trainen.

Er is ook een wetenschappelijke drijfveer. Onderzoekers willen begrijpen waarom en hoe dit vermogen ontstaat. Het gebeurt namelijk niet doelbewust — niemand heeft modellen expliciet geprogrammeerd om dit te kunnen. Het is een eigenschap die vanzelf lijkt te ontstaan bij voldoende grote modellen die op voldoende veel tekst zijn getraind, en dat roept fundamentele vragen op over hoe deze systemen informatie verwerken.

Voorbeelden uit de praktijk

GPT-3 (OpenAI, 2020). In-context leren werd voor het eerst breed onder de aandacht gebracht in het artikel 'Language Models are Few-Shot Learners', waarin OpenAI liet zien dat hun taalmodel GPT-3 taken als vertalen en vraagbeantwoording kon uitvoeren enkel op basis van voorbeelden in de prompt, zonder enige aanpassing van het model.

Chain-of-thought-prompting (Google, 2022). Onderzoekers van Google lieten zien dat het toevoegen van uitgewerkte redeneerstappen aan de voorbeelden in de prompt de prestaties op rekenkundige en logische puzzels aanzienlijk verbeterde, wat inmiddels een standaardtechniek is in veel AI-toepassingen.

Induction heads (Anthropic, 2022). Het onderzoeksteam van Anthropic publiceerde werk waarin ze specifieke onderdelen ('koppen') binnen de architectuur van taalmodellen identificeerden die verantwoordelijk lijken voor het herkennen en herhalen van patronen — een van de eerste concrete aanwijzingen voor het interne mechanisme achter in-context leren.

Many-shot leren met lange context (Google DeepMind, 2024). Met de introductie van Gemini 1.5, dat honderdduizenden tot miljoenen tokens aan tekst in één keer kan verwerken, onderzocht Google DeepMind wat er gebeurt als je niet enkele, maar honderden of duizenden voorbeelden in de context stopt — met wisselend succes, afhankelijk van de taak.

Codeassistenten zoals GitHub Copilot. Programmeerhulpmiddelen gebruiken de code die al in een bestand staat als context: op basis van de stijl, naamgeving en patronen in het bestaande bestand suggereert het model passende aanvullingen, een dagelijkse toepassing van hetzelfde principe.

Hoe ver is de techniek?

In-context leren is inmiddels geen experimentele curiositeit meer, maar de standaardmanier waarop miljoenen mensen dagelijks met chatbots als ChatGPT, Claude en Gemini omgaan: elke keer dat je een voorbeeld toevoegt aan je vraag, gebruik je deze techniek. In die zin is de praktische toepassing volwassen en breed uitgerold.

Wat achterblijft, is het theoretische begrip. Er bestaan meerdere, deels concurrerende verklaringen voor waarom het werkt. Onderzoekers van Stanford beschreven het in 2021 als een vorm van impliciete Bayesiaanse gevolgtrekking — het model gokt op basis van de voorbeelden welke 'taak' er eigenlijk bedoeld wordt. Andere onderzoekers, onder meer van ETH Zürich, toonden in 2023 wiskundig aan dat bepaalde modelonderdelen tijdens het lezen van de prompt iets doen dat lijkt op een kleine, tijdelijke trainingsstap (vergelijkbaar met gradient descent, de rekenmethode die ook bij het trainen van modellen wordt gebruikt). Welke verklaring het dichtst bij de waarheid zit — of dat het een combinatie is — is nog niet uitgemaakt.

Ook praktisch zijn er duidelijke beperkingen. De prestaties blijken gevoelig voor de volgorde en opmaak van de voorbeelden: dezelfde voorbeelden in een andere volgorde kunnen tot andere resultaten leiden, wat de betrouwbaarheid ondermijnt. Bij zeer lange contexten met veel voorbeelden zien onderzoekers bovendien dat modellen informatie in het midden van de tekst soms lijken te 'vergeten' of minder goed te gebruiken, een verschijnsel dat wel 'lost in the middle' wordt genoemd. En omdat er geen blijvende aanpassing plaatsvindt, moet je bij elk nieuw gesprek opnieuw beginnen met uitleggen.

Wie werken eraan?

De grote Amerikaanse AI-bedrijven staan aan de basis van het meeste toonaangevende onderzoek: OpenAI (met de oorspronkelijke GPT-3-studie), Google DeepMind (chain-of-thought-onderzoek en de Gemini-modellen met zeer lange contextvensters), Anthropic (interpretatie-onderzoek naar de interne mechanismen, waaronder induction heads) en Meta AI (onderzoek rond de open Llama-modellen).

Op universitair niveau lopen onder meer Stanford University (met onderzoeksgroepen rond Percy Liang die de Bayesiaanse verklaring publiceerden) en ETH Zürich (met werk over de gradient-descent-analogie) voorop, naast bijdragen van onder meer UC Berkeley en Chinese onderzoeksinstituten zoals Tsinghua University. Geografisch is het onderzoek sterk geconcentreerd in de Verenigde Staten, met een groeiende bijdrage vanuit China en (via DeepMind en academische samenwerkingen) het Verenigd Koninkrijk en continentaal Europa.