Zero-shot: hoe AI taken uitvoert zonder ooit een voorbeeld te hebben gezien
Stel je een reisgids voor die nog nooit in Nederland is geweest, maar wel duizenden boeken heeft gelezen over Europese steden, cultuur en geschiedenis. Vraag die gids om een dagje Utrecht te beschrijven, en hij kan toch een verrassend goed antwoord geven: hij combineert algemene kennis over grachten, kerktorens en fietscultuur tot iets bruikbaars, zonder ooit een specifieke Utrecht-gids te hebben gelezen. Dat is in essentie wat "zero-shot" betekent in kunstmatige intelligentie: een AI-model voert een taak uit, of herkent iets, zonder dat het daarvoor specifieke voorbeelden heeft gekregen tijdens zijn training.
De term duikt steeds vaker op in artikelen over chatbots en beeldherkenning, meestal in zinnen als "het model kan dit zero-shot". Dat klinkt technisch, maar het idee is eenvoudig: in plaats van een systeem eerst honderden voorbeelden te tonen van wat je precies wilt ("hier zijn 200 e-mails die spam zijn, en 200 die het niet zijn"), leg je gewoon in woorden uit wat je wilt, en verwacht je dat het model dat zelf kan uitvoeren. Dat lukt steeds beter dankzij grote taalmodellen zoals GPT-4, Claude en Gemini, die zoveel algemene kennis hebben opgepikt tijdens hun training dat ze nieuwe, nooit eerder geziene opdrachten toch redelijk kunnen aanpakken.
Wat is het precies?
Om zero-shot te begrijpen, helpt het om het te vergelijken met de gebruikelijke manier waarop machine-learning-modellen vroeger werden getraind. Bij klassiek "supervised learning" (gecontroleerd leren) krijgt een model duizenden voorbeelden te zien die al gelabeld zijn: foto's van katten met het label "kat", foto's van honden met het label "hond", enzovoort. Het model leert de patronen die bij elk label horen, en kan daarna nieuwe foto's van katten en honden herkennen — maar alleen van categorieën die het tijdens de training heeft gezien.
Bij zero-shot ontbreekt die stap. Het model krijgt geen voorbeelden van de specifieke taak of categorie die je uiteindelijk wilt. In plaats daarvan moet het zijn antwoord baseren op kennis die het al had, gecombineerd met een beschrijving in gewone taal. Twee technieken maken dit mogelijk.
De eerste is het werken met "attributen" of kenmerken in plaats van harde labels. Een vroeg voorbeeld: een model dat nooit een zebra heeft gezien, kan er toch een herkennen als het weet dat een zebra "een paardachtig dier met zwart-witte strepen" is, en het al apart geleerd heeft wat strepen, paardachtige vormen en de kleuren zwart en wit zijn. Door bekende bouwstenen te combineren, herkent het iets nieuws.
De tweede, en tegenwoordig veel gangbaardere, techniek werkt met natuurlijke taal en zogeheten "embeddings": wiskundige representaties van betekenis. Een groot taalmodel heeft tijdens zijn training miljarden zinnen gelezen en daaruit een enorm intern netwerk van verbanden tussen woorden, concepten en taken opgebouwd. Als je zo'n model vraagt om een tekst te classificeren als "positief" of "negatief", zonder ook maar één voorbeeld te geven, dan put het uit die opgeslagen kennis om in te schatten wat bij die woorden hoort. Dit heet ook wel "zero-shot prompting": je geeft alleen een instructie, geen voorbeelden.
Ter vergelijking bestaan er ook "one-shot" (één voorbeeld) en "few-shot" (een handvol voorbeelden) varianten, waarbij je het model wel een paar voorbeelden in de vraag meegeeft zonder het opnieuw te trainen. Hoe minder voorbeelden nodig zijn om een taak goed uit te voeren, hoe flexibeler en breder inzetbaar een model in de praktijk is.
Wat wil men ermee bereiken?
De drijfveer achter zero-shot-onderzoek is praktisch: het verzamelen en labelen van trainingsdata is duur, traag en soms simpelweg onmogelijk. Voor sommige taken bestaan te weinig voorbeelden — denk aan zeldzame diersoorten, nieuwe producttypes, of talen met weinig digitale tekst. Voor andere taken verandert de wereld sneller dan datasets kunnen bijhouden: een model dat nieuwe onderwerpen, merken of gebeurtenissen moet herkennen zou anders steeds opnieuw getraind moeten worden.
Zero-shot-technieken beloven dat een model die kloof kan overbruggen door kennis te generaliseren: patronen die het geleerd heeft bij de ene taak, toepassen op een andere, verwante taak. Dat is ook waarom onderzoekers het zien als een stap richting flexibelere, meer "algemene" AI-systemen, in plaats van smalle systemen die maar één ding kunnen.
Voor bedrijven en ontwikkelaars is het aantrekkelijk omdat het de drempel verlaagt om AI in te zetten: je hoeft geen dataset te bouwen en geen model te trainen, je typt een instructie en krijgt (hopelijk) een bruikbaar antwoord. Dat verklaart voor een groot deel waarom chatbots als ChatGPT zo toegankelijk aanvoelen — de standaardmanier waarop mensen ermee omgaan, gewoon een vraag stellen zonder voorbeeld, is in feite zero-shot gebruik van het model.
Voorbeelden uit de praktijk
Een van de vroegste invloedrijke voorbeelden komt uit de computervisie. In 2009 publiceerden onderzoekers Christoph Lampert, Hannes Nickisch en Stefan Harmeling, verbonden aan het Max Planck Instituut, een methode om dieren te herkennen op basis van beschreven attributen (zoals "heeft vacht", "leeft in water", "is een roofdier") in plaats van directe voorbeelden van elke diersoort. Dit werk staat te boek als een van de fundamenten van het onderzoeksveld "zero-shot learning" zoals het formeel heet.
In de taalverwerking maakte OpenAI de term breed bekend met het GPT-2-model (2019) en vooral het GPT-3-artikel "Language Models are Few-Shot Learners" (Brown e.a., 2020). Daarin lieten de onderzoekers zien dat een voldoende groot taalmodel taken als vertalen, samenvatten en vraagbeantwoording redelijk kon uitvoeren puur op basis van een instructie, zonder finetuning op taakspecifieke data — een sterke aanwijzing dat schaalvergroting zero-shot-vaardigheden verbetert.
In de beeldherkenning bracht OpenAI in 2021 CLIP uit ("Contrastive Language-Image Pre-training"), een model dat afbeeldingen en tekstbeschrijvingen in dezelfde wiskundige ruimte leert plaatsen. Daardoor kan CLIP een foto classificeren door te controleren welke tekstbeschrijving — bijvoorbeeld "een foto van een zebra" versus "een foto van een paard" — het beste bij het beeld past, zonder ooit specifiek getraind te zijn op gelabelde zebrafoto's. Volgens OpenAI's eigen publicatie kwam de zero-shot-prestatie van CLIP op de bekende ImageNet-testset in de buurt van een traditioneel getraind ResNet-50-model, wat destijds opmerkelijk was.
Ook Hugging Face, het platform waar veel open-source AI-modellen worden gedeeld, biedt sinds enkele jaren een populaire "zero-shot classification"-functie aan, gebaseerd op modellen als BART die getraind zijn om te herkennen of een stelling logisch volgt uit een tekst. Door slim gebruik te maken van die vaardigheid kunnen gebruikers teksten indelen in willekeurige, zelfgekozen categorieën zonder eigen trainingsdata.
Tot slot is elk gesprek met een moderne chatbot in feite een zero-shot-toepassing: wanneer iemand ChatGPT, Claude of Gemini vraagt om bijvoorbeeld een gedicht in de stijl van Vondel te schrijven, is dat een taak waarvoor het model nooit specifiek is getraind, maar die het toch probeert op te lossen met algemene taalkennis.
Hoe ver is de techniek?
Zero-shot-vaardigheden zijn de afgelopen jaren sterk verbeterd, grotendeels als bijproduct van steeds grotere taalmodellen die op enorme hoeveelheden tekst en beeld zijn getraind. Wat ooit een smal onderzoeksveld was gericht op specifieke classificatieproblemen, is nu de standaardmanier waarop miljoenen mensen dagelijks met AI omgaan.
Toch is de techniek niet feilloos, en dat wordt in de vakliteratuur ook eerlijk benoemd. Zero-shot-prestaties blijven doorgaans lager dan wat hetzelfde model kan bereiken met een paar goede voorbeelden (few-shot) of met gerichte training op de specifieke taak. Bij ongebruikelijke, sterk gespecialiseerde of cultureel specifieke vragen presteren modellen merkbaar slechter.
Er is bovendien een methodologisch discussiepunt binnen de onderzoeksgemeenschap: omdat de trainingsdata van grote modellen zo omvangrijk is (vrijwel het hele publieke internet), is niet altijd zeker of een model een taak écht "zero-shot" oplost, of dat vergelijkbare voorbeelden toevallig al ergens in de trainingsdata zaten — een probleem dat bekendstaat als "data contamination" (datavervuiling). Dat maakt het lastig om zero-shot-claims in benchmarkstudies volledig te vertrouwen, en onderzoekers werken aan striktere testmethoden om dit te controleren.
Benchmarks zoals MMLU (Massive Multitask Language Understanding) en BIG-bench worden veel gebruikt om zero-shot- en few-shot-prestaties van taalmodellen onderling te vergelijken, en laten zien dat nieuwere modellen jaar na jaar beter scoren. Toch blijft menselijke prestatie op veel specialistische taken nog altijd de referentie, en zijn er taken — vooral met complexe, meerstapsredenering of feitelijke precisie — waarop zero-shot-modellen nog regelmatig fouten maken of dingen verzinnen.
Wie werken eraan?
Het fundamentele onderzoek naar zero-shot learning begon vooral aan universiteiten en onderzoeksinstituten, met het Max Planck Instituut voor Informatica als een van de vroege pioniers in computervisie. Tegenwoordig wordt het onderwerp gedreven door zowel academische groepen als de grote AI-bedrijven.
OpenAI (bekend van GPT en CLIP), Google DeepMind (met modellen als Gemini en eerdere baanbrekende publicaties), Meta AI/FAIR (onder meer met de Llama-modellenreeks) en Anthropic (ontwikkelaar van Claude) behoren tot de belangrijkste partijen die zero-shot-vaardigheden van grote modellen onderzoeken en toepassen. Hugging Face speelt een belangrijke rol als open platform waar zero-shot-classificatiemodellen vrij beschikbaar zijn voor ontwikkelaars.
Daarnaast blijven universiteiten wereldwijd — waaronder groepen in de Verenigde Staten, het Verenigd Koninkrijk, Duitsland en Nederland (bijvoorbeeld onderzoek naar machine learning en taalverwerking aan de UvA en de VU) — actief bijdragen aan het theoretisch begrip van generalisatie, benchmarking en de beperkingen van zero-shot-methoden.
Verder lezen
- arXiv – preprints van wetenschappelijke AI-publicaties
- OpenAI – ontwikkelaar van GPT en CLIP
- Hugging Face – open-source modellen, waaronder zero-shot classificatie
- Google DeepMind – onderzoek naar taal- en multimodale modellen
- Papers with Code – overzicht van onderzoek en benchmarks, waaronder zero-shot learning