Het extrapolatieprobleem: waarom AI vastloopt op het onbekende
Stel je een leerling voor die duizenden opgeloste rekensommen uit zijn hoofd heeft geleerd. Vraag je hem een som die lijkt op wat hij kent, dan lukt dat feilloos. Maar leg je hem een nieuw type probleem voor, dat een net iets andere manier van denken vereist, dan valt hij door de mand. Hij heeft patronen onthouden, geen wiskunde begrepen. Dit is in essentie het extrapolatieprobleem: het verschijnsel dat kunstmatige intelligentie (AI) uitstekend presteert op situaties die lijken op de trainingsdata, maar faalt zodra ze buiten dat vertrouwde gebied moet redeneren.
Het probleem duikt overal op waar AI wordt losgelaten op de echte wereld: een zelfrijdende auto die een fietser met een fiets aan de hand niet herkent omdat die combinatie nooit in de trainingsvideo's zat, of een taalmodel dat een simpel logisch raadsel verkeerd oplost zodra de bewoording net anders is dan de duizenden vergelijkbare voorbeelden die het heeft gezien. Extrapolatie, oftewel voorspellen of redeneren buiten het bereik van wat je al kent, blijkt voor de huidige generatie AI-systemen verrassend lastig, terwijl mensen dit dagelijks moeiteloos doen.
Wat is het precies?
In de statistiek is interpolatie het invullen van een waarde tussen twee bekende punten, en extrapolatie het voorspellen van een waarde buiten het bereik van de gemeten punten. Een simpel voorbeeld: als je weet dat water bij 0 graden bevriest en bij 100 graden kookt, kun je met interpolatie goed inschatten wat er bij 50 graden gebeurt. Extrapoleren naar min 200 graden, ver buiten je metingen, is riskanter: de wetten die binnen je bereik golden, hoeven daarbuiten niet meer op te gaan.
Moderne AI-systemen, met name neurale netwerken, zijn in de kern statistische patroonherkenners. Tijdens de training (het proces waarbij een model op basis van grote hoeveelheden voorbeelden zijn interne rekenregels aanpast) leert het systeem verbanden in een specifieke dataset, de zogeheten trainingsdistributie. Zolang nieuwe input lijkt op wat het model eerder zag, gaat het goed: dat heet interpoleren binnen de geleerde ruimte. Zodra input duidelijk afwijkt, spreekt men van out-of-distribution (OOD) data, letterlijk data die buiten de verdeling valt waarop getraind is. Daar wordt het onvoorspelbaar.
De kern van het probleem is dat de meeste AI-modellen geen onderliggende oorzakelijke wetten leren, maar oppervlakkige statistische correlaties. Een beeldherkenner die honden altijd op gras heeft gezien, kan een hond op sneeuw verkeerd classificeren, niet omdat het dier veranderd is, maar omdat de achtergrond nieuw is. Onderzoekers noemen dit gebrek aan compositionaliteit: het vermogen om bekende bouwstenen op een nieuwe manier te combineren, zoals mensen moeiteloos doen wanneer ze een woord in een ongebruikelijke zin begrijpen.
Wat wil men ermee bereiken?
Het uiteindelijke doel is AI die betrouwbaar blijft functioneren in de oneindige verscheidenheid van de echte wereld, ook in situaties die de ontwikkelaars nooit hebben voorzien. Dat is cruciaal voor veiligheidskritische toepassingen: een zelfrijdende auto of een medisch diagnosesysteem kan zich niet permitteren te falen zodra het iets tegenkomt dat net iets afwijkt van de trainingsvoorbeelden.
Er is ook een dieper wetenschappelijk motief. Veel onderzoekers zien het oplossen van het extrapolatieprobleem als noodzakelijke stap richting algemene kunstmatige intelligentie (AGI): systemen die, net als mensen, met weinig voorbeelden nieuwe, ongeziene problemen kunnen doorgronden. Mensen hebben aan een enkel voorbeeld vaak genoeg om een principe te begrijpen en toe te passen op compleet nieuwe situaties; huidige AI heeft doorgaans duizenden tot miljoenen voorbeelden nodig en faalt alsnog zodra de situatie te veel afwijkt.
Daarnaast speelt het probleem een rol buiten de AI zelf, bijvoorbeeld bij wetenschappelijke modellen. Klimaatmodellen moeten uitspraken doen over temperaturen en CO2-concentraties die buiten het bereik van historische metingen liggen. Ook daar geldt: hoe verder je extrapoleert van bekende data, hoe groter de onzekerheid.
Voorbeelden uit de praktijk
Een berucht voorbeeld is het dodelijke ongeval met een zelfrijdende testauto van Uber in Tempe, Arizona, in 2018. Het systeem detecteerde een overstekende voetganger met een fiets aan de hand, maar kon haar niet consistent classificeren omdat ze niet paste in de categorieën 'voetganger' of 'fietser' waarop het was getraind. Die classificatiewissel kostte kostbare seconden.
In 2019 introduceerde AI-onderzoeker François Chollet, destijds werkzaam bij Google, de ARC-benchmark (Abstraction and Reasoning Corpus) in zijn paper 'On the Measure of Intelligence'. ARC bestaat uit visuele puzzels die elk hun eigen, nooit eerder geziene regel bevatten. Mensen lossen de meeste puzzels moeiteloos op, terwijl taalmodellen, ondanks hun indrukwekkende taalvaardigheid, lange tijd nauwelijks verder kwamen dan een paar procent. Sinds 2024 organiseert het onafhankelijke initiatief ARC Prize jaarlijkse wedstrijden om dit gat te dichten.
Ook grote taalmodellen zoals de GPT-serie van OpenAI laten het probleem zien: verander een bekend logisch raadsel op een subtiele manier, bijvoorbeeld door de vraag om te draaien, en de kans is groot dat het model terugvalt op het patroon van het originele, veelvoorkomende raadsel in plaats van werkelijk te redeneren.
In de eiwitvouwing zag men een genuanceerder beeld. AlphaFold van DeepMind, sinds 2020 een doorbraak in het voorspellen van eiwitstructuren, presteert uitstekend op eiwitten die qua opbouw lijken op bekende families, oftewel binnen de trainingsdistributie. Bij compleet nieuwe, nooit eerder waargenomen vouwpatronen (novel folds) geeft het model zelf lagere betrouwbaarheidsscores, een expliciete erkenning van de grenzen van extrapolatie.
Tot slot illustreren klimaatmodellen, zoals gebruikt in de rapporten van het IPCC (Intergovernmental Panel on Climate Change), hoe extrapolatie ook buiten AI een rol speelt: scenario's voor extreme opwarming vereisen voorspellingen buiten het bereik van gemeten temperatuur- en CO2-niveaus, met bijbehorende brede onzekerheidsmarges.
Hoe ver is de techniek?
Het extrapolatieprobleem is allesbehalve opgelost en geldt in de onderzoeksgemeenschap als een van de fundamentelere obstakels op weg naar robuustere AI. Vooruitgang verloopt geleidelijk via verschillende sporen.
Een eerste spoor is data-augmentatie: kunstmatig meer variatie toevoegen aan trainingsdata, zodat het bereik waarbinnen een model goed presteert breder wordt. Dit verkleint het probleem, maar lost het niet fundamenteel op, want er blijft altijd een buitengebied.
Een tweede spoor is causale AI, geïnspireerd door het werk van computerwetenschapper Judea Pearl, die stelt dat systemen oorzaak-gevolgrelaties moeten leren in plaats van louter correlaties. Een model dat begrijpt waarom iets gebeurt, kan in theorie beter omgaan met nieuwe situaties dan een model dat alleen patronen herkent. Dit onderzoek is veelbelovend maar nog grotendeels experimenteel.
Een derde, recenter spoor zijn zogeheten redeneermodellen, zoals de o1- en o3-modellen van OpenAI (2024-2025), die tijdens het genereren van een antwoord extra rekentijd gebruiken om stapsgewijs te redeneren in plaats van direct een patroon te reproduceren. Op de moeilijkere opvolger ARC-AGI-2 (2025) behalen deze modellen betere scores dan eerdere taalmodellen, maar mensen presteren nog altijd aanzienlijk beter, en de kosten per opgeloste puzzel zijn vaak hoog.
Het fundamentele obstakel blijft dat de dominante trainingsmethode, gradient descent op enorme datasets, in de kern een vorm van geavanceerde interpolatie is. Of dit paradigma ooit tot echte extrapolatie leidt, of dat daarvoor een wezenlijk andere aanpak nodig is, zoals neurosymbolische AI die neurale netwerken combineert met symbolische, regelgebaseerde redenering, is een open vraag waarover onderzoekers het oneens zijn.
Wie werken eraan?
Grote techbedrijven investeren fors in dit vraagstuk. DeepMind (onderdeel van Google) doet onderzoek naar generalisatie, causale modellen en de grenzen van systemen zoals AlphaFold. OpenAI ontwikkelt redeneermodellen die proberen het gat met menselijke abstractie te verkleinen. François Chollet heeft Google verlaten om zich via het onafhankelijke ARC Prize-initiatief volledig te richten op het meten en stimuleren van vooruitgang op dit specifieke probleem.
In de academische wereld zijn onder meer het Massachusetts Institute of Technology (MIT), met cognitiewetenschapper Josh Tenenbaum die onderzoek doet naar hoe mensen wél efficiënt generaliseren, en Judea Pearl aan de University of California, Los Angeles (UCLA), met zijn werk aan causale inferentie, invloedrijke stemmen. Ook in Nederland wordt aan aanverwante generalisatievraagstukken gewerkt, onder meer bij het Centrum Wiskunde & Informatica (CWI) en diverse universitaire AI-groepen, bijvoorbeeld aan de TU Delft en de Universiteit van Amsterdam.
Voor de klimaatgerelateerde kant van extrapolatie is het IPCC, met bijdragen van nationale instituten zoals het KNMI, de belangrijkste autoriteit die met expliciete onzekerheidsmarges omgaat met voorspellingen buiten het historisch gemeten bereik.