Generalisatie: waarom AI moeite heeft met het onbekende
Generalisatie is het vermogen van een kunstmatig-intelligentiesysteem om kennis die het tijdens training heeft opgedaan, toe te passen op situaties die het nog nooit heeft gezien. Een model dat goed generaliseert, herkent bijvoorbeeld een kat op een foto die totaal anders is dan alle katten uit zijn trainingsdata: andere belichting, andere hoek, een ander ras. Zonder generalisatie is een AI-systeem in feite een geavanceerde opzoektabel: het werkt alleen voor gevallen die sterk lijken op wat het al kende.
Een bekende analogie is die van een leerling die zich voorbereidt op een examen. De ene leerling leert de onderliggende principes van wiskunde en kan daardoor ook nieuwe, nooit eerder geziene sommen oplossen. De andere leerling leert de antwoorden van oude examens uit zijn hoofd en scoort perfect zolang de vragen identiek zijn, maar faalt zodra er iets verandert. Machine-learningmodellen kunnen zich op dezelfde twee manieren gedragen: sommige leren echte patronen, andere onthouden vooral voorbeelden. Alleen het eerste type generaliseert goed, en dat verschil is een van de belangrijkste graadmeters voor de kwaliteit van een AI-systeem.
Wat is het precies?
Bij het trainen van een machine-learningmodel worden de gegevens meestal in twee delen gesplitst: trainingsdata, waarmee het model leert, en testdata, die apart wordt gehouden om te controleren of het model ook werkt op voorbeelden die het nog niet heeft gezien. Generalisatie is de mate waarin de prestaties op die testdata overeenkomen met de prestaties op de trainingsdata.
Twee problemen kunnen die generalisatie verstoren. Bij overfitting (overaanpassing) leert een model de trainingsvoorbeelden zo precies uit het hoofd, inclusief toevallige ruis en uitzonderingen, dat het slecht presteert op nieuwe data. Bij onderfitting (underfitting) is het model juist te simpel en pikt het zelfs de basispatronen in de trainingsdata niet goed op, waardoor het overal middelmatig scoort. Onderzoekers noemen de balans daartussen de bias-variance afweging: een model met te veel vrijheidsgraden (hoge variance) overfit snel, een model met te weinig vrijheidsgraden (hoge bias) mist belangrijke patronen.
Het verschil tussen de score op trainingsdata en de score op testdata heet de generalisatiekloof. Hoe kleiner die kloof, hoe beter het model generaliseert. Om die kloof te verkleinen gebruiken onderzoekers verschillende technieken. Regularisatie voegt beperkingen toe die het model ontmoedigen om te complex te worden. Dropout schakelt tijdens training willekeurig delen van een neuraal netwerk uit, zodat het model niet afhankelijk wordt van één specifiek onderdeel. Data-augmentatie creëert kunstmatige variatie in de trainingsdata, bijvoorbeeld door foto's te spiegelen, te draaien of van kleur te veranderen, zodat het model robuuster wordt tegen kleine verschillen. Cross-validatie is een testmethode waarbij de data steeds op andere manieren wordt opgesplitst in trainings- en testdelen, om een betrouwbaarder beeld te krijgen van hoe goed een model werkelijk generaliseert.
Een extra complicatie is out-of-distribution generalisatie: presteren op data die niet alleen nieuw is, maar ook statistisch anders verdeeld dan de trainingsdata. Een model dat is getraind op zonnige foto's van straatverkeer kan bijvoorbeeld volledig falen bij sneeuw of mist, ook al lijkt de taak inhoudelijk hetzelfde. Dit soort verschuiving heet distribution shift en is een van de hardnekkigste oorzaken van slechte generalisatie in de praktijk.
Wat wil men ermee bereiken?
Generalisatie is geen academische bijzaak, maar de kern van waarom machine learning nuttig is. Een systeem dat niet generaliseert, heeft in de praktijk vrijwel geen waarde: de wereld levert voortdurend nieuwe situaties op die niet exact in de trainingsdata zaten. Onderzoekers willen daarom modellen die betrouwbaar blijven werken buiten het smalle bereik van hun trainingsvoorbeelden.
Dit raakt direct aan veiligheid en vertrouwen. Een medisch diagnosemodel dat alleen werkt op scans uit één ziekenhuis is potentieel gevaarlijk als het elders wordt ingezet. Een zelfrijdende auto die alleen goed presteert bij daglicht en droog weer is onbruikbaar zodra het regent of schemert. Goede generalisatie is dus een voorwaarde voor robuustheid: het vermogen van een systeem om stabiel te blijven presteren onder kleine, onvoorspelbare veranderingen in de wereld.
Daarnaast speelt generalisatie een centrale rol in het bredere debat over hoe 'intelligent' AI-systemen eigenlijk zijn. Grote taalmodellen lijken soms verrassend goed te generaliseren naar taken waarvoor ze niet expliciet zijn getraind, maar critici wijzen erop dat dit deels ook verhulde vormen van patroonherkenning uit enorme trainingsdatasets kan zijn. Het onderscheid tussen 'echt begrip' en 'zeer goed generaliserende statistiek' is een van de grote onopgeloste discussies in het vakgebied.
Voorbeelden uit de praktijk
AlexNet en ImageNet (2012): het neurale netwerk AlexNet, ontwikkeld door Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton, versloeg tijdens de ImageNet-competitie andere methoden met een groot verschil doordat het aanzienlijk beter generaliseerde naar nieuwe, ongeziene foto's. Dit resultaat wordt algemeen gezien als het startpunt van de moderne deep-learninggolf.
AlphaFold (2020): het eiwitvouwingsmodel van Google DeepMind moest tijdens de CASP14-competitie de driedimensionale structuur voorspellen van eiwitten waarvan de structuur nog onbekend was, dus buiten alles wat het tijdens training had gezien. De nauwkeurigheid benaderde die van experimentele methoden, wat werd beschouwd als een doorbraak in generalisatie naar een compleet nieuw probleemgebied.
GPT-3 en few-shot learning (2020): OpenAI liet in de paper 'Language Models are Few-Shot Learners' zien dat een groot taalmodel nieuwe taken kon uitvoeren op basis van slechts enkele voorbeelden in de prompt, zonder aanvullende training. Dit werd gepresenteerd als een vorm van generalisatie binnen het model zelf, al blijft gedebatteerd hoeveel hiervan neerkomt op het herkennen van patronen die al impliciet in de enorme trainingsdata aanwezig waren.
Adversarial examples (sinds 2013): onderzoekers ontdekten dat beeldherkenningsmodellen volledig verkeerde voorspellingen kunnen doen na het toevoegen van voor mensen onzichtbare ruis aan een foto. Dit liet zien dat modellen die op reguliere testdata uitstekend generaliseren, toch zeer kwetsbaar kunnen zijn voor kleine, gerichte verstoringen, een ander soort generalisatiefalen.
COVID-19 röntgenmodellen (2020-2021): verschillende AI-modellen die longfoto's gebruikten om COVID-19 te herkennen, bleken tijdens onafhankelijk onderzoek vooral 'shortcuts' te hebben geleerd, zoals ziekenhuis-specifieke kenmerken in de beelden, in plaats van medisch relevante patronen. De modellen presteerden uitstekend op data uit hetzelfde ziekenhuis, maar zakten sterk in bij data uit andere ziekenhuizen, een schoolvoorbeeld van slechte out-of-distribution generalisatie.
Hoe ver is de techniek?
Op gestandaardiseerde benchmarks binnen dezelfde datadistributie is generalisatie de afgelopen tien jaar sterk verbeterd. Beeldherkenning, spraakherkenning en taalmodellen halen op veel testsets prestaties die dicht bij of soms boven menselijk niveau liggen. Toch blijft out-of-distribution generalisatie een van de grootste openstaande problemen. Benchmarks zoals ImageNet-C, waarbij foto's kunstmatig worden vervormd met ruis, wazigheid of weersomstandigheden, laten zien dat zelfs sterke modellen fors inleveren zodra de data ook maar een beetje afwijkt van de trainingsverdeling.
Een strenge graadmeter voor abstract redeneervermogen is de ARC-benchmark (Abstraction and Reasoning Corpus), geïntroduceerd door AI-onderzoeker François Chollet in 2019. Deze puzzels zijn bewust zo ontworpen dat ze niet met simpel patroonmatchen op te lossen zijn, en jarenlang bleven zelfs de beste modellen ver achter bij menselijke prestaties. Sinds 2024 loopt er via de ARC Prize een publieke competitie om de vooruitgang op dit gebied te versnellen; recente generaties modellen boeken duidelijke verbeteringen, maar een sluitende oplossing is er nog niet.
Belangrijkste obstakels blijven: modellen die 'shortcuts' leren in plaats van onderliggende principes, gebrek aan transparantie over waaróm een model iets wel of niet generaliseert, en de hoge kosten van het verzamelen van voldoende diverse trainingsdata om distributieverschuivingen te voorkomen. Er is brede consensus in het vakgebied dat betere generalisatie, vooral buiten de trainingsdistributie, een van de sleutels is tot betrouwbaardere AI, maar geen consensus over de precieze weg daarnaartoe.
Wie werken eraan?
Generalisatieonderzoek wordt gedreven door zowel bedrijven als academische instituten. Google DeepMind en OpenAI publiceren regelmatig onderzoek naar robuustheid en generalisatie van hun modellen, onder meer via werk aan AlphaFold en grote taalmodellen. Meta AI (FAIR) en Anthropic doen vergelijkbaar fundamenteel onderzoek, met bij Anthropic extra nadruk op de vraag hoe generalisatie zich verhoudt tot veilig en voorspelbaar gedrag van AI-systemen.
Op academisch vlak spelen universiteiten als MIT, Stanford University en UC Berkeley een centrale rol, met onderzoeksgroepen die zich specifiek richten op leertheorie, robuustheid en out-of-distribution generalisatie. In Canada is Mila (Montreal Institute for Learning Algorithms), mede opgericht door Turing Award-winnaar Yoshua Bengio, een belangrijk kenniscentrum. Ook Europese instituten en universiteiten, verenigd in netwerken als ELLIS (European Laboratory for Learning and Intelligent Systems), en onderzoeksgroepen in China investeren fors in dit thema, wat generalisatie tot een wereldwijd gedeeld onderzoeksveld maakt in plaats van het domein van één land of bedrijf.