Continual learning: hoe AI-systemen blijven leren zonder te vergeten
Stel je een student voor die zich elk semester volledig leegmaakt voor een tentamen: alle stof erin proppen, de toets maken, en daarna vrijwel alles weer kwijtraken zodra het volgende vak begint. Zo werkt de meeste kunstmatige intelligentie vandaag de dag. Een model wordt getraind op een grote berg data, krijgt daarna een 'bevroren' versie van zichzelf die de wereld in gaat, en leert vervolgens niets meer bij tenzij iemand het hele proces van voren af aan herhaalt met nieuwe data. Continual learning (ook wel lifelong learning of incrementeel leren genoemd) is het onderzoeksveld dat probeert AI-systemen te laten leren zoals een mens dat idealiter doet: de ene ervaring op de andere stapelen, zonder oude kennis kwijt te raken.
Het klinkt als een voor de hand liggende eigenschap, maar het is technisch verrassend lastig. Neurale netwerken, de rekenmodellen achter de meeste moderne AI, hebben de neiging om nieuwe informatie te laten overschrijven wat ze al wisten. Onderzoekers noemen dit catastrofaal vergeten (catastrophic forgetting). Continual learning zoekt naar manieren om dat te voorkomen, zodat systemen na verloop van tijd steeds vaardiger worden in plaats van steeds opnieuw te moeten beginnen.
Wat is het precies?
Een neuraal netwerk bestaat uit miljoenen tot miljarden verbindingen, elk met een eigen 'gewicht' dat aangeeft hoe sterk die verbinding meetelt in een beslissing. Tijdens het trainen worden die gewichten geleidelijk bijgesteld op basis van voorbeelden, totdat het netwerk een taak goed genoeg uitvoert. Het probleem ontstaat wanneer je daarna een nieuwe taak of nieuwe dataset aanbiedt: de aanpassingen die nodig zijn om de nieuwe taak te leren, overschrijven vaak precies de gewichten die belangrijk waren voor de oude taak. Het netwerk 'vergeet' dus niet omdat het geheugen vol is, maar omdat de nieuwe leerstap de oude kennis letterlijk wegduwt.
Onderzoekers pakken dit langs een paar hoofdroutes aan. Bij regularisatie-gebaseerde methoden wordt het netwerk als het ware gewaarschuwd: gewichten die belangrijk bleken voor eerdere taken mogen minder hard veranderen tijdens het leren van nieuwe taken. Bij replay- of rehearsal-methoden bewaart het systeem een selectie van oude voorbeelden (of genereert het kunstmatige, synthetische versies daarvan) en herhaalt die af en toe tijdens het leren van nieuwe dingen, zodat de oude kennis actief blijft. Bij architectuur-gebaseerde methoden ten slotte breidt het model zichzelf uit: voor elke nieuwe taak komen er extra onderdelen bij, terwijl de onderdelen die al bestonden grotendeels ongemoeid blijven.
Geen van deze aanpakken is een wondermiddel. Regularisatie werkt vaak goed bij kleine verschillen tussen taken maar schiet tekort bij grote sprongen. Replay-methoden zijn effectiever maar vragen opslag van data, wat weer op gespannen voet kan staan met privacywetgeving of geheugenbeperkingen. Architectuurgroei voorkomt vergeten goed, maar laat modellen almaar groter en duurder worden. Onderzoekers combineren daarom vaak meerdere technieken tegelijk.
Wat wil men ermee bereiken?
De directe motivatie is praktisch: het opnieuw trainen van grote AI-modellen kost enorm veel rekenkracht, tijd, geld en energie. Als een model in plaats daarvan incrementeel kan bijleren van nieuwe data, hoeft dat kostbare hertrainingsproces niet steeds van nul af aan. Voor bedrijven die grote taalmodellen of aanbevelingssystemen draaien, scheelt dat aanzienlijk in rekenkosten en CO2-uitstoot.
Een tweede doel is dat AI beter kan omgaan met een veranderende wereld. Een spraakherkenner moet nieuwe accenten en woorden kunnen opnemen, een fraudedetectiesysteem moet nieuwe oplichtingstrucs herkennen, en een robot die in een fabriek werkt moet zich aanpassen aan nieuwe producten op de lopende band. Systemen die alleen goed zijn op het moment van hun laatste training, verouderen snel in dynamische omgevingen.
Daarnaast is er een meer fundamenteel, wetenschappelijk motief: onderzoekers willen begrijpen waarom mensen en dieren wél moeiteloos levenslang kunnen bijleren zonder oude vaardigheden te verliezen, terwijl kunstmatige netwerken daar zo mee worstelen. Dat inzicht raakt niet alleen aan techniek, maar ook aan neurowetenschap en hoe het brein geheugen consolideert.
Voorbeelden uit de praktijk
Een aantal mijlpalen en projecten illustreert hoe het veld zich heeft ontwikkeld:
- Elastic Weight Consolidation (EWC), gepubliceerd door onderzoekers van DeepMind in 2017 in het tijdschrift PNAS, was een van de eerste invloedrijke regularisatiemethoden. Het systeem berekende welke gewichten cruciaal waren voor eerder geleerde taken (zoals verschillende Atari-spellen) en beschermde die tijdens het leren van nieuwe taken.
- Progressive Neural Networks, eveneens van DeepMind, uit 2016, lieten zien hoe je een netwerk stap voor stap kunt uitbreiden met nieuwe 'kolommen' voor elke nieuwe taak, terwijl eerdere kolommen intact blijven. Dit werd onder meer getest op robotbesturingstaken.
- iCaRL (2017) demonstreerde incrementele beeldherkenning: het model leerde stap voor stap nieuwe objectcategorieën herkennen zonder eerder geleerde categorieën te vergeten, met behulp van een kleine, slim gekozen set bewaarde voorbeelden per klasse.
- ContinualAI, een non-profitgemeenschap van onderzoekers die sinds 2018 actief is, onderhoudt onder meer de open-sourcebibliotheek Avalanche, waarmee onderzoekers wereldwijd continual-learning-methoden op dezelfde benchmarks kunnen vergelijken.
- In de sector van aanbevelingssystemen (zoals bij grote videoplatforms en webshops) worden al langer vormen van online en incrementeel leren toegepast, waarbij modellen doorlopend worden bijgewerkt met nieuwe kliks en interacties. Dit is verwant aan continual learning, al gebruiken dit soort productiesystemen vaak vereenvoudigde technieken in plaats van de meer geavanceerde anti-vergeet-methoden uit het onderzoek.
Hoe ver is de techniek?
Continual learning is grotendeels nog een onderzoeksveld, geen kant-en-klare technologie. Op gecontroleerde testverzamelingen (zoals reeksen van steeds nieuwe beeldherkenningstaken) is duidelijke vooruitgang geboekt sinds de introductie van EWC en vergelijkbare methoden. Maar het fundamentele probleem van catastrofaal vergeten is niet opgelost: naarmate taken meer van elkaar verschillen, of naarmate een systeem heel lang doorleert, blijft prestatieverlies op oude taken een hardnekkig verschijnsel.
In productieomgevingen kiezen bedrijven daarom vaak voor pragmatischere tussenoplossingen: periodiek volledig hertrainen op een verse dataset, of 'online leren' met stevige waarborgen tegen te snelle verandering, in plaats van de meer ambitieuze continual-learning-algoritmen uit de academische literatuur. Er is de laatste jaren wel hernieuwde belangstelling ontstaan door de opkomst van grote taalmodellen: die opnieuw volledig trainen om ze actuele kennis bij te brengen is extreem kostbaar, wat de vraag naar goedkopere, incrementele update-methoden urgenter maakt. Onderzoek naar 'continual pretraining' en het efficiënt bijwerken van taalmodellen zonder verlies van eerdere capaciteiten is dan ook een actief onderzoeksterrein in 2024 en 2025, zonder dat er al een algemeen aanvaarde standaardoplossing is.
Wie werken eraan?
Google DeepMind heeft met vroeg werk zoals EWC en Progressive Neural Networks een belangrijke aanjagende rol gespeeld. Ook andere grote technologiebedrijven, waaronder Google Research, Meta AI, Microsoft Research en IBM Research, publiceren regelmatig over incrementeel en levenslang leren, vaak met het oog op aanbevelingssystemen, taalmodellen of edge-AI (AI die op apparaten zelf draait met beperkt geheugen).
Aan de academische kant zijn onder meer onderzoeksgroepen aan de University of Illinois Chicago (bekend van vroeg werk over lifelong learning), KU Leuven en de Vrije Universiteit Amsterdam in Europa, en verschillende Chinese universiteiten en het Noah's Ark Lab van Huawei actief. De gemeenschap ContinualAI functioneert als internationaal knooppunt dat onderzoekers uit onder meer de Verenigde Staten, Europa en Azië verbindt via workshops, gedeelde datasets en open-sourcegereedschap. Er is geen dominant land of instituut dat het veld alleen bepaalt; het is verspreid onderzoek dat vooral via wetenschappelijke conferenties zoals NeurIPS, ICML en CVPR samenkomt.