Leercurve: hoe machines (en mensen) leren van ervaring
Stel je voor dat een kind leert fietsen. De eerste pogingen gaan wankel en er volgen schaafwonden, maar na een paar middagen oefenen gaat het opeens vloeiend. Zet je dat vooruitgang af tegen de tijd die erin is gestoken, dan krijg je een grafiek die eerst snel omhoogschiet en daarna afvlakt zodra het kind het onder de knie heeft. Die grafiek noemen we een leercurve, en hetzelfde principe gebruiken onderzoekers om te meten hoe goed kunstmatige intelligentie leert van gegevens.
In de context van technologie duidt 'leercurve' meestal op een wiskundige grafiek waarmee onderzoekers volgen hoe de prestaties van een lerend systeem, meestal een AI-model, veranderen naarmate het meer voorbeelden, meer rekentijd of meer parameters (instelbare knoppen in het model) krijgt. Zo'n curve is geen vaag beeld maar een concreet hulpmiddel: het vertelt ontwikkelaars of extra investeringen in data en rekenkracht nog zin hebben, of dat een model tegen zijn grenzen aanloopt.
Wat is het precies?
Een leercurve wordt getekend door twee dingen tegen elkaar te zetten: aan de ene kant een hoeveelheid 'leerervaring' (bijvoorbeeld het aantal trainingsvoorbeelden, het aantal doorlopen leerrondes, of de gebruikte rekenkracht), en aan de andere kant een prestatiemaat (bijvoorbeeld hoe vaak het model de juiste voorspelling doet, of hoe klein de fout is).
Bij het trainen van een AI-model gebeurt dit in de praktijk zo: het model krijgt telkens een klein beetje meer data of doorloopt telkens één cyclus extra door de trainingsset (een zogeheten 'epoch'). Na elke stap meet men de fout op data die het model nog niet gezien heeft. Zet je die foutwaarden na elkaar in een grafiek, dan ontstaat de curve.
Belangrijk is het onderscheid tussen twee curven die vaak samen worden getoond: de trainingscurve (hoe goed het model presteert op de data waarmee het traint) en de validatiecurve (hoe goed het presteert op nieuwe, ongeziene data). Lopen beide curven gelijk op, dan leert het model gezonde, algemene patronen. Blijft de trainingscurve wél verbeteren terwijl de validatiecurve stagneert of verslechtert, dan is er sprake van overfitting: het model heeft de trainingsvoorbeelden als het ware uit het hoofd geleerd in plaats van de onderliggende regelmatigheden te begrijpen.
Een verwant en actueler begrip is de 'scaling law' (schaalwet): grootschalig onderzoek, vooral bij taalmodellen, laat zien dat de fout van een model op een voorspelbare, wiskundige manier daalt naarmate je de hoeveelheid data, het aantal parameters en de rekenkracht tegelijk vergroot. Deze wetten zijn in feite leercurven op een veel grotere schaal, gebruikt om te voorspellen hoe goed een nog niet gebouwd model zal presteren.
Wat wil men ermee bereiken?
Het belangrijkste doel is voorspelbaarheid. Het trainen van grote AI-modellen kost miljoenen euro's aan rekenkracht en energie. Door leercurven en schaalwetten te bestuderen, kunnen onderzoeksteams vooraf inschatten of een groter model of een grotere dataset de investering waard is, in plaats van blind te gokken.
Daarnaast dienen leercurven als diagnosemiddel. Vlakt de curve snel af, dan wijst dat vaak op een model dat te simpel is voor de taak (underfitting) of op data die te weinig variatie bevat. Blijft de kloof tussen trainings- en validatiecurve groeien, dan is dat een teken dat het model moet worden bijgesteld, bijvoorbeeld door het te vereenvoudigen of door meer, diversere data te verzamelen.
Een derde doel is efficiëntie. Als blijkt dat een curve al afvlakt bij een fractie van de beschikbare data, hoeft niet alle data gebruikt te worden, wat rekenkracht en dus energie bespaart. Omgekeerd kan een curve die nog steilstijgt aantonen dat verdere investering in data of rekenkracht wél loont, wat de afgelopen jaren de belangrijkste drijfveer is geweest achter steeds grotere taalmodellen.
Voorbeelden uit de praktijk
Een aantal invloedrijke studies en projecten laat zien hoe leercurven en schaalwetten in de praktijk worden toegepast.
- Kaplan e.a. (OpenAI, 2020) publiceerden 'Scaling Laws for Neural Language Models', waarin ze aantoonden dat de nauwkeurigheid van taalmodellen op voorspelbare wijze verbetert met meer parameters, data en rekenkracht. Dit werk lag mede aan de basis van de ontwikkeling van GPT-3.
- Hoffmann e.a. (DeepMind, 2022) lieten met het model Chinchilla zien dat veel eerdere modellen relatief te groot waren getraind ten opzichte van de hoeveelheid data. Een kleiner model met meer trainingsdata presteerde beter, wat de manier waarop bedrijven grote modellen trainen blijvend heeft veranderd.
- AlphaGo en AlphaZero (DeepMind, 2016-2017) toonden leercurven die niet uit menselijke data kwamen, maar uit zelfspel: het systeem speelde miljoenen partijen tegen zichzelf en de leercurve liet zien hoe de speelsterkte in enkele dagen die van menselijke grootmeesters oversteeg.
- ImageNet-onderzoek in de computervisie (sinds ongeveer 2012, met modellen als ResNet in 2015) gebruikte leercurven om te bepalen hoeveel gelabelde afbeeldingen nodig waren voordat herkenningsmodellen betrouwbaar werden, wat de basis legde voor veel hedendaagse beeldherkenning.
- Medische AI-toepassingen, zoals modellen voor het herkennen van huidkanker op foto's (onderzoek gepubliceerd door onder meer Stanford University vanaf 2017), gebruiken leercurven om te bepalen hoeveel patiëntgegevens minimaal nodig zijn voor een veilig inzetbaar model, wat direct raakt aan medisch-ethische afwegingen over dataverzameling.
Hoe ver is de techniek?
Het gebruik van leercurven zelf is geen nieuwe of onzekere techniek; het is al decennialang een standaardonderdeel van machine learning en wordt onderwezen in vrijwel elke inleidende cursus data science. De echte ontwikkeling zit in de schaalwetten: het voorspellen van prestaties van modellen die nog niet bestaan.
Hier is nog volop discussie. De schaalwetten van Kaplan en later Hoffmann werkten goed voor de generatie taalmodellen tot en met ongeveer 2023, maar onderzoekers zien de laatste jaren tekenen dat simpelweg groter maken niet meer de garantie op verbetering geeft die het ooit was. Sommige bedrijven melden dat extra data en rekenkracht steeds minder extra kwaliteit opleveren, wat er mogelijk op wijst dat de curve begint af te vlakken bij de huidige aanpak van taalmodellen. Anderen betwisten dit en wijzen op nieuwe technieken, zoals het trainen op meer rekentijd tijdens het antwoorden in plaats van tijdens het trainen zelf (zogeheten 'inference-time scaling', zichtbaar in modellen als OpenAI's o1 uit 2024), waarmee opnieuw duidelijke verbeteringen worden geboekt.
Kortom: de meetmethode is volwassen en betrouwbaar, maar wat de curve op lange termijn precies zal laten zien voor toekomstige, nog grotere AI-systemen is een onderwerp van actief en soms fel debat onder onderzoekers.
Wie werken eraan?
Het onderzoek naar schaalwetten en leercurven van grote AI-modellen wordt vooral gedreven door de grote Amerikaanse AI-bedrijven: OpenAI, Google DeepMind, Meta AI en Anthropic publiceren geregeld studies hierover. Academisch onderzoek komt sterk van Amerikaanse universiteiten zoals Stanford University en het Massachusetts Institute of Technology (MIT), vaak in samenwerking met de genoemde bedrijven.
Daarnaast investeert China fors in dit type onderzoek, met instituten als het Beijing Academy of Artificial Intelligence en bedrijven zoals Baidu en Alibaba die eigen schaalstudies publiceren. In Europa dragen onder meer het Duitse Max Planck Institute for Intelligent Systems en Franse onderzoeksgroepen (verbonden aan Meta AI's Parijse vestiging) bij aan dit veld, al blijft de omvang van hun rekenkracht doorgaans kleiner dan die van de Amerikaanse techreuzen.