Trainingsdata: het voedsel waarmee kunstmatige intelligentie leert
Elke keer dat een chatbot een vraag beantwoordt of een beeldgenerator een plaatje tekent, gebeurt dat dankzij duizenden tot miljarden voorbeelden die het onderliggende computermodel eerder heeft gezien. Die verzameling voorbeelden heet trainingsdata: de tekst, afbeeldingen, geluidsfragmenten of andere gegevens waarmee een AI-systeem wordt "opgeleid" voordat het gebruikt kan worden.
Een handige vergelijking is een kind dat leert fietsen herkennen. Je laat het kind geen technische tekening van een fiets zien, maar honderden echte fietsen: rode, blauwe, grote, kleine, met en zonder mandje. Na verloop van tijd herkent het kind het patroon "fiets", ook bij een model dat het nog nooit zag. Zo werkt het ook bij een AI-model, alleen dan met miljoenen of miljarden voorbeelden in plaats van honderden, en met wiskundige berekeningen in plaats van een kinderbrein.
Wat is het precies?
Machine learning, de tak van kunstmatige intelligentie waarbij computers patronen leren uit voorbeelden in plaats van vaste regels te volgen, draait volledig om trainingsdata. Een model begint als een verzameling willekeurige getallen, de zogeheten parameters. Tijdens het trainen past een algoritme die getallen stapsgewijs aan zodat het model steeds beter voorspelt wat er in de trainingsdata staat.
Bij supervised learning, oftewel gecontroleerd leren, krijgt het model gelabelde voorbeelden: een foto van een kat met het label "kat", of een zin in het Engels met de bijbehorende Nederlandse vertaling. Het model leert de relatie tussen invoer en het juiste antwoord. Dit labelen gebeurt vaak nog altijd handmatig door mensen, wat een kostbaar en tijdrovend proces is.
Grote taalmodellen zoals de systemen achter chatbots gebruiken vaker self-supervised learning: het model leert door telkens het volgende woord in een zin te voorspellen, zonder dat iemand er expliciet een label bij hoeft te zetten. De tekst zelf levert als het ware haar eigen "juiste antwoord". Dat maakt het mogelijk om enorme hoeveelheden ongelabelde tekst van internet te gebruiken.
De omvang van trainingsdata wordt bij tekst vaak uitgedrukt in tokens: stukjes tekst, ongeveer een woord of een woorddeel, die het model als eenheid verwerkt. Bij beelddatasets telt men vaak het aantal afbeeldingen. Voordat data gebruikt wordt, doorloopt het meestal een schoonmaakproces, data cleaning genoemd: dubbele bestanden, foutieve labels, schadelijke of irrelevante inhoud worden eruit gefilterd.
Een risico tijdens training is overfitting: het model onthoudt de trainingsvoorbeelden te letterlijk in plaats van het onderliggende patroon te leren, waardoor het slecht presteert op nieuwe, onbekende gevallen. Om dit te voorkomen wordt een deel van de data apart gehouden als testset, waarmee ontwikkelaars controleren of het model ook echt generaliseert.
Wat wil men ermee bereiken?
Het uiteindelijke doel is een model dat goed generaliseert: dat correct omgaat met situaties die niet letterlijk in de trainingsdata voorkwamen. Een zelfrijdende auto moet ook een voetganger herkennen in weersomstandigheden die niet exact in de trainingsset zaten, en een taalmodel moet een vraag kunnen beantwoorden die net anders geformuleerd is dan alle voorbeelden die het zag.
Onderzoekers ontdekten de afgelopen jaren zogeheten scaling laws: vuistregels die aangeven dat modelprestaties vrij voorspelbaar verbeteren naarmate je de hoeveelheid trainingsdata, het aantal parameters en de rekenkracht tegelijk vergroot. Deze bevinding, populair gemaakt door onderzoek van onder meer OpenAI en DeepMind rond 2020-2022, is een belangrijke reden waarom techbedrijven zoveel data verzamelen: meer en betere data betekent doorgaans een capabeler model.
Kwaliteit en diversiteit van data blijken minstens zo belangrijk als kwantiteit. Een model dat alleen Engelstalige Wikipedia-artikelen ziet, leert geen Nederlands en geen informele spreektaal. Een gezichtsherkenningssysteem dat vooral getraind is op foto's van lichte huidskleuren, presteert aantoonbaar slechter bij donkere huidskleuren, een probleem dat onderzoekers als Joy Buolamwini in de jaren 2018-2019 pijnlijk blootlegden. Diverse, representatieve data is dus niet alleen een technische wens maar ook een kwestie van eerlijkheid en betrouwbaarheid.
Voorbeelden uit de praktijk
ImageNet, gelanceerd in 2009 door onderzoeker Fei-Fei Li en collega's van Princeton en Stanford, bevat ruim veertien miljoen met de hand gelabelde afbeeldingen verdeeld over duizenden categorieën. De jaarlijkse ImageNet-wedstrijd wordt gezien als een van de katalysatoren van de moderne doorbraak in beeldherkenning met neurale netwerken, met het model AlexNet in 2012 als bekend kantelpunt.
Common Crawl is een non-profitinitiatief dat sinds 2008 doorlopend het openbare internet crawlt en de ruwe webpagina's gratis beschikbaar stelt. Vrijwel elk groot taalmodel, van GPT tot open modellen als Llama, gebruikt een gefilterde versie van deze webdata als basis van zijn trainingscorpus.
GPT-3, het taalmodel dat OpenAI in 2020 presenteerde, werd getraind op een mix van gefilterde Common Crawl-data, boeken, Wikipedia en andere teksten, samen goed voor naar schatting zo'n driehonderd miljard tokens. De omvang van trainingscorpora is sindsdien fors gegroeid, al maken de meeste bedrijven bij nieuwere modellen niet meer volledig openbaar welke bronnen ze precies gebruiken.
The Pile, gepubliceerd in 2020 door de onderzoeksgroep EleutherAI, is een openbare, 825 gigabyte grote tekstverzameling die bewust uit uiteenlopende bronnen is samengesteld, van wetenschappelijke papers tot ondertitels van films, juist om een breder en transparanter alternatief te bieden voor de gesloten datasets van grote bedrijven.
LAION-5B, uitgebracht in 2022 door de Duitse non-profit LAION, bevat ongeveer 5,8 miljard afbeelding-tekstparen die van het open internet zijn verzameld en vormde de trainingsbasis voor beeldgeneratoren zoals Stable Diffusion.
Hoe ver is de techniek?
De hoeveelheid trainingsdata die grote modellen gebruiken is de afgelopen tien jaar exponentieel gegroeid, van miljoenen naar honderden miljarden en inmiddels naar biljoenen tokens bij de nieuwste taalmodellen. Tegelijk waarschuwen onderzoekers, onder wie het team van Epoch AI, dat de voorraad hoogwaardige, publiek beschikbare tekst op internet niet oneindig is. Dit wordt in vakkringen wel de "data wall" genoemd: het scenario waarin bedrijven simpelweg door de bruikbare menselijke tekst heen zijn. Schattingen over wanneer dat punt bereikt wordt, lopen sterk uiteen en zijn onzeker.
Een veelbesproken oplossing is synthetische data: tekst, code of afbeeldingen die door AI-modellen zelf worden gegenereerd en vervolgens gebruikt om nieuwe modellen te trainen. Dit kan helpen bij schaarste, maar brengt een risico met zich mee dat onderzoekers "model collapse" noemen, waarbij modellen die te veel op elkaars synthetische output trainen geleidelijk kwaliteit verliezen. Hoe groot dit risico in de praktijk is, wordt nog volop onderzocht.
Juridisch is trainingsdata een van de meest omstreden onderwerpen in de AI-sector. Auteurs, kunstenaars, nieuwsuitgevers en muziekmaatschappijen hebben rechtszaken aangespannen tegen bedrijven als OpenAI, Meta, Stability AI en Microsoft, met het verwijt dat auteursrechtelijk beschermd materiaal zonder toestemming is gebruikt om modellen te trainen. Diverse van deze zaken lopen nog in de Verenigde Staten en elders; er is nog geen eenduidige juridische uitkomst.
Ook privacy speelt mee: webscrapes bevatten soms persoonsgegevens die zonder expliciete toestemming zijn meegenomen. In de Europese Unie moet trainingsdata voor AI-systemen sinds de AI Act, die in 2024 is aangenomen, voldoen aan nieuwe transparantie-eisen: aanbieders van zogeheten general-purpose AI-modellen moeten onder meer een samenvatting publiceren van welke soorten data zijn gebruikt. De precieze uitwerking en handhaving van deze regels wordt de komende jaren verder vormgegeven.
Een ander technisch probleem is data contamination, oftewel datacontaminatie: doordat internet steeds meer door AI gegenereerde tekst bevat en testvragen soms per ongeluk in trainingsdata terechtkomen, wordt het lastiger om modellen eerlijk te vergelijken via standaardtests.
Wie werken eraan?
Aan de commerciële kant investeren bedrijven als OpenAI, Google DeepMind, Meta AI en Anthropic fors in het verzamelen, filteren en licentiëren van trainingsdata voor hun taalmodellen, vaak zonder volledige openheid over de precieze bronnen. Stability AI en Midjourney doen vergelijkbaar werk voor beeldgeneratie.
Aan de meer open kant zetten non-profitinitiatieven zich in voor toegankelijke, transparante datasets: EleutherAI bouwde The Pile en diverse open taalmodellen, LAION stelt grote beelddatasets gratis beschikbaar, en de Common Crawl Foundation onderhoudt de webcrawl waarop veel modellen voortbouwen. Ook het Allen Institute for AI (AI2) in Seattle publiceert open datasets en modellen als tegenwicht tegen gesloten systemen.
Academische groepen aan onder meer Stanford, MIT en de Universiteit van Washington doen onderzoek naar dataselectie, dataherkomst en de effecten van datakwaliteit op modelgedrag. Op beleidsniveau speelt de Europese Unie met de AI Act een voortrekkersrol in regulering, terwijl de Verenigde Staten en China vooral inzetten op het stimuleren van eigen dataverzameling en modelontwikkeling, met minder verplichte transparantie over trainingsdata.