Voortraining
Voortraining is de eerste en meest bewerkelijke stap in het maken van een groot taalmodel, het soort kunstmatige intelligentie achter chatbots als ChatGPT, Claude en Gemini. Tijdens deze fase leest een computerprogramma enorme hoeveelheden tekst, soms honderden miljarden woorden uit boeken, websites en artikelen, en oefent het steeds hetzelfde trucje: raad welk woord er als volgende komt. Door dat miljarden keren te doen, leert het systeem stap voor stap grammatica, feitenkennis, redeneerpatronen en zelfs iets dat op wereldbeeld lijkt, zonder dat iemand het expliciet heeft uitgelegd.
Een bruikbare analogie is een leerling die duizenden boeken doorleest zonder huiswerkbegeleiding, puur om te wennen aan hoe taal, feiten en argumenten in elkaar zitten. Pas daarna volgt gerichte training: een cursus tafelmanieren, een stagebegeleider die feedback geeft, oefenexamens. Bij AI-modellen heet die latere, gerichte fase fine-tuning of instructie-tuning. Voortraining is dus de brede, ongestuurde basis waarop alle latere specialisatie steunt, en het is verreweg het duurste en langste deel van het hele trainingsproces.
Wat is het precies?
Voortraining berust op een techniek die zelfgesuperviseerd leren heet. Bij traditioneel machinaal leren moet een mens data labelen, bijvoorbeeld duizenden foto's markeren met "hond" of "kat". Dat is traag en duur. Bij zelfgesuperviseerd leren heeft de tekst zelf de labels al ingebouwd: het systeem krijgt een stuk zin te zien en moet het volgende woord (in vaktermen een token, een stukje tekst dat kan bestaan uit een woord, een deel van een woord, of leestekens) voorspellen. Het echte volgende woord in de brontekst is meteen het juiste antwoord, dus er is geen menselijke labelaar nodig.
Concreet werkt het zo: het model krijgt bijvoorbeeld de zin "De hoofdstad van Frankrijk is" en moet raden dat "Parijs" volgt. Raadt het fout, dan worden de interne rekenwaarden van het model, de zogeheten parameters, een klein beetje bijgesteld zodat het de volgende keer een betere gok doet. Dit proces herhaalt zich biljoenen keren, over enorme tekstverzamelingen zoals Common Crawl (een doorlopende archivering van webpagina's), The Pile en C4, datasets die samen honderden miljarden tot enkele biljoenen woorden bevatten.
De onderliggende architectuur die dit mogelijk maakt heet meestal de transformer, een netwerkstructuur uit 2017 die goed is in het wegen van de onderlinge relevantie van woorden in een zin, ook als die ver uit elkaar staan. Na de voortraining volgen doorgaans nog twee stappen: fine-tuning, waarbij het model op kleinere, zorgvuldig samengestelde datasets wordt bijgeschaafd voor een specifieke taak, en RLHF (reinforcement learning from human feedback), waarbij menselijke beoordelaars aangeven welke antwoorden ze prettiger of correcter vinden. Voortraining levert de ruwe taalvaardigheid en kennis; de latere stappen maken het model bruikbaar en veiliger in gesprek.
Wat wil men ermee bereiken?
Het doel van voortraining is een model met brede, algemene taalvaardigheid en wereldkennis te geven vóórdat het wordt toegespitst op een taak. Dat is efficiënter dan voor elke toepassing apart een model vanaf nul te bouwen: één stevig voorgetraind basismodel kan daarna relatief goedkoop worden omgebouwd tot een klantenservicebot, een programmeerassistent of een vertaalprogramma.
Onderzoekers ontdekten bovendien dat de prestaties van deze modellen op voorspelbare wijze verbeteren naarmate je meer rekenkracht, meer data en een groter model gebruikt, een patroon dat bekendstaat als scaling laws (schalingswetten). Dat voorspelbare verband is een belangrijke drijfveer geweest om steeds grotere voortrainingen uit te voeren: als groter aantoonbaar beter werkt, loont het te investeren in meer rekenkracht en data, ook al blijft onduidelijk hoe lang die trend doorzet.
Voorbeelden uit de praktijk
BERT (Google, 2018) was een vroeg en invloedrijk voorbeeld van grootschalige voortraining, gericht op het beter begrijpen van tekst voor bijvoorbeeld zoekmachines. GPT-2 (OpenAI, 2019) en GPT-3 (OpenAI, 2020) toonden dat het simpelweg vergroten van model en dataset verrassend goede tekstgeneratie opleverde; GPT-3 werd getraind op honderden miljarden tokens en bevatte 175 miljard parameters.
In 2022 publiceerde Google DeepMind het Chinchilla-onderzoek, dat liet zien dat veel eerdere modellen relatief te groot waren getraind op te weinig data, en dat een beter uitgebalanceerde verhouding tussen modelgrootte en hoeveelheid trainingsdata tot betere resultaten leidt bij gelijk rekenbudget. LLaMA (Meta, 2023) was een reeks openbaar beschikbare (voor onderzoek, later breder) basismodellen die aantoonden dat relatief compacte modellen, mits voorgetraind op zeer veel data, kunnen concurreren met grotere modellen. GPT-4 (OpenAI, 2023) markeerde een volgende stap in schaal en capaciteit, al maakte OpenAI destijds geen technische details over de exacte modelgrootte of trainingsdata openbaar.
Hoe ver is de techniek?
Voortraining van grote taalmodellen is een volwassen maar nog snel evoluerend vakgebied. De kosten zijn torenhoog: het trainen van een topmodel vergt gespecialiseerde chips (meestal GPU's van Nvidia) gedurende weken tot maanden, met geschatte kosten die volgens verschillende rapportages oplopen van enkele miljoenen tot naar verluidt meer dan honderd miljoen dollar voor de grootste modellen. Exacte cijfers worden door bedrijven zelden volledig openbaar gemaakt, dus veel schattingen zijn indirect.
Een reëel knelpunt is datakrapte: onderzoekers waarschuwen dat de voorraad kwalitatief hoogwaardige, publiek beschikbare tekst op het internet eindig is en mogelijk binnen afzienbare tijd (schattingen lopen uiteen, sommige onderzoekers noemen dit decennium) grotendeels benut zal zijn. Als reactie experimenteren labs met synthetische data (door AI zelf gegenereerde trainingsteksten), meertalige en multimodale data (afbeeldingen, audio, video), en efficiëntere trainingsmethoden. Ook energieverbruik is een groeiend punt van zorg en discussie, omdat het trainen van de grootste modellen aanzienlijke hoeveelheden elektriciteit vergt.
Onzeker blijft of de schalingswetten onbeperkt blijven gelden, of dat simpelweg groter maken op een gegeven moment afnemende meeropbrengsten geeft. Sommige recente ontwikkelingen, zoals modellen die tijdens het antwoorden extra "nadenktijd" krijgen, suggereren dat een deel van de industrie inderdaad meer nadruk legt op slimmere training en gebruik na de voortraining, in plaats van uitsluitend op een steeds grotere voortrainingsfase.
Wie werken eraan?
De grootschalige voortraining van taalmodellen wordt gedomineerd door een klein aantal partijen met toegang tot voldoende rekenkracht en kapitaal. In de Verenigde Staten zijn OpenAI, Google DeepMind, Meta AI, Anthropic en xAI de bekendste namen. In Europa profileert het Franse Mistral AI zich met relatief open basismodellen. In China werken onder meer Alibaba, Baidu en DeepSeek aan eigen grote taalmodellen, vaak met expliciete steun of aandacht vanuit de overheid.
Daarnaast spelen universiteiten en publieke onderzoeksinstellingen een rol bij fundamenteel onderzoek naar trainingsmethoden en schalingswetten, al hebben zij zelden de middelen om zelf de allergrootste modellen te trainen. Overheden, waaronder de Amerikaanse en Europese, houden zich intussen vooral bezig met regulering en toegang tot rekencapaciteit (bijvoorbeeld via exportbeperkingen op geavanceerde chips), eerder dan met het zelf uitvoeren van voortraining.