Trainingsrun: de gigantische rekenmarathon achter elk AI-model
Een trainingsrun is de periode waarin een AI-bedrijf zijn nieuwste model daadwerkelijk laat "leren": een aaneengesloten rekenklus op duizenden gespecialiseerde computerchips die dagen, weken of maanden achter elkaar doordraait. Vergelijk het met het bakken van een enorme partij brood in één ononderbroken ovengang: alle ingrediënten (de data) moeten klaarstaan voordat de oven aangaat, en als de temperatuur halverwege wegvalt, is de hele partij mislukt en moet je opnieuw beginnen vanaf het laatste goede tussenpunt. Een concreet voorbeeld: toen OpenAI in 2022 en 2023 werkte aan GPT-4, liep er een trainingsrun van meerdere maanden op een cluster van duizenden gespecialiseerde processoren, met een geschat prijskaartje van tientallen miljoenen dollars aan alleen al elektriciteit en rekentijd. Zulke trainingsruns zijn tegenwoordig de kern van bijna elk groot AI-nieuwsbericht: nieuwe modellen als Gemini, Llama of Grok ontstaan allemaal via zo'n marathonsessie.
Wat is het precies?
Een trainingsrun begint met data: enorme hoeveelheden tekst, code en soms beeld of geluid, verzameld van het internet, boeken en andere bronnen. Die data wordt eerst "getokeniseerd": opgeknipt in kleine brokjes (tokens) van meestal een paar letters of een heel woord, omdat een computer met getallen rekent en niet met losse woorden.
Vervolgens wordt het model, dat in het begin nog helemaal niets "weet" en uit willekeurige getallen (parameters) bestaat, telkens gevraagd om het volgende token te voorspellen. Klopt de voorspelling niet, dan berekent het systeem hoe ver het ernaast zat en past het de parameters een klein stukje aan in de richting die de fout verkleint. Dat aanpassingsproces heet gradient descent: in gewone taal, steeds kleine stapjes zetten de berg van fouten af, richting het dal waar de voorspellingen kloppen. Dit gebeurt niet één keer, maar miljarden keren achter elkaar, over enorme hoeveelheden tekst (vaak biljoenen tokens).
Al dat rekenwerk gebeurt op GPU's (graphics processing units, oorspronkelijk ontworpen voor beeldschermen maar uitstekend geschikt voor de wiskunde achter AI) of vergelijkbare gespecialiseerde chips. Omdat één chip veel te traag zou zijn, wordt het werk verdeeld over duizenden tot tienduizenden chips die tegelijk rekenen en voortdurend tussenresultaten met elkaar uitwisselen. De totale rekeninspanning wordt vaak uitgedrukt in FLOPs (floating point operations, simpelweg het aantal rekenkundige bewerkingen dat is uitgevoerd) — bij de grootste modellen gaat het om astronomische aantallen.
Omdat een run weken kan duren en één stroomstoring of hardwarefout alles kan laten crashen, wordt regelmatig een checkpoint opgeslagen: een soort automatische spelvoortgang die het mogelijk maakt om na een storing verder te gaan vanaf het laatste opgeslagen punt in plaats van weer bij nul te beginnen. Na deze zogeheten pretraining-fase volgt meestal nog fine-tuning: een kortere, gerichte nabewerking waarin het model leert om prettiger en veiliger te antwoorden op vragen.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is een simpel, empirisch gevonden patroon dat onderzoekers scaling laws noemen: hoe meer data, rekenkracht en parameters je in een model stopt, hoe beter het meestal presteert, mits je die drie factoren in de juiste verhouding opschaalt. Een invloedrijk onderzoek van Google DeepMind in 2022, bekend als de Chinchilla-studie, liet zien dat veel eerdere modellen te groot waren in verhouding tot de hoeveelheid trainingsdata, en dat een betere balans tussen data en modelgrootte tot efficiëntere, sterkere modellen leidt.
Bedrijven zetten daarom in op steeds grotere trainingsruns in de hoop op een taalmodel dat beter redeneert, minder fouten maakt en breder inzetbaar is. Voor sommige spelers, zoals OpenAI en Anthropic, is er ook een expliciete, verder reikende ambitie: het bouwen van zogeheten AGI (artificial general intelligence), een AI die op vrijwel elk cognitief vlak net zo goed of beter is dan mensen. Daarnaast spelen simpelweg commerciële belangen en concurrentiedruk een grote rol: wie het krachtigste model heeft, trekt klanten, investeerders en aandacht. Ten slotte is er ook pure wetenschappelijke nieuwsgierigheid naar wat er gebeurt als je deze aanpak naar nieuwe schaalgroottes doortrekt.
Voorbeelden uit de praktijk
GPT-3 (OpenAI, 2020) gold destijds als opzienbarend: het model had 175 miljard parameters en de trainingsrun stond symbool voor het begin van het "steeds groter" tijdperk in taalmodellen.
GPT-4 (OpenAI, 2022-2023) vereiste naar verluidt een trainingsrun van enkele maanden op een cluster met duizenden GPU's, ter beschikking gesteld via de samenwerking met Microsoft Azure. OpenAI heeft nooit alle technische details openbaar gemaakt, wat illustreert hoe competitief-gevoelig deze informatie inmiddels is.
Llama 3 (Meta, 2024) werd getraind op naar schatting meer dan vijftien biljoen tokens, met gebruik van tienduizenden Nvidia H100-chips in Meta's eigen datacenters. Meta koos er, in tegenstelling tot OpenAI, voor om de resulterende modellen relatief open beschikbaar te stellen.
Gemini (Google DeepMind, 2023-2024) werd getraind op Google's eigen TPU-chips (tensor processing units, door Google zelf ontworpen versnellers) in plaats van Nvidia-hardware, wat laat zien dat er meerdere hardware-routes naar een grote trainingsrun bestaan.
Grok (xAI, 2024-2025) trok aandacht omdat Elon Musks bedrijf in Memphis in een paar maanden tijd het Colossus-datacenter optuigde, met naar verluidt meer dan honderdduizend GPU's, specifiek gebouwd om extreem snel achter elkaar trainingsruns te kunnen draaien.
Hoe ver is de techniek?
Onderzoeksorganisatie Epoch AI, die de ontwikkeling van AI-rekenkracht bijhoudt, rapporteert dat de hoeveelheid compute die in de grootste trainingsruns wordt gestoken de afgelopen jaren ongeveer elke vijf tot zes maanden is verdubbeld, een tempo dat zelfs de beroemde Wet van Moore in de chipindustrie overtreft. Tegelijk zijn de kosten meegegroeid: van enkele miljoenen dollars voor modellen in 2020 naar schattingen van honderden miljoenen dollars voor de grootste runs in 2024 en 2025.
Die schaal brengt praktische knelpunten met zich mee. Er is een aanhoudend tekort aan de nieuwste, krachtigste GPU's, waardoor bedrijven soms maandenlang moeten wachten op levering. Stroomvoorziening is een groeiend probleem: een enkel groot trainingscluster kan zoveel elektriciteit vragen als een middelgrote stad, wat leidt tot discussies over belasting van elektriciteitsnetten en de klimaatimpact van AI. Koeling van tienduizenden chips die dag en nacht op vol vermogen draaien, is een technische uitdaging op zich. En hoe groter het cluster, hoe groter de kans dat er tijdens een maandenlange run ergens een chip, kabel of voedingseenheid uitvalt, wat de noodzaak van checkpoints en robuuste systemen alleen maar groter maakt.
Er is bovendien een groeiend debat onder onderzoekers of het simpelweg opschalen van data en compute tegen een plafond aanloopt. Sommige recente modellen laten kleinere prestatiewinsten zien dan de investeringen zouden suggereren, wat sommigen "diminishing returns" noemen: afnemende meeropbrengsten. Anderen wijzen erop dat nieuwe technieken, zoals het laten "nadenken" van modellen in meerdere stappen tijdens het beantwoorden van een vraag, voorlopig nog volop ruimte voor verbetering bieden, ook zonder alleen maar grotere trainingsruns. Onzeker is dus of de huidige explosieve groei van trainingsruns nog jaren doorzet of binnenkort afvlakt.
Wie werken eraan?
De Verenigde Staten domineren dit veld, met OpenAI (gesteund door Microsoft), Google DeepMind, Meta AI, Anthropic en xAI als de bekendste namen die geregeld nieuwe grootschalige trainingsruns aankondigen of uitvoeren. Nvidia speelt een cruciale, bijna monopolistische rol als leverancier van de GPU's waarop het grootste deel van deze runs draait, wat het bedrijf een centrale positie in de hele AI-industrie geeft.
China is de tweede grote speler, met bedrijven als Alibaba, Baidu en het opvallend efficiënte DeepSeek, dat in 2024 en 2025 liet zien dat ook met minder geavanceerde chips (deels als gevolg van Amerikaanse exportbeperkingen) competitieve modellen te trainen zijn. Binnen Europa lopen initiatieven van onder meer Frankrijk (Mistral AI) en gezamenlijke EU-programma's voor publieke supercomputers, al blijft de schaal van deze inspanningen tot dusver kleiner dan die van de Amerikaanse en Chinese techgiganten.