Onderzoeker traint eigen taalmodel voor 998 dollar en verslaat Karpathy's project

Hugo Vergnes, een individuele ontwikkelaar, publiceerde een gedetailleerd verslag van zijn project 'little-lm': een taalmodel met 3,8 miljard parameters, getraind voor 998 dollar in 43 uur op gehuurde GPU's. Het model scoort 0,384 op de CORE-benchmark, een maatstaf die meet hoe goed een taalmodel taken als tekstbegrip en redeneren uitvoert. Ter vergelijking: OpenAI's GPT-2 uit 2019 haalt 0,2565, en het vergelijkbare 'nanochat'-project van bekende AI-onderzoeker Andrej Karpathy scoort met een budget van ongeveer 1000 dollar 0,310.

Het project ontstond uit persoonlijke nieuwsgierigheid. Vergnes wilde zelf ervaren hoe taal en begrip ontstaan uit willekeurige startwaarden in een neuraal netwerk, door een model volledig vanaf nul te bouwen. Hij ontwikkelde daarvoor een eigen software-framework waarin elk experiment wordt vastgelegd in een configuratiebestand, zodat onderdelen als het optimalisatie-algoritme of de trainingsdata met één regel code te wisselen zijn.

Van mislukking naar doorbraak

De weg naar het uiteindelijke resultaat verliep niet vlekkeloos. Een eerdere poging met een kleiner model van 858 miljoen parameters, dat bijna zes dagen trainde op één GPU, presteerde uiteindelijk slechter dan GPT-2 uit 2019 — een model dat zeven keer kleiner is. De oorzaak lag in een aantal technische keuzes: een te voorzichtig ingestelde leersnelheid, een verkeerd afbouwschema daarvan, en het gebruik van een niet-optimale trainingsdataset.

Na deze tegenslag paste Vergnes vijf zaken aan. Hij gebruikte een ander schema voor het afbouwen van de leersnelheid, zodat het model tot het einde van de training bleef verbeteren. Daarnaast zette hij de optimalisatiemethode Muon in voor bepaalde onderdelen van het model, wat de training versnelde. Ook stapte hij over op de dataset ClimbMix, wat volgens hem tot een 'enorme sprong' in leersnelheid leidde. Verder gebruikte hij FP8, een rekenformaat met lagere precisie dat sneller rekent, en verkleinde hij de hoeveelheid tekst die het model tegelijk verwerkt, waardoor meer voorbeelden tegelijk konden worden getraind.

Efficiënt gebruik van rekenkracht

Het uiteindelijke model is opgebouwd volgens het ontwerp dat ook wordt gebruikt in Meta's Llama-modellen, met technische verfijningen die de stabiliteit en effectiviteit van het trainingsproces verbeteren. De training draaide op acht Nvidia B200-chips, de nieuwste generatie AI-versnellers, en verwerkte 65 miljard woorddelen (tokens) aan tekst. Metingen tijdens de training lieten zien dat de GPU's 92 procent van de tijd actief waren, wat wijst op een efficiënt proces zonder noemenswaardige vertragingen door bijvoorbeeld het laden van data.

Vergnes deed ook losstaand onderzoek naar manieren om de rekensnelheid te verhogen, wat resulteerde in bijna 44 procent meer doorvoer op zijn eigen consumenten-GPU. Technieken als het combineren van rekenstappen en het aanpassen van de vocabulairegrootte aan de hardware bleken daarbij het meeste effect te hebben.

Het project onderstreept een bredere trend: naarmate trainingstechnieken verbeteren, komt het bouwen van capabele AI-modellen binnen bereik van individuen en kleine teams, in plaats van uitsluitend grote techbedrijven met enorme rekenbudgetten.