Modelparameter: de bouwstenen achter kunstmatige intelligentie
Als je weleens hebt gehoord dat een taalmodel als GPT-4 of Gemini "honderden miljarden parameters" heeft, vraag je je misschien af wat dat precies betekent. Een modelparameter is simpel gezegd een getal binnen een kunstmatig intelligentiesysteem dat tijdens het trainen wordt aangepast, zodat het systeem betere voorspellingen of antwoorden geeft. Een modern taalmodel bevat er miljoenen tot honderden miljarden, elk met een piepklein aandeel in het uiteindelijke gedrag van het model.
Een handige analogie is een gigantisch mengpaneel in een geluidsstudio, met niet tien of twintig schuifjes, maar miljarden. Elk schuifje regelt een minuscuul stukje van het geluid. Bij het trainen van een AI-model wordt dat paneel niet door een mens ingesteld, maar automatisch bijgesteld op basis van enorme hoeveelheden voorbeelddata: het systeem "luistert" naar tekst, beeld of geluid, vergelijkt zijn eigen output met de gewenste uitkomst, en verschuift vervolgens miljoenen schuifjes een klein beetje in de juiste richting. Na miljoenen van zulke bijstellingen ontstaat een model dat, in combinatie van al die instellingen, zinvolle taal produceert of patronen herkent.
Wat is het precies?
Onder de motorkap van een AI-model zoals een neuraal netwerk zit een wiskundige structuur van lagen die getallen doorgeven en bewerken. Elke verbinding tussen twee "knopen" (neuronen) in dat netwerk heeft een gewicht: een getal dat aangeeft hoe sterk het signaal van de ene knoop doorwerkt op de volgende. Daarnaast zijn er bias-termen, extra getallen die de uitkomst een beetje kunnen bijsturen. Gewichten en bias-termen samen noemen we de parameters van het model.
Bij de start van het trainen krijgen deze parameters willekeurige waarden. Vervolgens doorloopt het model een proces genaamd training: het krijgt een voorbeeld te zien (bijvoorbeeld een zin met een woord weggelaten), doet een voorspelling, en vergelijkt die met het juiste antwoord. Het verschil tussen voorspelling en werkelijkheid heet het verlies (loss). Met een techniek genaamd backpropagation wordt berekend hoe elke afzonderlijke parameter heeft bijgedragen aan dat verschil, waarna een algoritme (meestal een variant van gradient descent, letterlijk "afdalen langs de helling") elke parameter een heel klein stukje aanpast om de fout te verkleinen. Dit gebeurt miljarden keren, met telkens nieuwe voorbeelden.
Belangrijk is het onderscheid met hyperparameters. Dat zijn instellingen die een ontwikkelaar vóór het trainen kiest, zoals hoeveel lagen het netwerk heeft of hoe snel het leert. Hyperparameters worden niet automatisch geleerd; modelparameters wel. Wanneer mensen het aantal "parameters" van een model noemen, bedoelen ze dus het totale aantal van deze automatisch geleerde gewichten en bias-termen.
Wat wil men ermee bereiken?
Het doel van al die parameters is dat het model complexe patronen in data kan vastleggen: grammatica, feitenkennis, redeneerstappen, beeldherkenning, noem maar op. Hoe meer parameters een model heeft, hoe meer "capaciteit" het in theorie heeft om subtiele patronen te onthouden en te combineren. Dit heeft geleid tot zogeheten scaling laws (schaalwetten): onderzoek laat zien dat de prestaties van taalmodellen vrij voorspelbaar verbeteren naarmate je het aantal parameters, de hoeveelheid trainingsdata en de rekenkracht vergroot.
Maar meer parameters is niet per definitie beter. Grotere modellen kosten meer rekenkracht en energie om te trainen en te gebruiken, en hebben doorgaans ook meer trainingsdata nodig om al die parameters zinvol in te vullen. Onderzoekers proberen daarom een balans te vinden: genoeg parameters voor goede prestaties, maar niet meer dan nodig, omdat dat onnodig duur en trager is. Dit heeft geleid tot een verschuiving van "zo groot mogelijk" naar "zo efficiënt mogelijk": kleinere modellen die door slimmere training toch competitief presteren met veel grotere voorgangers.
Voorbeelden uit de praktijk
De groei van modelparameters is goed te illustreren aan de hand van bekende taalmodellen. GPT-2 van OpenAI (2019) had ongeveer 1,5 miljard parameters en was destijds al opvallend krachtig. GPT-3 (2020) sprong naar 175 miljard parameters en liet zien dat schaal echt nieuwe vaardigheden kon opleveren, zoals het volgen van instructies zonder specifieke training daarvoor.
Google presenteerde in 2022 PaLM, met 540 miljard parameters, gevolgd door kleinere maar efficiëntere opvolgers. OpenAI heeft het exacte aantal parameters van GPT-4 (2023) nooit officieel bekendgemaakt; schattingen in de techpers spreken van ruim boven de biljoen, mogelijk verdeeld over meerdere gespecialiseerde submodellen (een aanpak die mixture-of-experts heet).
Meta koos met zijn Llama-modellenreeks (vanaf 2023) voor een andere strategie: relatief compacte modellen van 7 tot 70 miljard parameters, waarvan de parameterwaarden ("gewichten") openbaar beschikbaar zijn voor onderzoekers en bedrijven om zelf te gebruiken en aan te passen. Het Franse Mistral AI bracht in 2023 en 2024 eveneens open modellen uit, waaronder een mixture-of-experts-model (Mixtral) dat met minder actieve parameters per vraag toch sterke prestaties haalde. Deze voorbeelden laten zien dat het totale én het "actief gebruikte" aantal parameters allebei relevant zijn geworden in het ontwerp van moderne modellen.
Hoe ver is de techniek?
Het onderzoek naar de relatie tussen parameters, data en prestaties is de afgelopen jaren snel volwassener geworden. Een invloedrijke publicatie van OpenAI-onderzoekers in 2020 beschreef de eerste schaalwetten. In 2022 volgde het zogeheten Chinchilla-onderzoek van DeepMind, dat liet zien dat veel eerdere modellen eigenlijk "ondergetraind" waren: ze hadden relatief te veel parameters ten opzichte van de hoeveelheid trainingsdata, en zouden met minder parameters maar meer data efficiënter hebben kunnen presteren. Deze inzichten hebben het ontwerp van latere modellen sterk beïnvloed.
Momenteel ligt de nadruk minder op het simpelweg vergroten van het parameteraantal en meer op efficiëntie: technieken als quantisatie (parameters opslaan met minder precisie, waardoor een model minder geheugen en rekenkracht nodig heeft) en distillatie (een klein model trainen om het gedrag van een groot model na te bootsen) maken het mogelijk krachtige modellen ook op gewone laptops of telefoons te draaien. Tegelijk blijven de allergrootste modellen van techbedrijven groeien, gedreven door de verwachting dat schaal nog altijd nieuwe vaardigheden oplevert.
De belangrijkste obstakels zijn niet zozeer wiskundig maar praktisch: de energiekosten en milieu-impact van het trainen van modellen met honderden miljarden parameters zijn aanzienlijk, geschikte trainingsdata raakt op sommige gebieden schaars, en er bestaat onder onderzoekers geen consensus over hoe lang de huidige schaalwetten nog blijven gelden. Sommige experts verwachten afnemende meeropbrengsten ("diminishing returns") bij verdere schaalvergroting; anderen zien nog volop ruimte voor verbetering, mede dankzij nieuwe trainingsmethoden die niet puur op parameteraantal leunen.
Wie werken eraan?
Het onderzoek naar grootschalige modellen en hun parameters wordt gedomineerd door een klein aantal grote technologiebedrijven met de rekenkracht om ze te trainen: OpenAI (VS), Google DeepMind (VS/VK), Meta AI (VS), Anthropic (VS) en het Franse Mistral AI. Daarnaast spelen Chinese partijen zoals Alibaba, Baidu en DeepSeek een steeds grotere rol in het publiceren van modellen met vergelijkbare of soms open parameterbestanden.
Academische instituten, waaronder Stanford (via het Center for Research on Foundation Models), het Duitse Max Planck-instituut en verschillende technische universiteiten, dragen bij aan het fundamentele onderzoek naar schaalwetten en trainingsefficiëntie, ook al hebben zij zelf zelden de rekenkracht om de allergrootste modellen te trainen. Op beleidsniveau houden instanties als het Amerikaanse NIST en de Europese Unie (via de AI-verordening) zich bezig met transparantie-eisen: voor zogeheten general purpose AI-modellen met veel parameters gelden onder de EU AI Act bijvoorbeeld strengere documentatie- en risicobeoordelingsplichten, juist omdat schaal en capaciteit vaak samenhangen.