Foundation model: de brede AI-basis achter ChatGPT en talloze andere toepassingen
Een foundation model (in het Nederlands soms "basismodel" genoemd) is een groot kunstmatig-intelligentiesysteem dat getraind is op enorme hoeveelheden algemene data — teksten, afbeeldingen, code — en dat daarna als bouwsteen dient voor allerlei specifieke toepassingen. Het model zelf "weet" dus niet één ding heel goed, maar heeft een breed, algemeen begrip van taal, beelden of andere data opgebouwd, vergelijkbaar met iemand die eerst een brede algemene opleiding volgt voordat hij zich specialiseert.
Denk aan een foundation model als de fundering van een gebouw: dezelfde fundering kan drager zijn van een woonhuis, een kantoor of een winkel. Zo kan hetzelfde onderliggende taalmodel, met wat aanpassingen, dienen als chatbot, als hulpmiddel om code te schrijven, als vertaalsysteem of als samenvatter van medische rapporten. GPT-4 van OpenAI (het model achter ChatGPT) en Gemini van Google zijn bekende voorbeelden: hetzelfde basismodel wordt ingezet in tientallen verschillende producten.
Wat is het precies?
De bouw van een foundation model verloopt in fasen. Eerst is er de pretraining: het model krijgt gigantische hoeveelheden ongelabelde data te verwerken — vaak een flink deel van het openbare internet, boeken en, bij beeldmodellen, miljarden foto's. Tijdens deze fase leert het model met een techniek die self-supervised learning heet: het systeem oefent bijvoorbeeld door telkens het volgende woord in een zin te voorspellen, zonder dat een mens elk voorbeeld hoeft te labelen.
De meeste huidige foundation models gebruiken een neurale netwerkarchitectuur die de transformer heet, geïntroduceerd door Google-onderzoekers in 2017. Transformers zijn goed in het herkennen van verbanden tussen woorden of beeldfragmenten die ver uit elkaar staan, wat ze geschikt maakt voor het verwerken van lange teksten of complexe afbeeldingen.
Wat deze modellen "foundation" maakt, is vooral de schaal: miljarden tot honderden miljarden instelbare rekenwaarden (parameters), getraind met enorme rekenkracht die soms tientallen miljoenen dollars kost. Bij die schaal ontstaan soms onverwachte vaardigheden — zogeheten emergent capabilities — zoals het kunnen redeneren over rekensommen, ook al is het model daar nooit expliciet voor getraind.
Na de pretraining volgt aanpassing voor specifieke doelen. Dat kan via fine-tuning (het model verder trainen op een kleinere, specifieke dataset), via prompting (het model simpelweg de juiste instructies geven in gewone taal) of via reinforcement learning from human feedback (RLHF): mensen beoordelen antwoorden van het model, en die feedback wordt gebruikt om het gedrag bij te sturen richting nuttige en veilige antwoorden.
Wat wil men ermee bereiken?
Het idee achter foundation models is vooral efficiëntie en hergebruik. Vroeger bouwden onderzoekers voor elke taak — vertalen, samenvatten, beeldherkenning — een apart model vanaf nul. Dat kostte veel data, tijd en rekenkracht. Eén breed getraind basismodel dat je met relatief weinig extra data of instructies kunt aanpassen, versnelt en verlaagt de ontwikkeling van nieuwe AI-toepassingen aanzienlijk.
Een tweede doel is bredere en flexibelere intelligentie. Waar oudere AI-systemen goed waren in precies één afgebakende taak, beloven foundation models een soort algemene bekwaamheid die zich laat inzetten voor uiteenlopende, ook onvoorziene, taken — van het schrijven van een gedicht tot het analyseren van röntgenfoto's.
Daarnaast spelen economische en strategische belangen mee: bedrijven en landen zien foundation models als een sleuveltechnologie voor de bredere AI-economie, vergelijkbaar met hoe elektriciteit of internet ooit als algemene basisvoorziening golden. Wie een sterk basismodel bezit, kan daar een heel ecosysteem van toepassingen op bouwen of aan andere partijen verhuren.
Tegelijk is er kritiek: doordat zoveel toepassingen op enkele basismodellen van een handvol bedrijven leunen, ontstaat een risico op homogenisering — fouten of vooroordelen in één basismodel planten zich voort in alle applicaties die erop zijn gebouwd. Ook de enorme rekenkosten zorgen ervoor dat alleen een beperkt aantal grote spelers de allergrootste modellen kan trainen.
Voorbeelden uit de praktijk
BERT (Google, 2018) was een van de eerste modellen die breed als "voorloper" van het foundation-model-concept wordt gezien: getraind op grote hoeveelheden tekst en vervolgens ingezet voor talloze taalverwerkingstaken, waaronder de Google-zoekmachine zelf.
GPT-3 (OpenAI, 2020) liet voor het eerst op grote schaal zien dat een enkel taalmodel, puur via tekstuele instructies ("prompting"), zeer uiteenlopende taken kon uitvoeren zonder aparte training per taak. De opvolger GPT-4 (2023) vormt de basis onder ChatGPT en tal van producten van derden via een programmeerinterface (API).
Stable Diffusion (Stability AI, 2022) is een foundation model voor beeldgeneratie: het zet tekstuele beschrijvingen om in afbeeldingen en wordt, omdat de modelgewichten publiek beschikbaar zijn, wereldwijd hergebruikt in fotobewerkingssoftware en creatieve tools.
Llama en de opvolgers Llama 2 en Llama 3 (Meta, 2023-2024) zijn voorbeelden van zogeheten open-weight modellen: de onderliggende parameters zijn te downloaden, waardoor onderzoekers, start-ups en overheden er zelf mee kunnen experimenteren zonder afhankelijk te zijn van één cloudleverancier.
Mistral-modellen van het Franse Mistral AI (vanaf 2023) laten zien dat ook Europese partijen concurrerende, deels open, foundation models bouwen — relevant in het licht van Europese ambities op het gebied van digitale soevereiniteit.
Hoe ver is de techniek?
De ontwikkeling gaat snel: sinds 2018 is de omvang van toonaangevende modellen, gemeten in parameters en trainingsdata, ruwweg elk jaar met een factor van meerdere keren gegroeid. Deze zogeheten scaling laws — het idee dat meer data en rekenkracht vrijwel voorspelbaar tot betere prestaties leiden — hebben de afgelopen jaren als vuistregel gegolden voor de sector.
Toch zijn er grenzen zichtbaar. Onderzoekers en bedrijven melden dat puur "groter maken" steeds minder extra prestatiewinst oplevert, en dat de focus verschuift naar betere trainingsdata, slimmere trainingsmethoden en modellen die tijdens het antwoorden langer "nadenken" (zogeheten reasoning-modellen). Ook multimodaliteit — één model dat tegelijk tekst, beeld, audio en video begrijpt — is een actief ontwikkelgebied, zichtbaar in modellen als Gemini.
Belangrijke obstakels blijven bestaan. Foundation models produceren nog altijd hallucinaties: overtuigend klinkende maar feitelijk onjuiste uitspraken. Het blijft lastig om vooraf te garanderen dat een model veilig en eerlijk blijft functioneren in onvoorziene situaties. Daarnaast zijn de trainingskosten — soms tientallen tot honderden miljoenen dollars aan rekenkracht en energie — en het milieueffect daarvan een groeiend punt van zorg. Ook de vraag hoe je de kwaliteit en risico's van zulke brede modellen goed kunt meten en evalueren, is nog volop onderwerp van onderzoek.
Wie werken eraan?
De term "foundation model" zelf werd in augustus 2021 geïntroduceerd door onderzoekers van het Center for Research on Foundation Models (CRFM), onderdeel van het Stanford Institute for Human-Centered Artificial Intelligence (Stanford HAI), in het paper "On the Opportunities and Risks of Foundation Models".
Op het gebied van ontwikkeling domineren enkele grote Amerikaanse spelers: OpenAI (GPT-serie), Google DeepMind (Gemini, eerder PaLM), Meta AI (Llama) en Anthropic (Claude). Daarnaast zijn er gespecialiseerde bedrijven zoals Stability AI (beeldmodellen) en het Franse Mistral AI, dat sinds 2023 als belangrijkste Europese tegenhanger geldt.
Buiten de Verenigde Staten en Europa investeert vooral China zwaar in eigen foundation models, met partijen als Baidu (ERNIE-modellen), Alibaba (Qwen-modellen) en het in 2024-2025 opvallend snel gegroeide DeepSeek, dat met relatief lage trainingskosten concurrerende modellen presenteerde.
Op regelgevend vlak heeft de Europese Unie met de AI Act (van kracht sinds 2024) een aparte juridische categorie ingevoerd voor deze technologie, de "general-purpose AI-modellen" (GPAI), met specifieke transparantie- en veiligheidsverplichtingen voor de aanbieders van de grootste basismodellen.