Modeldistillatie: hoe je een AI-brein in een kleiner jasje giet

Bijgewerkt: 5 augustus 2026 · 6 min leestijd

Modeldistillatie (in het Engels: model distillation of knowledge distillation) is een techniek waarmee de kennis van een groot, zwaar kunstmatig-intelligentiemodel wordt overgezet naar een veel kleiner model. Het kleine model, de "leerling", probeert niet zelf alles opnieuw te ontdekken, maar leert van het grote "leraar"-model. Het resultaat is een systeem dat veel minder rekenkracht en geheugen nodig heeft, terwijl het toch een groot deel van de vaardigheden van de leraar behoudt.

Een vergelijking maakt dit tastbaarder. Stel je een topchirurg voor die dertig jaar ervaring heeft opgebouwd. Die chirurg kan een beginnende arts niet zomaar dertig jaar ervaring overdragen, maar wel een compacte, doordachte samenvatting van de belangrijkste inzichten: niet alleen wat de juiste beslissing is, maar ook hoe zeker die beslissing is en welke alternatieven bijna net zo goed waren. Zo'n samenvatting is sneller te leren en toe te passen dan het volledige oeuvre aan ervaring, terwijl er toch veel van de expertise in doorklinkt. Modeldistillatie doet iets vergelijkbaars met AI-modellen: het grote model geeft niet alleen het "juiste antwoord" door, maar ook informatie over hoe waarschijnlijk het andere antwoorden vond. Dankzij deze techniek draaien veel van de snelle, goedkope AI-assistenten op je telefoon of in goedkope apps op modellen die eigenlijk gedistilleerde versies zijn van veel grotere, duurdere modellen.

Wat is het precies?

Het uitgangspunt is een al getraind, groot model: de leraar. Dit model presteert goed, maar is duur om te gebruiken omdat het miljarden parameters heeft (de interne "instelknoppen" die bepalen hoe het model reageert). Om een kleiner model te trainen, gaat men niet terug naar de ruwe trainingsdata alleen, maar gebruikt men de uitvoer van de leraar als extra lesmateriaal.

Bij een klassiek classificatieprobleem – bijvoorbeeld: is dit een foto van een kat of een hond? – geeft een gewoon trainingslabel alleen een hard antwoord: "hond". De leraar in een distillatieproces geeft in plaats daarvan een waarschijnlijkheidsverdeling: bijvoorbeeld 92% hond, 7% wolf, 1% kat. Die extra nuance heet een "soft label" of "zachte doelwaarde", en bevat waardevolle informatie over hoe het model verschillende opties tegen elkaar afweegt. Door een instelling die "temperatuur" heet, kan die verdeling extra zacht gemaakt worden, zodat ook kleine verschillen tussen de bijna-goede antwoorden zichtbaar blijven voor de leerling.

Het kleine leerlingmodel wordt vervolgens getraind om diezelfde zachte verdelingen zo goed mogelijk na te bootsen, naast (of soms in plaats van) de gewone harde labels. Bij grote taalmodellen, zoals de systemen achter chatbots, gebeurt iets vergelijkbaars: de leerling leert niet alleen het volgende woord te voorspellen, maar leert de hele kansverdeling over mogelijke volgende woorden die de leraar zou geven. Naast deze "antwoord-gebaseerde" distillatie bestaan er ook varianten die dieper in het model kijken, bijvoorbeeld door de leerling de interne tussenlagen (features) van de leraar te laten nabootsen, of de onderlinge relaties tussen verschillende voorbeelden. In de praktijk wordt de term "distillatie" tegenwoordig ook losser gebruikt voor situaties waarin een kleiner model getraind wordt op de uitvoer van een groter model waarvan alleen de output (bijvoorbeeld via een API) beschikbaar is, zonder toegang tot de interne zachte verdelingen. Dat is technisch een lichtere vorm van hetzelfde idee.

Wat wil men ermee bereiken?

De belangrijkste drijfveer is kostenbesparing. Grote taalmodellen kunnen tientallen tot honderden miljarden parameters bevatten en vereisen gespecialiseerde, dure rekenchips om te draaien. Voor een bedrijf dat miljoenen gebruikers per dag bedient, tikken die rekenkosten enorm aan. Een gedistilleerd model dat 90 tot 97% van de prestaties van het origineel behaalt tegen een fractie van de rekenkosten is voor veel toepassingen een uitstekende deal.

Een tweede doel is snelheid: kleinere modellen antwoorden sneller, wat belangrijk is voor toepassingen waarbij gebruikers direct een reactie verwachten, zoals spraakassistenten of realtime vertaling. Een derde doel is dat kleine modellen op apparaten met beperkte rekenkracht kunnen draaien, zoals smartphones, waardoor gegevens lokaal verwerkt kunnen worden zonder alles naar een externe server te sturen – wat ook prettig kan zijn voor privacy. Tot slot speelt energieverbruik een rol: minder rekenkracht betekent minder stroomverbruik, wat relevant is nu de energiehonger van AI-datacenters een steeds prominenter maatschappelijk thema wordt. Distillatie is dus geen doel op zich, maar een gereedschap om AI toegankelijker, goedkoper en efficiënter te maken zonder alle capaciteiten overboord te gooien.

Voorbeelden uit de praktijk

DistilBERT (2019), ontwikkeld door het Franse AI-bedrijf Hugging Face, is een van de bekendste vroege voorbeelden. Het is een gedistilleerde versie van Googles taalmodel BERT en is ongeveer 40% kleiner en 60% sneller, terwijl het naar verluidt zo'n 97% van de taalbegripprestaties van het origineel behoudt.

TinyBERT, gepresenteerd door onderzoekers van Huawei (rond 2019-2020), ging nog een stap verder met een tweetraps-aanpak: eerst algemene taalkennis distilleren, en vervolgens extra distillatie gericht op een specifieke taak, zoals sentimentanalyse.

DeepSeek-R1, uitgebracht door het Chinese bedrijf DeepSeek in januari 2025, kreeg wereldwijd aandacht vanwege zijn redeneervaardigheden tegen relatief lage trainingskosten. DeepSeek publiceerde ook een reeks kleinere, gedistilleerde varianten (gebaseerd op bestaande open modelarchitecturen zoals Qwen en Llama) die verrassend sterke redeneerprestaties lieten zien voor hun formaat, en die door onderzoekers wereldwijd zijn gebruikt en getest.

GPT-4o mini van OpenAI (2024) wordt in de bredere AI-gemeenschap algemeen verondersteld een gedistilleerde, compactere afgeleide te zijn van het grotere GPT-4o-model, hoewel OpenAI de precieze technische details van het trainingsproces niet openbaar heeft gemaakt.

Gemini Nano van Google is een compact model dat lokaal op apparaten draait, onder meer in Pixel-smartphones, en is afgeleid van de grotere Gemini-modellenfamilie om functies als tekstsamenvatting direct op het toestel mogelijk te maken zonder internetverbinding.

Hoe ver is de techniek?

Modeldistillatie is inmiddels een volwassen, breed toegepaste techniek. De theoretische basis werd in 2015 gelegd door onderzoekers Geoffrey Hinton, Oriol Vinyals en Jeff Dean, destijds verbonden aan Google, in het invloedrijke paper "Distilling the Knowledge in a Neural Network". Sindsdien is de methode van een academisch idee uitgegroeid tot standaardpraktijk bij vrijwel elk groot AI-laboratorium. De opmars van zeer grote taalmodellen vanaf ongeveer 2020 gaf een extra impuls, omdat de rekenkosten van die modellen distillatie commercieel steeds aantrekkelijker maakten.

Toch zijn er reële beperkingen. Gedistilleerde modellen presteren doorgaans net iets minder goed dan hun leraar, vooral bij complexe redeneertaken, minder voorkomende onderwerpen of situaties die sterk afwijken van de trainingsdata. Ze kunnen ook fouten, vooroordelen of eigenaardigheden van de leraar overerven. Een ander obstakel is toegang: klassieke distillatie werkt het beste als je volledige toegang hebt tot de interne waarschijnlijkheidsverdelingen van de leraar, wat meestal alleen mogelijk is als je zelf eigenaar bent van dat model.

Dat laatste punt ligt ook gevoelig. Begin 2025 ontstond discussie nadat OpenAI liet weten aanwijzingen te hebben dat concurrenten, waaronder mogelijk DeepSeek, op grote schaal uitvoer van OpenAI's modellen zouden hebben gebruikt om eigen, goedkopere modellen te trainen — een praktijk die in strijd zou zijn met de gebruiksvoorwaarden van OpenAI. Onafhankelijk, publiek bevestigd bewijs hiervoor is echter beperkt gebleven, en het bleef grotendeels bij beschuldigingen en vermoedens. Deze episode maakte wel duidelijk dat de grens tussen legitieme, toegestane distillatie (met toestemming, bijvoorbeeld via een officiële API-licentie) en het ongeautoriseerd "aftappen" van een concurrerend model een terrein is waar de techniek, de ethiek en het recht nog volop in ontwikkeling zijn.

Wie werken eraan?

Vrijwel alle grote AI-spelers passen distillatie toe of doen er onderzoek naar. Hugging Face (Frankrijk/VS) speelde een pioniersrol met open-sourcemodellen als DistilBERT en onderhoudt gereedschappen waarmee ontwikkelaars wereldwijd zelf modellen kunnen distilleren. Google en Google DeepMind gebruiken de techniek voor on-device modellen zoals Gemini Nano. OpenAI zet distillatie in voor compactere varianten van zijn GPT-modellen en biedt sinds 2024 ook een distillatiedienst aan waarmee ontwikkelaars kleinere modellen kunnen trainen op basis van uitvoer van grotere OpenAI-modellen. Het Chinese DeepSeek heeft met zijn R1-distillaties internationaal veel aandacht getrokken, terwijl Huawei's Noah's Ark Lab met TinyBERT een van de vroege industriële voorbeelden leverde. Ook Meta (met zijn Llama-modellenfamilie) en Microsoft (met de compacte Phi-modellenreeks) investeren actief in kleinere, gedistilleerde of anderszins geoptimaliseerde modellen. Academisch gezien blijft het werk van Hinton en collega's, oorspronkelijk verricht bij Google Brain met banden naar de Universiteit van Toronto, de theoretische basis waarop veel van dit werk voortbouwt, en onderzoeksgroepen aan universiteiten wereldwijd publiceren voortdurend nieuwe varianten en verbeteringen.