Modelkwantisatie: hoe AI-modellen slanker worden gemaakt
Elk groot taalmodel bestaat uit miljarden getallen: de zogeheten parameters of gewichten, die samen bepalen hoe het model tekst voorspelt of een afbeelding herkent. Standaard worden die getallen opgeslagen met hoge precisie, te vergelijken met het noteren van een lengte tot op de duizendste millimeter nauwkeurig. Modelkwantisatie is de techniek waarmee die getallen worden afgerond naar een grovere schaal, zodat ze minder geheugen en rekenkracht kosten. Het is vergelijkbaar met het comprimeren van een foto: een JPEG-bestand ziet er voor het blote oog bijna hetzelfde uit als de originele RAW-foto, maar neemt een fractie van de opslagruimte in beslag.
Het effect van kwantisatie is fors. Een taalmodel dat oorspronkelijk met 32 bit per getal werkt, kan na kwantisatie naar 4 bit acht keer kleiner worden, vaak met verrassend weinig kwaliteitsverlies. Zo krimpt een model van ruim 140 gigabyte naar ongeveer 18 gigabyte, het verschil tussen niet passen op een laptop en probleemloos draaien op een gewone grafische kaart. Die verkleining is een belangrijke reden waarom grote taalmodellen tegenwoordig ook buiten datacenters kunnen draaien, op pc's, laptops en zelfs telefoons.
Wat is het precies?
Computers slaan getallen doorgaans op als zogeheten floating point-waarden, met een vast aantal bits (enen en nullen) per getal. Hoe meer bits, hoe preciezer het getal, maar ook hoe meer geheugen en rekenkracht het kost om ermee te rekenen. Standaardmodellen gebruiken vaak 16 of 32 bit per gewicht. Bij kwantisatie worden die waarden herschaald naar een kleiner aantal bits, bijvoorbeeld 8 of 4, waarbij de oorspronkelijke reeks getallen wordt afgebeeld op een veel kleinere set mogelijke waarden.
Er zijn twee hoofdroutes. Bij post-training quantization (PTQ) wordt een al getraind model achteraf verkleind, zonder het opnieuw te trainen; dit is snel en goedkoop, maar kan nauwkeurigheid kosten. Bij quantization-aware training (QAT) wordt tijdens het trainen al rekening gehouden met de afronding, waardoor het model leert omgaan met de beperkte precisie. QAT levert doorgaans betere resultaten op, maar is veel bewerkelijker omdat het (opnieuw) trainen van een groot model kostbaar is.
Een lastig probleem bij kwantisatie zijn zogeheten outliers: enkele gewichten met een uitzonderlijk grote waarde die de afronding van alle andere getallen kunnen verstoren. Methodes als GPTQ en AWQ, twee veelgebruikte technieken uit 2022 en 2023, proberen deze uitschieters slim te behandelen door per groepje gewichten te kijken welke waarden het meest bijdragen aan de uiteindelijke voorspelling, en die net iets nauwkeuriger te behouden dan de rest.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is toegankelijkheid. Het trainen en draaien van grote AI-modellen vereist dure, energieverslindende serverparken vol gespecialiseerde chips. Kwantisatie verlaagt de drempel om diezelfde modellen te gebruiken, doordat ze passen in minder geheugen en sneller rekenen op goedkopere hardware.
Daarnaast spelen snelheid en energieverbruik mee. Rekenen met kleinere getallen kost minder stroom en gaat vaak sneller, wat in datacenters op grote schaal leidt tot lagere kosten en een kleinere ecologische voetafdruk. Voor toepassingen op smartphones, laptops en apparaten in het Internet of Things is kwantisatie zelfs een randvoorwaarde: zonder verkleining passen de modellen simpelweg niet in het beschikbare geheugen van zulke apparaten.
Tot slot is er een privacymotief. Een gekwantiseerd model dat lokaal op een telefoon of laptop draait, hoeft geen gegevens naar een externe server te sturen. Dat maakt toepassingen mogelijk die volledig offline werken, wat zowel de privacy als de betrouwbaarheid (geen afhankelijkheid van een internetverbinding) ten goede komt.
Voorbeelden uit de praktijk
GPTQ (2022-2023), ontwikkeld door onderzoekers rond Elias Frantar en Dan Alistarh, was een van de eerste methodes waarmee grote taalmodellen naar 4 bit konden worden teruggebracht met beperkt kwaliteitsverlies, en werd een de-factostandaard in de open-sourcegemeenschap.
llama.cpp, gestart door softwareontwikkelaar Georgi Gerganov in maart 2023, maakte het mogelijk om Meta's Llama-taalmodellen in het GGUF-bestandsformaat sterk gekwantiseerd (tot 2 a 4 bit) op gewone laptops te draaien, zonder gespecialiseerde grafische kaart. Het project ligt aan de basis van populaire lokale AI-tools zoals Ollama.
QLoRA (2023), van onderzoekers aan de Universiteit van Washington rond Tim Dettmers, combineerde 4-bit-kwantisatie met een efficiente natrainingstechniek, waardoor het mogelijk werd grote modellen op een enkele consumenten-GPU aan te passen aan specifieke taken.
BitNet b1.58, een onderzoeksproject van Microsoft Research uit 2024, ging een stap verder door gewichten terug te brengen tot slechts drie mogelijke waarden (-1, 0 en 1), oftewel 1,58 bit per gewicht. Dit is nog experimenteel, maar toont dat extreme kwantisatie in principe haalbaar is.
Ook grote techbedrijven passen de techniek toe in producten: Apple gebruikt gekwantiseerde modellen voor on-device functies binnen Apple Intelligence (2024), en Google doet hetzelfde met het compacte Gemini Nano-model dat lokaal op Pixel-telefoons draait.
Hoe ver is de techniek?
Kwantisatie naar 8 bit en 4 bit is inmiddels gangbare praktijk en wordt breed ondersteund door frameworks, met doorgaans een klein en goed te overzien kwaliteitsverlies. Voor de meeste taalmodellen geldt dat 4-bit-versies nauwelijks te onderscheiden zijn van de volledige versie in alledaags gebruik, al kunnen taken die veel precisie vereisen, zoals complexe rekensommen of subtiele redeneertaken, gevoeliger zijn voor het verlies aan detail.
Extreme kwantisatie, richting 2 bit of zelfs 1 bit, is nog volop onderzoeksterrein. De resultaten zijn veelbelovend maar wisselvallig: sommige modellen houden hun prestaties redelijk op peil, andere verliezen merkbaar aan kwaliteit. Een blijvend obstakel is dat modellen doorgaans specifiek getraind of nagetraind moeten worden om goed met extreme kwantisatie om te gaan; simpelweg afronden van een bestaand model werkt bij zulke lage precisies vaak onvoldoende.
Ook de hardware speelt een rol. Chipfabrikanten bouwen steeds meer specifieke ondersteuning voor lage precisie in hun processoren, zoals INT8- en INT4-versnelling in recente NVIDIA-GPU's en neurale verwerkingseenheden in smartphonechips. Dat maakt kwantisatie niet alleen een softwarekwestie, maar ook een kwestie van hoe goed hardware is toegerust om van de kleinere getallen te profiteren.
Wie werken eraan?
Hugging Face speelt een centrale rol als platform waar gekwantiseerde modellen en bijbehorende gereedschappen (zoals de bibliotheken Optimum en Transformers) worden gedeeld binnen de open-sourcegemeenschap. Microsoft Research onderzoekt extreme kwantisatie met projecten als BitNet. NVIDIA bouwt kwantisatie-ondersteuning in zijn TensorRT-LLM-software en in de architectuur van zijn GPU's. Meta brengt zelf officiele gekwantiseerde varianten van zijn Llama-modellen uit, en Google en Apple zetten kwantisatie in voor on-device AI in respectievelijk Pixel-telefoons en Apple Intelligence.
Op academisch vlak zijn onder meer onderzoeksgroepen aan het Institute of Science and Technology Austria (rond Dan Alistarh, medebedenker van GPTQ), het Massachusetts Institute of Technology (ontwikkelaar van AWQ) en de Universiteit van Washington (QLoRA) toonaangevend. Ook chipmaker Qualcomm investeert in kwantisatietechnieken om AI-modellen efficient te laten draaien op de neurale verwerkingseenheden in mobiele processoren.