Inferentieversnelling: hoe AI-modellen sneller antwoord geven
Een AI-taalmodel doorloopt twee heel verschillende fases. Eerst wordt het getraind: op basis van enorme hoeveelheden tekst leert het patronen herkennen, een proces dat weken kan duren en gigantisch veel rekenkracht kost. Daarna wordt het model gebruikt om daadwerkelijk vragen te beantwoorden, teksten te genereren of afbeeldingen te herkennen. Dat gebruiksmoment heet inferentie. Inferentieversnelling is de verzameling technieken, chips en trucs waarmee die tweede fase sneller, goedkoper en zuiniger wordt gemaakt, zonder dat het model opnieuw getraind hoeft te worden.
Een vergelijking maakt het concreet. Trainen is als een kok die jarenlang recepten oefent en technieken leert. Inferentie is het moment waarop diezelfde kok, tijdens een drukke dienst, telkens opnieuw snel en foutloos gerechten moet klaarmaken voor honderden gasten tegelijk. Als je in een chatbot als ChatGPT of Gemini een vraag typt en het antwoord woord voor woord ziet verschijnen, dan zie je inferentie live gebeuren. Inferentieversnelling bepaalt hoe snel die woorden komen, hoeveel dat kost aan stroom en rekenkracht, en of het antwoord op een gigantische serverfarm moet worden berekend of ook op je eigen telefoon kan.
Wat is het precies?
Om te begrijpen waarom inferentie versnelling nodig heeft, helpt het te weten dat een taalmodel tekst genereert door telkens één woorddeel (een token) tegelijk te voorspellen, op basis van alles wat al geschreven is. Voor elk nieuw token moet het model opnieuw door miljarden rekenkundige verbindingen heen. Bij miljoenen gebruikers per dag lopen die kosten snel op.
Een van de belangrijkste trucs is kwantisatie: het model rekent met minder decimale precisie. In plaats van getallen met veel cijfers achter de komma (het formaat FP16 of BF16) gebruikt men grovere formaten zoals INT8, FP8 of zelfs INT4. Dat werkt sneller en gebruikt minder geheugen, tegen een klein risico op verlies van nauwkeurigheid.
Een tweede techniek is de KV-cache (key-value cache). Zonder deze truc zou het model bij elk nieuw woord de hele voorgaande tekst opnieuw helemaal moeten doorrekenen. Met een KV-cache worden tussenresultaten van eerdere woorden onthouden en hergebruikt, wat veel rekenwerk bespaart.
Bij speculative decoding (speculatief doorrekenen) laat men een klein, snel hulpmodel alvast een paar woorden vooruit gokken. Het grote, nauwkeurige model controleert die gok vervolgens in één keer in plaats van woord voor woord te rekenen. Kloppen de gokken, dan is er tijd gewonnen; kloppen ze niet, dan valt het systeem terug op de normale, langzamere manier.
Daarnaast bestaan pruning (het wegsnijden van overbodige verbindingen in het netwerk) en distillatie (een kleiner 'leerling'-model trainen dat het gedrag van een groot model nabootst). Op serverniveau helpt batching: meerdere verzoeken van verschillende gebruikers tegelijk door dezelfde hardware laten verwerken. Tot slot is er gespecialiseerde hardware: naast algemene grafische chips (GPU's) bestaan er inmiddels chips die specifiek zijn ontworpen voor dit soort berekeningen, zoals TPU's (Tensor Processing Units) van Google en diverse nieuwe ontwerpen van startups.
Wat wil men ermee bereiken?
Het eerste doel is snelheid: een gebruiker die met een chatbot praat, wil geen seconden wachten op elk woord. Voor toepassingen zoals spraakassistenten of zelfrijdende systemen is een snelle reactie zelfs functioneel noodzakelijk, niet alleen prettig.
Het tweede doel is kosten. Elke keer dat een taalmodel een antwoord genereert, kost dat rekentijd op dure chips. Bedrijven die AI aan miljoenen gebruikers aanbieden, willen die kosten per vraag zo laag mogelijk houden om het businessmodel houdbaar te maken.
Een derde, steeds belangrijker doel is energieverbruik. Datacenters die AI-modellen draaien, verbruiken grote hoeveelheden elektriciteit en koelwater. Efficiëntere inferentie vermindert die belasting, al blijft de totale vraag naar AI-diensten sterk groeien, wat de netto milieuwinst compliceert.
Een vierde doel is het mogelijk maken van AI op kleinere apparaten: een telefoon, laptop of auto heeft veel minder rekenkracht en batterijcapaciteit dan een datacenter. Alleen met sterk geoptimaliseerde inferentie kunnen modellen lokaal draaien, wat voordelen biedt voor privacy (data blijft op het apparaat) en werking zonder internetverbinding.
Tot slot maken nieuwere 'redenerende' AI-modellen, die meerdere tussenstappen doorlopen voordat ze een antwoord geven, inferentie nog duurder. Versnelling is daarom ook nodig om dit soort geavanceerdere modellen praktisch bruikbaar te houden.
Voorbeelden uit de praktijk
NVIDIA TensorRT-LLM (2023) is een softwarebibliotheek van chipfabrikant NVIDIA die taalmodellen optimaliseert voor de eigen GPU's, onder meer via kwantisatie en efficiënt geheugenbeheer. Het is een van de meest gebruikte hulpmiddelen in commerciële AI-diensten.
Groq, een Amerikaanse chipstartup, presenteerde vanaf 2024 zijn LPU (Language Processing Unit), een chip die is ontworpen rond snel, direct toegankelijk geheugen in plaats van de gangbare, tragere geheugenchips. Het bedrijf demonstreerde hiermee opvallend hoge tekstgeneratiesnelheden bij open modellen zoals Llama, hoewel onafhankelijke vergelijkingen met concurrenten niet altijd eenduidig zijn.
Cerebras Systems bouwt de Wafer Scale Engine, een chip die in plaats van uit losse, kleine processoren te bestaan één enorme, wafer-grote chip is. In 2024 lanceerde het bedrijf hiermee een inferentiedienst die eveneens hoge snelheden claimt voor grote taalmodellen.
Het Chinese DeepSeek trok eind 2024 en begin 2025 aandacht met de modellen DeepSeek-V3 en DeepSeek-R1. Een deel van de efficiëntiewinst kwam uit architecturale keuzes die specifiek de inferentie goedkoper maken: een compactere manier om de KV-cache op te slaan (Multi-head Latent Attention) en een 'mixture-of-experts'-opzet, waarbij voor elk token maar een klein deel van het totale netwerk daadwerkelijk actief hoeft te rekenen.
Apple kondigde in 2024 Apple Intelligence aan, functies die deels lokaal op iPhones, iPads en Macs draaien via de eigen Apple Silicon-chips, met behulp van compressie- en optimalisatietechnieken om de modellen klein genoeg te maken voor mobiele hardware.
Hoe ver is de techniek?
Veel basistechnieken zijn inmiddels gemeengoed. Kwantisatie, KV-caching en batching zitten standaard in vrijwel elk professioneel systeem dat taalmodellen aan gebruikers aanbiedt, waaronder veelgebruikte open source software zoals vLLM (ontwikkeld met bijdragen van UC Berkeley) en Hugging Face's serversoftware. Speculative decoding wordt steeds vaker toegepast, maar is nog niet overal standaard.
Op hardwaregebied domineert NVIDIA al jaren de markt, mede dankzij het bijbehorende softwareplatform CUDA, dat door veel ontwikkelaars als vertrouwd uitgangspunt wordt gebruikt. Uitdagers als Groq, Cerebras, SambaNova en AMD proberen met andere chipontwerpen marktaandeel te winnen, met wisselend succes; het omschakelen van software naar een nieuw platform blijkt in de praktijk een grote drempel.
Een belangrijk obstakel is niet zozeer rekenkracht, maar geheugenbandbreedte: de snelheid waarmee data tussen geheugen en rekenkern kan worden verplaatst, blijkt vaak de bottleneck, een probleem dat in de sector wel de 'memory wall' wordt genoemd. Ook blijft er een afweging bestaan tussen snelheid en nauwkeurigheid: agressieve kwantisatie of pruning kan de kwaliteit van antwoorden meetbaar verslechteren, wat per toepassing zorgvuldig getest moet worden.
Vergelijken van claims tussen bedrijven is lastig, omdat meetmethodes verschillen. De brancheorganisatie MLCommons probeert dit sinds 2019 te standaardiseren met de MLPerf Inference-benchmark, maar ook daarbinnen kiezen bedrijven soms testopstellingen die hun eigen product gunstig laten uitkomen. Onafhankelijke, volledig vergelijkbare cijfers zijn daardoor niet altijd voorhanden.
Wie werken eraan?
NVIDIA blijft de belangrijkste speler dankzij zijn GPU's en TensorRT-LLM-software. Google ontwikkelt eigen TPU-chips en publiceerde via Google Research en het voormalige DeepMind invloedrijk onderzoek naar technieken als speculative decoding. Chipstartups Groq, Cerebras en SambaNova richten zich specifiek op snelle inferentiehardware, terwijl AMD met zijn Instinct-chips een alternatief voor NVIDIA biedt.
Op het gebied van mobiele en edge-chips zijn Apple en Qualcomm actief, met eigen processoren die speciale AI-rekeneenheden (NPU's, neural processing units) bevatten. Meta draagt bij via open modellen zoals Llama en bijbehorende optimalisatietools, en Microsoft ontwikkelt onder meer de ONNX Runtime voor efficiënte modeluitvoering op Azure. In China werken bedrijven als DeepSeek en Alibaba aan efficiëntere modelarchitecturen, mede ingegeven door beperktere toegang tot de nieuwste Amerikaanse chips.
Universiteiten spelen een belangrijke rol in fundamenteel onderzoek en open source software: onder meer UC Berkeley (het vLLM-project), Stanford en MIT publiceren regelmatig over nieuwe versnellingstechnieken. De branchevereniging MLCommons brengt fabrikanten en onderzoekers samen rond gedeelde benchmarks.