Inferentiechip: de motor achter elk AI-antwoord dat je krijgt
Wanneer je een vraag stelt aan een chatbot, een foto laat herkennen door je telefoon of een liedje krijgt aanbevolen, gebeurt er ergens razendsnel een berekening met een kunstmatig neuraal netwerk. Die berekening heet inference: het toepassen van een al getraind AI-model op nieuwe informatie. Een inferentiechip is speciaal ontworpen hardware die precies dat, en niets anders, zo snel, goedkoop en energiezuinig mogelijk doet.
Een handige analogie is die van een student en een afgestudeerde professional. Het trainen van een AI-model lijkt op een studie: het kost jaren, enorme hoeveelheden informatie en zware inspanning om patronen te leren herkennen. Inference is wat er gebeurt zodra die 'student' is afgestudeerd en dagelijks razendsnel routinevragen beantwoordt op basis van wat hij geleerd heeft. Voor die twee fases — leren en toepassen — is heel andere hardware optimaal. Trainingschips moeten enorme rekenkracht en geheugen combineren om miljarden voorbeelden te verwerken. Inferentiechips moeten vooral snel, consistent en zuinig één taak tegelijk uitvoeren, vaak miljoenen keren per dag.
Wat is het precies?
Een neuraal netwerk bestaat in de kern uit rijen getallen (matrices) die met elkaar vermenigvuldigd en opgeteld worden. Elke keer dat je een AI-model een vraag stelt, voert de chip miljarden van dit soort matrixvermenigvuldigingen uit. Gewone processoren (CPU's) zijn hier relatief traag in, omdat ze ontworpen zijn om allerlei verschillende taken na elkaar uit te voeren. Grafische chips (GPU's) zijn er al veel beter in, omdat ze van nature veel berekeningen tegelijk kunnen doen — oorspronkelijk om beeldpixels te tekenen.
Een inferentiechip gaat nog een stap verder: hij bevat rekeneenheden die uitsluitend gebouwd zijn voor dit soort matrixwiskunde. Google's TPU-chips gebruiken bijvoorbeeld een ontwerp dat een systolic array heet: een raster van kleine rekeneenheden waarbij getallen als in een estafette langs elkaar heen stromen, zodat elke rekeneenheid voortdurend bezig blijft zonder te wachten op data. Dat maakt de chip efficiënter dan een algemene GPU voor dit specifieke werk.
Een tweede truc is quantization, ofwel precisieverlaging. Tijdens het trainen rekenen chips meestal met zeer nauwkeurige getallen (bijvoorbeeld 32-bits floating point, geschreven als FP32). Voor inference blijkt vaak veel minder precisie voldoende — 8-bits of zelfs 4-bits gehele getallen (INT8, INT4) — zonder dat de antwoorden van het model merkbaar slechter worden. Minder precisie betekent minder data verplaatsen en minder energie per berekening, wat inference aanzienlijk sneller en goedkoper maakt.
Ten slotte is geheugenbandbreedte vaak belangrijker dan pure rekenkracht. Een chip kan nog zo snel kunnen rekenen, als de gewichten van het model niet snel genoeg van het geheugen naar de rekeneenheden gebracht kunnen worden, blijft de chip alsnog wachten. Daarom investeren chipontwerpers minstens zoveel in snel, dichtbij geplaatst geheugen als in extra rekenkracht.
Wat wil men ermee bereiken?
Toen AI-bedrijven zich vooral richtten op het trainen van steeds grotere modellen, ging de meeste aandacht — en het meeste chipbudget — naar trainingshardware. Inmiddels is dat aan het kantelen: elk gesprek met een chatbot, elke gegenereerde afbeelding en elke productaanbeveling is een aparte inference-berekening, en die gebeuren miljarden keren per dag wereldwijd. Voor veel grote techbedrijven vormen de kosten van inference inmiddels een groter deel van de rekenrekening dan het eenmalige trainen van een model.
De doelen zijn dus vrij concreet: kortere latency (de tijd tussen een vraag en een antwoord, cruciaal voor een chatbot die 'live' aanvoelt), lagere energiekosten per antwoord, en de mogelijkheid om AI te draaien op apparaten die geen grote datacenterverbinding hebben — denk aan een smartphone, een beveiligingscamera of een zelfrijdende auto. Dat laatste heet edge AI: het model draait lokaal op het apparaat zelf, in plaats van in de cloud.
Er speelt ook een strategisch belang: bedrijven als Amazon, Google en Microsoft willen niet volledig afhankelijk zijn van de dure en schaarse GPU's van marktleider Nvidia. Door eigen inferentiechips te ontwikkelen, kunnen ze hun eigen clouddiensten goedkoper en onafhankelijker draaien.
Voorbeelden uit de praktijk
Google begon rond 2015 met de ontwikkeling van zijn Tensor Processing Unit (TPU), aanvankelijk vooral om interne diensten zoals Zoeken en Google Translate sneller en goedkoper te maken. Inmiddels zijn er meerdere generaties TPU's, waarvan sommige varianten specifiek geoptimaliseerd zijn voor inference, en worden ze ook via Google Cloud aan andere bedrijven aangeboden.
Apple bouwt sinds de A11 Bionic-chip uit 2017 (gebruikt in de iPhone 8 en iPhone X) een aparte Neural Engine in zijn processoren. Die wordt gebruikt voor gezichtsherkenning (Face ID), slimme camerabewerking en, met de komst van Apple Intelligence, ook voor on-device taalmodel-functies — allemaal lokaal op de telefoon, zonder dat gegevens naar een server hoeven.
Amazon ontwikkelt via AWS zijn eigen Inferentia-chips, specifiek bedoeld voor inference-taken in Amazon's datacenters, naast een apart ontworpen chip (Trainium) voor training.
Een opvallender voorbeeld is Groq, een bedrijf dat een eigen chipontwerp bouwt genaamd de LPU (Language Processing Unit), specifiek gericht op het extreem snel laten draaien van taalmodellen. Groq kreeg in 2024 veel aandacht met publieke demonstraties waarin chatbot-antwoorden zichtbaar sneller verschenen dan gebruikers gewend waren van reguliere GPU-gebaseerde diensten. Exacte snelheidsclaims van individuele bedrijven moet je overigens altijd met enige voorzichtigheid lezen, omdat testomstandigheden sterk kunnen verschillen.
Hoe ver is de techniek?
Inferentiechips zijn geen toekomstmuziek meer: ze zitten al in vrijwel elke moderne smartphone, in datacenters van de grote clouddiensten en in steeds meer auto's en camera's. Wat wél sterk in ontwikkeling blijft, is de vraag welke architectuur op de lange termijn het beste werkt, nu AI-modellen zelf ook steeds groter en veeleisender worden.
Een belangrijk obstakel is dat geheugenbandbreedte vaak de bottleneck blijft, niet de rekenkracht zelf — het ontwerpen van snel geheugen dicht bij de rekeneenheden is technisch lastig en duur. Daarnaast is het ontwikkelen van een volledig nieuwe chipfamilie een proces van jaren en kost het honderden miljoenen tot miljarden euro's, wat de markt lastig toegankelijk maakt voor nieuwkomers.
Ondanks de opkomst van gespecialiseerde inferentiechips blijft Nvidia met zijn GPU's voorlopig marktleider, ook voor inference, mede dankzij de bredere software-ondersteuning (zoals het CUDA-platform) waar veel AI-toepassingen op gebouwd zijn. Of gespecialiseerde chips zoals die van Groq, Cerebras of de eigen chips van cloudbedrijven op termijn een substantieel deel van die markt overnemen, is nog onzeker.
Wie werken eraan?
Nvidia is met afstand de grootste speler, met GPU's die zowel voor training als inference gebruikt worden. Google (TPU), Amazon (Inferentia/Trainium) en Microsoft (met een eigen chip genaamd Maia) ontwikkelen chips primair voor gebruik in hun eigen clouddiensten. Apple en Qualcomm richten zich op inferentiechips voor consumentenapparaten zoals smartphones. Daarnaast zijn er gespecialiseerde start-ups zoals Groq, Cerebras en Graphcore die met alternatieve chipontwerpen de gevestigde orde proberen uit te dagen.
Op landenniveau ligt het chipontwerp overwegend in de Verenigde Staten, terwijl de daadwerkelijke fabricage van de meest geavanceerde chips grotendeels gebeurt bij TSMC in Taiwan — een concentratie die door beleidsmakers wereldwijd als een strategisch kwetsbaar punt wordt gezien.