Tensor Cores: de gespecialiseerde rekenkernen achter moderne AI
Wanneer je een vraag stelt aan een chatbot zoals ChatGPT, gebeurt er op de achtergrond een enorme hoeveelheid rekenwerk. Dat rekenwerk bestaat voor het grootste deel niet uit ingewikkelde logica, maar uit iets verrassend eenvoudigs: het vermenigvuldigen en optellen van lange rijen getallen die gerangschikt zijn in tabellen, door wiskundigen "matrices" genoemd. Tensor Cores zijn onderdelen van een computerchip die speciaal zijn ontworpen om precies dat razendsnel te doen. Vergelijk het met een keukenmachine die alleen kan hakken en mixen, maar dat duizend keer sneller doet dan een mens met een mes: voor die ene taak is hij onverslaanbaar, ook al kan hij verder niets.
Tensor Cores zitten niet in een losse chip, maar zijn onderdeel van de grafische processor (GPU) van de Amerikaanse fabrikant NVIDIA, momenteel de marktleider in AI-hardware. Naast de gewone rekenkernen van een GPU, die van alles kunnen (van games renderen tot wetenschappelijke simulaties), bevatten moderne NVIDIA-chips honderden tot duizenden Tensor Cores die uitsluitend geoptimaliseerd zijn voor matrixvermenigvuldiging. Omdat vrijwel alle berekeningen in kunstmatige neurale netwerken - de wiskundige modellen achter beeldherkenning, taalmodellen en zelfrijdende auto's - neerkomen op precies dat soort rekenwerk, hebben Tensor Cores de afgelopen jaren de trainings- en gebruikssnelheid van AI-systemen sterk versneld.
Wat is het precies?
Een neuraal netwerk, het soort AI-model achter bijvoorbeeld taalmodellen, bestaat uit lagen van kunstmatige "neuronen" die met elkaar verbonden zijn via getallen die "gewichten" heten. Als je gegevens (bijvoorbeeld een stukje tekst, omgezet in getallen) door zo'n netwerk stuurt, wordt op elke laag in feite een matrix met invoergegevens vermenigvuldigd met een matrix van gewichten, waarna de resultaten worden opgeteld. Dit heet een "matrixvermenigvuldig-en-optel"-bewerking, in het Engels multiply-accumulate. Bij een groot taalmodel gebeurt dit miljarden keren per seconde.
Een gewone rekenkern in een processor voert zulke vermenigvuldigingen en optellingen één voor één uit. Een Tensor Core is een gespecialiseerd stukje schakeling dat in één klap een heel blokje van deze bewerkingen tegelijk afhandelt, bijvoorbeeld een vermenigvuldiging van twee kleine 4x4-tabellen met getallen, direct gevolgd door de optelling. Doordat deze stap in vaste hardware "gebakken" is in plaats van uit losse instructies te bestaan, gaat het vele malen sneller dan wanneer een normale rekenkern dezelfde som stap voor stap zou uitvoeren.
Een tweede truc is dat Tensor Cores vaak rekenen met minder precieze getallen dan gebruikelijk. Een computer kan getallen opslaan met veel decimalen (hoge precisie) of met weinig decimalen (lage precisie); hoe minder precisie, hoe minder geheugen en rekenkracht een bewerking kost, maar hoe groter de kans op afrondingsfouten. Onderzoekers ontdekten dat neurale netwerken opvallend ongevoelig zijn voor dit soort kleine afrondingsfouten. Daarom rekenen Tensor Cores vaak in compactere formaten, met namen als FP16, TF32, FP8 of - in de nieuwste generatie - zelfs FP4, en tellen ze de tussenresultaten op in een preciezer formaat om grote fouten te voorkomen. Dit wordt "gemengde precisie" (mixed precision) genoemd. Elke generatie Tensor Cores heeft nieuwe, nog compactere formaten toegevoegd, telkens met als doel: meer berekeningen per seconde, per watt en per vierkante millimeter chip.
Wat wil men ermee bereiken?
Het trainen van een modern AI-model kost enorm veel rekenkracht: grote taalmodellen worden getraind door tientallen miljarden tot biljoenen voorbeelden te verwerken, telkens met dezelfde matrixvermenigvuldigingen. Zonder gespecialiseerde hardware zou het trainen van zo'n model weken tot maanden langer duren, of gewoonweg onbetaalbaar zijn door het elektriciteitsverbruik. Het doel van Tensor Cores is dan ook drieledig: de tijd om een AI-model te trainen verkorten, de kosten en het energieverbruik per berekening verlagen, en het mogelijk maken om AI-modellen direct te gebruiken ("inferentie") met een acceptabele snelheid en prijs, bijvoorbeeld wanneer miljoenen mensen tegelijk een chatbot gebruiken.
Er speelt ook een economisch belang: wie de snelste en zuinigste AI-chips maakt, verkoopt aan de bedrijven die AI-modellen bouwen en aanbieden. Dit heeft van NVIDIA in enkele jaren tijd een van de meest waardevolle bedrijven ter wereld gemaakt, en het heeft een felle wedloop op gang gebracht tussen chipmakers om steeds efficiëntere matrixversnellers te ontwerpen.
Voorbeelden uit de praktijk
Het bekendste voorbeeld is de reeks datacenter-GPU's van NVIDIA. De V100 (2017) was de eerste chip met Tensor Cores; de A100 (2020) werd het werkpaard achter veel vroege grote taalmodellen; en de H100 (2022) wordt op dit moment veel gebruikt om de grootste taalmodellen ter wereld te trainen, waaronder modellen van OpenAI en Meta.
De Leonardo-supercomputer in Italië, beheerd door onderzoeksinstituut CINECA en mede gefinancierd door het Europese EuroHPC-initiatief, draait op duizenden NVIDIA A100-GPU's en is sinds de ingebruikname in 2022-2023 een van de krachtigste rekenmachines van Europa, gebruikt voor zowel klimaatonderzoek als AI-onderzoek.
NVIDIA bouwde in 2023 zijn eigen interne supercomputer, bijgenaamd Eos, samengesteld uit duizenden H100-GPU's, onder meer gebruikt voor eigen AI-onderzoek en om te laten zien wat de eigen hardware kan.
Buiten datacenters komen Tensor Cores ook in gewone spelcomputers terecht: sinds de RTX 20-serie (2018) gebruikt NVIDIA de Tensor Cores in consumenten-grafische kaarten voor een techniek genaamd DLSS (Deep Learning Super Sampling), die met AI een laag gerenderde game-afbeelding "opschaalt" naar een scherper beeld, zodat games er beter uitzien zonder dat de GPU alle pixels apart hoeft te berekenen.
Ook techbedrijven bouwden eigen AI-rekenclusters op Tensor Core-hardware: Meta kondigde in 2022 zijn AI Research SuperCluster (RSC) aan, een cluster dat moest opschalen naar duizenden NVIDIA A100-GPU's, bedoeld voor onderzoek naar onder meer contentmoderatie en taalmodellen.
Hoe ver is de techniek?
Tensor Cores zijn geen toekomstplan maar bestaande, op grote schaal ingezette technologie: vrijwel elk groot AI-model dat de afgelopen jaren is getraind, is over Tensor Cores gelopen. Het tempo van vernieuwing ligt hoog: NVIDIA bracht ongeveer om de twee jaar een nieuwe generatie uit (Volta in 2017, Turing in 2018, Ampere in 2020, Hopper in 2022 en Blackwell vanaf 2024), waarbij elke generatie nieuwe, compactere rekenformaten en slimmere schakelingen toevoegde om meer berekeningen per seconde en per watt te halen.
Toch zijn er duidelijke obstakels. Ten eerste is er de energie- en warmteproblematiek: de nieuwste chips met Tensor Cores verbruiken honderden tot ruim duizend watt per stuk, en datacenters vol met zulke chips hebben zware koeling en enorme hoeveelheden elektriciteit nodig, wat vragen oproept over duurzaamheid. Ten tweede is de productie complex en kwetsbaar: geavanceerde chips zoals Blackwell worden gemaakt met de nieuwste procestechnologie van het Taiwanese TSMC, en productieproblemen of ontwerpfouten - zoals gemeld rond de introductie van Blackwell eind 2024 - kunnen leveringen maandenlang vertragen. Ten derde blijft het zoeken naar steeds lagere precisie (zoals het nieuwe FP4-formaat) een balanceeract: te weinig precisie tast de betrouwbaarheid van AI-modellen aan, en onderzoekers zijn het nog niet over elk detail eens wanneer dit wel of niet acceptabel is.
Wie werken eraan?
NVIDIA is verreweg de dominante partij, mede dankzij zijn software-platform CUDA, waarmee ontwikkelaars al sinds 2007 relatief eenvoudig gebruikmaken van de rekenkracht van NVIDIA-GPU's; dat softwarevoordeel is minstens zo belangrijk gebleken als de hardware zelf.
Concurrent AMD bouwt vergelijkbare gespecialiseerde rekenkernen, "Matrix Cores" genaamd, in zijn CDNA-architectuur, gebruikt in de MI200- en MI300-serie datacenter-GPU's. Intel ontwikkelt zowel matrixversnellers in zijn Xeon-serverprocessoren (genaamd AMX, Advanced Matrix Extensions) als aparte AI-chips onder de naam Gaudi, via de overname van het Israëlische Habana Labs. Google volgt een net iets andere aanpak met zijn Tensor Processing Units (TPU's), chips die sinds 2016 speciaal zijn ontworpen rond hetzelfde principe van snelle matrixvermenigvuldiging, maar met een andere interne schakeling (een zogeheten systolic array) dan NVIDIA's Tensor Cores.
Op productieniveau is TSMC in Taiwan een sleutelspeler: vrijwel alle genoemde chips worden daar gefabriceerd, wat het bedrijf en het land strategisch belangrijk maakt in de wereldwijde AI-race. Daarnaast investeren onder meer de Verenigde Staten en de Europese Unie (via EuroHPC) in supercomputers gebouwd met deze chips, terwijl universiteiten wereldwijd onderzoek doen naar nog efficiëntere manieren om neurale netwerken te berekenen, bijvoorbeeld met nog lagere precisie of slimmere algoritmes die minder matrixrekenwerk nodig hebben.