Acceleratorkaart: de rekenkracht achter kunstmatige intelligentie
Stel je een kantoor voor waar één ontzettend flexibele medewerker alle taken doet: bellen, mailen, boekhouden, plannen. Die persoon is goed in van alles, maar bij een taak die duizend keer achter elkaar herhaald moet worden, zoals het invoeren van duizend identieke facturen, zou een fabriekshal vol gespecialiseerde invoermachines veel sneller zijn. Een acceleratorkaart is precies zo'n gespecialiseerde machine, maar dan voor een computer. Het is een stuk hardware, meestal een uitbreidingskaart die in een server wordt geplaatst, dat is gebouwd om één specifiek soort rekenwerk razendsnel uit te voeren, veel sneller dan de normale processor van een computer dat zou kunnen.
In de praktijk hoor je de term 'acceleratorkaart' tegenwoordig bijna altijd in combinatie met kunstmatige intelligentie (AI). Het trainen van een taalmodel zoals achter een chatbot, of het laten genereren van een antwoord door zo'n model, vereist miljarden simpele rekensommen die telkens opnieuw en tegelijk moeten worden uitgevoerd. Gewone computerchips, de CPU's (central processing units) die in elke laptop zitten, zijn daar niet voor gebouwd: die zijn juist ontworpen om complexe, uiteenlopende taken één voor één snel af te handelen. Acceleratorkaarten, zoals grafische kaarten (GPU's) en speciaal voor AI ontworpen chips, doen het tegenovergestelde: ze voeren duizenden eenvoudige berekeningen tegelijkertijd uit. Daardoor kan een training die op gewone processoren maanden zou duren, met acceleratorkaarten in dagen worden afgerond.
Wat is het precies?
De kern van een acceleratorkaart is dat hij is gebouwd voor parallelle verwerking: het tegelijk uitvoeren van heel veel kleine, vergelijkbare rekensommen in plaats van één grote ingewikkelde berekening. Een CPU heeft doorgaans een paar tot enkele tientallen rekenkernen die stuk voor stuk heel veelzijdig zijn. Een acceleratorkaart zoals een GPU heeft duizenden tot tienduizenden eenvoudigere rekenkernen, die samen precies dat soort werk aankunnen dat bij AI en grafische verwerking nodig is: het vermenigvuldigen en optellen van enorme rijen getallen, ook wel matrixvermenigvuldiging genoemd.
Naast de rekenkernen is ook het geheugen op zo'n kaart bijzonder. AI-modellen bestaan uit miljarden 'gewichten', getallen die bepalen hoe het model reageert op input. Die moeten razendsnel in en uit het geheugen worden gehaald. Daarom gebruiken acceleratorkaarten vaak speciaal, zeer snel geheugen dat vlak naast de rekenchip zit, bekend als High Bandwidth Memory (HBM). Hoe meer en hoe sneller dit geheugen is, hoe groter de modellen zijn die de kaart efficiënt kan verwerken.
Er bestaan verschillende soorten acceleratoren. De bekendste is de GPU (graphics processing unit), oorspronkelijk ontwikkeld voor computergames maar sinds ruim tien jaar hét werkpaard van AI. Daarnaast bestaan er chips die vanaf de tekentafel specifiek voor AI zijn ontworpen, zoals de Tensor Processing Unit (TPU) van Google. Ook bestaan er FPGA's (herprogrammeerbare chips) en ASIC's (chips die voor precies één taak zijn vastgebakken in silicium). Meerdere van deze kaarten worden vaak met snelle verbindingen aan elkaar gekoppeld tot clusters, zodat ze als het ware één nog krachtigere machine vormen.
Wat wil men ermee bereiken?
Het belangrijkste doel is simpel: sneller en goedkoper rekenen. AI-modellen worden steeds groter, en trainen ze op gewone processoren zou economisch en praktisch onhaalbaar zijn. Acceleratorkaarten maken het mogelijk om modellen te trainen die enkele jaren geleden nog ondenkbaar waren, en om ze daarna ook betaalbaar te laten draaien voor miljoenen gebruikers tegelijk, bijvoorbeeld als chatbot of vertaaldienst.
Er speelt ook een energie-argument mee. Eenzelfde berekening met een acceleratorkaart uitvoeren, kost doorgaans veel minder stroom per rekenstap dan met een gewone processor. Omdat datacenters wereldwijd al een fors deel van het elektriciteitsverbruik voor hun rekening nemen, en dat aandeel door AI groeit, is efficiëntie per rekenstap geen bijzaak maar een centraal ontwerpdoel geworden.
Tot slot speelt er een geopolitiek en economisch belang. Landen en bedrijven die zelf geavanceerde acceleratorkaarten kunnen ontwerpen of produceren, zijn minder afhankelijk van buitenlandse leveranciers voor een technologie die inmiddels als strategisch wordt gezien, vergelijkbaar met hoe olie of halfgeleiders eerder al strategische goederen werden genoemd.
Voorbeelden uit de praktijk
De GPU's van NVIDIA zijn de bekendste acceleratorkaarten. De H100-chip, geïntroduceerd in 2022, werd de facto standaard voor het trainen van grote taalmodellen en werd opgevolgd door de H200 en de Blackwell-generatie (aangekondigd in 2024), die nog meer geheugen en rekenkracht bieden.
Google gebruikt al sinds 2016 eigen ontworpen acceleratorchips, de TPU's, in zijn datacenters. Recente generaties van deze chips worden onder meer gebruikt om Googles eigen Gemini-modellen te trainen en te laten draaien, zonder dat Google daarvoor afhankelijk is van externe GPU-leveranciers.
AMD brengt met de Instinct-serie, waaronder de in 2023 gelanceerde MI300X, een concurrent voor NVIDIA op de markt, vooral gericht op grote cloudpartijen die niet volledig van één leverancier afhankelijk willen zijn.
Een opvallende andere aanpak komt van het Amerikaanse bedrijf Cerebras, dat met de Wafer Scale Engine een acceleratorchip maakt die (letterlijk) zo groot is als een volledige siliciumwafer, in plaats van de gebruikelijke kleine chip die uit zo'n wafer wordt gesneden. Het idee is dat één zo'n enorme chip het gedoe van duizenden losse, met kabels verbonden kaarten vermindert.
Ten slotte laat het bedrijf Groq zien dat er ook geoptimaliseerd kan worden voor het moment ná de training: hun LPU-chips (Language Processing Unit) zijn niet gericht op trainen maar op razendsnel en voorspelbaar antwoord geven wanneer een AI-model al klaar is en gebruikt wordt, wat in demo's opvallend snellere tekstgeneratie liet zien dan gangbare GPU-opstellingen.
Hoe ver is de techniek?
Acceleratorkaarten zijn geen toekomstmuziek maar dagelijkse praktijk: vrijwel elk groot AI-systeem dat nu wordt gebruikt, draait op dit soort hardware. Tegelijk verandert het veld in een ongewoon hoog tempo, met nieuwe generaties chips die elkaar ongeveer jaarlijks opvolgen, telkens met meer rekenkracht en geheugen.
Er zijn ook duidelijke knelpunten. De productie van de meest geavanceerde chips is in handen van een handjevol fabrieken wereldwijd die kunnen werken met de nieuwste, zeer kleine chipstructuren; een verstoring daar heeft meteen wereldwijde gevolgen. Ook is er regelmatig schaarste aan het gespecialiseerde HBM-geheugen dat deze kaarten nodig hebben. Daarnaast vormt stroomvoorziening een steeds grotere praktische beperking: grote clusters van acceleratorkaarten vragen zoveel elektriciteit dat de beschikbaarheid van voldoende netcapaciteit inmiddels vaker de bottleneck is dan de chips zelf.
Onzeker is hoe lang de huidige aanpak, steeds grotere clusters van vergelijkbare chips, houdbaar blijft. Sommige onderzoekers werken aan heel andere technieken, zoals optische (op licht gebaseerde) of neuromorfe chips die het menselijk brein nabootsen, maar die zijn nog experimenteel en niet op korte termijn een vervanging voor de huidige generatie acceleratorkaarten.
Wie werken eraan?
NVIDIA is momenteel veruit de dominante speler in AI-acceleratorkaarten, met een marktaandeel dat door analisten doorgaans op ruim driekwart van de markt wordt geschat. AMD en Intel proberen als traditionele chipontwerpers een alternatief te bieden. Grote clouddiensten zoals Google, Amazon (met de Trainium- en Inferentia-chips) en Microsoft (met de Maia-chip) ontwikkelen daarnaast eigen acceleratoren, deels om minder afhankelijk te zijn van externe leveranciers.
Daarnaast zijn er gespecialiseerde start-ups zoals Cerebras, Groq en SambaNova die met een andere technische aanpak proberen een niche te veroveren. De feitelijke productie van de meeste geavanceerde chips, ook die van NVIDIA en AMD, gebeurt bij het Taiwanese TSMC, wat Taiwan tot een cruciale schakel in de wereldwijde AI-hardwareketen maakt.
Op landenniveau is de Verenigde Staten toonaangevend in chipontwerp, terwijl China, deels door Amerikaanse exportbeperkingen op de meest geavanceerde chips, werkt aan eigen alternatieven zoals de Ascend-chips van Huawei. De Europese Unie probeert met de Chips Act (aangenomen in 2023) meer eigen productiecapaciteit op te bouwen. Nederland speelt hierin een bijzondere rol via ASML, dat niet zelf chips maakt maar wel de zeer geavanceerde lithografiemachines bouwt die nodig zijn om de kleinste chipstructuren te fabriceren, een onmisbare schakel voor vrijwel alle moderne acceleratorkaarten.