Geheugenbandbreedte: waarom snel rekenen niet genoeg is
Elke computer, telefoon of AI-server bestaat grofweg uit twee delen die voortdurend met elkaar moeten communiceren: de rekenkern (de processor, ook wel CPU of GPU genoemd) die berekeningen uitvoert, en het werkgeheugen (RAM) waarin de gegevens tijdelijk worden opgeslagen. Geheugenbandbreedte is de maat voor hoeveel data per seconde tussen die twee onderdelen heen en weer kan reizen, meestal uitgedrukt in gigabytes per seconde (GB/s) of tegenwoordig zelfs terabytes per seconde (TB/s). Hoe hoger dat getal, hoe sneller een chip grote hoeveelheden gegevens kan aan- en afvoeren.
Vergelijk het met een snelweg tussen een fabriek (de processor) en een magazijn (het geheugen). De fabriek kan nog zo snel producten maken, als er maar één smalle weg naar het magazijn loopt, staan de vrachtwagens vast in de file en ligt de productie stil. Geheugenbandbreedte is het aantal rijstroken en de maximumsnelheid van die weg. Dit klinkt technisch, maar het is precies de reden waarom sommige computers en AI-chips in de praktijk trager presteren dan hun rekenkracht op papier doet vermoeden: niet de rekenkern is de bottleneck, maar de weg ernaartoe.
Wat is het precies?
Geheugenbandbreedte wordt bepaald door twee factoren die samen vermenigvuldigd worden: de breedte van de geheugenbus (het aantal parallelle 'draden' waarover data tegelijk kan reizen, vergelijkbaar met het aantal rijstroken) en de kloksnelheid waarmee data over die bus wordt gepompt (vergelijkbaar met de rijsnelheid). Een bredere bus of een hogere klokfrequentie levert dus meer bandbreedte op.
Het geheugen zelf is meestal DRAM (dynamic random-access memory): microscopisch kleine condensatoren die elk één bit informatie vasthouden en constant ververst moeten worden, vandaar 'dynamic'. Sinds de jaren negentig gebruiken vrijwel alle computers DDR-geheugen (Double Data Rate), dat data zowel bij de op- als de neergaande flank van het kloksignaal verstuurt en zo de bandbreedte verdubbelt zonder de klok te versnellen. De opeenvolgende generaties heten DDR2, DDR3, DDR4 en sinds 2020 DDR5, elke stap met hogere snelheden.
Voor extreem bandbreedte-hongerige toepassingen zoals grafische kaarten en AI-chips bestaat een ander type: HBM (High Bandwidth Memory). In plaats van geheugenchips naast de processor op een printplaat te plaatsen, worden bij HBM meerdere geheugenlagen letterlijk boven op elkaar gestapeld tot een klein 'torentje' en via duizenden microscopische verbindingen (through-silicon vias) vlak naast de processor gemonteerd. Die extreem korte, extreem brede verbinding levert een veelvoud aan bandbreedte op vergeleken met traditioneel geheugen op een printplaat, al is de totale opslagcapaciteit doorgaans kleiner en de productie duurder.
Belangrijk is het onderscheid met latentie: bandbreedte gaat over hoeveel data tegelijk kan stromen, latentie gaat over hoe lang het duurt voordat de eerste data aankomt. Een snelweg met veel rijstroken (hoge bandbreedte) kan alsnog een lange aanrijtijd hebben (hoge latentie) als de afstand groot is. Chipontwerpers moeten beide tegelijk optimaliseren, en dat is vaak een kwestie van compromissen.
Wat wil men ermee bereiken?
Al decennia lang groeit de rekenkracht van processoren sneller dan de snelheid waarmee geheugen data kan aanleveren. Dit verschijnsel staat bekend als de memory wall (geheugenmuur): de rekenkern moet steeds vaker wachten op gegevens, waardoor dure transistors werkloos staan. Meer bandbreedte is dus geen luxe, maar een noodzakelijke voorwaarde om de rest van de chip daadwerkelijk te kunnen benutten.
Dit speelt vooral bij de huidige golf van kunstmatige intelligentie. Het trainen en uitvoeren van grote taalmodellen vereist het razendsnel doorschuiven van miljarden gewichten (parameters) tussen geheugen en rekenkernen. Bij veel AI-taken is niet het aantal rekenkernen de beperkende factor, maar juist de snelheid waarmee data kan worden aangevoerd. Fabrikanten als NVIDIA en AMD investeren daarom net zoveel aandacht in geheugenbandbreedte als in rekenkracht.
Ook buiten AI is bandbreedte cruciaal: videobewerking, wetenschappelijke simulaties, databases en zelfs games met steeds grotere en gedetailleerdere werelden hebben baat bij snellere gegevensstromen. Het uiteindelijke doel is steeds hetzelfde: voorkomen dat dure rekenchips stil moeten staan te wachten op langzaam geheugen.
Voorbeelden uit de praktijk
HBM (2015): AMD en geheugenfabrikant SK Hynix ontwikkelden samen de eerste HBM-standaard, die in 2015 zijn debuut maakte in AMD's Radeon R9 Fury X-grafische kaart (codenaam Fiji). Dit was de eerste keer dat gestapeld geheugen commercieel naast een processor werd gebruikt.
NVIDIA A100 en H100 (2020-2022): Deze AI-versnellers, het werkpaard achter veel taalmodel-training wereldwijd, gebruiken HBM2e en HBM3-geheugen met een bandbreedte tot respectievelijk ongeveer 2 en 3,3 terabyte per seconde, tientallen keren meer dan gewoon computergeheugen.
Apple M1 Ultra en M2 Ultra (2022): Apple koos voor een 'unified memory architecture' waarbij CPU en GPU hetzelfde snelle geheugen delen via een extreem brede bus, met tot 800 GB/s bandbreedte op de Ultra-chips. Dit maakte consumenten voor het eerst kennis met het belang van bandbreedte, doordat Apple het als verkoopargument benoemde.
DDR5-standaard (JEDEC, 2020): De internationale standaardisatieorganisatie JEDEC introduceerde DDR5 als opvolger van DDR4, met ongeveer een verdubbeling van de bandbreedte per geheugenmodule en verbeterde energie-efficiëntie, inmiddels de norm in nieuwe pc's en servers.
Cerebras Wafer-Scale Engine (2019-heden): Het Amerikaanse bedrijf Cerebras bouwt AI-chips die een volledige siliciumwafer beslaan in plaats van uit losse chips te bestaan. Doordat geheugen en rekenkernen op dezelfde wafer zitten, wordt de afstand tussen beide geminimaliseerd en de interne bandbreedte extreem hoog, een radicaal andere aanpak dan gestapeld HBM.
Hoe ver is de techniek?
Geheugenbandbreedte is geen opkomende technologie maar een rijp vakgebied dat al decennia stap voor stap evolueert, met name aangejaagd door de AI-boom sinds ongeveer 2018. HBM zit inmiddels bij een nieuwe generatie: HBM3E, gebruikt in recente AI-chips van NVIDIA en AMD, haalt volgens fabrikanten bandbreedtes van ruim 1 TB/s per geheugenstapel, en de industrie werkt al aan de opvolger HBM4.
Het grootste obstakel is niet zozeer de snelheid an sich, maar de combinatie van productiekosten, warmteontwikkeling en fysieke ruimte. Gestapeld geheugen produceren vereist geavanceerde verpakkingstechnieken zoals CoWoS (Chip-on-Wafer-on-Substrate) van chipfabrikant TSMC, waarvan de productiecapaciteit wereldwijd de bottleneck vormt voor de bouw van AI-chips, niet het ontwerp zelf. Ook is er een fundamentele natuurkundige grens: elektrische signalen kosten energie en verlies naarmate de afstand en snelheid toenemen, waardoor meer bandbreedte steeds meer warmte en stroomverbruik met zich meebrengt.
Een veelbelovend maar nog vooral experimenteel spoor is processing-in-memory (PIM) of 'near-memory computing': in plaats van data steeds heen en weer te sturen, voer je eenvoudige berekeningen direct uit in het geheugen zelf. Samsung en SK Hynix hebben prototypes getoond, maar brede commerciële toepassing laat nog op zich wachten omdat het herontwerp van zowel software als chiparchitectuur vergt.
Kortom: de techniek verbetert gestaag met enkele tientallen procenten per generatie, maar een doorbraak die de memory wall in één klap oplost, is er niet. Het blijft vooralsnog een kwestie van optimaliseren binnen fysieke grenzen.
Wie werken eraan?
De geheugenmarkt wordt gedomineerd door drie fabrikanten: het Zuid-Koreaanse SK Hynix (marktleider in HBM), het Zuid-Koreaanse Samsung en het Amerikaanse Micron. Samen bepalen zij vrijwel het volledige wereldwijde aanbod van geavanceerd geheugen.
Aan de kant van de chipontwerpers zijn NVIDIA en AMD de grootste afnemers van HBM voor hun AI- en grafische chips, terwijl Apple en Intel hun eigen aanpak volgen voor bandbreedte in consumentenchips. Chipproducent TSMC uit Taiwan speelt een sleutelrol omdat het de geavanceerde verpakkingstechnieken levert die nodig zijn om geheugen en rekenkernen dicht bij elkaar te plaatsen.
De technische standaarden worden vastgesteld door JEDEC, een internationale standaardisatieorganisatie waarin fabrikanten wereldwijd samenwerken aan specificaties zoals DDR5 en HBM. Op onderzoeksgebied werken universiteiten en instituten zoals MIT, Stanford en het Koreaanse KAIST aan nieuwe geheugenarchitecturen, vaak mede gefinancierd door dezelfde chipbedrijven. Ook overheden mengen zich in het veld: de Verenigde Staten, Zuid-Korea en Taiwan beschouwen geavanceerde geheugenproductie inmiddels als strategisch belangrijk vanwege de rol in AI en chipsoevereiniteit.