High Bandwidth Memory (HBM): het geheugen achter de AI-chip

Bijgewerkt: 5 augustus 2026 · 5 min leestijd

Als je weleens een computer hebt gekocht, ken je de term RAM of geheugen wel: de tijdelijke opslag waar een processor razendsnel gegevens uit haalt en in wegschrijft terwijl hij rekent. Hoe sneller die uitwisseling verloopt, hoe minder de processor hoeft te wachten. High Bandwidth Memory, afgekort HBM, is een speciale bouwwijze van computergeheugen die is ontworpen om extreem veel gegevens tegelijk te kunnen verplaatsen. Het wordt vooral gebruikt in de krachtigste chips van dit moment: grafische kaarten en de AI-versnellers waarmee kunstmatige intelligentie wordt getraind.

Het idee achter HBM is te vergelijken met het verschil tussen één snelweg met extreem hoge topsnelheid en een brede boulevard met tientallen rijstroken vlak naast de fabriek. Gewoon computergeheugen, zoals het DDR-geheugen in een laptop, stuurt data via een relatief smal pad, maar wel snel per lijn. HBM kiest de andere aanpak: het stapelt meerdere geheugenchips op elkaar tot een klein torentje en verbindt dat torentje met duizenden piepkleine draadjes tegelijk aan de processor ernaast. Minder snelheid per lijn, maar zoveel lijnen tegelijk dat de totale doorvoer, de bandbreedte, vele malen hoger uitvalt. Precies die aanpak is nodig om de enorme rekenkracht van moderne AI-chips te voeden.

Wat is het precies?

Gewoon geheugen, technisch DRAM genoemd (dynamic random access memory), bestaat uit platte chips die naast de processor op een printplaat zitten, verbonden met kopersporen. HBM draait dat om: in plaats van chips náást elkaar te plaatsen, worden ze bovenop elkaar gestapeld, meestal vier, acht of twaalf dunne laagjes silicium. Die stapel wordt letterlijk doorboord met duizenden microscopisch kleine verticale verbindingen, through-silicon vias (TSV) genoemd: metalen kanaaltjes die dwars door elke laag heen lopen en de laagjes elektrisch met elkaar verbinden.

Die hele stapel wordt vervolgens niet los op de printplaat geplaatst, maar samen met de processor, bijvoorbeeld een grafische chip, op een gedeeld tussenlaagje gelegd, een zogeheten interposer. Doordat geheugen en processor zo dicht bij elkaar liggen, kan de verbinding tussen beide extreem breed worden gemaakt: waar gewoon geheugen met een bus van 32 of 64 bits werkt, gebruikt één HBM-stapel een bus van 1024 bits. Vergelijk het met een deur van één meter breed tegenover een deuropening van zestien meter: er kan simpelweg veel meer tegelijk doorheen, ook al loopt niemand harder.

Het resultaat is dat één moderne HBM3E-stapel meer dan een terabyte per seconde aan gegevens kan verplaatsen, en chips gebruiken vaak meerdere stapels tegelijk. Ter vergelijking: gewoon laptopgeheugen haalt typisch enkele tientallen gigabytes per seconde. Het compacte, gestapelde ontwerp heeft ook een keerzijde: de chips zitten dicht op elkaar en produceren warmte in een klein volume, wat koeling lastiger maakt, en de productie is technisch veel ingewikkelder dan het maken van gewoon geheugen.

Wat wil men ermee bereiken?

De drijfveer achter HBM is een probleem dat ingenieurs de "geheugenmuur" noemen: de rekenkracht van processoren groeit al decennia sneller dan de snelheid waarmee geheugen data kan aanleveren. Een extreem snelle rekenchip die op zijn geheugen moet wachten, is zijn geld niet waard, vergelijkbaar met een fabriek met supersnelle machines die stilvalt omdat de aanvoer van grondstoffen te traag is. HBM probeert die geheugenmuur te slechten door de aanvoerlijn radicaal te verbreden in plaats van simpelweg sneller te maken.

Dat is met name cruciaal geworden door de opkomst van kunstmatige intelligentie. Het trainen van grote taalmodellen, zoals die achter chatbots, vereist dat miljarden tot biljoenen rekenparameters continu tussen geheugen en rekenkernen heen en weer geschoven worden. Zonder voldoende bandbreedte blijven dure AI-chips grotendeels werkloos wachten op data. HBM is daarmee niet zomaar een technische verbetering, maar in de praktijk een randvoorwaarde geworden voor de huidige generatie AI-hardware.

Voorbeelden uit de praktijk

AMD Radeon R9 Fury X (2015) — de eerste commerciële videokaart met HBM (de eerste generatie, HBM1), ontwikkeld door AMD in samenwerking met geheugenfabrikant SK Hynix.
NVIDIA A100 (2020) — een AI-chip met HBM2E-geheugen die een belangrijke rol speelde in de vroege golf van grootschalige AI-training in datacenters.
NVIDIA H100 en H200 (2022-2024) — de chips die de trainingsinfrastructuur van vrijwel alle grote AI-bedrijven vormden, uitgerust met respectievelijk HBM3 en het snellere HBM3E.
AMD Instinct MI300X (2023) — een AI-versnellerchip met een ongewoon grote hoeveelheid HBM3-geheugen, 192 gigabyte, bedoeld om grote AI-modellen volledig in geheugen te laden.
Google TPU-generaties (vanaf ongeveer 2018) — Googles eigen AI-chips, Tensor Processing Units, gebruiken eveneens HBM om de eigen AI-diensten te trainen.

Hoe ver is de techniek?

HBM is geen prototype meer, maar een volwassen, gestandaardiseerde technologie die al ruim tien jaar in productie is. De standaard wordt vastgelegd door JEDEC, de internationale organisatie die geheugenstandaarden beheert, zodat verschillende fabrikanten onderling compatibele chips kunnen maken. De ontwikkeling ging in stappen: HBM1 werd in 2013 gestandaardiseerd, HBM2 volgde in 2016, een verbeterde versie HBM2E kwam rond 2019-2020 in producten, HBM3 werd begin 2022 vastgelegd en de uitbreiding HBM3E kwam in 2023-2024 in productie. JEDEC heeft in 2025 de opvolger HBM4 gestandaardiseerd, die een nog bredere interfacebus per stapel belooft, ruwweg het dubbele van HBM3, samen met hogere capaciteiten.

Het grootste obstakel op dit moment is niet de techniek zelf, maar de productiecapaciteit. Door de explosieve vraag vanuit de AI-industrie was HBM3E in 2023 en 2024 langdurig schaars; grote fabrikanten waren de productie voor lange tijd vooruit uitverkocht. Ook de fabricage blijft technisch lastig: het stapelen van steeds meer geheugenlagen, van acht naar twaalf en straks zestien, zonder dat de chip te heet wordt of de productie-opbrengst (het percentage bruikbare chips per productieronde) instort, is een blijvende uitdaging. Koeling van dicht opeengepakte AI-servers met veel HBM is inmiddels een apart aandachtsgebied binnen datacenterontwerp geworden.

Wie werken eraan?

Slechts drie bedrijven ter wereld maken op dit moment geavanceerd HBM-geheugen: de Zuid-Koreaanse fabrikanten SK Hynix en Samsung, en het Amerikaanse Micron. SK Hynix ontwikkelde HBM oorspronkelijk mede samen met AMD en geldt sinds de HBM3-generatie als marktleider, met Nvidia als grootste afnemer. Samsung en Micron proberen dat marktaandeel terug te winnen met eigen HBM3E- en HBM4-varianten.

Aan de kant van de chipontwerpers zijn vooral Nvidia, AMD, Google en Intel grote afnemers en mede-ontwikkelaars van HBM-toepassingen, terwijl het Taiwanese TSMC een sleutelrol speelt in de verpakkingstechniek, bekend als CoWoS, die geheugenstapel en processor op één interposer samenbrengt. De standaardisatie zelf verloopt via JEDEC, waarin fabrikanten wereldwijd afspraken maken. Geografisch is de productie sterk geconcentreerd in Zuid-Korea en Taiwan, wat de technologie ook een geopolitiek gevoelig onderwerp maakt binnen de bredere discussie over halfgeleiderketens.