Geheugenchip: de stille motor achter snellere computers en AI
Een geheugenchip is een klein stukje silicium dat informatie opslaat zodat een computer, telefoon of AI-systeem er snel bij kan. Stel je een bureau voor waarop je de papieren legt waar je op dit moment mee werkt, en een boekenkast verderop in de kamer voor alles wat je later nog eens nodig hebt. Het bureau is snel bereikbaar maar biedt weinig ruimte; de boekenkast biedt veel ruimte, maar het kost meer tijd om er iets uit te pakken. Geheugenchips zijn de bureaus en boekenkasten van de digitale wereld: ze houden data vast op een plek waar de processor, de rekeneenheid van een apparaat, ze snel kan grijpen.
Zonder geheugenchips zou elke berekening vanaf nul moeten beginnen, omdat er nergens tussentijdse resultaten bewaard kunnen worden. Ze zitten letterlijk overal: in de RAM-reepjes van een laptop, in de opslagchip van een smartphone, en steeds vaker in gespecialiseerde vormen die naast AI-processoren worden gebouwd om enorme hoeveelheden data razendsnel te verwerken. De vraag naar betere geheugenchips is de laatste jaren flink gestegen, vooral doordat kunstmatige intelligentie enorme hoeveelheden data tegelijk nodig heeft.
Wat is het precies?
Geheugenchips zijn grofweg in twee families te verdelen: vluchtig en niet-vluchtig geheugen. Vluchtig geheugen, zoals DRAM (dynamic random-access memory) en SRAM (static random-access memory), verliest zijn inhoud zodra de stroom uitvalt. Dit is het werkgeheugen dat een computer gebruikt terwijl programma's actief zijn: snel, maar tijdelijk. Niet-vluchtig geheugen, zoals NAND-flash in SSD's en USB-sticks, behoudt data ook zonder stroom en wordt gebruikt voor langdurige opslag.
Binnen een geheugenchip liggen miljarden minuscule cellen die elk een bit informatie vasthouden: een nul of een één. Bij DRAM gebeurt dat via een condensator die elektrische lading vasthoudt en steeds opnieuw ververst moet worden, vandaar de term 'dynamic'. Bij NAND-flash wordt lading vastgehouden in een geïsoleerde laag binnen de transistor, waardoor de data blijft staan zonder voortdurende stroom.
Naast deze klassieke typen zijn er nieuwere technologieën in ontwikkeling die de grens tussen snel werkgeheugen en permanente opslag proberen te vervagen. HBM (High Bandwidth Memory) is geen nieuw celtype, maar een manier om bestaande DRAM-chips op elkaar te stapelen en met duizenden minuscule verticale verbindingen, TSV's (through-silicon vias) genoemd, met elkaar en met de processor te verbinden. Dat maakt de gegevensuitwisseling breder en sneller dan bij traditioneel geheugen dat via een smalle bus met de processor praat.
MRAM (magnetoresistive RAM) slaat data op met de magnetische stand van elektronen in plaats van elektrische lading, via een structuur die een magnetic tunnel junction heet: twee magnetische laagjes gescheiden door een dun isolerend laagje, waarbij de onderlinge magnetische richting bepaalt of een cel een nul of een één voorstelt. Dat maakt MRAM niet-vluchtig én relatief snel. ReRAM (resistive RAM), ook wel memristor-technologie genoemd, slaat informatie op door de elektrische weerstand van een materiaal te veranderen. Phase-change memory gebruikt weer een ander principe: een materiaal wisselt tussen een kristallijne en een amorfe (ongeordende) toestand, wat een meetbaar verschil in geleidbaarheid oplevert.
Wat wil men ermee bereiken?
De ontwikkeling van nieuwe geheugenchips draait om een paar hardnekkige knelpunten. Ten eerste is er het probleem dat onderzoekers de geheugenmuur noemen, ook wel het von Neumann-knelpunt: processors zijn de afgelopen decennia veel sneller geworden dan het geheugen dat data naar hen toe moet sturen. Het resultaat is dat een dure, snelle processor regelmatig staat te wachten tot er data aankomt, wat rekenkracht verspilt.
Ten tweede speelt energieverbruik een steeds grotere rol. Data verplaatsen tussen geheugen en processor kost aanzienlijk meer energie dan de daadwerkelijke berekening zelf, zeker bij AI-toepassingen waarbij enorme modellen continu gegevens moeten verwerken. Onderzoekers werken daarom aan geheugen dat dichter bij, of zelfs in, de rekeneenheid zelf zit, zodat data minder ver hoeft te reizen.
Ten derde is er de wens naar meer opslagdichtheid: meer data in dezelfde fysieke ruimte, wat zowel kleinere apparaten als goedkopere datacenters mogelijk maakt. En ten vierde zoekt de industrie naar geheugen dat zowel snel als niet-vluchtig is, iets wat met klassieke DRAM en flash niet goed samengaat: DRAM is snel maar vluchtig, flash is niet-vluchtig maar relatief traag. Technologieën als MRAM, ReRAM en phase-change memory proberen die twee eigenschappen te combineren.
Voorbeelden uit de praktijk
HBM is intussen geen labexperiment meer. SK Hynix ontwikkelde de technologie samen met AMD, en vanaf ongeveer 2013 werd HBM een officiële standaard van JEDEC, de organisatie die geheugenstandaarden vastlegt. Latere generaties zoals HBM3 en HBM3E worden rond 2023 en 2024 toegepast in AI-versnellers van Nvidia, waaronder de H100, H200 en de Blackwell-generatie chips, waar de enorme bandbreedte nodig is om grote taalmodellen te trainen en te draaien.
Om zulk gestapeld geheugen daadwerkelijk naast een processor te plaatsen, is geavanceerde chipverpakking nodig. Taiwanese chipfabrikant TSMC gebruikt hiervoor onder meer CoWoS (Chip-on-Wafer-on-Substrate), een techniek waarbij logica-chip en geheugenstapels samen op een tussenlaag worden gemonteerd. De vraag naar deze verpakkingscapaciteit is de afgelopen jaren een van de knelpunten geworden in de AI-chipindustrie.
Niet elke belofte wordt waargemaakt. Intel en Micron lanceerden in 2015 gezamenlijk 3D XPoint, verkocht onder de merknaam Optane, een geheugentype gebaseerd op principes die verwant zijn aan phase-change memory en dat sneller dan flash en goedkoper dan DRAM moest zijn. Ondanks de technische belofte kreeg het product onvoldoende marktadoptie, en Intel kondigde in 2022 aan te stoppen met Optane.
Op een kleinere schaal levert Everspin Technologies al langer commerciële MRAM-chips, die vanwege hun betrouwbaarheid en behoud van data zonder stroom gebruikt worden in industriële besturingssystemen en ruimtevaartelektronica, omgevingen waar uitval van geheugen zeer kostbaar kan zijn. Samsung onderzocht met een project genaamd HBM-PIM, aangekondigd in 2021, hoe je eenvoudige rekenfuncties direct in het geheugen zelf kunt uitvoeren in plaats van data eerst naar de processor te sturen, een aanpak die bekendstaat als processing-in-memory.
Hoe ver is de techniek?
DRAM en NAND-flash zijn volwassen, op grote schaal geproduceerde technologieën die al decennia de basis vormen van vrijwel elk digitaal apparaat. HBM ontwikkelt zich momenteel het snelst, rechtstreeks aangejaagd door de vraag vanuit AI-datacenters; nieuwe generaties met meer capaciteit en bandbreedte volgen elkaar in hoog tempo op.
MRAM en ReRAM bevinden zich in een andere fase: ze zijn technisch bewezen en al jaren commercieel verkrijgbaar, maar vooral in nichetoepassingen met kleinere geheugencapaciteiten, niet als vervanger van hoofdgeheugen in gewone computers. Of ze ooit die stap kunnen maken, is onzeker; eerdere kandidaten zoals 3D XPoint lieten zien dat een technisch veelbelovende technologie de markt niet automatisch verovert.
De belangrijkste obstakels zijn fysiek en economisch van aard. Transistors en geheugencellen naderen grenzen waarbij verdere miniaturisering steeds moeilijker en duurder wordt, doordat op zulke kleine schaal kwantummechanische effecten en lekstroom een rol gaan spelen. Het stapelen van geheugenlagen, zoals bij HBM, brengt weer warmteproblemen met zich mee: hoe dichter de laagjes op elkaar zitten, hoe lastiger het wordt om de warmte die daarbij vrijkomt goed af te voeren. Daarnaast zijn de productiekosten van geavanceerd geheugen en verpakking hoog, wat toegang tot de nieuwste chips beperkt tot een klein aantal grote spelers.
Wie werken eraan?
De productie van DRAM en NAND-flash wordt wereldwijd gedomineerd door een klein aantal bedrijven: Samsung en SK Hynix uit Zuid-Korea, en Micron uit de Verenigde Staten. Deze drie samen zijn ook de belangrijkste ontwikkelaars van HBM. Voor de verpakking en fabricage van de bijbehorende logicachips speelt TSMC uit Taiwan een sleutelrol, terwijl Intel in de Verenigde Staten eigen initiatieven op het gebied van chipproductie en verpakking heeft.
Op onderzoeksgebied is imec in België een belangrijk centrum voor nanoelektronica-onderzoek, met werk aan next-generation memory en neuromorfische systemen, chips die qua werking meer op de hersenen zijn geïnspireerd. IBM Research heeft al jaren een onderzoekslijn naar phase-change memory en in-memory computing voor AI-toepassingen. Daarnaast bouwen Chinese bedrijven zoals YMTC en CXMT in hoog tempo eigen productiecapaciteit voor NAND-flash en DRAM op, wat past in de bredere geopolitieke wedloop rond halfgeleiders, al blijven zij vooralsnog achter op de marktleiders qua geavanceerde technologie.