Unified memory: waarom chip en grafische processor voortaan één geheugen delen
Stel je een huishouden voor waarin iedereen een eigen mini-koelkastje op de kamer heeft. Wil je een ei lenen van je huisgenoot, dan moet je naar zijn kamer lopen, het ei pakken en terug naar je eigen koelkast brengen voordat je het kunt gebruiken. Dat gesjouw kost tijd en moeite. Unified memory, of 'verenigd geheugen', is het idee om in plaats daarvan één grote gezamenlijke koelkast in de keuken te zetten waar iedereen meteen bij kan. Niemand hoeft nog iets te verslepen: het ei ligt er al, voor iedereen tegelijk bereikbaar.
In een computer zijn de 'huisgenoten' de hoofdprocessor (de CPU, die algemene taken doet) en de grafische processor (de GPU, die gespecialiseerd is in massale parallelle berekeningen, zoals beeldbewerking of kunstmatige intelligentie). Traditioneel hebben beide hun eigen afgescheiden geheugen, en moet data expliciet worden gekopieerd tussen die twee geheugens voordat de ander erbij kan. Unified memory maakt dat kopiëren grotendeels overbodig door CPU en GPU letterlijk hetzelfde geheugen te laten gebruiken. Dat klinkt als een technisch detail, maar het is een van de redenen waarom bijvoorbeeld moderne laptops en supercomputers steeds grotere AI-modellen kunnen draaien zonder dat het geheugen de beperkende factor wordt.
Wat is het precies?
Om te begrijpen waarom unified memory iets oplost, helpt het om eerst te kijken naar de klassieke opzet. Een computer heeft normaal gesproken werkgeheugen (RAM) voor de CPU en apart videogeheugen (VRAM) voor de GPU. Die twee geheugens zitten op afzonderlijke chips en zijn verbonden via een relatief trage verbinding, meestal de PCIe-bus (de aansluiting waarmee uitbreidingskaarten zoals grafische kaarten op het moederbord praten).
Wil de GPU een berekening uitvoeren op data die in het RAM van de CPU staat, dan moet een programma die data eerst expliciet kopiëren naar het VRAM. Na de berekening moet het resultaat weer terug worden gekopieerd. Elke kopie kost tijd en energie, en bij grote datasets — denk aan een taalmodel met miljarden parameters — kan dat kopiëren zelfs langer duren dan de eigenlijke berekening.
Bij unified memory bestaat die scheiding niet meer op dezelfde manier. Er is één fysieke pool geheugenchips die zowel de CPU-kernen als de GPU-kernen rechtstreeks kunnen aanspreken, via hetzelfde adresbereik. Gespecialiseerde hardware (een zogeheten coherentieprotocol) zorgt ervoor dat als de ene processor data aanpast, de andere processor altijd de actuele versie ziet, zonder dat een programmeur dat handmatig moet regelen.
Er bestaat ook een softwarematige variant, waarbij het geheugen fysiek nog wel gescheiden is maar het systeem automatisch stukjes data ('pagina's') heen en weer verplaatst zodra dat nodig is, zodat het voor de programmeur lijkt op één geheugen. Nvidia introduceerde dit in 2014 als 'CUDA Unified Memory'. De nieuwste generatie chips, zoals Apple's eigen processoren of Nvidia's recentste serverchips, gaat een stap verder met echt gedeeld fysiek geheugen.
Wat wil men ermee bereiken?
Het belangrijkste doel is simpel: het wegnemen van de kopieer-bottleneck, zodat berekeningen sneller verlopen en minder energie verspillen aan het heen-en-weer schuiven van data. Voor datacenters die duizenden GPU's tegelijk laten draaien, telt elke bespaarde microseconde en elke bespaarde watt enorm op.
Een tweede doel is capaciteit. Als CPU en GPU hun eigen geheugen moeten hebben, moet je soms dezelfde data dubbel opslaan, wat kostbaar geheugen verspilt. Door geheugen te delen kun je grotere modellen of datasets verwerken binnen hetzelfde totale geheugenbudget — cruciaal nu AI-modellen steeds groter worden.
Daarnaast maakt het programmeren eenvoudiger: ontwikkelaars kunnen met één aanwijzer (pointer) naar data werken in plaats van bij te houden welke kopie waar staat. Tot slot speelt privacy en onafhankelijkheid een rol: met veel geheugen direct beschikbaar voor de GPU kunnen apparaten als laptops grote AI-modellen lokaal laten draaien, zonder dat gevoelige data naar een cloudserver moet.
Voorbeelden uit de praktijk
De techniek is allang geen theorie meer. Enkele concrete voorbeelden:
- Apple M1 (2020) en opvolgers — Apple noemde zijn aanpak nadrukkelijk 'Unified Memory Architecture'. Sindsdien is de capaciteit flink gegroeid: de Mac Studio met M3 Ultra-chip (2025) biedt tot 512 GB gedeeld geheugen, wat deze Macs populair maakte om grote open AI-taalmodellen lokaal te draaien.
- Nvidia CUDA Unified Memory (2014) — de softwarematige voorloper, geïntroduceerd in CUDA 6, die automatisch geheugenpagina's tussen CPU en GPU verplaatst zonder dat programmeurs dat zelf moeten coderen.
- Nvidia Grace Hopper- en Grace Blackwell-superchips (2023-2024) — hier verbindt de snelle NVLink-C2C-verbinding een Arm-CPU en een GPU zodanig dat ze elkaars geheugen coherent kunnen benaderen, bedoeld voor AI-supercomputers.
- AMD Instinct MI300A (2023) — een chip die CPU- en GPU-kernen combineert met gedeeld HBM3-geheugen (High Bandwidth Memory, een extra snelle geheugensoort). Deze chip zit in de supercomputer El Capitan van het Lawrence Livermore National Laboratory in de Verenigde Staten, die in 2024 in gebruik kwam.
- Spelconsoles — PlayStation en Xbox delen al sinds de PlayStation 4 (2013) één geheugenpool tussen processor en grafische chip, wat laat zien dat het principe ook buiten de AI-wereld al jarenlang wordt toegepast.
Hoe ver is de techniek?
De softwarematige vorm (zoals Nvidia's CUDA Unified Memory) is inmiddels meer dan tien jaar oud en behoorlijk volwassen, al blijft Nvidia de automatische datamigratie met elke generatie verder verfijnen. De consumentenversie van Apple is intussen in miljoenen apparaten verwerkt en heeft zich in de praktijk bewezen.
De volledig hardwarematig gedeelde geheugenarchitectuur voor servers en supercomputers, zoals bij Nvidia's Grace Hopper en AMD's MI300A, is echter nog relatief nieuw: de eerste grootschalige inzet dateert van 2023-2024. De resultaten zijn veelbelovend, maar de adoptie is nog beperkt tot high-end AI-infrastructuur.
Er zijn ook reële beperkingen. Omdat CPU en GPU nu dezelfde geheugenbandbreedte delen, kunnen ze elkaar in de weg zitten als beide gelijktijdig zwaar geheugen gebruiken — een probleem dat 'bandbreedtecontentie' heet. Bovendien is gedeeld geheugen vaak nog niet zo razendsnel als de duurste losse GPU-geheugenchips (zoals de nieuwste HBM3- of GDDR7-varianten), zodat er een afweging blijft tussen meer capaciteit en maximale snelheid. Ook moet software soms worden aangepast om echt profijt te hebben van gedeeld geheugen; het is geen automatische versnelling voor elk programma.
Een bredere, nog pril ontwikkeling is CXL (Compute Express Link), een open industriestandaard die sinds 2019 wordt ontwikkeld om geheugencoherentie niet alleen binnen één chip, maar tussen meerdere chips en zelfs servers mogelijk te maken. De bijbehorende hardware komt pas sinds 2024-2025 geleidelijk beschikbaar, en het is nog onduidelijk hoe snel de sector dit breed zal omarmen.
Wie werken eraan?
Apple (Verenigde Staten) ontwikkelt zijn eigen chips met gedeeld geheugen voor Mac-computers. Nvidia (Verenigde Staten) leidt op het gebied van zowel de softwarematige als de nieuwste hardwarematige varianten voor AI-datacenters. AMD (Verenigde Staten) brengt vergelijkbare chips op de markt voor supercomputers en servers, en Intel werkt aan geïntegreerde grafische chips met gedeeld geheugen voor laptops.
Op standaardisatieniveau trekt het CXL Consortium de kar, een samenwerkingsverband waarin onder meer Intel, AMD, Nvidia, Arm, Google, Microsoft en Meta zijn vertegenwoordigd. Op het gebied van toepassing spelen ook nationale onderzoekslaboratoria een rol: het Lawrence Livermore National Laboratory in de VS zette bijvoorbeeld de AMD-gebaseerde supercomputer El Capitan in. De chipproductie zelf — essentieel voor al deze ontwerpen — concentreert zich grotendeels bij TSMC in Taiwan, wat de geopolitieke gevoeligheid van deze technologie onderstreept.