Rack-scale systeem: wanneer een serverkast één computer wordt
Een gewone serverkast (rack) is eigenlijk een verzameling losse computers die naast elkaar in een metalen kast staan: elke server heeft zijn eigen processor, eigen werkgeheugen en eigen opslag, en praat via kabels met de buren. Bij een rack-scale systeem wordt die hele kast juist ontworpen als was het één enorme computer. Geheugen, opslag, rekenkracht en zelfs de koeling worden gedeeld en op elkaar afgestemd, in plaats van dat elke server het zelf moet uitzoeken. Vergelijk het met een kantoorpand waar vroeger elke medewerker een eigen kopieerapparaat, telefoontoestel en archiefkast had staan; in een modern kantoor delen alle medewerkers die faciliteiten via snelle interne gangen en een gezamenlijke serverruimte, wat efficiënter is en meer ruimte overlaat voor het eigenlijke werk.
Deze aanpak is de laatste jaren vooral relevant geworden door de groei van kunstmatige intelligentie (AI). Het trainen van grote taalmodellen vergt zoveel rekenkracht dat honderden of duizenden grafische processoren (GPU's, chips die oorspronkelijk voor beeldbewerking waren bedoeld maar nu vooral AI-berekeningen uitvoeren) tegelijk moeten samenwerken alsof ze één machine zijn. Een bekend voorbeeld, dat verderop terugkomt, is de NVIDIA GB200 NVL72: een complete serverkast waarin tientallen GPU's zo strak met elkaar zijn verbonden dat software ze kan aanspreken als was het één gigantische chip. Dat is de kern van een rack-scale systeem: niet de losse server, maar het hele rek is de rekeneenheid.
Wat is het precies?
In een traditioneel datacenter is elke server een gesloten doosje: processor, werkgeheugen (RAM) en opslag (SSD's of harde schijven) zitten er allemaal in en communiceren via een relatief langzame netwerkkabel met andere servers. Die opzet, ontstaan toen servers vooral webpagina's of e-mail verwerkten, werkt prima voor veel taken, maar leidt ook tot verspilling: de ene server heeft geheugen over terwijl de buurserver er juist tekort aan heeft, zonder dat het overschot gedeeld kan worden.
Rack-scale ontwerp doorbreekt die scheiding op twee manieren. Ten eerste met razendsnelle interne verbindingen, zoals NVLink (NVIDIA's eigen technologie) of de open standaard Compute Express Link, kortweg CXL. Deze laten chips in verschillende servers met elkaar praten alsof ze op dezelfde printplaat zitten, met een snelheid die vele malen hoger ligt dan een gewone netwerkkabel. Ten tweede door disaggregatie: geheugen, opslag en rekenkracht worden losgekoppeld van individuele servers en in gedeelde pools ondergebracht, zodat elke server precies zoveel geheugen of opslag kan lenen als op dat moment nodig is.
Dat vraagt ook om ander fysiek ontwerp. Klassieke racks zijn luchtgekoeld, met stroom- en datakabels die per server apart worden aangesloten. Rack-scale systemen gebruiken vaak vloeistofkoeling, omdat de dichtheid aan chips en dus de warmteproductie flink is toegenomen, en een gedeelde stroomvoorziening en bekabeling voor het hele rek via een backplane: een gemeenschappelijke ruggengraat waar alle onderdelen op aansluiten in plaats van los bekabeld te worden. Standaardisatie-initiatieven zoals Open Rack van het Open Compute Project leggen de afmetingen en aansluitingen vast, zodat onderdelen van verschillende fabrikanten toch samenwerken.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is efficiëntie. Wanneer geheugen en opslag gedeeld worden in plaats van vastgeplakt aan één server, hoeft een datacenter minder hardware te kopen om dezelfde hoeveelheid werk te verzetten: capaciteit die anders onbenut zou blijven, wordt hergebruikt. Op de schaal van grote clouddiensten en AI-trainingscentra scheelt dat aanzienlijk in kosten en energieverbruik.
Een tweede doel is snelheid voor taken die niet op één chip passen. Het trainen van een groot AI-model vraagt dat duizenden GPU's voortdurend tussenresultaten met elkaar uitwisselen. Moet die uitwisseling via trage netwerkverbindingen, dan verliezen de dure chips veel tijd met wachten in plaats van rekenen. Door een heel rek als één systeem te ontwerpen, blijft die communicatie snel genoeg om de rekenkracht ook echt te benutten.
Tot slot spelen beheer en flexibiliteit een rol. Operators willen een kapotte voedingseenheid of een verouderde opslagmodule apart kunnen vervangen zonder de hele server te vervangen, en willen makkelijker capaciteit kunnen bijschakelen naarmate de vraag groeit. Rack-scale ontwerpen met gestandaardiseerde, uitwisselbare onderdelen maken dat praktischer dan bij traditionele, dichtgetimmerde servers.
Voorbeelden uit de praktijk
Verschillende bedrijven hebben inmiddels werkende rack-scale systemen op de markt gebracht of in eigen datacenters staan. Enkele voorbeelden:
- NVIDIA GB200 NVL72 (2024): een vloeistofgekoeld rack dat 72 Blackwell-GPU's en 36 Grace-processoren via NVLink samensmeedt tot één rekeneenheid, specifiek gebouwd voor het trainen en draaien van grote AI-modellen.
- Open Compute Project, opgericht door Facebook (2011): Facebook, nu Meta, publiceerde de ontwerpen van zijn eigen datacenterhardware, inclusief de Open Rack-standaard, zodat ook andere bedrijven een efficiënte, gedeelde rack-architectuur konden overnemen.
- Google TPU-pods: Google bouwt zijn eigen AI-chips, Tensor Processing Units, niet als losse servers maar als 'pods': honderden tot duizenden TPU's die via een deels optisch netwerk binnen een of meerdere rekken als één systeem samenwerken.
- Intel Rack Scale Design (vanaf 2013): een van de vroegste pogingen om geheugen, opslag en rekenkracht in een rek te disaggregeren en centraal te beheren; het initiatief legde belangrijke basisconcepten vast die latere systemen nog gebruiken.
- Microsoft Azure-infrastructuur: Microsoft ontwikkelt, mede via bijdragen aan het Open Compute Project, eigen rack-ontwerpen met vloeistofkoeling voor zijn AI-datacenters, afgestemd op grootschalige AI-training.
Hoe ver is de techniek?
Rack-scale denken bestaat al ruim een decennium; Intel presenteerde zijn Rack Scale Architecture al in 2013. Lange tijd bleef het echter vooral een architectuurconcept dat slechts bij enkele grote clouddiensten volledig werd doorgevoerd. De doorbraak naar bredere adoptie kwam pas met de recente golf aan AI-ontwikkelingen, toen de vraag naar extreme reken- en communicatiedichtheid ineens veel groter werd.
Op dit moment zijn de meest geavanceerde rack-scale AI-systemen, zoals NVIDIA's NVL72-familie, commercieel verkrijgbaar en worden ze bij grote clouddiensten en onderzoekscentra geïnstalleerd. Toch blijven er praktische obstakels. Vloeistofkoeling vereist andere gebouwinstallaties dan traditionele luchtkoeling, waardoor bestaande datacenters soms moeten worden omgebouwd. De stroomdichtheid van zo'n rek kan oplopen tot tientallen, soms ruim honderd kilowatt, wat lokale stroomnetten onder druk zet. En de onderlinge afhankelijkheid van onderdelen maakt reparatie en onderhoud complexer dan bij losse, makkelijk te vervangen servers.
Ook op standaardisatievlak is nog werk te doen. Technieken als CXL voor gedeeld geheugen worden breed omarmd door chipmakers, maar volledige, probleemloze geheugendisaggregatie tussen hardware van verschillende merken is in de praktijk nog niet overal even soepel als op papier. Kortom: de kerntechnologie werkt en wordt al op grote schaal ingezet, maar de infrastructuur eromheen, van stroomvoorziening tot onderhoudsprocessen, is nog volop in ontwikkeling.
Wie werken eraan?
De ontwikkeling wordt vooral gedreven door grote chipmakers en clouddiensten. NVIDIA levert met zijn NVL-systemen kant-en-klare rack-scale AI-machines; Intel en AMD ontwikkelen eigen varianten voor hun processoren en versnellers; serverbouwers als HPE, Dell en Supermicro integreren die chips in complete rack-systemen voor klanten die geen eigen datacenterhardware ontwerpen.
Aan de kant van de clouddiensten zijn Meta, Google, Microsoft en Amazon de belangrijkste partijen: zij bouwen mede hun eigen rack-ontwerpen, omdat ze op een schaal opereren waarbij zelfs kleine efficiëntiewinsten enorme besparingen opleveren. Veel van die kennis wordt gedeeld via het Open Compute Project, een samenwerkingsverband dat ontwerpen openbaar publiceert zodat ook kleinere spelers ervan kunnen profiteren.
Op het gebied van standaarden speelt het CXL Consortium een centrale rol; hierin werken vrijwel alle grote chip- en serverfabrikanten samen aan een gemeenschappelijke taal voor gedeeld geheugen tussen rack-onderdelen. Landen en regio's bemoeien zich er vooral indirect mee, via investeringen in datacenter- en chipindustrie in onder meer de Verenigde Staten, Taiwan, waar veel van de onderliggende chips worden geproduceerd, en de Europese Unie.