Cooling Distribution Unit: hoe datacenters oververhitting van AI-chips voorkomen
Een Cooling Distribution Unit, meestal afgekort tot CDU, is een apparaat dat in datacenters wordt gebruikt om servers en chips met vloeistof te koelen in plaats van met lucht. Het is in feite een tussenstation: het haalt warm koelmiddel op bij de computerchips, koelt dit af en stuurt het weer terug, zonder dat het water van het datacenter zelf ooit rechtstreeks in aanraking komt met de gevoelige elektronica. Naarmate chips voor kunstmatige intelligentie steeds meer warmte produceren, wordt dit soort apparatuur onmisbaar.
Een goede vergelijking is de radiateur van een auto, maar dan omgekeerd en op grote schaal. In een auto haalt de radiateur warmte uit de motor en geeft die af aan de buitenlucht via één gesloten circuit. Een CDU doet iets vergelijkbaars, maar met twee gescheiden watercircuits: één schoon, gefilterd circuit dat direct langs de chips stroomt, en één ruwer circuit dat de warmte uiteindelijk afvoert naar de buitenlucht of een koeltoren. De CDU is de plek waar beide circuits elkaar raken, zonder dat het water zich mengt.
Wat is het precies?
Traditionele datacenters koelen met lucht: ventilatoren blazen koude lucht langs de servers en warme lucht wordt afgevoerd. Dat werkt goed tot een bepaalde warmteproductie per rack, maar moderne AI-chips zoals grafische processoren (GPU's) produceren zoveel warmte op een klein oppervlak dat lucht die niet snel genoeg kan afvoeren. Vloeistof geleidt warmte veel beter dan lucht, en daarom stapt de sector over op vloeistofkoeling.
Bij de meest gangbare vorm, direct-to-chip-koeling, ligt een metalen koudeplaat direct op de processor. Door kanaaltjes in die plaat stroomt koelvloeistof die de warmte opneemt. Die vloeistof gaat via leidingen en verdeelstukken (manifolds) naar de CDU.
De CDU zelf bestaat uit een aantal vaste onderdelen: een warmtewisselaar die de warmte overdraagt van het schone, technische circuit naar het facilitaire circuit; pompen die de vloeistof rondpompen, vaak dubbel uitgevoerd voor het geval er één uitvalt; filters die verontreiniging tegenhouden; sensoren die temperatuur, druk en doorstroming meten; en een besturingssysteem dat alles regelt en bij een lek automatisch de boel afsluit. Sommige CDU's staan in een aparte rij naast de serverkasten, andere zijn compact genoeg om in of naast één enkel rack te plaatsen. De koelcapaciteit loopt uiteen van enkele tientallen kilowatt voor kleine opstellingen tot ruim een megawatt voor grote, centrale units die een hele rij racks bedienen.
Wat wil men ermee bereiken?
De directe aanleiding is de explosieve groei van AI-rekenkracht. Een enkele high-end GPU van bijvoorbeeld Nvidia kan tegenwoordig 700 tot 1200 watt aan warmte produceren, en in een rack met tientallen van dit soort chips loopt het vermogen op tot honderden kilowatten. Lucht kan dat simpelweg niet meer wegkoelen zonder enorme, dure luchtstromen.
Vloeistofkoeling met CDU's maakt het mogelijk om veel meer rekenkracht op minder vloeroppervlak te plaatsen, wat ruimte en dus geld bespaart. Daarnaast is het doorgaans energiezuiniger: minder ventilatoren en minder zware airconditioning betekenen een lagere PUE (power usage effectiveness, de verhouding tussen totaal energieverbruik van een datacenter en het deel dat daadwerkelijk naar de computers gaat). Ook maakt het gebruik van iets warmer koelwater mogelijk, waardoor datacenters vaker kunnen profiteren van gratis koeling met buitenlucht in plaats van energie-intensieve koelmachines.
Voorbeelden uit de praktijk
Nvidia's GB200 NVL72-serverrekken, geïntroduceerd in 2024 en breed uitgerold in 2025, zijn zo warm dat ze verplicht vloeistofgekoeld moeten worden met CDU's. Om grip te krijgen op de eigen toeleveringsketen kocht Nvidia in 2025 het Amerikaanse koelbedrijf Motivair, een gespecialiseerde CDU-fabrikant.
Microsoft experimenteert sinds 2024 met microfluïdische koeling, waarbij koelkanaaltjes direct in de chip zelf zijn geëtst, als aanvulling op de CDU-gebaseerde koeling in zijn Azure-datacenters voor AI-training.
Meta heeft zijn datacenters voor het trainen van grote taalmodellen, waaronder de Llama-modellen, sinds 2023-2024 uitgerust met direct-to-chip-koeling en bijbehorende CDU-infrastructuur.
Onderzoeksinstelling CERN gebruikt al langer vloeistofkoeling voor delen van zijn rekencluster dat data van de Large Hadron Collider verwerkt, mede om energie te besparen in een organisatie die toch al enorme hoeveelheden stroom verbruikt.
In Nederland draait de nationale supercomputer Snellius, beheerd door SURF en gehuisvest bij het Rekencentrum in Amsterdam, deels op vloeistofgekoelde rekenknopen, wat illustreert dat deze techniek inmiddels ook buiten de allergrootste Amerikaanse techbedrijven wordt toegepast.
Hoe ver is de techniek?
CDU-gebaseerde vloeistofkoeling is geen experimentele techniek meer; het is sinds ongeveer 2023-2024 in hoog tempo de standaard geworden voor nieuwe AI-datacenters. De belangrijkste versneller was de introductie van Nvidia's Blackwell-chipgeneratie, waarvoor vloeistofkoeling niet optioneel maar verplicht is.
Toch is de omschakeling verre van compleet. Het overgrote deel van bestaande datacenters wereldwijd is oorspronkelijk gebouwd voor luchtkoeling en moet fors verbouwd worden om CDU's en de bijbehorende leidingen, manifolds en vloerbelasting aan te kunnen. Dat kost tijd en geld, en niet elk gebouw leent zich er even makkelijk voor.
Een ander obstakel is standaardisatie: verschillende fabrikanten gebruiken uiteenlopende aansluitingen, koelvloeistoffen en besturingsprotocollen, wat het lastig maakt om apparatuur van verschillende merken te combineren. De branchevereniging Open Compute Project werkt aan gemeenschappelijke normen voor onder meer snelkoppelingen en manifolds, maar dat proces is nog niet afgerond. Ook lekdetectie en de vrees voor waterschade blijven een psychologische drempel in een sector die decennialang gewend was aan droge, luchtgekoelde zalen.
Naast direct-to-chip-koeling met CDU's bestaat er ook immersiekoeling, waarbij hele serverborden ondergedompeld worden in een niet-geleidende vloeistof. Dat is nog minder volwassen en wordt vooralsnog vooral in nichetoepassingen gebruikt, onder meer omdat het meer aanpassingen aan bestaande hardware vergt.
Wie werken eraan?
Gespecialiseerde fabrikanten van CDU's en koelsystemen zijn onder meer Vertiv, CoolIT Systems, Boyd Corporation, nVent en STULZ, aangevuld met het inmiddels door Nvidia overgenomen Motivair. Voor immersiekoeling is onder meer LiquidStack actief.
Aan de vraagkant zetten de grote clouddienstverleners en chipmakers de standaarden: Nvidia met zijn referentieontwerpen voor vloeistofgekoelde AI-racks, en hyperscalers als Microsoft, Meta en Google, die elk hun eigen varianten van direct-to-chip-koeling ontwikkelen en inzetten in hun datacenters.
Op het gebied van standaardisatie speelt het Open Compute Project, een samenwerkingsverband van techbedrijven, een centrale rol. Onderzoeksinstellingen zoals CERN in Europa en nationale rekencentra zoals SURF in Nederland dragen bij aan praktijkervaring buiten de commerciële hyperscalers om. Geografisch ligt het zwaartepunt van ontwikkeling en toepassing in de Verenigde Staten, gedreven door de AI-datacenterbouw van de grote techbedrijven, met de Europese Unie en Oost-Azië als volgende, snelgroeiende markten.