Thermisch knelpunt: waarom warmte de grootste vijand van snelle chips is geworden
Een thermisch knelpunt ontstaat wanneer een chip meer warmte produceert dan zijn koeling kan afvoeren. Het gevolg: de chip moet zichzelf afremmen om niet te oververhitten, precies op het moment dat je meer rekenkracht nodig hebt. Denk aan een marathonloper die eigenlijk sneller kan, maar moet vertragen omdat zijn lichaam anders oververhit raakt. Het probleem zit niet in de spieren (de rekenkracht), maar in het afvoersysteem (de koeling).
Dit klinkt misschien als een detail voor techneuten, maar het is inmiddels een van de grootste obstakels voor de groei van kunstmatige intelligentie. AI-chips worden steeds krachtiger en compacter, waardoor ze ook steeds meer warmte produceren op een steeds kleiner oppervlak. Zonder betere koeloplossingen lopen datacenters tegen een fysieke muur aan: niet het gebrek aan rekenkracht remt de vooruitgang, maar het onvermogen om de warmte kwijt te raken.
Wat is het precies?
Elke chip zet elektrische stroom om in rekenwerk, en daarbij gaat een deel van die energie verloren als warmte. Hoe meer transistors een chip heeft en hoe harder die schakelen, hoe meer warmte er per seconde vrijkomt. Deze warmte wordt gemeten in watt: een topmodel AI-versnellerkaart kan tegenwoordig honderden tot ruim duizend watt verstoken op een oppervlak zo groot als een postzegel.
Als die warmte niet snel genoeg wordt afgevoerd, loopt de temperatuur van de chip op. Boven een bepaalde grens — meestal rond de 85 tot 100 graden Celsius, afhankelijk van het ontwerp — grijpt de chip zelf in via een beveiligingsmechanisme dat thermal throttling heet: de kloksnelheid (het tempo waarin de chip rekent) wordt automatisch verlaagd om schade te voorkomen. Dat is het thermisch knelpunt in actie: de chip kan sneller, maar mag niet, omdat de koeling het niet aankan.
Het probleem wordt versterkt door een trend in de chipindustrie: 3D-stacking, waarbij meerdere lagen silicium letterlijk op elkaar worden gestapeld om meer rekenkracht in minder ruimte te persen. Dat werkt goed voor de rekenkracht, maar slecht voor de koeling. Een laag in het midden van een gestapelde chip heeft geen direct contact met de koelplaat aan de buitenkant en moet zijn warmte eerst door de omliggende lagen heen laten reizen — vergelijkbaar met een verwarmingselement dat is ingepakt in dekens.
Traditionele koeling gebruikt lucht: een ventilator blaast langs een metalen koelblok dat op de chip is bevestigd. Dat werkt prima tot enkele tientallen watt, maar bij de vermogens van moderne AI-chips schiet lucht simpelweg tekort. Vandaar de opmars van vloeistofkoeling, waarbij een koelvloeistof warmte veel efficiënter afvoert dan lucht — water geleidt warmte ongeveer 25 keer beter dan lucht.
Wat wil men ermee bereiken?
Het doel is simpel geformuleerd, maar technisch lastig: chips laten draaien op hun maximale snelheid, continu, zonder dat warmte een rem zet op de prestaties. Dat is om drie redenen belangrijk.
Ten eerste is er de directe kostenkwestie. Een datacenter dat volledig door thermische limieten wordt afgeremd, haalt niet het rendement uit dure hardware waarvoor is betaald. Bedrijven als NVIDIA verkopen AI-chips voor tienduizenden euro's per stuk; als die chips een deel van de tijd vertraagd moeten worden, is dat weggegooid geld.
Ten tweede speelt energie-efficiëntie een rol. Betere koeling betekent niet alleen dat chips harder kunnen werken, maar ook dat er minder energie nodig is om diezelfde warmte af te voeren. Traditionele luchtkoeling met airconditioning kost datacenters enorm veel stroom — soms bijna evenveel als de chips zelf verbruiken. Efficiëntere koeling verlaagt dus ook de energierekening en de CO2-voetafdruk van datacenters.
Ten derde is er een puur technische drijfveer: zonder oplossingen voor het thermisch knelpunt stokt de vooruitgang van chipontwerp zelf. Chipontwerpers willen steeds dichtere, krachtigere processors bouwen, maar dat heeft alleen zin als de warmte die daarbij vrijkomt ook weg kan. Koeling is daarmee niet langer een randvoorwaarde, maar een integraal onderdeel van het chipontwerp.
Voorbeelden uit de praktijk
Microsoft en tweefasige onderdompelkoeling (vanaf 2021). Microsoft testte in zijn datacenters servers die volledig ondergedompeld werden in een speciale, niet-geleidende vloeistof van chemieconcern 3M. De vloeistof kookt bij een lage temperatuur rond de chip, neemt daarbij warmte op, condenseert weer boven in de tank en valt terug — een proces zonder pompen of ventilatoren. Microsoft rapporteerde dat chips hierdoor merkbaar minder moesten worden afgeremd door thermische limieten.
Google en vloeistofgekoelde TPU's (2021). Google introduceerde met zijn vierde generatie Tensor Processing Units (TPU v4), de chips die het bedrijf gebruikt voor AI-training, directe vloeistofkoeling in eigen datacenters. Dit was een van de eerste grootschalige toepassingen van vloeistofkoeling bij een hyperscale AI-cluster.
NVIDIA's overstap naar directe vloeistofkoeling (Blackwell-generatie, 2024). Met de komst van de Blackwell-architectuur, waarbij individuele GPU's een vermogen van rond de duizend watt of meer kunnen hebben, ging NVIDIA voor zijn krachtigste systemen (zoals de GB200 NVL72) over op verplichte directe vloeistofkoeling: een koelplaat met vloeistofkanalen zit rechtstreeks bovenop de chip, in plaats van een los koelblok met ventilator.
Microfluidic cooling: kanaaltjes in de chip zelf. Onderzoekers experimenteren met het etsen van piepkleine koelkanaaltjes direct in het silicium van de chip, zodat koelvloeistof niet naast maar dóór de chip stroomt — vlak bij de plekken waar de meeste warmte ontstaat. Instituten als MIT en Georgia Tech, en samenwerkingen met onder meer Microsoft Research, hebben hierover onderzoek gepubliceerd. Deze techniek staat nog vooral in het laboratoriumstadium en is nog niet op grote schaal commercieel toegepast.
3D-stacking bij Intel en AMD. Intel's Foveros-technologie en AMD's 3D V-Cache (gebruikt in sommige Ryzen- en EPYC-processors sinds 2022) stapelen geheugen- of rekenlagen op elkaar. Beide bedrijven hebben publiekelijk erkend dat warmteafvoer een van de grootste ontwerpuitdagingen is bij deze aanpak, en werken aan aangepaste koelstrategieën specifiek voor gestapelde chips.
Hoe ver is de techniek?
Vloeistofkoeling van individuele chips (via een koelplaat, ook wel direct-to-chip cooling genoemd) is inmiddels praktijkrijp en wordt breed toegepast bij high-end AI-hardware. Grote clouddienstverleners als Microsoft, Google en Meta gebruiken het al op forse schaal in hun nieuwste datacenters.
Volledige onderdompelkoeling (immersion cooling), waarbij hele servers in vloeistof liggen, staat een stap verder: het wordt getest en op kleinere schaal ingezet, maar is nog geen industriestandaard. Obstakels zijn onder meer de hogere aanschafkosten, de noodzaak om datacenters fysiek anders in te richten, onduidelijkheid over onderhoud op lange termijn (bijvoorbeeld: hoe vervang je een defecte harde schijf in een bak vloeistof?), en het ontbreken van uniforme industriestandaarden.
Microfluidic cooling — kanaaltjes in de chip zelf — is nog vooral experimenteel. Het belooft de beste warmteafvoer omdat de koeling het dichtst bij de warmtebron zit, maar de productietechniek is complex en duur, en er is nog geen grootschalige commerciële toepassing bekend.
Het tempo van verandering is hoog: waar vloeistofkoeling tien jaar geleden vooral voorkwam in supercomputers voor wetenschappelijk onderzoek, is het nu in rap tempo mainstream aan het worden voor commerciële AI-datacenters, gedreven door de razendsnelle groei van AI-workloads sinds 2022.
Wie werken eraan?
Aan de kant van de chipmakers zijn NVIDIA, Intel en AMD de belangrijkste spelers: zij ontwerpen zowel de chips als de bijbehorende koelinterfaces. Chipfabrikant TSMC, dat de meeste geavanceerde chips ter wereld produceert, werkt nauw samen met deze bedrijven aan verpakkingstechnieken (advanced packaging) die rekening houden met warmteafvoer.
Gespecialiseerde koelbedrijven zoals Vertiv en CoolIT Systems ontwikkelen de vloeistofkoelsystemen die in datacenters worden ingebouwd. Grote clouddienstverleners — Microsoft, Google en Meta voorop — doen daarnaast eigen onderzoek en grootschalige praktijktesten in hun eigen datacenters.
Op onderzoeksgebied spelen universiteiten en instituten als MIT, Georgia Tech en het Belgische imec (gespecialiseerd in nanochiptechnologie) een belangrijke rol bij fundamenteel onderzoek naar nieuwe koelmethoden, waaronder microfluidic cooling en nieuwe materialen zoals diamant, dat warmte extreem goed geleidt en wordt onderzocht als basis voor toekomstige chips.