Oververhittingslimiet: waarom computerchips en datacenters tegen een muur van hitte aanlopen
Stel je een topsporter voor die tijdens een sprint steeds harder gaat rennen. Op een gegeven moment loopt zijn lichaamstemperatuur zo hoog op dat hij vanzelf moet vertragen, anders raakt hij oververhit en valt hij om. Moderne computerchips hebben precies zo'n ingebouwde noodrem. De oververhittingslimiet is de temperatuur waarbij een chip, server of heel datacenter automatisch afremt om schade te voorkomen. Hoe dichter techbedrijven tegen die grens aan bouwen, hoe meer die limiet bepaalt hoe snel computers, en zeker kunstmatige intelligentie, kunnen worden.
Dit klinkt misschien als een detail voor techneuten, maar het is inmiddels een van de grootste knelpunten in de ontwikkeling van AI. De chips die taalmodellen als ChatGPT trainen, verbruiken zoveel stroom op zo'n klein oppervlak dat ze relatief gezien heter worden dan een kookplaat. Zonder slimme koeling en zonder duidelijke grenzen aan die hitte, zouden die chips binnen seconden onherstelbaar beschadigen. De oververhittingslimiet is dus niet alleen een veiligheidsklep, maar ook een harde rem op hoeveel rekenkracht we uit een stukje silicium kunnen persen.
Wat is het precies?
Elke chip heeft een maximale temperatuur waarbij het materiaal nog betrouwbaar werkt. Ingenieurs noemen dit de junction temperature, de temperatuur van het siliciumoppervlak zelf. Bij de meeste moderne chips ligt die grens ergens tussen de 90 en 105 graden Celsius. Wordt die grens overschreden, dan gaat de chip niet meteen kapot, maar de kans op fouten en permanente slijtage neemt sterk toe.
Om die grens nooit te bereiken, hebben chips een beveiligingsmechanisme dat thermal throttling heet: zodra de temperatuur te dicht bij de limiet komt, verlaagt de chip automatisch zijn kloksnelheid, de snelheid waarmee hij rekenstappen uitvoert. Minder snelheid betekent minder warmteproductie, en dus een veiligere temperatuur. Het is te vergelijken met een auto die vanzelf gas terugneemt zodra de motor te heet dreigt te worden.
Hoeveel warmte een chip mag produceren voordat koeling het niet meer bijbeent, wordt vastgelegd in het zogeheten thermal design power (TDP), het ontwerpvermogen waarop de koeling van een systeem is afgestemd. Bij eenvoudige laptopchips gaat het om enkele tientallen watt. Bij de zwaarste AI-chips van dit moment, zoals de Nvidia H100 die veel gebruikt wordt om taalmodellen te trainen, gaat het al snel om honderden watt per chip, geconcentreerd op een oppervlak van een paar vierkante centimeter. Ter vergelijking: dat is een warmtedichtheid die in de buurt komt van die van een kookplaat, maar dan continu en op chipformaat.
Bij datacenters speelt hetzelfde probleem op een grotere schaal. Duizenden van dit soort chips staan samen in serverrekken, en de warmte van al die rekken samen moet worden afgevoerd voordat de hele ruimte oververhit raakt. Traditioneel gebeurde dat met lucht: grote ventilatoren en airconditioning die koude lucht langs de servers blazen. Bij de nieuwste generatie AI-hardware volstaat lucht simpelweg niet meer, en stappen bedrijven over op vloeistofkoeling, waarbij een koelvloeistof direct langs of zelfs over de chip stroomt om de warmte veel efficiënter af te voeren.
Wat wil men ermee bereiken?
Het uiteindelijke doel is niet de oververhittingslimiet zelf, maar juist het zo ver mogelijk oprekken ervan zonder de chip te beschadigen. Meer rekenkracht per chip betekent immers snellere AI-training, minder benodigde chips voor dezelfde taak, en dus lagere kosten en minder ruimtebeslag in datacenters.
Er is ook een economisch en geopolitiek belang. Chipfabricage en datacenterbouw zijn kapitaalintensieve industrieën waarin landen en bedrijven met elkaar concurreren om technologisch voorop te blijven lopen. Wie erin slaagt om chips koeler, dichter op elkaar en met meer vermogen te laten draaien, wint een strategisch voordeel in de race om AI-dominantie.
Daarnaast speelt duurzaamheid een steeds grotere rol. Koeling kost zelf ook energie, soms wel twintig tot veertig procent van het totale stroomverbruik van een datacenter. Efficiëntere koeltechnieken die de oververhittingslimiet slimmer benaderen, verlagen dus niet alleen risico's maar ook de energierekening en de CO2-uitstoot van de snel groeiende AI-industrie.
Voorbeelden uit de praktijk
Nvidia's Blackwell-platform (aangekondigd in 2024) is een van de meest sprekende voorbeelden. De GB200 NVL72-serverrekken bundelen tientallen krachtige AI-chips die zoveel warmte produceren dat Nvidia is overgestapt op directe vloeistofkoeling naar de chip toe, in plaats van de traditionele luchtkoeling die decennialang de standaard was in datacenters.
Google gebruikt al sinds 2018 directe vloeistofkoeling voor zijn eigen AI-chips, de zogeheten Tensor Processing Units (TPU's), en heeft dit systeem sindsdien meerdere keren verder verfijnd naarmate nieuwe TPU-generaties meer warmte produceren.
Cerebras Systems bouwt met de Wafer Scale Engine een van de grootste computerchips ter wereld, zo groot als een volledige siliciumwafer in plaats van een klein vierkantje. Doordat het vermogen over zo'n groot oppervlak verspreid wordt, heeft het bedrijf een uniek watergekoeld systeem moeten ontwikkelen om de oververhittingslimiet van deze reuzenchip te bewaken.
Microsoft experimenteert met zogeheten microfluidic cooling, waarbij microscopisch kleine kanaaltjes rechtstreeks in de chip worden geëtst zodat koelvloeistof letterlijk door het silicium zelf stroomt in plaats van er alleen omheen. Het bedrijf presenteerde onderzoek hiernaar in 2024 als mogelijke oplossing voor de steeds hogere warmtedichtheid van AI-chips.
Onderdompelingskoeling (immersion cooling), waarbij complete servers worden ondergedompeld in een speciale, niet-geleidende vloeistof, wordt inmiddels commercieel aangeboden door bedrijven als het Spaanse Submer en het Britse Iceotope, en getest door meerdere grote clouddienstverleners als alternatief voor lucht- en waterkoeling.
Hoe ver is de techniek?
De basisprincipes van thermal throttling en TDP bestaan al decennia en zijn volwassen techniek: elke laptop, telefoon en spelcomputer past dit al jaren toe. Wat nieuw en nog volop in ontwikkeling is, is de manier waarop de industrie omgaat met de extreme warmtedichtheid van AI-chips.
Vloeistofkoeling in datacenters is technisch beproefd, maar wordt nog lang niet overal toegepast. De meeste bestaande datacenters zijn gebouwd voor luchtkoeling, en de omschakeling naar vloeistofsystemen vraagt grote investeringen in nieuwe infrastructuur, leidingen en onderhoudsprocessen. Vooral bij oudere datacenters is dit een kostbare en tijdrovende ombouw.
Chip-in-chip-koeling, zoals de microfluidic cooling waar Microsoft mee experimenteert, staat nog in een vroeg onderzoeksstadium en wordt nog niet op commerciële schaal toegepast. Het idee dat koelvloeistof rechtstreeks door kanaaltjes in het silicium stroomt, is veelbelovend omdat het de warmte veel dichter bij de bron aanpakt, maar er is nog onduidelijkheid over de langetermijnbetrouwbaarheid en de kosten op grote schaal.
De belangrijkste horde is niet zozeer natuurkundig, maar praktisch: hoe koel je duizenden extreem hete chips tegelijk, betrouwbaar en betaalbaar, in gebouwen die vaak al staan. Daarnaast groeit het energieverbruik van datacenters wereldwijd snel door de opmars van AI, wat de druk op efficiënte koeloplossingen alleen maar verder opvoert.
Wie werken eraan?
Chipontwerpers als Nvidia, AMD en Intel bepalen met hun chipontwerpen direct hoe hoog de warmteproductie per chip ligt en welke koeling daarvoor nodig is. Chipfabrikant TSMC uit Taiwan, dat de meeste geavanceerde AI-chips daadwerkelijk produceert, werkt voortdurend aan productietechnieken die meer rekenkracht op minder oppervlak mogelijk maken, wat de warmtedichtheid juist verder opdrijft.
Aan de kant van de grote clouddienstverleners investeren Microsoft, Google en Meta fors in eigen koeltechnologie voor hun datacenters, deels omdat ze zelf ook eigen AI-chips ontwikkelen die niet altijd passen binnen bestaande koelstandaarden.
Gespecialiseerde koelbedrijven zoals Submer (Spanje), Iceotope (Verenigd Koninkrijk) en Asetek (Denemarken) leveren technologie voor onderdompelings- en vloeistofkoeling aan datacenters wereldwijd. Onderzoeksinstituten zoals imec in België doen fundamenteel onderzoek naar warmteafvoer op chipniveau, als onderdeel van breder onderzoek naar de toekomst van chiptechnologie.
Ook overheden en internationale organisaties volgen dit onderwerp op de voet: het International Energy Agency (IEA) publiceert periodiek rapporten over het groeiende energieverbruik van datacenters wereldwijd, mede door de opmars van AI, en de rol die koeltechnologie daarin speelt.