GPU-cluster: duizenden chips die samen rekenen
Een GPU-cluster is een verzameling grafische processoren (GPU's, oorspronkelijk ontworpen om beeldschermen aan te sturen) die via snelle netwerken aan elkaar zijn gekoppeld om samen als één groot rekenapparaat te functioneren. Waar een gewone computer één of enkele van deze chips heeft, bevatten de grootste clusters er tegenwoordig tientallen- tot honderdduizenden. Ze vormen het rekenhart achter vrijwel elk groot AI-systeem van dit moment, van ChatGPT tot Google Gemini.
Een goede analogie is een keuken vol koks. Eén kok kan een gerecht in zijn eentje bereiden, maar traag. Zet er honderd koks bij die precies weten wie welk onderdeel doet en die voortdurend met elkaar communiceren, en je kunt een banket voor duizenden gasten bereiden in dezelfde tijd die één kok nodig had voor één bord. Een GPU-cluster werkt zo: elke GPU voert een deel van een enorme rekentaak uit, en het netwerk ertussen zorgt dat ze voortdurend tussenresultaten uitwisselen.
Wat is het precies?
Een GPU is een chip die van origine grafische berekeningen deed voor games: duizenden kleine rekenkernen die tegelijk simpele wiskundige bewerkingen uitvoeren. Die eigenschap — veel simpele sommen tegelijk, in plaats van één ingewikkelde som na de andere zoals een gewone processor (CPU) doet — blijkt toevallig ook precies te zijn wat neurale netwerken nodig hebben. Het trainen van een taalmodel komt grotendeels neer op het miljarden keren vermenigvuldigen en optellen van getallen in matrices, en dat is exact het soort werk waar GPU's in uitblinken.
Eén GPU is echter niet genoeg voor een modern AI-model. Een model als GPT-4 of Llama heeft zoveel parameters (de interne “instelknoppen” van het netwerk, vaak honderden miljarden) dat het geheugen van één chip domweg te klein is en de training jaren zou duren. Daarom worden GPU's gebundeld in servers (meestal acht per server), die op hun beurt via razendsnelle interne verbindingen zoals NVLink met elkaar praten. Groepen servers worden vervolgens gekoppeld via een extern netwerk, vaak InfiniBand genoemd, dat is ontworpen om data met minimale vertraging tussen duizenden chips te sturen.
Software verdeelt het rekenwerk vervolgens over al die chips. Soms wordt het model zelf in stukken gehakt (elke GPU beheert een deel van het netwerk), soms wordt dezelfde kopie van het model op elke GPU gezet en krijgt elke chip een ander stukje trainingsdata (“data-parallellisme”). In de praktijk combineren grote clusters meerdere van deze strategieën tegelijk. Dat vraagt niet alleen om krachtige chips, maar ook om zorgvuldig ontworpen netwerken, koeling en stroomvoorziening — een cluster van 100.000 GPU's kan net zoveel stroom verbruiken als een middelgrote stad.
Wat wil men ermee bereiken?
De directe drijfveer is snelheid en schaal: hoe meer rekenkracht beschikbaar is, hoe groter en capabeler de AI-modellen die getraind kunnen worden, en hoe sneller dat proces verloopt. Onderzoek uit de afgelopen jaren (met name van OpenAI en later bevestigd door andere labs) laat zien dat de prestaties van taalmodellen redelijk voorspelbaar verbeteren naarmate er meer rekenkracht, data en parameters worden ingezet — de zogeheten scaling laws. Dat heeft een wedloop op gang gebracht waarbij bedrijven steeds grotere clusters bouwen in de verwachting dat meer rekenkracht tot betere modellen leidt.
Daarnaast spelen commerciële en strategische belangen: cloudbedrijven willen rekenkracht verhuren aan klanten, techbedrijven willen niet afhankelijk zijn van concurrenten voor hun AI-infrastructuur, en overheden zien rekenkracht steeds meer als een vorm van geopolitieke macht, vergelijkbaar met olie of halfgeleiders. GPU-clusters worden ook gebruikt buiten AI om, bijvoorbeeld voor klimaatsimulaties, eiwitvouwing in de geneeskunde en natuurkundig onderzoek, maar de explosieve groei van de afgelopen jaren is vrijwel volledig te danken aan de vraag vanuit AI.
Voorbeelden uit de praktijk
xAI Colossus (Memphis, VS, vanaf 2024) — Elon Musks AI-bedrijf xAI bouwde in enkele maanden tijd een datacenter met naar eigen zeggen aanvankelijk 100.000 Nvidia H100-GPU's, dat in 2025 werd uitgebreid richting de 200.000 chips. Het tempo waarin dit gebeurde (het cluster ging in september 2024 live, minder dan een jaar na de start van de bouw) gold als ongekend snel voor infrastructuur van deze omvang.
Meta's trainingsclusters voor Llama 3 (2024) — Meta maakte publiek bekend dat het twee clusters van elk 24.576 Nvidia H100-GPU's gebruikte om zijn open Llama 3-modellen te trainen, en kondigde aan tegen eind 2024 richting 350.000 H100-chips te groeien voor toekomstige projecten.
Microsoft/OpenAI-supercomputers (Azure, sinds 2020, doorlopend uitgebreid) — Microsoft bouwde specifiek voor OpenAI een reeks supercomputers op zijn Azure-cloudplatform. De eerste, aangekondigd in 2020, bevatte volgens Microsoft meer dan 10.000 GPU's; latere generaties zijn vele malen groter, al maakt Microsoft de exacte omvang van recentere systemen niet altijd volledig openbaar.
Frontier en El Capitan (Amerikaanse nationale laboratoria, 2022 en 2024) — Dit zijn geen AI-clusters in de gebruikelijke zin maar wetenschappelijke supercomputers die AMD-GPU's gebruiken. Frontier (Oak Ridge National Laboratory) was in 2022 de eerste “exascale”-supercomputer ter wereld (meer dan een triljoen berekeningen per seconde); El Capitan (Lawrence Livermore) nam die titel in 2024 over. Ze tonen dat GPU-clusters ook buiten de grote techbedrijven een centrale rol spelen.
Stargate-project (VS, aangekondigd 2025) — OpenAI, Oracle en SoftBank kondigden begin 2025 een gezamenlijk plan aan om de komende jaren tot 500 miljard dollar te investeren in Amerikaanse AI-datacenters. Het project is deels nog in de planningsfase; niet alle aangekondigde investeringen zijn op het moment van schrijven al gerealiseerd.
Hoe ver is de techniek?
De onderliggende technologie — GPU's, snelle netwerken, parallelle software — is volwassen en wordt al meer dan tien jaar in de praktijk gebruikt. Wat wél snel verandert is de schaal: waar een “groot” cluster in 2020 nog enkele duizenden GPU's telde, spreken toonaangevende bedrijven begin 2026 over clusters van honderdduizenden tot naar verwachting binnen afzienbare tijd meer dan een miljoen chips.
De belangrijkste praktische obstakels zijn niet langer alleen de chips zelf, maar de infrastructuur eromheen. Stroomvoorziening is een steeds groter knelpunt: grote clusters vragen honderden megawatts, vergelijkbaar met het verbruik van een kleine stad, en elektriciteitsnetten kunnen dat lokaal soms niet aan. Koeling is een tweede uitdaging, waardoor bedrijven overstappen van luchtkoeling naar waterkoeling. Ook de aanvoer van geavanceerde chips is een knelpunt geweest: tussen 2023 en 2024 was er wereldwijd een tekort aan Nvidia's topmodellen, mede doordat de productie afhankelijk is van een klein aantal fabrieken, met name van TSMC in Taiwan.
Een politieke complicatie is dat de Amerikaanse overheid sinds 2022 exportbeperkingen hanteert die de verkoop van de krachtigste GPU's aan China aan banden leggen, uit vrees dat die chips voor militaire AI-toepassingen gebruikt kunnen worden. Dit heeft Chinese bedrijven aangezet tot het ontwikkelen van eigen chips (zoals Huawei's Ascend-serie), al lopen die volgens de meeste onafhankelijke analyses nog altijd een generatie achter op de nieuwste Nvidia-hardware. Hoeveel dat verschil precies is, is moeilijk onafhankelijk te verifiëren, omdat bedrijven zelden hun exacte prestatiecijfers openbaar maken.
Wie werken eraan?
Nvidia is met afstand de dominante leverancier van GPU's voor AI-training en levert naar schatting meer dan 80% van de wereldwijde markt; de H100-, H200- en nieuwere Blackwell-chips (B100/B200) zijn de facto standaard geworden. AMD is de belangrijkste concurrent met zijn MI300-serie en wordt onder meer gebruikt in de supercomputers Frontier en El Capitan. Google volgt een eigen pad met zelfontwikkelde chips (TPU's, Tensor Processing Units) die geen GPU's zijn maar hetzelfde doel dienen.
Onder de grootste bouwers en gebruikers van GPU-clusters vallen Amerikaanse techbedrijven als Microsoft, Meta, Amazon (AWS), Google, OpenAI, xAI en Oracle, vaak in wisselende samenwerkingsverbanden. Daarnaast bouwen gespecialiseerde cloudbedrijven zoals CoreWeave en Lambda clusters die ze verhuren aan andere AI-bedrijven. Op wetenschappelijk gebied spelen Amerikaanse nationale laboratoria (Oak Ridge, Lawrence Livermore) en Europese initiatieven zoals EuroHPC een rol, dat onder meer de Finse supercomputer LUMI beheert.
Geografisch ligt het zwaartepunt van de grootste AI-clusters vooralsnog sterk in de Verenigde Staten, met China als tweede blok dat door exportbeperkingen gedwongen wordt een eigen chipketen op te bouwen. Europa investeert via EuroHPC in publieke supercomputers, maar heeft geen eigen bedrijf dat qua schaal met Nvidia kan concurreren op het gebied van AI-specifieke chips.