Nvidia's AI-fabrieken halen 24% meer rekenkracht uit dezelfde stroom

Een AI-datacenter, door Nvidia een AI-fabriek genoemd, kan niet zomaar uitbreiden. De stroomaansluiting bepaalt het plafond, niet het aantal chips dat erin past. Nvidia-topman Jensen Huang zei het treffend: een fabriek van één gigawatt wordt nooit een fabriek van twee gigawatt. Daarom richt het bedrijf zich nu op iets anders dan snellere chips: software die meer rekenwerk uit hetzelfde aantal megawatt perst.

Dat systeem heet DSX en werd in mei aangekondigd tijdens een technologiebeurs in Taipei. Het pakket omvat onder meer netwerktechniek, koeling en een nieuwe manier om stroom door een datacenter te verdelen, de zogeheten 800V-gelijkstroomarchitectuur. Die moet energieverlies bij het omzetten van stroom verminderen, iets dat in traditionele datacenters aardig kan oplopen.

24 procent meer tokens per watt

Een concreet onderdeel van DSX, met de naam MaxLPS, bewaakt per rek en per GPU hoeveel stroom er wordt verbruikt en herverdeelt onbenutte ruimte razendsnel. Cloudprovider Lambda, die GPU-rekenkracht verhuurt aan meer dan tienduizend klanten, testte de software op een cluster met Nvidia HGX B200-servers. Resultaat: 19 reken-nodes draaiden binnen hetzelfde stroombudget als voorheen 16 nodes op vol vermogen nodig hadden. Dat leverde 24 procent meer verwerkte tokens per watt op, van ongeveer 4 naar 5 miljoen tokens per seconde voor het hele cluster. Tokens zijn de tekstfragmenten die AI-taalmodellen verwerken; hoe meer een datacenter er per seconde aankan, hoe productiever het draait. Voor de volgende generatie Nvidia-chips, de Vera Rubin-serie, verwacht het bedrijf dat dezelfde aanpak tot 40 procent meer rekencapaciteit binnen een vast stroombudget mogelijk maakt.

Stroom delen met het elektriciteitsnet

Nvidia experimenteert ook met flexibeler stroomgebruik in overleg met energiebedrijven. Bij het eigen Eos-datacenter in Santa Clara stuurde netbeheerder Silicon Valley Power al meer dan tweehonderd keer een signaal om het stroomverbruik tijdelijk te verlagen, via het Conductor-platform van partner Emerald AI. Dit staat bekend als vraagrespons: minder belangrijke rekentaken worden even gepauzeerd, terwijl kritieke taken gewoon doorlopen. Bij elk signaal daalde het verbruik automatisch van vier naar drie megawatt, zonder dat een operator hoefde in te grijpen en zonder dat er taken uitvielen. Het laat zien dat datacenters niet alleen stroom verbruiken, maar ook kunnen meebewegen met een net dat op piekmomenten krap zit.

De eerste grootschalige toepassing van deze aanpak komt er in Manassas, Virginia: een datacenter van 96 megawatt met de nieuwste Vera Rubin-chips. Volgens Nvidia is dit het begin van een nieuwe standaard, waarbij niet de snelheid van een chip, maar de hoeveelheid nuttig werk per megawatt de maatstaf wordt voor een goed datacenter.