Nvidia: AI-fabrieken moeten renderen op productiviteit, duur en veelzijdigheid

Grote techbedrijven bouwen op dit moment datacenters die volledig zijn ingericht om kunstmatige intelligentie te laten draaien, de zogeheten AI-fabriek. Dat is geen goedkope hobby: elke megawatt aan capaciteit kost ongeveer 60 miljoen dollar aan chips, servers, koeling en stroomvoorziening. Chipmaker Nvidia legt in een nieuw blogbericht uit welke factoren bepalen of die investering zich terugbetaalt, en hoe het bedrijf zijn eigen hardware daarop probeert te richten.

Volgens Nvidia draait het rendement van een AI-fabriek om drie zaken: hoeveel een fabriek in potentie kan verdienen door alle rekenkracht te verkopen, hoe lang de apparatuur economisch nuttig blijft, en hoe groot de vraag naar die rekenkracht is. Een fabriek die veel kan produceren heeft weinig aan die capaciteit als de vraag ontbreekt, en omgekeerd heeft hoge vraag weinig waarde als de apparatuur maar een jaar meegaat.

Meer tokens per megawatt

Stroom is de belangrijkste beperkende factor voor een AI-fabriek. Daarom is het aantal tokens, de kleine tekstbrokjes waarmee AI-taalmodellen rekenen, dat een systeem per seconde per megawatt kan verwerken een cruciale graadmeter. Onderzoeksbureau SemiAnalysis mat dat Nvidia's nieuwe Vera Rubin NVL72-systemen tot dertig keer meer van dat soort doorvoer per megawatt leveren dan de voorganger, de GB300 NVL72. De kosten per miljoen tokens zouden daardoor tot 45 keer lager uitvallen. Nvidia schrijft die sprong toe aan het gelijktijdig optimaliseren van chips, netwerken, geheugen en software, een aanpak die het bedrijf co-design noemt.

Oude chips blijven jaren meetellen

Snellere nieuwe chips betekenen niet dat oudere systemen meteen waardeloos worden. Nvidia wijst erop dat de A100-chip, die in 2020 op de markt kwam, nog steeds commercieel wordt ingezet. Cloudbedrijf CoreWeave verlengde onlangs contracten voor A100-systemen tot 2029. Microsoft draaide zijn vloot V100-chips zelfs 8,4 jaar lang, langer dan de boekhoudkundige afschrijvingstermijn van zes jaar. Volgens marktonderzoek van Silicon Data is een zes jaar oude A100-chip nog altijd een kwart van de oorspronkelijke aanschafprijs waard. Bedrijven stellen de afschrijvingstermijnen van hun chips dan ook steeds verder naar achteren bij.

Eén machine voor alle vormen van AI

De derde pijler is veelzijdigheid. Dezelfde Nvidia-chips draaien niet alleen taalmodellen, maar ook beeldherkenning, eiwitvouwing, natuurkundige simulaties en robotica, en daarnaast gewone taken als data-analyse en 3D-graphics. Farmaceut Lilly gebruikt een cluster van ruim duizend chips voor zowel medicijnonderzoek als interne chatbots, Pinterest traint er beeldmodellen mee op 14.000 chips, en de Amerikaanse Texas A&M University draait er moleculaire simulaties op met een bezetting van 95 tot 98 procent. Juist omdat dezelfde hardware voor zoveel verschillende taken inzetbaar is, blijft de bezettingsgraad hoog en daarmee ook het rendement op de investering, aldus Nvidia.