GPU-uur: de maateenheid achter de kosten van AI-training
Een GPU-uur is een eenheid die aangeeft hoeveel rekentijd op een grafische processor (GPU) is gebruikt: één GPU die één uur lang draait, is één GPU-uur. Gebruik je tien GPU's tegelijk gedurende twee uur, dan heb je twintig GPU-uren verbruikt. Het is te vergelijken met het huren van een auto: niet het aantal kilometers telt, maar het aantal uren dat je de sleutel in handen hebt, ongeacht wat je ermee doet.
Deze eenheid is vooral bekend geworden door de explosieve groei van kunstmatige intelligentie. Het trainen van grote taalmodellen zoals die achter ChatGPT vereist duizenden GPU's die dagen of weken achtereen draaien. Om dat verbruik te kunnen uitdrukken, vergelijken en factureren, gebruiken bedrijven en clouddiensten het GPU-uur als gemeenschappelijke maatstaf — zoals een energiebedrijf kilowattuur gebruikt om stroomverbruik te meten, ongeacht welk apparaat de stroom verbruikte.
Wat is het precies?
Een GPU (graphics processing unit) is een chip die oorspronkelijk werd ontworpen om beeldschermen aan te sturen voor computerspellen, maar die zich uitstekend leent voor het razendsnel uitvoeren van veel eenvoudige rekenkundige bewerkingen tegelijk. Het trainen van AI-modellen bestaat grotendeels uit zulke bewerkingen — miljarden vermenigvuldigingen en optellingen van getallen — waardoor GPU's veel sneller zijn dan gewone processoren (CPU's) voor dit werk.
Een GPU-uur telt simpelweg de gebruikstijd op, onafhankelijk van hoeveel rekenwerk er daadwerkelijk gebeurt. Gebruik je 1.000 GPU's tien uur lang, dan komt dat neer op 10.000 GPU-uren, ongeacht of die GPU's continu op volle snelheid draaiden of grotendeels stilstonden te wachten op data. Dat maakt het een praktische, makkelijk te tellen maat, maar ook een grove: een modern, krachtig type GPU zoals de NVIDIA H100 kan in één uur veel meer rekenwerk verzetten dan een ouder model zoals de V100.
Om die reden gebruiken onderzoekers vaak een preciezere aanvullende maat: FLOPs, ofwel floating point operations (drijvendekommabewerkingen) — het feitelijke aantal rekenkundige bewerkingen dat is uitgevoerd. GPU-uren zeggen iets over kosten en planning; FLOPs zeggen iets over de daadwerkelijke rekenkracht die is ingezet. Beide worden vaak samen gerapporteerd omdat ze elkaar aanvullen.
Wat wil men ermee bereiken?
De belangrijkste reden om in GPU-uren te rekenen is transparantie en vergelijkbaarheid. Clouddiensten verhuren GPU-capaciteit per uur, dus bedrijven en onderzoekers moeten hun verbruik in die eenheid kunnen begroten en verantwoorden — net zoals een bedrijf zijn stroomrekening beheert.
Daarnaast helpt het bij het vergelijken van AI-modellen. Wanneer een onderzoeksteam publiceert dat een model "150.000 GPU-uren" heeft gekost om te trainen, geeft dat andere onderzoekers een indicatie van de investering en schaal, ook al is de vergelijking niet perfect vanwege verschillen in GPU-type en efficiëntie.
Ten slotte wint het begrip aan belang in het beleidsdebat. Toezichthouders zoeken naar praktische manieren om vast te stellen welke AI-modellen zo veel rekenkracht hebben gebruikt dat ze extra aandacht verdienen — bijvoorbeeld in het kader van de Europese AI-verordening (AI Act) of Amerikaanse exportregels voor geavanceerde chips. Rekentijd, uitgedrukt in GPU-uren of gerelateerde FLOP-drempels, is daarbij een van de weinige meetbare aanknopingspunten.
Voorbeelden uit de praktijk
Meta publiceerde bij de release van het taalmodel LLaMA in 2023 concrete cijfers over het rekenverbruik: het trainen van de grootste variant kostte volgens het onderzoekspaper ongeveer 1 miljoen GPU-uren op NVIDIA A100-chips. Bij de opvolger, LLaMA 2, later dat jaar, werden vergelijkbare cijfers gepubliceerd, inclusief schattingen van de bijbehorende CO2-uitstoot.
OpenAI heeft voor GPT-3 (2020) nooit een officieel GPU-uur-cijfer vrijgegeven, maar onafhankelijke onderzoekers hebben op basis van het bekende rekenbudget (in FLOPs) schattingen gemaakt die neerkomen op enkele honderdduizenden tot miljoenen GPU-equivalent-uren, afhankelijk van het aangenomen hardwaretype.
Cloudproviders als Amazon Web Services (AWS), Microsoft Azure en Google Cloud rekenen letterlijk per GPU-uur af bij hun AI-rekendiensten: klanten betalen een tarief per uur per GPU-type, met prijzen die in 2024-2025 uiteenliepen van enkele dollars tot tientallen dollars per uur, afhankelijk van het GPU-model.
De onderzoeksorganisatie Epoch AI houdt sinds enkele jaren systematisch de groei van rekenkracht in AI-training bij, vaak uitgedrukt in FLOPs maar met GPU-uren en GPU-aantallen als onderliggende data. Hun analyses laten zien dat het rekenbudget van toonaangevende modellen sinds 2012 ruwweg elke zes tot tien maanden verdubbelt.
MLCommons, de organisatie achter de MLPerf-benchmarks, gebruikt tijd-tot-resultaat op gestandaardiseerde hardwareconfiguraties om GPU's en andere AI-chips onderling te vergelijken — een methode die nauw verwant is aan het GPU-uur-concept.
Hoe ver is de techniek?
GPU-uur is geen technologie in ontwikkeling, maar een gevestigde boekhoudkundige en organisatorische praktijk. Cloudproviders gebruiken het al sinds het begin van hun GPU-verhuurdiensten, ruim voor de huidige AI-golf.
Wat wél volop in ontwikkeling is, is de manier waarop de sector ermee omgaat in rapportages en beleid. Er bestaat geen universele standaard voor wat een gepubliceerd GPU-uur-cijfer precies omvat: telt een bedrijf alleen de trainingsrun mee, of ook mislukte experimenten en herhalingen? Wordt overhead zoals data-voorbereiding meegerekend? Verschillende organisaties hanteren hier verschillende definities, wat vergelijkingen tussen modellen bemoeilijkt.
Ook de discussie over compute als reguleringsinstrument is nog volop gaande. Drempelwaarden die beleidsmakers voorstellen, worden vaak in FLOPs uitgedrukt in plaats van GPU-uren, juist omdat FLOPs minder afhankelijk zijn van welk hardwaretype werd gebruikt. GPU-uren blijven daarbij vooral relevant als praktische, makkelijk te achterhalen indicator — bijvoorbeeld via cloudfacturen — ook al is de maat minder precies.
Wie werken eraan?
NVIDIA is als grootste leverancier van AI-GPU's (met chips als de A100 en H100) een centrale speler; hun hardware bepaalt grotendeels wat één GPU-uur aan rekenkracht oplevert. Cloudproviders als AWS, Microsoft Azure en Google Cloud bieden de infrastructuur waarop GPU-uren daadwerkelijk worden verhandeld en gefactureerd.
Grote AI-labs zoals Meta AI, OpenAI en Google DeepMind rapporteren (soms gedeeltelijk) hun rekenverbruik in wetenschappelijke publicaties. Onderzoeksorganisaties als Epoch AI en MLCommons houden trends bij en ontwikkelen gestandaardiseerde manieren om rekenkracht te meten en te vergelijken.
Op beleidsniveau houden de Europese Unie (via de AI Act) en de Amerikaanse overheid (via exportcontroles op AI-chips en uitvoeringsbesluiten over AI-veiligheid) zich bezig met de vraag hoe rekenkracht — inclusief GPU-uren — kan dienen als meetpunt voor regelgeving.