Drijvendekommagetal: hoe computers met bijna elk denkbaar getal kunnen rekenen
Een drijvendekommagetal, in het Engels floating-point number, is de manier waarop computers getallen met een komma opslaan en ermee rekenen. Het idee lijkt op wetenschappelijke notatie: in plaats van te schrijven dat de afstand tussen de aarde en de zon 149.600.000.000 meter is, schrijf je liever 1,496 x 10^11. Je splitst het getal op in twee delen: een kort getal met de belangrijkste cijfers (1,496) en een macht van tien die aangeeft hoe groot of klein het geheel is (10^11). Zo kun je met weinig cijfers toch enorme of piepkleine getallen weergeven.
Computers doen precies hetzelfde, maar dan met nullen en enen in plaats van decimale cijfers. Een drijvendekommagetal bestaat uit een paar bits voor het "belangrijke deel" van het getal en een paar bits voor de macht waarmee de komma verschuift, vandaar de naam: de komma "drijft" mee, afhankelijk van hoe groot het getal is. Dit systeem zit in vrijwel elk stuk software: van de rekenmachine op je telefoon tot de simulaties die het weer voorspellen en de kunstmatige-intelligentiemodellen die tegenwoordig veel aandacht krijgen. Juist in dat laatste domein, AI-chips, is de manier waarop drijvendekommagetallen worden vormgegeven de laatste jaren weer volop in beweging.
Wat is het precies?
Een drijvendekommagetal in een computer bestaat uit drie onderdelen, die samen in een vast aantal bits (enen en nullen) passen. Het eerste onderdeel is de tekenbit: één bit die aangeeft of het getal positief of negatief is. Het tweede onderdeel is de exponent, vergelijkbaar met de macht van tien in wetenschappelijke notatie, maar dan meestal een macht van twee. De exponent bepaalt hoe groot of klein het getal ongeveer is. Het derde onderdeel is de mantisse, ook wel significand genoemd: dit zijn de cijfers die de precisie van het getal bepalen, vergelijkbaar met het "1,496" uit het zonvoorbeeld.
Hoeveel bits je aan elk onderdeel geeft, is een bewuste afweging. Meer bits voor de exponent betekent dat je een groter bereik aan getallen kunt weergeven, van extreem klein tot extreem groot. Meer bits voor de mantisse betekent dat je getallen preciezer kunt weergeven, met meer significante cijfers. Omdat het totale aantal bits vast ligt (bijvoorbeeld 32 of 16), is het altijd een kwestie van kiezen: bereik versus precisie.
Sinds 1985 is dit vastgelegd in een internationale afspraak, de IEEE 754-standaard, opgesteld door het Institute of Electrical and Electronics Engineers. Deze standaard beschrijft exact hoeveel bits worden gebruikt voor teken, exponent en mantisse bij de meestgebruikte formaten: single precision (32 bits, in programmeertalen vaak "float" genoemd) en double precision (64 bits, "double"). De standaard legt ook vast hoe afgerond moet worden en hoe met bijzondere gevallen wordt omgegaan, zoals delen door nul of het resultaat van een berekening die geen geldig getal oplevert, aangeduid als NaN ("Not a Number"). Dankzij die afspraken geeft dezelfde berekening op een computer van het ene merk hetzelfde resultaat als op een computer van een ander merk, iets wat vóór 1985 allerminst vanzelfsprekend was. De standaard is sindsdien twee keer herzien, in 2008 en in 2019, vooral om nieuwe, kleinere formaten en aanvullende functies toe te voegen.
Wat wil men ermee bereiken?
Het achterliggende doel is simpel: een computer heeft maar een beperkt aantal bits per getal beschikbaar, maar de echte wereld levert getallen op die variëren van de afmeting van een atoomkern tot de afstand tussen sterrenstelsels. Met een vast aantal decimalen, zoals bij een "gewoon" geheel getal, zou je nooit dat hele bereik kunnen dekken zonder onwerkbaar veel geheugen te gebruiken. Drijvendekommagetallen lossen dat op door precisie in te ruilen voor bereik: heel precies rond de nul, minder precies bij extreem grote of kleine waarden, net als bij wetenschappelijke notatie.
Een tweede, actueler doel speelt vooral in kunstmatige intelligentie. Het trainen van grote taalmodellen en andere neurale netwerken vraagt enorme hoeveelheden rekenwerk, waarbij miljarden vermenigvuldigingen van drijvendekommagetallen worden uitgevoerd. Elke bit die je bespaart per getal, bespaart geheugen, energie en rekentijd, vermenigvuldigd met miljarden operaties. Daarom onderzoeken chipmakers en onderzoekers al enkele jaren of AI-berekeningen ook met veel kortere, minder precieze drijvendekommaformaten kunnen, zoals 16, 8 of zelfs 4 bits in plaats van de traditionele 32, zonder dat de kwaliteit van het eindresultaat merkbaar achteruitgaat. Dat is een precaire balans: te weinig precisie leidt tot rekenfouten die zich opstapelen en een model laten "ontsporen" tijdens training.
Voorbeelden uit de praktijk
De IEEE 754-standaard zelf, gepubliceerd in 1985, is misschien wel het meest invloedrijke voorbeeld: vrijwel elke processor, programmeertaal en spreadsheet ter wereld rekent er nu mee. De hoofdarchitect achter dit werk, wiskundige William Kahan, ontving er in 1989 mede de Turing Award voor, de belangrijkste onderscheiding in de informatica.
In 2018 introduceerde Google het bfloat16-formaat ("Brain Floating Point", genoemd naar Google Brain) voor zijn Tensor Processing Units, de eigen AI-chips van het bedrijf. Bfloat16 gebruikt slechts 16 bits, maar behoudt hetzelfde bereik als het 32-bits standaardformaat door bits van de mantisse te schrappen in plaats van de exponent. Dat maakte het aantrekkelijk voor AI-training, waar bereik vaak belangrijker is dan absolute precisie.
NVIDIA voegde in 2020, met de komst van de Ampere-architectuur en de A100-chip, het TF32-formaat ("TensorFloat-32") toe: een tussenvorm die intern met minder mantissebits rekent maar wel resultaten oplevert die passen binnen bestaande 32-bits software, zonder dat programmeurs hun code hoefden aan te passen.
In 2022 publiceerden NVIDIA, Arm en Intel gezamenlijk een voorstel voor FP8, een 8-bits drijvendekommaformaat specifiek gericht op het trainen en uitvoeren van AI-modellen. Een jaar later, in 2023, bundelden AMD, Arm, Intel, Meta, Microsoft, NVIDIA en Qualcomm binnen het Open Compute Project hun krachten voor een gedeelde specificatie van zogeheten Microscaling-formaten (MX), waaronder varianten met slechts 8, 6 of 4 bits per getal, bedoeld om AI-hardware van verschillende fabrikanten onderling compatibel te houden.
Hoe ver is de techniek?
Het kernconcept van drijvendekommagetallen is volwassen technologie: de 32-bits en 64-bits IEEE 754-formaten liggen al decennia vast en veranderen nauwelijks. Daar zit weinig onzekerheid of ontwikkeling meer in; dit is stabiele, breed geteste infrastructuur die in bijna elke chip ter wereld zit ingebakken.
Het front van de ontwikkeling ligt bij de kortere, AI-gerichte formaten. Formaten als bfloat16 en FP16 (16-bits) zijn inmiddels breed ingeburgerd in AI-training en worden door vrijwel alle grote AI-chips ondersteund. FP8 wordt sinds 2022-2023 steeds vaker gebruikt, vooral voor het efficiënter maken van reeds getrainde modellen (inferentie) en in toenemende mate ook voor training zelf. De nog kortere Microscaling-formaten (MXFP4, MXFP6) uit de 2023-specificatie van het Open Compute Project zijn recenter en worden nog volop getest; het is nog niet voor elk type AI-model duidelijk hoeveel precisie je kunt schrappen voordat de kwaliteit merkbaar achteruitgaat. Dat blijft een actief onderzoeksgebied, met per model en toepassing wisselende resultaten.
Een terugkerend obstakel is dat minder bits weliswaar sneller en zuiniger rekenen mogelijk maakt, maar ook meer risico geeft op afrondingsfouten die zich tijdens lange trainingsruns opstapelen. Onderzoekers werken daarom aan technieken om die fouten te compenseren, bijvoorbeeld door bepaalde tussenstappen toch in hogere precisie uit te voeren. Dit is dus geen technologie die "af" is; het is eerder een voortdurende afweging tussen snelheid, energieverbruik en rekenkundige betrouwbaarheid, die met elke nieuwe generatie AI-chips opnieuw wordt gemaakt.
Wie werken eraan?
De basisstandaard IEEE 754 wordt beheerd door het IEEE, de internationale beroepsvereniging voor elektrotechnisch en informatica-ingenieurs, via een technisch comité waarin academici en industrievertegenwoordigers samenwerken. Op het gebied van AI-specifieke formaten zijn vooral de grote chipmakers en clouddienstverleners actief: NVIDIA, Intel en Arm ontwikkelden gezamenlijk het FP8-voorstel, terwijl Google een eigen weg insloeg met bfloat16 voor zijn TPU's. Binnen het Open Compute Project, een samenwerkingsverband oorspronkelijk opgezet door Facebook (nu Meta) voor het delen van datacenterontwerpen, werken AMD, Arm, Intel, Meta, Microsoft, NVIDIA en Qualcomm gezamenlijk aan de Microscaling-specificaties, juist om te voorkomen dat elke fabrikant zijn eigen, onderling onverenigbare kortere formaten gaat gebruiken. Academische onderzoeksgroepen op universiteiten wereldwijd, vaak in samenwerking met deze bedrijven, publiceren daarnaast voortdurend nieuw onderzoek naar de grenzen van wat met minder precisie nog haalbaar is.