InfiniBand: het supersnelle netwerk achter supercomputers en AI-clusters
Stel je een snelweg voor met duizenden rijstroken, waar auto's zonder tussenstops en zonder verkeerslichten razendsnel van A naar B rijden. Zoiets is InfiniBand, maar dan voor data: een netwerktechnologie die servers, processoren en grafische chips (GPU's) in een datacenter met elkaar verbindt via extreem snelle, vrijwel vertragingsvrije verbindingen. Waar een gewone kantoornetwerkkabel data van computer naar computer stuurt via allerlei tussenstations, is InfiniBand ontworpen om die omweg zoveel mogelijk te vermijden.
De naam komt voor in nieuwsberichten over supercomputers en AI-datacenters omdat InfiniBand een cruciale, maar onzichtbare rol speelt: het zorgt ervoor dat duizenden afzonderlijke rekenchips kunnen samenwerken alsof het één enorme computer is. Zonder zo'n snelle verbinding zouden de chips vooral op elkaar zitten wachten in plaats van te rekenen, wat het trainen van grote AI-modellen of het simuleren van bijvoorbeeld het klimaat onnodig traag zou maken.
Wat is het precies?
InfiniBand is in de basis een netwerkstandaard, vergelijkbaar met het bekendere Ethernet, maar dan specifiek ontworpen voor extreme snelheid en minimale vertraging (latency) binnen een datacenter. Het belangrijkste technische kenmerk is RDMA (Remote Direct Memory Access): hiermee kan een computer rechtstreeks gegevens lezen uit of schrijven naar het geheugen van een andere computer, zonder dat de processor (CPU) of het besturingssysteem van die andere machine daarbij moet tussenkomen. Bij gewone netwerkverbindingen moet elk datapakketje eerst langs de processor en het besturingssysteem, wat tijd kost. RDMA slaat die stap over, wat ook wel kernel bypass wordt genoemd.
Een tweede belangrijk kenmerk is dat InfiniBand een lossless (verliesloos) netwerk is: het gebruikt een systeem van 'credit-based flow control', waarbij een zender pas data verstuurt als de ontvanger heeft aangegeven dat er ruimte is om die te ontvangen. Zo gaan er vrijwel nooit datapakketjes verloren, wat anders zou leiden tot vertragende herzendingen.
InfiniBand kent sinds zijn introductie meerdere generaties, elk met een eigen naam en snelheid: SDR, DDR, QDR, FDR, EDR en HDR, gevolgd door de huidige generatie NDR, die snelheden tot ongeveer 400 gigabit per seconde per verbinding haalt. Fabrikant NVIDIA heeft inmiddels ook een opvolger genaamd XDR aangekondigd, met een verwachte snelheid rond 800 gigabit per seconde. Omdat dit een recente aankondiging betreft, is nog niet volledig duidelijk hoe snel en breed deze generatie daadwerkelijk in productiesystemen wordt uitgerold.
Wat wil men ermee bereiken?
Het doel van InfiniBand is simpel te omschrijven, maar lastig te realiseren: duizenden individuele rekenchips zo met elkaar verbinden dat ze samen als één machine kunnen functioneren, met zo min mogelijk tijdverlies door communicatie. Bij het trainen van grote AI-taalmodellen bijvoorbeeld, moeten GPU's voortdurend tussenresultaten met elkaar uitwisselen. Als die uitwisseling traag verloopt, zitten dure en energieverslindende chips vooral te wachten in plaats van te rekenen.
Ditzelfde probleem speelt bij traditionele supercomputers die gebruikt worden voor bijvoorbeeld weersvoorspellingen, materiaalonderzoek of kernfusie-simulaties: ook daar werken duizenden processoren gezamenlijk aan één berekening, en bepaalt de snelheid van de onderlinge verbinding mede hoe snel het totale systeem is. InfiniBand probeert dus niet zozeer de rekenkracht zelf te vergroten, maar de communicatie tussen rekeneenheden zo min mogelijk een bottleneck te laten zijn.
Voorbeelden uit de praktijk
De supercomputer Summit, gebouwd in 2018 door IBM voor het Oak Ridge National Laboratory in de Verenigde Staten, gebruikte InfiniBand (destijds de EDR-generatie, geleverd door Mellanox) en was enige tijd de snelste supercomputer ter wereld volgens de TOP500-lijst.
In Europa gebruikt de supercomputer Leonardo van het Italiaanse onderzoekscentrum CINECA, operationeel sinds 2022 en jarenlang een van de krachtigste systemen ter wereld, InfiniBand van de HDR-generatie om zijn duizenden NVIDIA-GPU's te verbinden.
Ook JUWELS Booster, een systeem van het Duitse Forschungszentrum Jülich uit 2020, draait op InfiniBand HDR-technologie en wordt onder meer ingezet voor klimaat- en materiaalonderzoek.
Buiten de klassieke supercomputing is InfiniBand inmiddels ook een standaardonderdeel geworden van grote AI-infrastructuur: NVIDIA bouwde zijn eigen interne AI-supercomputer Eos, aangekondigd in 2023, met de nieuwste generatie Quantum-2 InfiniBand-switches. Cloudaanbieder Microsoft gebruikt InfiniBand eveneens in bepaalde Azure-servergroepen (de zogeheten ND-serie) die specifiek bedoeld zijn voor het trainen van AI-modellen door klanten.
Hoe ver is de techniek?
InfiniBand is geen nieuwe of experimentele technologie: de standaard bestaat sinds 2000, nadat de InfiniBand Trade Association in 1999 werd opgericht uit een fusie van twee concurrerende industrie-initiatieven (Future I/O en Next Generation I/O). Sindsdien is de technologie geleidelijk doorontwikkeld, met ongeveer elke paar jaar een nieuwe generatie die de bandbreedte grofweg verdubbelt.
Wat wel sterk is veranderd, is de toepassing: waar InfiniBand decennialang vooral een niche was binnen wetenschappelijke supercomputing, is het door de opkomst van AI-training een veel breder gebruikte technologie geworden in commerciële datacenters. Dat succes heeft ook concurrentie aangewakkerd. Ethernet, het veel gangbaardere netwerkprotocol, heeft met een uitbreiding genaamd RoCE (RDMA over Converged Ethernet) geprobeerd vergelijkbare voordelen te bieden zonder dat bedrijven hoeven over te stappen op gespecialiseerde InfiniBand-hardware.
In 2023 richtten grote spelers als AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta en Microsoft gezamenlijk de Ultra Ethernet Consortium op, met als doel een Ethernet-variant te ontwikkelen die specifiek is toegesneden op de eisen van AI-datacenters en zo een volwaardig alternatief voor InfiniBand kan bieden. Sommige grote techbedrijven, waaronder Meta, experimenteren inmiddels ook zelf met Ethernet-gebaseerde AI-clusters in plaats van InfiniBand. Het is op dit moment nog niet duidelijk of Ethernet InfiniBand op termijn zal verdringen in de AI-sector, of dat beide technologieën naast elkaar zullen blijven bestaan, elk met hun eigen sterke punten.
Wie werken eraan?
De dominante leverancier van InfiniBand-hardware is tegenwoordig NVIDIA, dat deze positie verwierf via de overname van het Israëlische bedrijf Mellanox Technologies. Deze overname werd in maart 2019 aangekondigd en in april 2020 afgerond, voor een bedrag van ongeveer 6,9 miljard dollar. NVIDIA levert nu zowel de InfiniBand-switches (onder de naam Quantum) als de netwerkkaarten (ConnectX) die servers met dat netwerk verbinden.
De technische standaard zelf wordt beheerd door de InfiniBand Trade Association (IBTA), een samenwerkingsverband van hardwarefabrikanten waarin naast NVIDIA ook bedrijven als Intel, Dell, HPE en Oracle vertegenwoordigd zijn. Grote afnemers en onderzoekspartners zijn onder meer Amerikaanse nationale laboratoria zoals Oak Ridge en Lawrence Livermore, Europese supercomputercentra zoals CINECA in Italië en het Jülich-onderzoekscentrum in Duitsland, en cloudbedrijven zoals Microsoft.
Als tegenkracht en mogelijk toekomstig alternatief werkt de eerdergenoemde Ultra Ethernet Consortium, met leden als AMD, Broadcom, Cisco, HPE, Intel, Meta en Microsoft, aan een Ethernet-gebaseerd netwerkprotocol dat concurrerend moet worden met InfiniBand voor AI-toepassingen.