RDMA: rechtstreeks in het geheugen van een andere computer kijken
Stel je voor dat je een boodschappenlijstje wilt doorgeven aan een huisgenoot. De normale manier: je schrijft het op, loopt naar de keuken, legt het briefje op tafel, je huisgenoot moet het oppakken, lezen en overtypen in zijn eigen notitieblok. Elke stap kost tijd en moeite. RDMA, kort voor Remote Direct Memory Access, is te vergelijken met een schuifraampje tussen jullie twee werkkamers: je schuift het papier direct in zijn geheugen, zonder tussenstops, zonder dat hij er zelf iets voor hoeft te doen.
In de computerwereld gaat het om twee machines die via een netwerk met elkaar praten, bijvoorbeeld twee servers in een datacenter. Normaal gesproken bemoeien de processor (CPU) en het besturingssysteem van beide machines zich intensief met elk stukje data dat over en weer gaat: kopiëren, controleren, verpakken, uitpakken. Bij RDMA kan de ene computer data rechtstreeks wegschrijven naar of oplezen uit het werkgeheugen van de andere computer, zonder dat de processor van die andere machine daarbij wordt lastiggevallen. Dat klinkt technisch, maar het effect is voelbaar: communicatie die tien tot honderd keer sneller verloopt en die de processor vrijhoudt voor ander werk, zoals AI-berekeningen of het verwerken van databases.
Wat is het precies?
Om te begrijpen waarom RDMA bijzonder is, helpt het om eerst te kijken naar hoe computers normaal gesproken over een netwerk communiceren. Bij gewone netwerkcommunicatie, bijvoorbeeld via het bekende TCP/IP-protocol, gaat data een lange weg af binnen elke computer. De applicatie geeft data door aan het besturingssysteem, dat de data kopieert naar een netwerkbuffer, er allerlei protocolinformatie omheen bouwt (denk aan adressering en foutcontrole), en dit vervolgens naar de netwerkkaart stuurt. Aan de ontvangende kant gebeurt hetzelfde in omgekeerde volgorde. Bij elke stap wordt de data gekopieerd en moet de processor actief meewerken. Dat kost tijd en rekenkracht, zeker bij grote hoeveelheden data of bij duizenden verbindingen tegelijk.
RDMA slaat een groot deel van dat traject over. Een netwerkkaart met ingebouwde RDMA-ondersteuning, een RNIC (RDMA Network Interface Card), kan zelfstandig data lezen uit of schrijven naar het geheugen van de applicatie, zonder tussenkomst van het besturingssysteem van de doelmachine. Dit heet kernel bypass: de kernel, het centrale besturingsprogramma van het besturingssysteem, wordt overgeslagen voor het eigenlijke datatransport. Ook worden onnodige tussenkopieën vermeden, wat zero-copy wordt genoemd: de data hoeft niet meerdere keren binnen het geheugen te worden verplaatst voordat hij op zijn eindbestemming staat. De verzendende machine heeft vooraf toestemming en een geheugenadres gekregen van de ontvangende machine, en kan daarna zelfstandig data naar dat adres sturen.
Er bestaan een paar varianten van RDMA, die onderling niet compatibel zijn maar wel hetzelfde basisprincipe delen. InfiniBand is de oorspronkelijke, native omgeving voor RDMA: een compleet eigen netwerktechnologie met eigen kabels, schakelaars (switches) en protocollen, ontworpen vanaf de grond af aan voor lage latency. RoCE (uitgesproken als 'rocky', voluit RDMA over Converged Ethernet) brengt RDMA naar gewoon Ethernet, het netwerktype dat in de meeste datacenters en kantoren al aanwezig is. De eerste versie, RoCEv1, werkt op het laagste niveau van het netwerk (laag 2), terwijl de latere en veelgebruikte RoCEv2 via UDP/IP werkt, waardoor het ook over grotere, gerouteerde netwerken kan worden ingezet. iWARP is een derde variant, gestandaardiseerd door de internetstandaardisatieorganisatie IETF, die RDMA bovenop het vertrouwde TCP-protocol bouwt en daardoor makkelijker samengaat met bestaande netwerkinfrastructuur, zij het met iets meer overhead dan InfiniBand.
Wat wil men ermee bereiken?
Het hoofddoel van RDMA is simpel te omschrijven: communicatie tussen computers zo laten aanvoelen als communicatie binnen één computer. Bij traditionele netwerken ligt de vertraging (latency) al gauw in de orde van milliseconden; met RDMA daalt dat naar enkele microseconden, duizend keer sneller. Voor toepassingen waarbij duizenden machines voortdurend kleine stukjes data moeten uitwisselen, zoals bij het trainen van grote AI-modellen, telt elke microseconde vertraging op tot serieus tijdverlies.
Een tweede doel is het ontlasten van de processor. Omdat het besturingssysteem grotendeels wordt overgeslagen, hoeft de CPU geen rekenkracht te besteden aan het verwerken van netwerkverkeer. Die vrijgekomen rekenkracht kan worden ingezet voor het eigenlijke werk: berekeningen, opslag verwerken, of AI-modellen trainen. Bij grote datacenters, waar netwerkverkeer soms tientallen procenten van de processorcapaciteit opslokt, is dat een aanzienlijke besparing.
Ten slotte maakt RDMA het mogelijk om meerdere machines te laten samenwerken alsof het één groot systeem is: een strak gekoppeld cluster. Dit is essentieel voor high-performance computing (supercomputers die wetenschappelijke berekeningen uitvoeren), voor gedistribueerde opslagsystemen die data over veel schijven en servers verspreiden, en voor de trainingsclusters achter moderne AI-systemen, waar honderden of duizenden grafische processoren (GPU's) voortdurend tussenresultaten met elkaar moeten delen.
Voorbeelden uit de praktijk
InfiniBand wordt al sinds het begin van deze eeuw gebruikt in supercomputers en blijft daar tot op de dag van vandaag een belangrijke rol spelen; veel van de snelste rekenclusters ter wereld, die worden bijgehouden op ranglijsten van supercomputers, maken gebruik van InfiniBand-netwerken om duizenden rekenknooppunten met elkaar te verbinden.
In de opslagwereld heeft RDMA een plek gekregen via NVMe over Fabrics (NVMe-oF), een technologie die sinds de tweede helft van de jaren 2010 is opgekomen. Hiermee kunnen servers rechtstreeks, met minimale vertraging, data uitwisselen met snelle NVMe-opslagsystemen die ergens anders in het datacenter staan, alsof die schijven lokaal zijn ingebouwd. RDMA is daarbij een van de mogelijke transportmethoden.
Microsoft gebruikt RDMA in zijn Windows Server-besturingssysteem via een functie genaamd SMB Direct, die bestandsopslag over het netwerk versnelt door RDMA te benutten in plaats van het gangbare bestandsdelingsprotocol volledig via de trage weg te laten lopen. Microsoft heeft ook, samen met onderzoekers, in 2016 een veelgeciteerd technisch paper gepubliceerd over het op grote schaal inzetten van RoCEv2 in zijn eigen datacenters, waarin de organisatie liet zien hoe ze de nodige uitdagingen rond betrouwbaarheid van het netwerk hadden opgelost.
Op het gebied van kunstmatige intelligentie is GPUDirect RDMA van NVIDIA een belangrijk voorbeeld: hiermee kunnen grafische processoren in verschillende servers rechtstreeks data uitwisselen zonder om te weg via het hoofdgeheugen van de CPU te hoeven maken. Deze technologie vormt de ruggengraat van AI-trainingsclusters zoals NVIDIA's DGX SuperPOD-systemen, die worden gebruikt om grote taalmodellen te trainen.
Hoe ver is de techniek?
RDMA is geen nieuwe technologie. InfiniBand ontstond rond 1999-2000, mede dankzij de oprichting van de InfiniBand Trade Association (IBTA), de organisatie die de standaarden beheert. iWARP werd rond 2007 als internetstandaard vastgelegd door de IETF. RoCE volgde met een eerste versie rond 2010 en de veelgebruikte tweede versie, RoCEv2, rond 2014. Het gaat dus om een volwassen technologie die al ruim twintig jaar in ontwikkeling is en breed wordt toegepast in high-performance computing en, de laatste jaren steeds vaker, in datacenters voor cloud- en AI-diensten.
Toch is de techniek niet zonder haken en ogen. RoCE, de variant die op gewoon Ethernet draait, functioneert het best op een netwerk zonder pakketverlies. Dit wordt afgedwongen met een mechanisme genaamd Priority Flow Control (PFC), dat verkeer tijdelijk pauzeert in plaats van pakketten te laten wegvallen. Dit klinkt behulpzaam, maar in de praktijk is PFC lastig goed te configureren en kan het leiden tot vervelende bijwerkingen, zoals zogeheten PFC-storms (een cascade van pauzeersignalen die het netwerk vastzet) en head-of-line blocking (waarbij één vastgelopen verbinding andere, ongerelateerde verbindingen ophoudt). Netwerkbeheerders die RoCE op grote schaal inzetten, moeten hier bewust rekening mee houden.
Deze knelpunten, gecombineerd met de explosieve groei van AI-trainingsclusters die enorme aantallen GPU's willen verbinden, hebben geleid tot een nieuw initiatief: de Ultra Ethernet Consortium (UEC), opgericht in 2023. Dit samenwerkingsverband van grote technologiebedrijven werkt aan een open, op Ethernet gebaseerd alternatief dat de sterke punten van RDMA moet combineren met betere schaalbaarheid en minder van de configuratieproblemen van klassieke RoCE. Het is op dit moment nog onzeker hoe snel deze nieuwe standaard InfiniBand en bestaande RoCE-implementaties daadwerkelijk zal verdringen; InfiniBand blijft voorlopig de dominante keuze in de grootste AI-trainingsclusters, terwijl Ethernet-gebaseerde alternatieven vooral aan terrein winnen in bredere, meer diverse datacenteromgevingen.
Wie werken eraan?
NVIDIA is momenteel de dominante speler in RDMA-hardware, met name sinds de overname van Mellanox Technologies in 2020, het bedrijf dat lange tijd toonaangevend was in InfiniBand- en RoCE-netwerkkaarten (de ConnectX-serie). Andere grote hardwarepartijen zijn Broadcom en Intel, die beide RDMA-capabele Ethernet-netwerkkaarten leveren; Intel heeft historisch ook een rol gespeeld in de ontwikkeling van iWARP.
Onder de grote cloudaanbieders zet Microsoft Azure RDMA (met name RoCEv2) breed in voor zijn datacenterinfrastructuur en high-performance-rekendiensten. Amazon Web Services heeft een eigen, vergelijkbare technologie ontwikkeld genaamd Elastic Fabric Adapter (EFA), specifiek gebouwd voor het verbinden van rekenknooppunten in HPC- en AI-omgevingen. Ook Google Cloud maakt gebruik van RDMA-achtige netwerktechnologie voor zijn meest veeleisende workloads.
Op het gebied van standaardisatie speelt de InfiniBand Trade Association (IBTA) de hoofdrol voor InfiniBand en RoCE, terwijl de IETF (Internet Engineering Task Force) verantwoordelijk is voor de iWARP-standaarden. De nieuwste ontwikkeling, de Ultra Ethernet Consortium, telt onder haar leden een groot deel van de sector: naast NVIDIA en Broadcom onder meer AMD, Cisco, HPE (Hewlett Packard Enterprise), Intel, Meta en Microsoft. Dat brede draagvlak geeft aan hoe belangrijk snelle, schaalbare netwerktechnologie inmiddels wordt gevonden voor de toekomst van AI-infrastructuur.