DPU (Data Processing Unit): de stille motor achter moderne datacenters
Stel je een groot magazijn voor waar duizenden pakketjes per minuut binnenkomen, gesorteerd moeten worden en weer naar de juiste vrachtwagen moeten. Als de magazijnmanager - die eigenlijk het overzicht moet houden over bestellingen en klanten - ook nog zelf elk pakketje moet uitpakken, scannen en sorteren, blijft er weinig tijd over voor het echte werk. Een DPU, of data-processing unit, is te vergelijken met een team gespecialiseerde sorteerders dat dat werk overneemt, zodat de manager - in dit geval de hoofdprocessor van een server - zich kan concentreren op de taken waar hij goed in is.
In gewone computers en servers doet de CPU (central processing unit, de hoofdprocessor) vrijwel alles: rekenwerk, maar ook het afhandelen van netwerkverkeer, opslag en beveiliging. In een modern datacenter, waar miljoenen gegevenspakketjes per seconde binnenkomen, kost dat laatste steeds meer rekenkracht die eigenlijk bedoeld was voor de applicaties van klanten. Een DPU is een apart, gespecialiseerd chipje op een uitbreidingskaart dat die 'infrastructuurtaken' overneemt van de CPU. Grote clouddiensten als Amazon, Google en Microsoft gebruiken dit soort chips inmiddels op grote schaal, meestal onzichtbaar voor de eindgebruiker.
Wat is het precies?
Een DPU is in de kern een kleine, volwaardige computer op een uitbreidingskaart (vaak een SmartNIC genoemd, een 'slimme netwerkkaart') die in een server wordt gestoken. Die kaart bevat doorgaans drie soorten onderdelen: netwerkchips die gegevens supersnel binnen en buiten laten stromen, gespecialiseerde rekeneenheden die veelvoorkomende taken in hardware uitvoeren, en meestal ook een aantal kleine, volwaardige processorkernen (vaak van het ARM-type) waarop een eigen besturingssysteem draait.
Het verschil met een gewone netwerkkaart zit in dat laatste punt: een DPU is programmeerbaar en draait feitelijk zijn eigen software, los van het besturingssysteem van de server zelf. Daardoor kan een DPU taken als versleuteling van dataverkeer, firewall-regels, het beheer van virtuele netwerken tussen 'virtuele machines' (afgeschermde, softwarematige nabootsingen van een computer die op één fysieke server draaien) en de communicatie met opslagsystemen zelfstandig afhandelen. De CPU van de server hoeft daar dan geen rekentijd meer aan te besteden.
Vaak wordt onderscheid gemaakt tussen drie hoofdtypen processoren in een datacenter: de CPU voor algemene, veelzijdige taken, de GPU (graphics processing unit) voor taken die je in duizenden kleine stukjes tegelijk kunt opknippen, zoals grafische bewerkingen en het trainen van AI-modellen, en de DPU voor het razendsnel verplaatsen en bewerken van data zelf. Sommige fabrikanten gebruiken net iets andere namen voor vergelijkbare chips: Intel noemt de zijne bijvoorbeeld IPU (infrastructure processing unit), en Amazon spreekt over 'Nitro-kaarten'. Functioneel lijken deze sterk op elkaar, ook al verschillen de precieze architectuur en marketingterm per bedrijf.
Wat wil men ermee bereiken?
Het belangrijkste doel is efficiëntie. In een cloud-datacenter verhuurt een aanbieder rekenkracht aan klanten. Elke CPU-cyclus die opgaat aan netwerkverkeer of beveiliging in plaats van aan de software van de klant, is in feite verspilde omzet. Door die taken naar een DPU te verplaatsen, houdt de aanbieder meer bruikbare rekenkracht over per server, wat de kosten per klant verlaagt.
Een tweede doelstelling is beveiliging. Omdat een DPU een fysiek gescheiden systeem is met zijn eigen besturingssysteem, kan een aanbieder er beveiligingsfuncties op draaien die volledig buiten het bereik van de klant - en van eventuele kwaadwillenden die toegang krijgen tot een virtuele machine - vallen. Zo kan bijvoorbeeld versleuteling of netwerkisolatie plaatsvinden op een laag die de klant zelf niet kan aanraken, wat de kans op manipulatie verkleint.
Daarnaast speelt flexibiliteit een rol. Omdat de netwerk- en opslagfuncties in programmeerbare hardware zitten in plaats van in vaste bedrading, kunnen aanbieders nieuwe functies via software toevoegen zonder de fysieke server te hoeven vervangen. Dat maakt het makkelijker om snel te schalen en nieuwe diensten te introduceren, iets wat voor grote clouddiensten met miljoenen servers een aanzienlijk operationeel voordeel oplevert.
Voorbeelden uit de praktijk
Het bekendste en oudste voorbeeld is het AWS Nitro System van Amazon. Amazon begon hier rond 2013 stilletjes mee te experimenteren en bouwde het in de jaren daarna steeds verder uit; sinds ongeveer 2017-2018 draaien vrijwel alle nieuwe Amazon-servers met Nitro-kaarten die netwerk, opslag en beveiliging van de hoofdprocessor overnemen. Amazon noemt dit zelf niet expliciet een 'DPU', maar het is functioneel een van de vroegste en meest grootschalige toepassingen van het concept.
Chipmaker NVIDIA introduceerde de term 'DPU' actief na de overname van netwerkbedrijf Mellanox (afgerond in 2020) en bracht de BlueField-2 DPU op de markt, gevolgd door de krachtigere BlueField-3, die vanaf 2022-2023 breder beschikbaar kwam. NVIDIA presenteert deze kaarten expliciet als aanvulling op zijn GPU's voor AI-datacenters, waarbij de DPU het dataverkeer tussen duizenden GPU's moet stroomlijnen. Een opvolger, BlueField-4, is door NVIDIA aangekondigd als onderdeel van toekomstige datacenterplatforms; de exacte marktintroductie hiervan lag ten tijde van schrijven nog niet volledig vast.
Intel ontwikkelde samen met Google de Mount Evans IPU, aangekondigd in 2021 en sindsdien ingezet in delen van Google Cloud. Google gebruikt dit soort chips om netwerkverkeer tussen zijn cloud-servers te versnellen zonder de CPU's van klanten te belasten.
Ook zijn er specialistische chipbedrijven die zijn opgekocht door grotere spelers: Pensando werd in 2022 overgenomen door AMD en levert nu DPU-technologie voor onder meer servers van AMD-partners, en Fungible werd eind 2022/begin 2023 overgenomen door Microsoft, dat de technologie inzet in zijn Azure-cloud. Chipmaker Marvell heeft met zijn OCTEON-lijn eveneens al langer DPU- en netwerkprocessoren op de markt voor telecom- en datacenterklanten.
Hoe ver is de techniek?
DPU's zijn geen toekomstmuziek meer: bij de grote hyperscalers - Amazon, Google, Microsoft en Alibaba - draaien ze al jaren in productie en vormen ze een standaardonderdeel van de serverarchitectuur. In die zin is de basistechnologie volwassen en bewezen op enorme schaal.
Buiten de hyperscalers gaat de adoptie voorzichtiger. Veel bedrijven met eigen datacenters (zogeheten 'enterprise'-klanten) experimenteren wel met DPU-kaarten van NVIDIA, Intel of AMD, maar grootschalige uitrol is nog relatief beperkt. Een belangrijk obstakel is complexiteit: DPU's programmeren vereist gespecialiseerde kennis en tooling, zoals NVIDIA's DOCA-softwareplatform of het netwerkprogrammeertaal P4, die niet elke IT-afdeling in huis heeft. Ook ontbreekt het nog aan brede standaardisatie tussen fabrikanten, waardoor software die voor de ene DPU is geschreven niet zomaar op een andere draait.
Een tweede obstakel is kosten: DPU-kaarten zijn relatief duur ten opzichte van gewone netwerkkaarten, en de besparing wordt pas echt merkbaar bij zeer grote aantallen servers. Voor kleinere organisaties is de businesscase daardoor minder overtuigend. Ten slotte is er, mede door de recente groei van AI-datacenters, een sterke focus ontstaan op DPU's die specifiek zijn afgestemd op het verbinden van grote hoeveelheden GPU's, wat de ontwikkeling deels stuurt richting AI-infrastructuur in plaats van bredere, algemene toepassingen.
Wie werken eraan?
NVIDIA is momenteel de meest zichtbare speler dankzij zijn BlueField-lijn, mede door de sterke positie van het bedrijf in AI-hardware. Intel ontwikkelt zijn IPU-lijn, deels in samenwerking met Google, dat zelf ook eigen chips voor zijn cloud-infrastructuur inzet. AMD is via de overname van Pensando actief op dit terrein, en Marvell levert met OCTEON al langer verwante technologie, van oudsher meer gericht op telecomnetwerken.
Onder de grote clouddiensten heeft Amazon Web Services met zijn Nitro System een eigen, intern ontwikkeld systeem dat niet als losse kaart aan derden wordt verkocht. Microsoft zette na de overname van Fungible eigen ontwikkeling voort voor gebruik in Azure. Daarnaast doen universiteiten en onderzoeksgroepen, onder meer in de Verenigde Staten en China, onderzoek naar efficiëntere architecturen voor dataverwerking in netwerken, vaak gepubliceerd via vakverenigingen als de ACM en IEEE. Landen als de Verenigde Staten (door de aanwezigheid van NVIDIA, Intel, AMD en de hyperscalers) en in mindere mate China (met eigen cloudspelers als Alibaba, die ook aan vergelijkbare offload-technologie werkt) zijn op dit moment het meest bepalend voor de richting van deze technologie.