AI & computing › Neuromorfe & fotonische chips
Nvidia deelt geheugentechnologie NVHBM met chipmakers als Amazon
Nvidia opent zijn nieuwste geheugentechnologie voor AI-chips op voor andere bedrijven. Met NVHBM kunnen chipmakers zoals Amazon straks sneller en zuiniger geheugen inbouwen in hun eigen AI-chips. Amazons chipdivisie Annapurna Labs is de eerste partner die ermee gaat werken, voor de toekomstige Trainium4-chip.
Nvidia breidt zijn samenwerkingsprogramma NVLink Fusion uit met een nieuwe geheugentechnologie: NVHBM. Het is bedoeld voor bedrijven die hun eigen AI-chips bouwen, maar toch gebruik willen maken van Nvidia's razendsnelle geheugentechniek. Amazon's chipdivisie Annapurna Labs is de eerste partner die ermee aan de slag gaat.
Wat is er mis met gewoon geheugen?
AI-chips draaien op enorme hoeveelheden data die razendsnel heen en weer moeten tussen rekenkern en geheugen. Daarvoor gebruikt de chipindustrie high-bandwidth memory (HBM): geheugenchips die in lagen op elkaar gestapeld zijn en zo meer data tegelijk kunnen versturen dan traditioneel computergeheugen. Bij een gewone HBM-opstelling zit de geheugencontroller, het onderdeel dat het verkeer tussen chip en geheugen regelt, op de rekenchip zelf. Dat kost ruimte die anders naar extra rekenkracht had kunnen gaan.
Nvidia verplaatst met NVHBM die controller naar de basis van de geheugenstapel zelf. Volgens het bedrijf levert dat tot 30 procent meer bandbreedte op, 15 procent minder stroomverbruik voor het geheugen, en maakt het tot 25 procent extra ruimte vrij op de rekenchip vergeleken met de huidige HBM4E-standaard. Die vrijgekomen ruimte kan een chipmaker gebruiken voor meer rekenkracht.
Amazon als eerste testpartner
Amazon's chipdivisie Annapurna Labs gaat als eerste met NVHBM experimenteren. Het bedrijf ontwikkelt zijn eigen AI-versnellerchips onder de naam Trainium, die worden ingezet in de datacenters van cloudplatform AWS. De volgende generatie, Trainium4, moet dankzij NVLink Fusion straks in hetzelfde rack-scale systeem kunnen samenwerken met Nvidia's eigen GPU's. Dat betekent dat een datacenter chips van beide bedrijven naast elkaar kan inzetten zonder aparte, incompatibele infrastructuur.
Nafea Bshara, vicepresident van Annapurna Labs, noemt NVHBM "een nieuwe architecturale aanpak" voor geheugenprestaties en -efficiëntie. AWS werkte al eerder aan ondersteuning voor NVLink Fusion; deze stap verdiept die samenwerking.
Meer klanten, minder maatwerk
Het bredere doel achter NVLink Fusion is dat bedrijven hun eigen chips, of dat nu ASIC's of andere gespecialiseerde ontwerpen zijn, kunnen aansluiten op Nvidia's kant-en-klare infrastructuur: de verbindingen tussen chips, de netwerkswitches en complete serverkasten. Door NVHBM als gestandaardiseerde optie bij meerdere geheugenfabrikanten beschikbaar te maken, hoeven chipontwerpers niet zelf te onderhandelen en testen met losse leveranciers. Dat moet de ontwikkeltijd van nieuwe AI-chips verkorten.
Voor de bredere AI-industrie is dit onderdeel van een trend: grote clouddbedrijven als Amazon, Google en Microsoft ontwerpen steeds vaker eigen chips om minder afhankelijk te zijn van Nvidia's dure GPU's. Door zelf de sleuteltechnologie eronder, het geheugen, aan te bieden, houdt Nvidia toch een vinger in de pap.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Doordat Nvidia zijn geheugentechnologie ook beschikbaar maakt voor concurrerende chipontwerpen, kunnen datacenters straks flexibeler kiezen tussen chips van verschillende fabrikanten zonder in te leveren op snelheid. Dat kan de ontwikkeling van gespecialiseerde AI-chips versnellen en de dominantie van een handvol chipmakers iets temperen.
- High-bandwidth memory (HBM)
- Een type computergeheugen waarbij geheugenchips in lagen op elkaar gestapeld zijn, zodat grote hoeveelheden data supersnel heen en weer kunnen tussen geheugen en rekenchip.
- XPU
- Verzamelnaam voor gespecialiseerde rekenchips, zoals GPU's of AI-versnellerchips, die berekeningen voor kunstmatige intelligentie uitvoeren.
- Geheugencontroller
- Het onderdeel dat het dataverkeer tussen een rekenchip en het geheugen regelt en tot nu toe meestal op de rekenchip zelf zat.
- NVLink Fusion
- Een programma van Nvidia waarmee andere bedrijven hun eigen chips kunnen aansluiten op Nvidia's netwerk- en systeemtechnologie voor datacenters.
- Rack-scale systeem
- Een volledige serverkast vol chips, geheugen en netwerkverbindingen die als één samenhangend geheel is ontworpen in plaats van los samengestelde onderdelen.
- ASIC
- Een computerchip die is ontworpen voor één specifieke taak, in tegenstelling tot een algemene processor die van alles een beetje kan.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
