Nvidia en Cisco ontwikkelen supersnelle optische module voor AI-datacenters

Grote AI-datacenters, ook wel AI-fabrieken genoemd, groeien razendsnel. Hoe meer chips er in zo'n fabriek samenwerken, hoe meer data er tussen de servers moet reizen. Nvidia en Cisco willen die groei bijbenen en presenteerden daarom plannen voor een nieuwe generatie optische transceiver, genaamd USFP. Die module stuurt data straks met 400 gigabit per seconde per verbinding door het netwerk, twee keer zo snel als de huidige standaard.

Meer bandbreedte zonder extra stroom

Een AI-fabriek draait op duizenden samenwerkende grafische chips, ook wel een GPU-cluster genoemd, die voortdurend gegevens uitwisselen. Zodra een netwerkschakelaar (switch) vol zit, moeten bedrijven extra lagen switches en optische verbindingen toevoegen. Dat kost extra stroom, vertraagt de communicatie tussen chips en jaagt de kosten op. USFP moet dat voorkomen door meer capaciteit in dezelfde ruimte te proppen. De eerste versie van de module krijgt zestien gelijktijdige verbindingen in een behuizing ter grootte van het bestaande OSFP-formaat, goed voor in totaal 12,8 terabit per seconde aan capaciteit. Toekomstige versies moeten groeien naar 32 of meer verbindingen per module.

Vergeleken met de huidige generatie pluggable modules, die 200 gigabit per seconde per lijn aankunnen, biedt USFP volgens Nvidia en Cisco vier keer zoveel bandbreedte per vierkante centimeter aan de voorkant van een switch en ongeveer 1,3 keer zoveel energie-efficiëntie. Dat is belangrijk omdat datacenters een steeds groter deel van hun stroombudget kwijt zijn aan netwerkapparatuur in plaats van aan rekenkracht. Met USFP kunnen meer servers met 1,6 terabit-aansluitingen op één netwerkfabric worden aangesloten, zonder dat daarvoor extra schakellagen nodig zijn.

Dezelfde stekker, hogere snelheid

USFP blijft een pluggable module: techniek die los in een switch of netwerkkaart wordt gestoken, zoals dat al jaren gebeurt in datacenters. Dat betekent dat beheerders hun bestaande apparatuur niet meteen hoeven te vervangen om over te stappen op hogere snelheden. De nieuwe connector gebruikt een tweetraps inschuifmechanisme: de behuizing klikt eerst vast, waarna de snelle contactpunten pas daarna verbinding maken. Dat moet slijtage aan de contacten verminderen en de module tot honderd watt aan warmte kunnen afvoeren zonder ingebouwde koeling.

Samenwerking met leveranciers

Nvidia en Cisco ontwikkelen USFP samen met connectorfabrikanten TE Connectivity en Amphenol, en willen de specificatie openbaar maken via een gezamenlijk, voor de hele sector toegankelijk standaardiseringsproject. Daarmee kunnen ook andere bedrijven compatibele kabels en modules bouwen. De stap bouwt voort op eerdere afspraken tussen Nvidia en Cisco om hun netwerktechniek, Spectrum-X en Silicon One, onderling compatibel te maken. Bedrijven, clouddiensten en overheden die eigen datacenters bouwen, moeten de techniek als eerste kunnen gebruiken zodra de specificatie klaar is. Een concrete marktintroductiedatum is nog niet bekendgemaakt.