AI & computing › Neuromorfe & fotonische chips
Softwaretruc verdubbelt AI-snelheid van gewone Nvidia-videokaarten
Een open-source project op GitHub laat populaire Nvidia-videokaarten uit de RTX 3000-serie flink sneller rekenen aan AI-taken, zonder dat er iets aan de hardware verandert. Door een paar instellingen in de chip anders te zetten, verdubbelt de snelheid waarmee kaarten zoals de RTX 3090 en RTX 3080 FP16- en BF16-berekeningen verwerken, het rekenwerk dat AI-modellen gebruiken.
De ontdekking komt van de ontwikkelaar die bekend is onder de gebruikersnaam Zagitta en is vastgelegd in een project genaamd GPU-unlock. Het gaat om een kleine stukje software voor Linux, een zogeheten kernelmodule, die zich tussen het besturingssysteem en de officiële Nvidia-driver schuift. Vlak voordat de driver de videokaart overneemt, past de module twee interne instellingen aan die bepalen hoe snel de chip rekenwerk met FP16 en BF16 verwerkt. Dat zijn compactere manieren om getallen op te slaan die veel sneller rekenen dan de precieze FP32-variant, en die daarom veelvuldig worden gebruikt bij het trainen en gebruiken van AI-modellen.
Waarom zijn consumentenkaarten afgeremd?
Nvidia verkoopt dezelfde chips in verschillende uitvoeringen: goedkopere videokaarten voor gamers en dure professionele kaarten voor datacenters en AI-bedrijven. Softwarematig worden de rekeneenheden op de consumentenversies afgeremd, zodat bedrijven die serieus AI-rekenwerk willen doen gedwongen worden de veel duurdere professionele kaarten te kopen. De chips zelf zijn vaak identiek of bijna identiek. GPU-unlock zet die kunstmatige beperking ongedaan door de juiste registers, de zogeheten speed selectors, bij het opstarten op de volle snelheid te zetten.
Wat levert het in de praktijk op?
De resultaten zijn aanzienlijk. Bij een RTX 3090 Ti steeg de BF16-rekenkracht in een test van 87,5 naar 157,4 teraflops, bijna een verdubbeling. Een teraflop staat voor duizend miljard rekenbewerkingen per seconde, een gangbare maatstaf voor chipprestaties. Ook de RTX 3090, RTX 3080 en RTX 3070 lieten verbeteringen zien tussen de 25 en 80 procent, afhankelijk van het stroomverbruik waarop de kaart is ingesteld. Gebruikers die de truc al testten, zagen vooral winst bij taken die veel matrixrekenwerk vereisen: het voorbereiden van tekst voor taalmodellen (14 tot 36 procent sneller) en beeldgeneratie met diffusiemodellen. Het daadwerkelijk genereren van tekst door taalmodellen werd niet sneller, omdat dat proces vooral wordt beperkt door het geheugen van de kaart en niet door de rekenkracht. Belangrijk: de uitkomsten van de berekeningen blijven exact hetzelfde voor en na de aanpassing, er gaat dus geen nauwkeurigheid verloren.
Niet zonder risico
De module werkt alleen op Linux en vereist dat gebruikers een commando aan hun opstartinstellingen toevoegen. Omdat de truc buiten de officiële driver om werkt, is het onduidelijk of Nvidia dit in toekomstige drivers zal blokkeren. Ook valt de garantie mogelijk weg bij gebruik, en vraagt de hogere rekensnelheid meer stroom en koeling van de kaart. Voor thuisgebruikers die zelf met AI-modellen experimenteren, kan de truc wel een goedkoop alternatief zijn voor een dure professionele kaart.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Deze ontdekking laat zien dat de kunstmatige grens tussen goedkope en dure AI-hardware softwarematig is, niet puur technisch. Als zulke trucs vaker opduiken, kan dat de toegang tot betaalbaar AI-rekenwerk voor particulieren en kleine bedrijven vergroten, maar het kan chipmakers ook aanzetten tot strengere beveiliging van hun hardware.
- FP16 / BF16
- Compacte manieren om getallen op te slaan en te verwerken, die minder nauwkeurig zijn dan FP32 maar veel sneller rekenen. Ze worden veel gebruikt bij AI-berekeningen.
- FP32
- Een nauwkeurigere, maar tragere manier om getallen te verwerken, vaak gebruikt als referentie voor rekennauwkeurigheid.
- TFLOPS
- Teraflops: een maatstaf voor rekenkracht die aangeeft hoeveel duizend miljard rekenbewerkingen een chip per seconde kan uitvoeren.
- Kernelmodule
- Een stukje software dat diep in het besturingssysteem draait en rechtstreeks met hardware kan communiceren, nog voordat gewone programma's of drivers actief worden.
- Driver
- Software van de fabrikant die het besturingssysteem laat communiceren met een hardwareonderdeel, in dit geval de videokaart.
- Speed selectors
- Interne instellingen in de chip die bepalen hoe snel bepaalde rekeneenheden mogen werken.
- GEMM
- Een veelgebruikte rekenbewerking met matrices (rijen en kolommen getallen) die de basis vormt van veel AI-berekeningen.
- GPU-segmentatie
- De praktijk waarbij fabrikanten vergelijkbare chips softwarematig beperken om ze als goedkopere of duurdere producten te verkopen.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
