AI & computing › Neuromorfe & fotonische chips
Linux werkt op Nvidia's AI-laptop, maar versleutelde firmware maakt hem vijf keer trager
Linux installeren op Nvidia's nieuwe RTX Spark-laptops kan, maar wie dat doet levert flink wat rekenkracht in. Zodra de laptop aan het stopcontact hangt, zakt de kloksnelheid van de grafische chip naar een fractie van wat Windows haalt. De oorzaak ligt niet bij Linux zelf, maar bij versleutelde besturingssoftware die alleen Windows kan ontsleutelen.
Nvidia's RTX Spark-platform zit in laptops van onder meer MSI, Asus en Dell, en is bedoeld voor ontwikkelaars die lokaal met kunstmatige intelligentie willen experimenteren. De chip is dezelfde als in de losstaande DGX Spark, een minicomputer die Nvidia eerder dit jaar lanceerde voor AI-ontwikkelaars. Het bijzondere aan deze laptops is het gedeelde geheugen: tot 128 gigabyte wordt verdeeld tussen de processor en de grafische chip, iets wat bij gewone laptops ongebruikelijk is. Dat maakt het mogelijk om relatief grote taalmodellen lokaal te draaien, zonder internetverbinding of dure cloudrekenkracht.
Installeren kan, maar met horden
De laptops draaien standaard op Windows voor ARM-processoren, een combinatie die pas sinds kort samenwerkt met Nvidia's CUDA-software voor AI-berekeningen. Omdat veel AI-gereedschap, zoals vLLM en SGLang, in de eerste plaats voor Linux is gebouwd, willen ontwikkelaars graag ook Linux op deze machines draaien. Dat blijkt lastiger dan gedacht. Een poging met de Linux-variant Omarchy liep vast op een knipperend beeldscherm tijdens het opstarten. Overstappen naar Debian loste dat op, maar die installatie herkende het wifi-netwerk, toetsenbord, touchpad en de grafische chip niet, waardoor een kabelverbinding via USB nodig was. Teruggaan naar Omarchy werkte uiteindelijk, omdat die Linux-versie Nvidia's open sourcestuurprogramma al ingebouwd had. Daarna moest ook het geheugen nog worden vrijgegeven: de laptop reserveert standaard 96 gigabyte voor de grafische chip, en die verdeling is alleen vanuit Windows aan te passen.
Vijf keer langzamer zodra de stekker erin gaat
Na een werkende installatie bleek de prestatiekloof enorm. Bij het testen van het taalmodel GPT-OSS-120B, een model met 120 miljard parameters, haalde Windows 65,4 tokens per seconde, de verwerkingssnelheid waarmee een AI-model tekst genereert. De Windows-functie WSL, die een Linux-omgeving binnen Windows laat draaien, kwam met 65,1 tokens per seconde bijna op gelijke hoogte. Linux rechtstreeks op de laptop haalde echter maar 13,9 tokens per seconde, ruim vijf keer minder. Bij een zwaardere test met meerdere gebruikers tegelijk was het verschil nog groter. Temperatuurmetingen tonen dat de chip niet overbelast raakt: hij bleef tussen de 40 en 47 graden, dus warmteoverlast is niet de verklaring.
De schuldige: een versleutelde stroomtabel
De echte oorzaak zit in een onderdeel dat in Windows bekendstaat als de Nvidia Platform Controllers and Framework. Dit stukje besturingssoftware verdeelt het beschikbare stroombudget tussen de processor en de grafische chip, iets wat bij een laptop nodig is omdat beide onderdelen stroom uit dezelfde accu of adapter trekken. Die software werkt met een tabel van instellingen die versleuteld is opgeslagen, en alleen het Windows-stuurprogramma heeft de sleutel om die tabel te lezen. Zonder die sleutel kan de Linux-driver de grafische chip niet naar volle snelheid laten draaien, wat verklaart waarom de kloksnelheid blijft steken op ongeveer 780 megahertz in plaats van de ruim 2 gigahertz die Windows haalt. Tot Nvidia deze logica ook in zijn Linux-stuurprogramma inbouwt, is WSL het meest praktische alternatief voor ontwikkelaars die toch Linux-gereedschap willen gebruiken zonder in te leveren op snelheid.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit voorval laat zien dat de software rond AI-chips net zo belangrijk is als de chips zelf: zonder de juiste stuurprogramma's blijft zelfs krachtige hardware onderbenut. Voor ontwikkelaars die lokaal AI-modellen willen draaien, betekent dit dat keuzevrijheid tussen besturingssystemen nog beperkt is. Pas als fabrikanten zoals Nvidia hun stuurprogramma's volledig openstellen voor Linux, kunnen gebruikers optimaal profiteren van krachtige AI-laptops, ongeacht het besturingssysteem.
- Unified memory (gedeeld geheugen)
- Geheugen dat door zowel de processor als de grafische chip gebruikt kan worden, in plaats van apart geheugen voor elk onderdeel.
- Tokens per seconde
- De snelheid waarmee een AI-taalmodel tekst genereert; hoe hoger het getal, hoe sneller de AI reageert.
- CUDA
- Nvidia's softwareplatform waarmee programma's gebruikmaken van de rekenkracht van een grafische chip, vooral voor AI-berekeningen.
- WSL (Windows Subsystem for Linux)
- Een functie in Windows waarmee gebruikers een Linux-omgeving draaien binnen hun Windows-installatie, zonder apart op te starten.
- Kloksnelheid (GPU-klok)
- De snelheid waarmee een grafische chip rekent, gemeten in megahertz of gigahertz; een hogere klok betekent meer rekenkracht per seconde.
- Firmware
- Vaste, laag-niveau besturingssoftware die rechtstreeks op hardware draait en bijvoorbeeld energieverdeling regelt.
- Dual-boot
- Een computer zo instellen dat er bij het opstarten gekozen kan worden tussen twee besturingssystemen, zoals Windows en Linux.
- Stuurprogramma (driver)
- Software die het besturingssysteem laat communiceren met hardware-onderdelen zoals een grafische chip.
- DGX Spark
- Een losstaande minicomputer van Nvidia, bedoeld voor AI-ontwikkelaars, met dezelfde chip als in de besproken laptops.
- GPT-OSS-120B
- Een open source taalmodel met 120 miljard parameters, gebruikt om de snelheid van AI-hardware te testen.
- vLLM
- Een softwarepakket waarmee AI-taalmodellen efficiënt op eigen hardware gedraaid kunnen worden.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
