vLLM: de motor die AI-chatbots sneller en goedkoper maakt

Grote taalmodellen zoals die achter ChatGPT of Claude draaien niet zomaar op een laptop. Ze hebben clusters van dure grafische chips (GPU's) nodig, en elke seconde rekentijd kost geld. Hoe efficiënter een bedrijf die GPU's benut, hoe goedkoper en sneller het zijn AI-dienst kan aanbieden. Daar komt vLLM in beeld: een open-source softwaresysteem dat is uitgegroeid tot een van de populairste manieren om large language models op schaal te draaien. Techneut Aleksa Gordić dook in de broncode en beschrijft in detail hoe het systeem onder de motorkap werkt.

Het geheugenprobleem van AI-modellen

Een taalmodel genereert tekst woord voor woord, of eigenlijk token voor token. Voor elk token dat het produceert, moet het model tussentijdse rekenresultaten onthouden in het geheugen van de GPU, de zogeheten KV-cache. Bij lange gesprekken of meerdere gebruikers tegelijk loopt dat geheugengebruik snel op. Vroeger reserveerden systemen voor elk gesprek alvast een groot blok geheugen, ook als dat grotendeels leeg bleef. Dat verspilde kostbare GPU-capaciteit.

vLLM lost dit op met een techniek die de onderzoekers paged attention noemen, geïnspireerd op hoe besturingssystemen van computers hun werkgeheugen indelen in kleine, herbruikbare blokjes. In plaats van één groot blok per gebruiker te reserveren, knipt vLLM het geheugen op in stukjes van bijvoorbeeld zestien tokens. Die stukjes worden pas aangemaakt zodra ze nodig zijn en direct weer vrijgegeven zodra een gesprek stopt. Daardoor past een server veel meer gelijktijdige gebruikers in hetzelfde geheugen.

Nooit stilstaan: continu nieuwe verzoeken invoegen

Een tweede pijler is continuous batching. Traditionele systemen verwerkten verzoeken in vaste groepen: pas als een hele groep klaar was, mocht er een nieuwe groep starten. Dat betekent dat een GPU soms wacht tot de langzaamste gebruiker in een groep klaar is, terwijl de rest allang een antwoord heeft. vLLM voegt in plaats daarvan na elke rekenstap direct nieuwe verzoeken toe aan de lopende berekening. Zo blijft de GPU vrijwel continu volledig belast, zonder wachttijd.

Achter dit alles zit een planner, de scheduler, die per rekenstap bepaalt welke gebruikersverzoeken aan de beurt zijn. Die planner houdt bij welke gesprekken nog moeten beginnen (prefill, het verwerken van de oorspronkelijke vraag) en welke al bezig zijn met het genereren van een antwoord (decode). Voor extra snelheid legt vLLM veelgebruikte rekenpatronen ook vast in zogeheten CUDA-graphs: kant-en-klare routes door de GPU-chip die herhaald worden afgespeeld, zodat de chip minder tijd kwijt is aan het opstarten van nieuwe rekenopdrachten.

Waarom dit ertoe doet

Dit soort optimalisaties klinkt technisch, maar heeft directe gevolgen voor de gebruiker: snellere antwoorden en lagere kosten per vraag. Voor AI-bedrijven die miljoenen verzoeken per dag verwerken, kan een efficiëntere inzet van GPU's het verschil maken tussen winst en verlies. Gordić benadrukt dat dit artikel nog maar het topje van de ijsberg is: vervolgstukken gaan dieper in op technieken als speculatief decoderen en het opschalen naar honderden GPU's tegelijk.