Zo maken techbedrijven AI-chatbots sneller en goedkoper

Elke keer dat je een vraag stelt aan een chatbot zoals ChatGPT, moet een groot taalmodel razendsnel duizenden berekeningen uitvoeren. Dat kost rekenkracht, en dus geld. Bedrijven die deze modellen aanbieden aan andere partijen, zogeheten inference-providers, zoeken voortdurend naar manieren om dezelfde intelligentie sneller en goedkoper te leveren. Het Amerikaanse AI-infrastructuurbedrijf Baseten beschrijft in een technisch artikel welke ingrepen daarbij echt verschil maken, en welke vooral een kwestie van schuiven zijn.

Schuiven op een grens

Ingenieurs die AI-modellen laten draaien, jongleren voortdurend met twee grootheden: latency, de wachttijd tot een antwoord verschijnt, en throughput, hoeveel gebruikers een server tegelijk kan bedienen en dus hoe laag de kosten per antwoord uitvallen. Baseten noemt de best haalbare combinatie van snelheid en capaciteit bij een gegeven hoeveelheid rekenkracht de 'efficiënte grens'. Sommige technieken verschuiven alleen de balans tussen die twee grootheden. Andere technieken duwen de hele grens naar buiten, waardoor een systeem zowel sneller én goedkoper wordt — winst die je vervolgens naar eigen inzicht kunt verdelen.

Kiezen tussen snelheid en volume

De meest voor de hand liggende knop is de batchgrootte: het aantal verzoeken dat een server tegelijk verwerkt. Kleine batches geven gebruikers een snel antwoord, maar benutten dure GPU-chips slecht, wat de kosten per gegenereerd woord opdrijft. Grote batches doen het omgekeerde: iets tragere individuele antwoorden, maar veel meer output per chip. Ook de manier waarop een model over meerdere GPU's wordt verdeeld bepaalt de uitkomst. Sommige vormen van parallellisatie, zoals Tensor Parallellisme, verlagen vooral de wachttijd. Andere, zoals Expert Parallellisme, verhogen juist de doorvoer. Een derde techniek, kwantisatie, verlaagt de rekenprecisie van een model. Dat maakt het model zowel sneller als goedkoper, met als prijs een klein kwaliteitsverlies dat bij moderne rekenformaten vaak nauwelijks merkbaar is.

Structurele verbeteringen die iedereen ten goede komen

Interessanter zijn technieken die de hele efficiëntiegrens verleggen, zonder dat je iets hoeft in te leveren. Kernel-optimalisatie — het finetunen van de allerkleinste rekenstapjes die een chip uitvoert — levert winst op die zich door de hele keten heen optelt. Ook speculatief decoderen hoort in dit rijtje: het model raadt alvast welke woorden waarschijnlijk volgen en controleert die gok in één keer, in plaats van elk woord apart te berekenen. Vooral bij het genereren van programmeercode, waar de volgende regel vaak voorspelbaar is, levert dat grote snelheidswinst op. Een andere aanpak is het loskoppelen van de twee fases waarin een model werkt: eerst het 'lezen' van de vraag en daarna het genereren van het antwoord. Door deze prefill-decode disaggregatie op aparte chips te draaien, kunnen bedrijven elke fase apart optimaliseren voor de aard van het inkomende verkeer.

Volgens Baseten werken deze structurele verbeteringen het beste in combinatie met slimme geheugentechnieken zoals KV-cache-hergebruik en continuous batching, waarbij nieuwe verzoeken doorlopend worden toegevoegd aan een lopende verwerkingsstroom. Voor gebruikers blijft dit allemaal onzichtbaar. Maar het bepaalt wel hoeveel een AI-antwoord kost, hoe snel het verschijnt, en uiteindelijk hoe breed dit soort technologie inzetbaar wordt.