Model swapping: hoe AI-systemen wisselen tussen honderden gespecialiseerde modellen
Stel je een bibliothecaris voor met een piepklein bureau: er passen maar een paar boeken tegelijk op. Wil een lezer een ander boek, dan moet de bibliothecaris eerst het huidige boek terugleggen in het magazijn voordat het nieuwe erbij kan. Iets vergelijkbaars speelt zich af in kunstmatige intelligentie (AI). Grote AI-modellen, zoals taalmodellen of beeldgenerators, hebben razendsnel maar kostbaar werkgeheugen nodig om te kunnen rekenen: het geheugen van een grafische kaart, ook wel VRAM genoemd. Dat geheugen is duur en beperkt, en er passen meestal niet meer dan een paar modellen tegelijk in. Model swapping is de techniek waarmee een computersysteem dat schaarse geheugen slim deelt: het laadt een model pas op het moment dat het nodig is, en verwijdert het weer zodra een ander model aan de beurt is.
Denk aan een chatapp die tientallen gespecialiseerde AI-assistenten aanbiedt: een die goed is in belastingvragen, een ander gespecialiseerd in programmeren, weer een ander getraind op medisch taalgebruik. Het zou onbetaalbaar zijn om voor elk van die modellen een eigen grafische kaart aan te houden, zeker omdat de meeste het grootste deel van de dag stilzitten. Met model swapping staan er op de achtergrond steeds maar een paar modellen "actief" in het geheugen, terwijl de rest klaarstaat om binnen een fractie van een seconde tot enkele seconden te worden ingeladen zodra iemand erom vraagt.
Wat is het precies?
Een AI-model bestaat in de kern uit miljoenen tot miljarden getallen, de zogeheten gewichten of parameters, die samen bepalen hoe het model reageert op een vraag. Om een model daadwerkelijk te gebruiken -dat heet inference- moeten al die gewichten in het snelle werkgeheugen van een processor staan. Voor de zwaarste modellen is dat vrijwel altijd een grafische kaart (GPU), omdat die duizenden berekeningen tegelijk kan uitvoeren. Het geheugen op zo'n kaart, VRAM, is echter schaars: een krachtige AI-GPU heeft doorgaans tussen de 24 en 80 gigabyte, terwijl één groot taalmodel al tientallen gigabytes kan innemen.
Komt er een verzoek binnen voor een model dat op dat moment niet in het geheugen staat, dan moet het systeem eerst plaats maken. Meestal kiest het daarvoor het model dat het langst niet gebruikt is -een methode die bekendstaat als "least recently used"- en verwijdert dat uit het geheugen. Vervolgens worden de gewichten van het gevraagde model vanaf de harde schijf of over het netwerk ingeladen. Die stap heet een cold start en kan, afhankelijk van modelgrootte en hardware, van enkele honderden milliseconden tot tientallen seconden duren. Pas daarna kan het model daadwerkelijk antwoord geven.
Er bestaat ook een snellere variant, populair bij taal- en beeldmodellen. In plaats van een heel model te wisselen, houdt het systeem één groot "basismodel" permanent in het geheugen en wisselt het alleen een klein, los onderdeel: een LoRA-adapter (Low-Rank Adaptation). Dat is een compacte set extra gewichten, vaak maar enkele megabytes groot, die het gedrag van het basismodel bijstuurt richting een specifieke taak of stijl. Omdat zo'n adapter zoveel kleiner is dan een heel model, kost het wisselen ervan nauwelijks tijd, waardoor een systeem binnen milliseconden kan overschakelen tussen tientallen of zelfs duizenden "varianten" van hetzelfde basismodel.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is kostenefficiëntie. AI-GPU's behoren tot de duurste en meest schaarse computerchips ter wereld. Door meerdere modellen dezelfde kaart te laten delen, hoeft een bedrijf niet voor elk model apart dure hardware aan te schaffen die het grootste deel van de tijd ongebruikt blijft.
Daarnaast maakt model swapping personalisatie op grote schaal mogelijk. Steeds meer bedrijven bieden op maat gemaakte AI-modellen aan hun klanten, bijvoorbeeld een taalmodel dat is fijngetuned op het jargon van één specifiek bedrijf. Zonder een manier om zulke varianten efficiënt te delen, zou het bedienen van elke klant een eigen, dure GPU vereisen. Met vooral LoRA-swapping kan één basismodel tegelijk duizenden van dit soort persoonlijke varianten bedienen.
Tot slot speelt model swapping een rol op kleinere schaal: op laptops, telefoons en andere apparaten met beperkt geheugen, ook wel "edge"-apparaten genoemd. Ook daar wil men soms meerdere gespecialiseerde modellen beschikbaar hebben -bijvoorbeeld voor tekst, beeld en spraak- zonder dat al die modellen tegelijk het beperkte geheugen opeisen.
Voorbeelden uit de praktijk
De techniek is inmiddels terug te vinden in verschillende bekende open source projecten en onderzoekswerk:
- Ollama (sinds 2023): een populair open source programma waarmee gebruikers taalmodellen lokaal op hun eigen computer draaien. Ollama laadt een model automatisch in het geheugen zodra er een verzoek binnenkomt, en verwijdert het weer na een instelbare periode van inactiviteit, standaard enkele minuten.
- NVIDIA Triton Inference Server (open source sinds ongeveer 2018-2019, destijds onder de naam TensorRT Inference Server): serversoftware die bedrijven gebruiken om AI-modellen in productie aan te bieden. Triton bevat een "model repository" en beheerfunctionaliteit waarmee modellen dynamisch geladen en weer verwijderd kunnen worden.
- S-LoRA (onderzoekspaper uit 2023, van onderzoekers verbonden aan onder meer UC Berkeley): een systeem dat laat zien hoe duizenden LoRA-adapters tegelijk op één gedeeld basismodel bediend kunnen worden, door het geheugen voor die adapters efficiënt te beheren.
- vLLM (ontstaan bij UC Berkeley in 2023): een veelgebruikte open source inference-server, bekend van de "PagedAttention"-techniek voor efficiënt geheugengebruik, die later is uitgebreid met ondersteuning voor het gelijktijdig bedienen van meerdere LoRA-adapters.
- AUTOMATIC1111's Stable Diffusion WebUI en ComfyUI (populaire open source tools sinds respectievelijk 2022 en 2023): programma's waarmee gebruikers op hun eigen computer snel kunnen wisselen tussen verschillende beeldgeneratiemodellen, ook wel "checkpoints" genoemd.
Hoe ver is de techniek?
Basale model swapping, zoals in Ollama en Triton, is inmiddels praktijkrijp en wordt op grote schaal in productieomgevingen gebruikt. Het idee zelf -geheugen delen tussen taken die niet allemaal tegelijk actief zijn- is bovendien niet nieuw; besturingssystemen passen soortgelijke trucs al decennialang toe met bijvoorbeeld werkgeheugen en de harde schijf.
Geavanceerdere vormen, zoals het razendsnel wisselen tussen duizenden LoRA-adapters, zijn recenter en bewegen zich nog tussen onderzoek en productie in. Sinds de publicatie van S-LoRA en vergelijkbaar werk in 2023 hebben verschillende inference-servers, waaronder vLLM, deze mogelijkheden overgenomen en verder verfijnd, maar de techniek verandert nog regelmatig en er is geen vaste industriestandaard.
Een aantal obstakels blijft bestaan. Het laden van modelgewichten kost tijd, wat leidt tot merkbare vertraging (latency) bij een cold start; voor toepassingen waarbij elke seconde telt, is dat een reëel probleem. Ook kan het geheugen na veel wisselingen gefragmenteerd raken, waardoor het lastiger wordt om grote, aaneengesloten blokken vrij te maken. Bij veel gelijktijdige gebruikers wordt bovendien de planning (scheduling) complex: het systeem moet voortdurend afwegen welk model op welk moment in het geheugen hoort te staan. Kortom, model swapping is een compromis tussen geheugenbesparing en reactiesnelheid, en de juiste balans hangt sterk af van de toepassing.
Wie werken eraan?
NVIDIA speelt een centrale rol via Triton Inference Server en de bijbehorende GPU-hardware, waarop het grootste deel van de industrie draait. Aan de onderzoekskant is UC Berkeley -met name onderzoeksgroepen rond het voormalige RISELab, tegenwoordig bekend als het Sky Computing Lab- nauw verbonden aan projecten als vLLM en S-LoRA. Ollama ontwikkelt als los project en bedrijf gereedschap voor lokaal gebruik, terwijl Hugging Face als groot open source platform voor AI-modellen en -tools eigen inference-software aanbiedt en aanpalend onderzoek ondersteunt. Daarnaast passen grote cloudaanbieders zoals Amazon (AWS), Google Cloud en Microsoft Azure vergelijkbare technieken intern toe om hun AI-diensten kostenefficiënt te kunnen aanbieden aan grote aantallen klanten, al maken deze bedrijven doorgaans weinig details van hun interne implementaties openbaar.