Gedistribueerde inferentie: hoe je een AI-model verdeelt over meerdere computers

Bijgewerkt: 3 september 2026 · 5 min leestijd

Stel je een encyclopedie voor die zo dik is dat één persoon hem niet kan optillen. De oplossing is simpel: je verdeelt de delen over meerdere mensen, die om de beurt hun stuk doorgeven zodra iemand een vraag stelt. Zoiets gebeurt er bij gedistribueerde inferentie: een groot AI-model wordt opgeknipt in stukken die over meerdere computers of rekenchips worden verspreid, zodat ze samen één antwoord produceren. "Inferentie" is het moment waarop een al getraind AI-model daadwerkelijk gebruikt wordt om een vraag te beantwoorden, een tekst te genereren of een afbeelding te herkennen — in tegenstelling tot "training", de fase waarin het model nog leert.

Grote taalmodellen zoals die achter ChatGPT of Claude zijn zo omvangrijk dat ze domweg niet passen in het geheugen van één enkele chip. Zo'n model bestaat uit honderden miljarden parameters — de getallen die bepalen hoe het model reageert — en die moeten allemaal in het razendsnelle geheugen van een grafische chip (GPU) staan om bruikbaar te zijn. Past het niet op één chip, dan is er maar één oplossing: het werk verdelen over meerdere chips die intensief met elkaar communiceren. Dat verdelen, coördineren en weer samenvoegen van het rekenwerk is precies wat gedistribueerde inferentie inhoudt.

Wat is het precies?

Een neuraal netwerk — de wiskundige structuur achter een AI-model — bestaat uit lagen die na elkaar worden doorlopen, elk met eigen berekeningen. Om zo'n netwerk te verdelen, bestaan er grofweg drie technieken.

Bij pipeline-parallellisme krijgt elke computer een blok van opeenvolgende lagen toegewezen. De invoer stroomt van de ene machine naar de volgende, zoals een lopende band in een fabriek waar elk station een deel van het product afmaakt. Dit werkt ook redelijk als de verbinding tussen de machines niet supersnel is, omdat er maar op een paar momenten data hoeft te worden doorgegeven.

Bij tensor-parallellisme wordt zelfs één enkele laag opgesplitst: de berekening binnenin een laag wordt verdeeld over meerdere chips die tegelijk een deel van de som doen en de tussenresultaten voortdurend met elkaar uitwisselen. Dit levert veel snelheidswinst op, maar vereist een extreem snelle verbinding tussen de chips — meestal gespecialiseerde bekabeling zoals NVIDIA's NVLink, binnen één serverkast.

Een derde vorm is expert-parallellisme, gebruikt bij zogeheten "mixture-of-experts"-modellen. Zulke modellen bevatten meerdere gespecialiseerde deelnetwerken ("experts") waarvan er per vraag maar een paar worden geactiveerd. Elke expert kan op een aparte chip staan, en het systeem stuurt elke vraag automatisch naar de juiste combinatie van experts.

Er bestaat ook een meer experimentele, internetbrede variant: computers van gewone gebruikers, verspreid over de wereld, dragen elk een klein stukje van het model bij, vergelijkbaar met vrijwilligersprojecten die rekenkracht doneren aan wetenschappelijk onderzoek. Omdat internetverbindingen trager en onbetrouwbaarder zijn dan de bekabeling binnen een datacenter, is dit vooral geschikt voor de pipeline-aanpak, die minder gevoelig is voor vertraging.

Wat wil men ermee bereiken?

De eerste en dwingendste reden is puur praktisch: sommige modellen zijn simpelweg te groot voor één chip, dus zonder verdeling draaien ze niet. Maar er spelen ook bredere doelen mee.

Ten eerste kosten-efficiëntie: door rekenwerk slim te verdelen, blijven dure GPU's beter bezet en kunnen aanbieders meer vragen per seconde verwerken tegen lagere kosten per antwoord. Ten tweede toegankelijkheid: als losse, goedkopere machines samen een groot model kunnen draaien, hoeft niet iedereen een miljoenen kostend datacenter te bezitten om met de grootste modellen te kunnen werken. Onderzoekers en kleinere bedrijven zonder eigen supercomputer krijgen zo toch toegang.

Een derde motivatie is minder afhankelijkheid van enkele techreuzen: gedistribueerde en gedecentraliseerde inferentie-projecten willen aantonen dat krachtige AI niet per se in de handen van een handvol bedrijven met megadatacenters hoeft te blijven. Tot slot spelen latency (reactietijd) en schaal een rol: door slim te verdelen over regio's kunnen antwoorden dichter bij de gebruiker worden gegenereerd.

Voorbeelden uit de praktijk

Petals (vanaf 2022) is een onderzoeksproject, mede ontstaan uit de BigScience-onderzoeksgemeenschap en het Russische Yandex Research/HSE University, waarbij vrijwilligers hun eigen computer een klein deel van een groot taalmodel (destijds het 176 miljard parameters tellende BLOOM) laten hosten. Samen vormen al die computers via internet een keten die het volledige model kan laten draaien, vergelijkbaar met het al genoemde vrijwilligersprincipe.

exo is een recenter, open source project waarmee gebruikers alledaagse apparaten — laptops, Mac mini's, zelfs telefoons — in het eigen huis of netwerk aan elkaar koppelen tot een mini-cluster dat samen een groot taalmodel lokaal kan draaien, zonder cloud-dienst.

NVIDIA TensorRT-LLM en Triton Inference Server zijn sinds 2023 veelgebruikte softwarepakketten waarmee bedrijven grote modellen over meerdere GPU's en zelfs meerdere servers tegelijk laten draaien; ze vormen de ruggengraat van veel commerciële AI-diensten in datacenters.

DeepSpeed, ontwikkeld door Microsoft Research, biedt sinds ongeveer 2021 bibliotheken voor zowel gedistribueerde training als inferentie en wordt breed gebruikt in onderzoek en industrie om modellen te versnellen die niet op één chip passen.

Mixture-of-experts-modellen zoals Mixtral 8x7B (Mistral AI, eind 2023) en de latere DeepSeek-modellen tonen hoe expert-parallellisme in de praktijk wordt ingezet: verschillende experts draaien op verschillende chips, en alleen de relevante experts worden per vraag aangesproken.

Hoe ver is de techniek?

Binnen datacenters is gedistribueerde inferentie geen experiment meer maar staande praktijk: elk bedrijf dat een model met tientallen tot honderden miljarden parameters aanbiedt, gebruikt noodgedwongen een vorm van tensor-, pipeline- of expert-parallellisme. De software hiervoor (TensorRT-LLM, vLLM, DeepSpeed en vergelijkbare projecten) is volwassen en wordt continu verbeterd.

De internetbrede, gedecentraliseerde variant — waarbij onbekende vrijwilligers via gewone internetverbindingen samen een model draaien — staat veel minder ver. Projecten als Petals en exo tonen aan dát het kan, maar de snelheid blijft ver achter bij wat een goed uitgerust datacenter haalt, onder meer door trage en wisselende internetverbindingen, ongelijksoortige apparatuur van deelnemers, en het risico dat een deelnemer onbetrouwbare of zelfs kwaadwillige resultaten teruggeeft. Dat laatste — vertrouwen tussen onbekende partijen — is een nog grotendeels onopgelost probleem in dit soort open netwerken.

Een andere ontwikkeling om in de gaten te houden is dat modellen zelf steeds vaker zó ontworpen worden dat ze van nature goed te verdelen zijn, zoals de genoemde mixture-of-experts-architecturen. Dat maakt gedistribueerde inferentie makkelijker, maar lost de netwerk- en vertrouwensproblemen van volledig gedecentraliseerde varianten niet op. Kortom: in de datacentervorm is de techniek volwassen, in de vrijwillige internetvorm is ze nog experimenteel en vooral interessant voor hobbyisten en onderzoekers.

Wie werken eraan?

Chipmaker NVIDIA speelt een sleutelrol dankzij zowel de hardware (snelle verbindingen tussen chips) als software zoals TensorRT-LLM en Triton. Microsoft Research ontwikkelt DeepSpeed, en grote clouddienstverleners zoals Google (met eigen TPU-rekenclusters) en Amazon bouwen vergelijkbare interne systemen om hun AI-diensten te laten draaien.

Academisch gezien komt veel baanbrekend werk van universiteiten: UC Berkeley ontwikkelde het populaire open source vLLM, terwijl het internationale BigScience-onderzoeksinitiatief en Russische onderzoeksgroepen (Yandex Research, HSE University) aan de basis van Petals stonden. Kleinere, gespecialiseerde teams zoals exo richten zich juist op het toegankelijk maken van gedistribueerde inferentie voor gewone gebruikers thuis. Ook AI-labs als Mistral AI (Frankrijk) en DeepSeek (China) dragen bij door modellen te ontwerpen die van nature geschikt zijn voor verdeling over meerdere chips.