Expertparallellisme: hoe AI-modellen werk slim verdelen over gespecialiseerde onderdelen

Stel je een groot ziekenhuis voor met honderden specialisten: cardiologen, neurologen, orthopeden, noem maar op. Als een patiënt binnenkomt, wordt die niet door alle artsen tegelijk onderzocht. Een triagearts kijkt naar de klacht en stuurt de patiënt door naar de twee of drie specialisten die er echt toe doen. Zo blijft de zorg snel en betaalbaar, terwijl het ziekenhuis als geheel toch expertise in huis heeft voor bijna elke aandoening.

Grote taalmodellen zoals die achter chatbots werken tegenwoordig vaak volgens hetzelfde principe. In plaats van één enorm brein dat voor elk woord al zijn kennis moet doorzoeken, bestaan ze uit veel kleinere "experts" en een routeringsmechanisme dat per stukje tekst kiest welke paar experts aan de slag gaan. Omdat die experts vaak te groot zijn om op één rekenchip te passen, moeten ze worden verdeeld over meerdere chips die onderling gegevens uitwisselen. Die verdeling en de communicatie die daarbij hoort, heet expertparallellisme.

Wat is het precies?

Expertparallellisme is een techniek uit de wereld van mixture-of-experts-modellen (MoE), een architectuur voor neurale netwerken. In een gewoon ("dicht") neuraal netwerk wordt elk stukje invoer, bijvoorbeeld een woorddeel of token, door alle rekenlagen van het model gestuurd. Bij een MoE-model wordt een laag vervangen door een verzameling van tientallen tot honderden kleinere subnetwerken, de experts genoemd, plus een klein "routeringsnetwerk" (ook wel gate of router) dat beslist welke één of twee experts een gegeven token mogen verwerken.

Omdat maar een klein deel van het model per token actief is, spreekt men van een sparse (ijl of dunbezet) model: het totale aantal parameters (de instelbare gewichten die het model zijn kennis geven) kan enorm zijn, terwijl de rekenkosten per token laag blijven.

Dat brengt een praktisch probleem met zich mee. Een model met honderden miljarden parameters past niet in het geheugen van één grafische rekenchip (GPU). De oplossing is de experts te verspreiden over tientallen of honderden GPU's: elke chip bewaart en berekent slechts een deel van de experts. Wanneer een token ergens op chip A moet worden verwerkt door een expert die op chip B staat, wordt het token via het netwerk naar chip B gestuurd, daar verwerkt, en het resultaat weer teruggestuurd. Dit noemen ingenieurs een "all-to-all"-communicatiepatroon, omdat elke chip in principe met elke andere chip tokens kan uitwisselen.

Expertparallellisme is dus feitelijk niets meer dan: experts uitsplitsen over meerdere rekeneenheden, en zorgen dat tokens efficiënt naar de juiste expert reizen en weer terugkomen. Het staat naast andere parallellisatievormen zoals data­parallellisme (dezelfde kopie van het model op meerdere chips, elk met andere trainingsdata) en tensor- of pijplijnparallellisme (één laag of één rekenkundige bewerking opknippen over meerdere chips). In de praktijk worden deze technieken vaak gecombineerd tot een hybride opzet, omdat geen enkele methode alleen voldoende is om de allergrootste modellen te trainen.

Wat wil men ermee bereiken?

Het achterliggende doel is simpel te formuleren: meer kennis en capaciteit in een model stoppen zonder de rekenkosten evenredig te laten meestijgen. Onderzoek laat al jaren zien dat grotere modellen doorgaans beter presteren, maar elke extra laag parameters kost ook meer rekentijd en energie als alles "dicht" (dus altijd volledig actief) blijft.

Met een mixture-of-experts-aanpak kan een model bijvoorbeeld honderden miljarden parameters bevatten, terwijl er voor elk afzonderlijk token maar een fractie daarvan, soms minder dan tien procent, daadwerkelijk wordt gebruikt. Dat scheelt fors in rekenkosten tijdens zowel training als het beantwoorden van vragen (inferentie), bij een vergelijkbare kwaliteit als een even grote dichte variant.

Een tweede motivatie is specialisatie: in theorie kunnen verschillende experts zich toespitsen op verschillende soorten taken, talen of onderwerpen, wat het model in staat zou moeten stellen bredere kennis op te slaan zonder dat elk onderdeel alles hoeft te "weten". In de praktijk blijkt die specialisatie overigens vaak minder scherp afgebakend dan de analogie met menselijke experts doet vermoeden; onderzoekers zien eerder ruwe patronen dan strikte taakverdeling.

Voorbeelden uit de praktijk

Het idee van sparse mixture-of-experts-lagen in neurale netwerken werd in 2017 geïntroduceerd door onderzoekers van Google in het artikel Outrageously Large Neural Networks. Daarna volgden concrete systemen die het idee op grote schaal toepasten.

GShard (Google, 2020) combineerde MoE-lagen met expertparallellisme over duizenden TPU-rekeneenheden (Google's eigen AI-chips) om een vertaalmodel te trainen met honderden miljarden parameters, en toonde aan dat de aanpak op die schaal daadwerkelijk werkte.

Switch Transformer (Google, 2021) vereenvoudigde de routering door elk token naar precies één expert te sturen in plaats van meerdere, en schaalde door naar modellen met naar verluidt meer dan een biljoen parameters, met als doel te laten zien dat eenvoudigere routering de training stabieler en efficiënter kon maken.

Mixtral 8x7B (Mistral AI, eind 2023) was een van de eerste vrij te downloaden MoE-modellen die aantoonde dat de aanpak ook buiten de grote techbedrijven haalbaar was: het model bevat acht experts per laag waarvan er per token twee worden geactiveerd, met een totaal aantal parameters van enkele tientallen miljarden maar aanzienlijk minder actieve parameters per token.

DBRX (Databricks, begin 2024) en Grok-1 (xAI, 2024) volgden met eigen MoE-architecturen, elk met een eigen indeling van het aantal experts en de routeringsstrategie.

DeepSeek-V3 (DeepSeek, eind 2024) ging nog een stap verder met een fijnmazige MoE-opzet: veel kleinere experts per laag, waarvan er telkens een beperkt aantal wordt geactiveerd, gecombineerd met een nieuwe manier om de belasting over experts te verdelen zonder de trainingsdoelfunctie daarvoor extra te belasten. Het model trok internationaal aandacht vanwege de combinatie van grote schaal en relatief lage gerapporteerde trainingskosten. Exacte parametercijfers en trainingskosten van dit soort modellen zijn overigens vaak lastig onafhankelijk te verifiëren, omdat bedrijven zelf rapporteren en niet altijd alle details openbaar maken.

Hoe ver is de techniek?

Expertparallellisme is inmiddels geen experimenteel labconcept meer, maar een gangbaar onderdeel van de gereedschapskist voor het bouwen van de allergrootste taalmodellen. Meerdere toonaangevende commerciële en open modellen gebruiken vandaag een mixture-of-experts-architectuur, al maken lang niet alle aanbieders openbaar of hun modellen op deze manier zijn gebouwd. Over sommige bekende gesloten modellen, zoals GPT-4 van OpenAI, doen al langere tijd geruchten de ronde dat ze een MoE-architectuur gebruiken, maar OpenAI heeft dit zelf nooit officieel bevestigd; dit blijft dus onzeker.

Toch blijven er stevige technische obstakels. Het grootste is load balancing: als de router systematisch meer tokens naar een paar populaire experts stuurt, raken die experts overbelast terwijl andere nauwelijks worden gebruikt, wat de training destabiliseert en rekenkracht verspilt. Onderzoekers gebruiken hiervoor verschillende technieken, van extra "straftermen" in de trainingsdoelfunctie tot dynamische bijstelling zonder zo'n extra term, zoals bij DeepSeek-V3.

Een tweede obstakel is de netwerkcommunicatie zelf: het all-to-all-verkeer tussen chips kan een knelpunt worden, zeker wanneer experts over meerdere fysieke servers of zelfs datacenters verspreid zijn en de verbindingen daartussen minder snel zijn dan de verbindingen binnen één machine. Ook bij het daadwerkelijk gebruiken van een getraind model (inferentie) blijft een addertje onder het gras: alle experts moeten in het geheugen beschikbaar blijven, ook al wordt er per token maar een klein deel gebruikt, wat MoE-modellen geheugenintensief maakt ondanks hun rekenefficiëntie. Softwareframeworks voor het serveren van dit soort modellen zijn de afgelopen jaren wel duidelijk volwassener geworden.

Wie werken eraan?

Google was met onderzoek als GShard, Switch Transformer en GLaM een van de vroege drijvende krachten achter grootschalig gebruik van expertparallellisme, uitgevoerd op zijn eigen TPU-infrastructuur. Microsoft ontwikkelde met DeepSpeed-MoE en de bibliotheek Tutel gereedschap om MoE-training en -inferentie efficiënter te maken, en NVIDIA ondersteunt expertparallellisme in zijn Megatron-LM-softwarestack voor training op GPU-clusters.

Onder de nieuwere spelers vallen Mistral AI (Frankrijk, met Mixtral), xAI (Verenigde Staten, met Grok), Databricks (Verenigde Staten, met DBRX) en het Chinese DeepSeek, dat met zijn V3- en latere modellen internationaal veel aandacht kreeg voor de schaal en efficiëntie van zijn MoE-aanpak. Ook Alibaba brengt met zijn Qwen-modellenfamilie MoE-varianten uit. Daarnaast blijft er actief academisch onderzoek lopen, onder meer aan Amerikaanse en Europese universiteiten, naar betere routeringsstrategieën, efficiëntere communicatiepatronen en manieren om de belasting over experts eerlijker te verdelen.

Verder lezen

• arXiv — open preprint-archief waar de meeste onderliggende onderzoekspapers over mixture-of-experts en expertparallellisme zijn gepubliceerd
• Google Research — overzicht van Google's onderzoek, waaronder GShard, Switch Transformer en GLaM
• Mistral AI — officiële site van de makers van het open MoE-model Mixtral
• DeepSpeed (Microsoft) — documentatie van de trainingsbibliotheek met ondersteuning voor expertparallellisme
• Hugging Face — platform met modellen, code en uitleg over mixture-of-experts-architecturen