Mixture of Experts: hoe AI-modellen groter worden zonder trager te worden

Bijgewerkt: 5 augustus 2026 · 6 min leestijd

Stel je een ziekenhuis voor waar niet één alwetende arts alle patiënten behandelt, maar waar een team van specialisten klaarstaat: een cardioloog, een neuroloog, een orthopeed. Bij binnenkomst kijkt een verpleegkundige aan de balie snel naar de klachten en stuurt de patiënt door naar de één of twee specialisten die nodig zijn. De rest van het team blijft rustig zitten. Dat scheelt tijd en houdt iedereen scherp in zijn eigen vakgebied.

Mixture of experts (letterlijk: mengsel van experts, vaak afgekort tot MoE) is een vergelijkbaar ontwerpprincipe voor kunstmatige intelligentie. In plaats van één enorm neuraal netwerk dat voor elke vraag zijn volledige rekenkracht inzet, bestaat een MoE-model uit veel kleinere deelnetwerken — de 'experts' — plus een soort digitale verpleegkundige die per taak beslist welke paar experts worden ingeschakeld. Het resultaat is een model dat op papier gigantisch is, maar per vraag maar een fractie van zichzelf gebruikt. Dat maakt het mogelijk om AI-modellen te laten groeien zonder dat de rekenkosten in dezelfde mate meestijgen.

Wat is het precies?

Een modern taalmodel bestaat uit tientallen lagen die tekst stap voor stap verwerken. In een gewoon ('dicht') model bevat elke laag één groot blok rekenwerk, een zogeheten feed-forward netwerk, dat voor élk woord in de tekst wordt geactiveerd. Bij een MoE-model wordt dat ene blok vervangen door bijvoorbeeld acht of zestien kleinere blokken — de experts — die naast elkaar bestaan.

Vóór elk woord bepaalt een klein hulpnetwerkje, de router of gating network, welke experts het meest geschikt zijn. Meestal worden er maar één of twee van de acht (of meer) experts geactiveerd; de rest blijft inactief voor dat specifieke woord. Dit heet sparse activation (schaarse activering): van het totale aantal parameters — de instelbare 'knopjes' van het model — wordt er maar een klein deel daadwerkelijk gebruikt per berekening.

Het slimme zit in de combinatie van twee dingen. Het totale aantal parameters kan enorm zijn, wat het model in staat stelt veel verschillende soorten kennis en patronen op te slaan — sommige experts worden bijvoorbeeld beter in grammatica, andere in rekenkundige taal of programmeercode, al is die specialisatie in de praktijk minder scherp afgebakend dan het klinkt. Tegelijk blijft het rekenwerk per vraag beperkt, omdat er maar een klein aantal experts wordt geraadpleegd. Zo ontstaat een model dat 'groot' is in opslagcapaciteit, maar 'klein' in rekenverbruik tijdens gebruik.

Een lastig technisch probleem is dat de router moet leren welke experts wanneer nuttig zijn, zonder dat een paar populaire experts alle aandacht krijgen terwijl andere nooit worden gebruikt. Onderzoekers lossen dit op met extra 'balanceer'-regels tijdens het trainen, die ervoor zorgen dat het werk redelijk gelijk verdeeld blijft over alle experts.

Wat wil men ermee bereiken?

De drijfveer achter mixture of experts is simpel: AI-modellen worden beter naarmate ze groter zijn, maar groter maken kost exponentieel meer rekenkracht, energie en geld. Bedrijven zoals Google, OpenAI en Mistral AI zoeken naar manieren om de voordelen van schaal te behouden zonder tegen de grenzen van beschikbare rekenchips en stroomrekeningen te lopen.

MoE belooft dat je een model met bijvoorbeeld honderden miljarden parameters kunt bouwen, terwijl het tijdens gebruik (het zogeheten inference, het moment dat het model daadwerkelijk een antwoord genereert) maar zo veel rekenwerk verricht als een veel kleiner dicht model. Dat is aantrekkelijk voor bedrijven die AI-diensten aanbieden aan miljoenen gebruikers: minder rekenwerk per vraag betekent lagere serverkosten en snellere antwoorden.

Daarnaast hoopt men dat specialisatie tot betere kwaliteit leidt: als verschillende delen van het netwerk zich kunnen toeleggen op verschillende soorten taken of talen, zou de algehele prestatie van het model kunnen verbeteren vergeleken met een even duur dicht model. Dit is overigens nog geen uitgemaakte zaak — het effect is aangetoond in specifieke experimenten, maar niet universeel gegarandeerd voor elke toepassing.

Voorbeelden uit de praktijk

Het idee van experts die door een router worden aangestuurd is niet nieuw: het gaat terug op een artikel van Robert Jacobs, Michael Jordan, Geoffrey Hinton en anderen uit 1991. De huidige golf begon pas goed rond 2017, toen onderzoekers van Google Brain (waaronder Noam Shazeer) een schaalbare, 'schaars geactiveerde' versie voor neurale netwerken beschreven.

Google's Switch Transformer (2021) was een van de eerste grootschalige demonstraties: een taalmodel met naar verluidt 1,6 biljoen parameters, dat dankzij schaarse activering toch efficiënt te trainen bleek. Kort daarna volgde GLaM, eveneens van Google, met een vergelijkbare aanpak.

Een belangrijk publiek moment kwam in december 2023, toen het Franse bedrijf Mistral AI zijn model Mixtral 8x7B uitbracht als open-source model. Mixtral gebruikt acht experts per laag, waarvan er telkens twee actief zijn, en liet zien dat een relatief compact MoE-model kon concurreren met veel grotere dichte modellen.

Het Chinese bedrijf DeepSeek ging in 2024 en eind december 2024 (met DeepSeek-V3) nog een stap verder met een architectuur die veel fijnmaziger experts gebruikt — honderden kleine experts in plaats van enkele grote — gecombineerd met enkele 'gedeelde' experts die altijd actief zijn. Dit model trok wereldwijd aandacht vanwege de combinatie van sterke prestaties en relatief lage trainingskosten.

Ook xAI (het bedrijf van Elon Musk) gebruikte een MoE-architectuur voor zijn Grok-1-model (2024), en het Amerikaanse Databricks bracht met DBRX (2024) een eigen open MoE-model uit. Over OpenAI's GPT-4 circuleren al langer geruchten dat het eveneens een mixture-of-experts-architectuur gebruikt, maar OpenAI heeft dit nooit officieel bevestigd — een voorbeeld van hoe veel technische details van de grootste commerciële modellen niet openbaar worden gemaakt.

Hoe ver is de techniek?

Mixture of experts is inmiddels een gevestigde, geen experimentele techniek meer. Meerdere publiek beschikbare modellen — van Mixtral tot DeepSeek — tonen aan dat de aanpak werkt op schaal en in productie kan worden ingezet, ook via open gewichten die iedereen kan downloaden en zelf draaien.

Toch zijn er reële knelpunten. Hoewel het rekenwerk per vraag beperkt blijft, moet het volledige model — inclusief alle ongebruikte experts — nog steeds in het geheugen van de rekenchips passen. Dat maakt MoE-modellen vaak geheugenintensief, ook als ze rekenkundig efficiënt zijn. Daarnaast is het trainen van de router lastig: als die niet goed leert, kunnen sommige experts overbelast worden en andere nauwelijks trainen, wat de voordelen van specialisatie tegenwerkt.

Er is ook nog geen consensus over de beste manier om experts te ontwerpen: grove specialisatie met weinig, grote experts (zoals bij Mixtral) versus fijnmazige specialisatie met veel, kleine experts (zoals bij DeepSeek) leveren verschillende afwegingen op tussen geheugengebruik, trainingsstabiliteit en kwaliteit. Onderzoekers experimenteren nog actief met varianten, en het is niet uitgesloten dat toekomstige architecturen mixture of experts combineren met andere efficiëntietechnieken op manieren die vandaag nog niet gangbaar zijn.

Wie werken eraan?

Google (via Google Brain en het latere Google DeepMind) heeft een groot deel van het fundamentele onderzoek naar schaalbare MoE-architecturen gedaan, met Switch Transformer en GLaM als bekende resultaten. In de Verenigde Staten werken ook OpenAI (naar verluidt, zonder officiële bevestiging), xAI en Databricks/Mosaic ML aan MoE-gebaseerde modellen.

In Europa is Mistral AI (Frankrijk) de meest zichtbare speler dankzij zijn open Mixtral-modellen. China is inmiddels eveneens een zwaargewicht in dit veld: DeepSeek heeft met zijn fijnmazige MoE-architectuur internationale aandacht getrokken, en ook Alibaba (met de Qwen-modelfamilie) brengt MoE-varianten uit.

Daarnaast draagt academisch onderzoek, onder meer via publicaties op preprintserver arXiv en op conferenties zoals NeurIPS en ICML, voortdurend bij aan verbeteringen in routering, load balancing (de verdeling van werk over experts) en trainingsstabiliteit. Veel van deze kennis wordt gedeeld via open-source implementaties, waardoor kleinere onderzoeksgroepen en bedrijven relatief snel kunnen meebouwen op de vooruitgang van de grote spelers.