Mixture-of-transformers: aparte AI-hersendelen voor tekst, beeld en geluid
Stel je een ziekenhuis voor waar alle patiënten eerst langs één gezamenlijke balie gaan, maar daarna worden doorverwezen naar een eigen specialist: de cardioloog voor het hart, de dermatoloog voor de huid. Iedereen deelt dezelfde wachtruimte en dezelfde patiëntendossiers, maar de daadwerkelijke behandeling gebeurt door aparte, gespecialiseerde teams. Zoiets is het idee achter een mixture-of-transformers-architectuur (afgekort MoT) in kunstmatige intelligentie.
Een taalmodel als ChatGPT is gebouwd op een zogeheten transformer: een netwerk dat teksten (en steeds vaker ook beeld en geluid) verwerkt door telkens te berekenen welke woorden of beeldstukjes bij elkaar horen. Normaal gesproken gebruikt zo'n model voor alle soorten invoer, of het nu een zin, een foto of een geluidsfragment is, dezelfde set rekenknoppen (parameters). Mixture-of-transformers draait dat om: tekst, beeld en spraak krijgen ieder hun eigen los blok rekenknoppen, terwijl er wel steeds naar elkaar gekeken kan worden. Zo probeert het model efficiënter en preciezer te worden zonder dat het duurder wordt om te trainen of te draaien.
Wat is het precies?
Om MoT te begrijpen, helpt het om eerst te weten hoe een gewone transformer werkt. Een transformer knipt zijn invoer op in kleine stukjes, tokens genoemd (een woorddeel, een stukje van een afbeelding, een fractie van een geluidsgolf). Voor elk token berekent het model via een mechanisme dat self-attention heet hoe belangrijk andere tokens in de zin of afbeelding zijn om dat ene token te begrijpen. Daarna gaat elk token door een zogeheten feed-forward laag: een reeks rekenstappen die de betekenis verder verwerkt. Bij een standaardmodel doorlopen alle tokens, van welke soort dan ook, precies dezelfde feed-forward lagen en dezelfde rekenknoppen.
Een aantal jaar geleden ontstond een variant genaamd mixture-of-experts (MoE): in plaats van één feed-forward laag krijgt het model meerdere kleinere "experts", en een soort verkeersregelaar (router) beslist per token welke expert het meest geschikt is. Zo hoeft niet elk token door het hele netwerk, wat rekenkracht bespaart, omdat op elk moment maar een deel van alle parameters actief is (dit heet "sparsity" of spaarzaamheid). Welke expert een token krijgt, wordt door het model zelf tijdens training geleerd en kan per token en per laag verschillen.
Mixture-of-transformers gaat een andere weg. In plaats van dat een geleerde router per token bepaalt welke expert geschikt is, wordt de keuze vooraf vastgelegd op basis van de modaliteit: is dit stukje invoer tekst, beeld of geluid? Elke modaliteit krijgt zijn eigen set feed-forward lagen, eigen projectiematrices (de rekenknoppen die bepalen hoe een token wordt "gelezen" door de attention) en eigen normalisatielagen (kleine rekenstappen die de getallen in het netwerk stabiel houden). Het self-attention-mechanisme zelf blijft echter gedeeld: alle tokens, van welke modaliteit ook, kijken samen in dezelfde attention-berekening naar elkaar, zodat een zin nog steeds kan verwijzen naar een detail in de bijbehorende afbeelding. Alleen de "verwerkingsfabriek" na die gezamenlijke blik is gescheiden per modaliteit.
Het resultaat is een model dat, net als bij MoE, spaarzaam is: een tekst-token activeert alleen de tekst-parameters, een beeld-token alleen de beeld-parameters. Omdat de indeling vaststaat op basis van modaliteit in plaats van geleerd te worden per token, is er geen aparte router-component nodig en is de aansturing eenvoudiger, terwijl het model toch profiteert van meer totale capaciteit (parameters) zonder evenredig meer rekenwerk per stap.
Wat wil men ermee bereiken?
De drijfveer achter MoT is een bekend spanningsveld in multimodale AI: tekst en beelden (en geluid) hebben heel verschillende statistische eigenschappen. Woorden zijn discreet en volgen grammaticale patronen; pixels zijn continu en volgen visuele patronen. Wanneer één en dezelfde set rekenknoppen wordt gedwongen om beide goed te leren, kan dat ten koste gaan van de kwaliteit op beide vlakken tegelijk, een probleem dat onderzoekers wel "modaliteitsinterferentie" noemen.
Door tekst, beeld en geluid elk hun eigen gespecialiseerde rekenknoppen te geven, hopen onderzoekers dat elk onderdeel scherper kan worden zonder de andere te schaden, terwijl het model dankzij gedeelde attention wel één samenhangend geheel blijft dat moeiteloos kan schakelen tussen bijvoorbeeld het beschrijven van een foto, het genereren van een plaatje bij een tekst, of het transcriberen van spraak. Het einddoel is een efficiënter pad naar zogeheten "any-to-any"-modellen: systemen die tekst, beeld, audio en video niet als aparte trucjes behandelen, maar als één geïntegreerd geheel, zoals we dat inmiddels zien bij modellen als GPT-4o van OpenAI of Gemini van Google DeepMind. Een tweede, praktischer doel is kostenbeheersing: trainen en draaien van grote AI-modellen kost enorm veel rekenkracht en energie, en spaarzame architecturen als MoT beloven meer modelcapaciteit voor hetzelfde rekenbudget.
Voorbeelden uit de praktijk
De term mixture-of-transformers komt met name uit een onderzoekspaper van Meta AI (FAIR) uit 2024, waarin de architectuur werd getest op modellen die zowel tekst en afbeeldingen als, in een uitgebreidere versie, ook spraak combineerden. De onderzoekers vergeleken MoT-modellen met traditionele "dichte" modellen (waarin alle parameters voor alle modaliteiten gedeeld zijn) en rapporteerden dat MoT vergelijkbare kwaliteit kon behalen met aanzienlijk minder rekenwerk tijdens training.
Deze experimenten borduurden voort op Chameleon, een eerder mixed-modal model van Meta uit 2024 dat tekst en beeld al in één en dezelfde tokenstroom verwerkte (early fusion) zonder aparte encoders per modaliteit, precies het soort model waarvoor MoT als efficiëntere variant is bedacht.
Het is belangrijk om MoT niet te verwarren met de bredere familie van mixture-of-experts-modellen die inmiddels wél in productie draaien, ook al delen ze het woord "mixture". Mixtral 8x7B, uitgebracht door het Franse Mistral AI eind 2023, is een bekend voorbeeld van klassieke MoE: hier routeren afzonderlijke tekst-tokens dynamisch naar één van meerdere experts binnen elke laag, niet op basis van modaliteit maar op basis van wat het model tijdens training zelf het handigst vindt. Ook de grote taalmodellen DeepSeek-V2 en DeepSeek-V3 van het Chinese DeepSeek (2024) gebruiken deze vorm van per-token expertrouting, op grote schaal en met veel fijnmazigere experts. Deze modellen illustreren dus het bredere idee van spaarzame "mixture"-architecturen, maar volgen niet exact het modaliteit-gescheiden ontwerp van MoT.
Hoe ver is de techniek?
Mixture-of-transformers is in de kern nog een onderzoeksarchitectuur. Het idee is voor het eerst systematisch beschreven en getest door Meta in 2024, op modelschalen die weliswaar substantieel zijn maar kleiner dan de allergrootste frontier-modellen van bedrijven als OpenAI of Google. Er zijn, voor zover publiek bekend, nog geen grote consumentenproducten die expliciet met deze exacte MoT-opzet adverteren; de gepubliceerde resultaten zijn vooral vergelijkingen op onderzoeksbenchmarks tegen dichte modellen.
De bredere MoE-familie waar MoT een variant van is, staat wel al langer haar sporen te verdienen in productie, van Google's vroege GLaM en Switch Transformer tot de genoemde Mixtral- en DeepSeek-modellen. Dat maakt het aannemelijk dat modaliteit-specifieke varianten zoals MoT verder onderzocht en mogelijk opgeschaald worden, maar concrete, geverifieerde vervolgstappen na de publicatie in 2024 kan ik op dit moment niet met zekerheid bevestigen; wie de actuele stand wil volgen, doet er goed aan de oorspronkelijke publicatie en latere citaties ervan te checken.
De belangrijkste technische obstakels liggen in de engineering: aparte parametersets per modaliteit maken het serveren van het model ingewikkelder (er moet immers per tokensoort naar de juiste rekenknoppen worden verwezen), en de verhouding tussen tekst-, beeld- en audiodata in trainingsdata moet zorgvuldig in balans blijven om te voorkomen dat één modaliteit ondervertegenwoordigd raakt. Ook is het nog onduidelijk hoe goed het concept schaalt naar veel meer dan drie modaliteiten, zoals video of sensordata.
Wie werken eraan?
De belangrijkste drijvende kracht achter mixture-of-transformers is Meta AI (FAIR, Fundamental AI Research), het onderzoeksonderdeel van Meta in de Verenigde Staten, dat de architectuur introduceerde in samenhang met eerder werk aan het Chameleon-model. Bredere onderzoeksbijdragen aan spaarzame mixture-architecturen komen van Google DeepMind (met eerder werk als GShard, Switch Transformer en GLaM), het Franse Mistral AI (Mixtral-modellen), het Chinese DeepSeek (DeepSeek-V2 en V3), en Databricks (het DBRX-model). Dit soort architectuuronderzoek vindt vrijwel uitsluitend plaats bij grote techbedrijven en gespecialiseerde AI-labs, simpelweg omdat het trainen en vergelijken van modellen op deze schaal enorme rekenclusters vereist die academische instellingen doorgaans niet zelfstandig kunnen opbrengen. Universitaire onderzoekers dragen wel bij aan de onderliggende theorie en aan kleinere, goedkopere experimenten die de principes testen.