Multimodaal AI-model
Een multimodaal AI-model is een kunstmatige-intelligentiesysteem dat niet één, maar meerdere soorten informatie tegelijk kan verwerken: tekst, beeld, geluid en soms ook video. Waar een traditioneel taalmodel alleen woorden 'begrijpt' en een los beeldherkenningsprogramma alleen plaatjes, combineert een multimodaal model die vaardigheden in één systeem. Het kan bijvoorbeeld een foto bekijken, er in gewone taal een vraag over beantwoorden, en soms zelfs een gesproken toelichting geven.
Een concreet voorbeeld: je maakt een foto van de inhoud van je koelkast en vraagt aan een chatbot als ChatGPT of Gemini wat je vanavond zou kunnen koken. Het model 'ziet' de groenten, kaas en eieren op de foto, koppelt dat aan zijn kennis van recepten, en schrijft in lopende tekst een suggestie. Dat lijkt vanzelfsprekend voor een mens, die moeiteloos kijkt, luistert en praat door elkaar, maar voor software is het combineren van die verschillende soorten data technisch een grote stap.
Wat is het precies?
Om te begrijpen wat een multimodaal model bijzonder maakt, helpt het om te weten hoe een gewoon taalmodel werkt. Zo'n model breekt tekst op in kleine stukjes, 'tokens' genoemd, en leert statistische verbanden tussen die tokens: welk woord volgt waarschijnlijk op welk ander woord. Een beeldmodel doet iets vergelijkbaars met een foto: het knipt de afbeelding op in vierkante stukjes ('patches') en leert patronen herkennen, zoals randen, texturen en uiteindelijk objecten.
Een multimodaal model voegt deze twee werelden samen door zowel tekst als beeld (en eventueel geluid) om te zetten naar dezelfde soort wiskundige representatie, een zogeheten 'embedding': een lange rij getallen die de betekenis van een stuk tekst of een deel van een afbeelding vastlegt. Omdat tekst-embeddings en beeld-embeddings in dezelfde 'ruimte' liggen, kan het model ze met elkaar vergelijken en combineren, ongeveer zoals je appels en peren pas kunt optellen als je ze allebei eerst tot 'stuks fruit' herleidt.
Een belangrijke techniek hierbij heet 'contrastief leren', gepopulariseerd door OpenAI's CLIP-model uit 2021. Daarbij traint men het systeem met miljoenen foto's die elk een bijschrift hebben, en leert het model welke tekst en welke afbeelding bij elkaar horen door steeds duizenden combinaties tegen elkaar af te wegen. Nieuwere modellen, zoals GPT-4o en Gemini, gaan een stap verder: zij verwerken tekst, beeld en soms audio niet als aparte onderdelen die achteraf gekoppeld worden, maar al vanaf het begin binnen één en hetzelfde neurale netwerk, met een techniek die 'cross-attention' heet en die het model laat 'kijken' naar relevante delen van een afbeelding terwijl het een zin opbouwt.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is dat de echte wereld niet uit tekst alleen bestaat. Mensen communiceren met gebaren, beelden, geluiden en context, en een AI-systeem dat alleen tekst begrijpt, mist daardoor veel informatie. Door meerdere modaliteiten te combineren, hopen onderzoekers systemen te bouwen die rijker en natuurlijker met mensen kunnen omgaan, bijvoorbeeld door gewoon een foto te tonen in plaats van een situatie in woorden te moeten omschrijven.
Daarnaast is multimodaliteit belangrijk voor toepassingen waarbij verschillende soorten sensoren samenkomen, zoals zelfrijdende auto's die camerabeelden, radar en kaartgegevens tegelijk moeten interpreteren, of medische software die röntgenfoto's combineert met een patiëntendossier in tekst. Ook voor toegankelijkheid is het relevant: een systeem dat een foto in gesproken taal kan beschrijven, kan bijvoorbeeld slechtzienden helpen hun omgeving te begrijpen.
Ten slotte zien onderzoekers multimodaliteit als een stap richting AI die 'gegrond' is in de werkelijkheid, in plaats van alleen patronen in tekst na te bootsen. Door beeld en geluid te koppelen aan taal, leert een model concepten niet enkel uit woorden, maar ook uit hoe die concepten er in de praktijk uitzien of klinken, wat in theorie tot beter onderbouwde antwoorden kan leiden.
Voorbeelden uit de praktijk
CLIP (OpenAI, 2021) was een van de eerste veelgebruikte multimodale modellen en legde de basis voor veel latere systemen door tekst en beeld in dezelfde representatieruimte te leren plaatsen.
Flamingo (DeepMind, 2022) combineerde een beeldherkenner met een taalmodel en kon met slechts een paar voorbeelden nieuwe visuele taken uitvoeren, wat destijds opvallend was voor zijn flexibiliteit.
GPT-4V en later GPT-4o (OpenAI, 2023-2024) maakten het mogelijk om binnen ChatGPT foto's te uploaden en er vragen over te stellen; GPT-4o voegde daar realtime spraak en beeldherkenning aan toe, zodat het model tijdens een gesprek kan 'meekijken' via een camera.
Gemini (Google DeepMind, vanaf december 2023) werd door Google gepresenteerd als 'van de grond af' multimodaal getraind, dus niet als los taalmodel met een beeldmodule erbij, maar als één systeem dat tekst, beeld, audio en code gelijktijdig leerde.
LLaVA (academisch open-source project, 2023), ontwikkeld door onderzoekers verbonden aan onder meer de University of Wisconsin-Madison, liet zien dat ook buiten de grote techbedrijven relatief kleine, open multimodale modellen te bouwen zijn door een bestaand taalmodel te koppelen aan een beeldencoder.
Hoe ver is de techniek?
De vooruitgang sinds 2021 is snel gegaan. Wat begon met modellen die simpele vragen over een foto konden beantwoorden, is uitgegroeid tot systemen die grafieken kunnen lezen, handschrift kunnen ontcijferen, video-fragmenten kunnen samenvatten en in real time via een camera kunnen 'meekijken' tijdens een gesprek, zoals GPT-4o in 2024 demonstreerde.
Toch zijn er duidelijke grenzen. Multimodale modellen maken nog regelmatig fouten die mensen niet snel zouden maken, zoals het verkeerd tellen van objecten in een foto, het missen van kleine details, of het 'hallucineren': met overtuiging iets beweren over een afbeelding dat er simpelweg niet op staat. Ook is het combineren van lange video's met geluid en tekst rekenkundig zwaar en foutgevoeliger dan het werken met een enkele foto.
Een ander obstakel is evaluatie: het is lastiger om objectief te meten hoe goed een model is in het redeneren over beeld en tekst samen dan om alleen taalvaardigheid te testen, waardoor claims over prestaties soms moeilijk onderling te vergelijken zijn. Onderzoekers werken daarom aan betere benchmarks, maar een uniforme, algemeen geaccepteerde maatstaf ontbreekt nog grotendeels.
Wie werken eraan?
De ontwikkeling wordt aangevoerd door een klein aantal grote technologiebedrijven met veel rekenkracht en data. OpenAI (met GPT-4V en GPT-4o), Google DeepMind (met Gemini) en Meta AI (met onder meer het ImageBind-project en open-source Llama-modellen met visuele varianten) behoren tot de belangrijkste spelers. Ook Anthropic, de maker van Claude, en Microsoft investeren zwaar in multimodale systemen.
Daarnaast spelen universiteiten en onderzoeksinstellingen een grote rol bij fundamenteel onderzoek en open-source alternatieven, zoals de eerdergenoemde LLaVA-groep en diverse laboratoria verbonden aan Stanford, Berkeley en het MIT in de Verenigde Staten. In China werken bedrijven als Baidu, Alibaba en Tencent eveneens aan multimodale modellen, vaak gericht op de eigen taal- en marktbehoeften. Platformen als Hugging Face fungeren als centrale plek waar open-source multimodale modellen gedeeld en vergeleken worden, wat de kennis over deze techniek buiten de grote bedrijven om verspreidt.