Visual Language Model: hoe computers leren kijken én praten
Een visual language model, vaak afgekort tot VLM, is een computersysteem dat afbeeldingen kan bekijken en er in gewone taal over kan communiceren. Waar een klassiek taalmodel zoals ChatGPT alleen tekst leest en schrijft, en een klassiek beeldherkenningssysteem alleen labels als "kat" of "auto" plakt op een foto, doet een VLM allebei tegelijk: het kijkt naar een plaatje en beantwoordt vragen erover, beschrijft wat er gebeurt, of redeneert over wat het ziet.
Stel je een gids voor die naast je staat in een museum. Je wijst naar een schilderij en vraagt: "Wat gebeurt hier eigenlijk, en welke stijl is dit?" Een goede gids combineert het zien van vormen, kleuren en composities met kennis en taal om een zinnig antwoord te geven. Een visual language model probeert precies dat na te bootsen: het combineert een "oog" (beeldherkenning) met een "mond" (taalvaardigheid) in één systeem, zodat je een foto kunt uploaden en er in normale zinnen over kunt praten.
Wat is het precies?
Onder de motorkap bestaat een visual language model meestal uit twee onderdelen die aan elkaar zijn gekoppeld. Het eerste onderdeel is een beeldencoder: een neuraal netwerk dat een foto omzet in een lange rij getallen, een soort wiskundige samenvatting van wat er op de afbeelding te zien is. Dit type netwerk, vaak een "vision transformer" genoemd, is jarenlang getraind op miljoenen foto's totdat het patronen als vormen, texturen en objecten kan herkennen.
Het tweede onderdeel is een taalmodel, vergelijkbaar met de technologie achter ChatGPT. Dit deel is getraind op enorme hoeveelheden tekst en heeft geleerd hoe zinnen, redeneringen en feiten in elkaar zitten.
De truc zit in de verbinding tussen die twee. Onderzoekers bouwen een soort vertaalbrug, vaak een relatief klein extra netwerk, die de getallenreeks van de beeldencoder omzet in iets dat het taalmodel kan "lezen" alsof het woorden zijn. Zo kan het systeem een foto en een tekstvraag samen verwerken en er één antwoord uit laten rollen. Tijdens de training krijgt het model miljoenen paren van afbeeldingen met bijbehorende tekst te zien, bijvoorbeeld een foto met onderschrift, of een foto met een vraag-en-antwoordpaar, zodat het leert welke woorden bij welke visuele patronen horen.
Een bekende bouwsteen hierbij is CLIP, ontwikkeld door OpenAI en gepubliceerd in 2021. CLIP leerde afbeeldingen en tekstbeschrijvingen in dezelfde "ruimte" te plaatsen, zodat een foto van een hond en het woord "hond" wiskundig dicht bij elkaar liggen. Deze aanpak vormde de basis voor veel latere visual language models.
Wat wil men ermee bereiken?
Het uiteindelijke doel is machines die de wereld begrijpen zoals mensen dat doen: niet alleen door taal, en niet alleen door beelden, maar door beide te combineren. Veel van onze kennis en communicatie is namelijk inherent visueel-talig. Een instructiehandleiding heeft plaatjes én tekst nodig. Een medisch verslag combineert een röntgenfoto met een beschrijving. Een verkeersbord combineert een symbool met een boodschap.
Praktisch gezien willen onderzoekers en bedrijven met VLM's een aantal dingen bereiken. Ten eerste toegankelijkheid: een blinde of slechtziende gebruiker kan een foto van zijn omgeving laten beschrijven. Ten tweede efficiëntie: een assistent die een foto van een kapotte fiets kan bekijken en meteen kan zeggen welk onderdeel stuk is, zonder dat de gebruiker dit eerst in woorden hoeft om te zetten. Ten derde robotica: een robot die moet grijpen, lopen of sorteren heeft een directe koppeling tussen wat hij ziet en wat hij daarmee moet dóén, en taal is daarbij een handige tussenlaag om instructies te geven of te loggen wat er gebeurt.
Er schuilt ook een wetenschappelijke ambitie achter: veel onderzoekers zien het combineren van meerdere zintuiglijke kanalen, dus niet alleen tekst maar ook beeld en straks ook geluid, als een noodzakelijke stap richting AI-systemen die de wereld breder en robuuster begrijpen dan een systeem dat alleen met woorden werkt.
Voorbeelden uit de praktijk
Verschillende bekende systemen laten zien hoe het veld zich heeft ontwikkeld. CLIP (OpenAI, 2021) was geen chatbot, maar een fundament: het leerde de relatie tussen beeld en tekst en wordt tot op de dag van vandaag gebruikt als bouwsteen in andere systemen, waaronder beeldgeneratoren als DALL-E.
Flamingo, gepresenteerd door DeepMind in 2022, was een van de eerste grootschalige VLM's die met een paar voorbeelden kon leren nieuwe visuele taken uit te voeren, zoals het beantwoorden van vragen over een reeks afbeeldingen, zonder dat het daarvoor apart hertraind hoefde te worden.
GPT-4V ("V" voor vision), de beeldherkennende variant van OpenAI's GPT-4, werd breed beschikbaar gemaakt in 2023 en liet zien dat een breed inzetbaar taalmodel ook met foto's kon redeneren: van het uitleggen van een grafiek tot het herkennen van een plant.
LLaVA (Large Language and Vision Assistant), een academisch project van onderzoekers verbonden aan Microsoft en de University of Wisconsin-Madison uit 2023, liet zien dat een relatief goedkoop te trainen open-source VLM al veel kon, wat het onderzoek naar VLM's toegankelijker maakte voor universiteiten met minder rekenkracht.
Meer recent combineren systemen als Google Gemini (vanaf december 2023, met opvolgers in 2024 en 2025) en Claude 3 van Anthropic (2024) beeldbegrip standaard in hun algemene assistenten, waardoor gebruikers foto's, screenshots of documenten kunnen uploaden en er vragen over kunnen stellen binnen dezelfde chatinterface als tekstgesprekken.
Hoe ver is de techniek?
Visual language models zijn de afgelopen vijf jaar snel volwassen geworden, van experimentele onderzoeksmodellen naar functies die in veelgebruikte apps zitten. Grote taalmodel-aanbieders hebben beeldherkenning inmiddels standaard ingebouwd in hun belangrijkste producten.
Toch zijn er duidelijke beperkingen. VLM's maken nog regelmatig fouten bij precieze taken, zoals het exact tellen van objecten op een foto, het lezen van kleine of vervormde tekst, of het correct interpreteren van ruimtelijke relaties ("wat staat er links van de rode auto?"). Ze kunnen ook "hallucineren": met overtuiging iets beschrijven dat niet op de afbeelding staat. Dit is een bekend en nog niet opgelost probleem, dat onderzoekers actief proberen te meten en te verminderen met nieuwe testsets.
Een ander obstakel is de trainingsdata. Goede VLM's hebben enorme hoeveelheden gekoppelde beeld-tekstparen nodig, en de kwaliteit en herkomst van die data, vaak afkomstig van het open internet, roepen vragen op over auteursrecht, privacy en representativiteit (bijvoorbeeld: worden bepaalde culturen of talen ondervertegenwoordigd?).
Ook rekenkracht blijft een drempel: het trainen van state-of-the-art VLM's vergt gespecialiseerde chips en aanzienlijke energie, wat de ontwikkeling grotendeels concentreert bij een klein aantal grote technologiebedrijven, al maken kleinere open-source varianten zoals LLaVA het mogelijk voor academische groepen om toch mee te doen.
Wie werken eraan?
Het onderzoek naar visual language models wordt gedomineerd door een combinatie van grote techbedrijven en academische instituten. OpenAI (met CLIP en GPT-4V/GPT-4o) en Google DeepMind (met Flamingo, PaLI en de Gemini-modellen) behoren tot de grootste spelers. Meta AI heeft met modellen als Idefics en onderzoek naar multimodale systemen eveneens een prominente rol, net als Microsoft Research, dat meewerkte aan LLaVA en eigen multimodale modellen ontwikkelt.
Anthropic voegde beeldbegrip toe aan zijn Claude-modellen vanaf 2024. In China zijn onder meer Alibaba (met de Qwen-VL-modellenreeks) en academische groepen zoals Tsinghua University actief in dit veld. Ook non-profitonderzoeksinstituten zoals het Allen Institute for AI in de Verenigde Staten publiceren open onderzoek en modellen op dit gebied.
Daarnaast speelt het platform Hugging Face een belangrijke rol als verzamelplaats waar onderzoekers wereldwijd open-source VLM's delen, testen en met elkaar vergelijken, wat de ontwikkeling van het veld versnelt en toegankelijker maakt buiten de grote bedrijven om.