Domeinspecifiek taalmodel: AI die de taal van één vakgebied spreekt
Een domeinspecifiek taalmodel is een kunstmatige-intelligentiesysteem dat tekst genereert en begrijpt, maar dan toegespitst op één vakgebied: geneeskunde, recht, financiën, scheikunde of een ander specialisme. Vergelijk het met het verschil tussen een huisarts en een cardioloog. Beiden hebben medische kennis, maar de cardioloog kent de fijne details van hartaandoeningen veel beter. Zo'n zelfde verschil bestaat tussen een algemeen taalmodel als ChatGPT, dat over bijna alles een beetje weet, en een domeinspecifiek model dat is volgestampt met vakliteratuur uit één discipline.
Het idee is niet nieuw, maar heeft sinds de doorbraak van grote taalmodellen vanaf 2022 een vlucht genomen. Bedrijven en onderzoekers ontdekten dat algemene modellen soms de plank misslaan bij specialistische taal: een jurist heeft weinig aan een chatbot die medische bijsluiters door elkaar haalt met wetsartikelen. Door een model extra te trainen op bijvoorbeeld duizenden rechtszaken, patiëntendossiers of beursrapporten, wordt het preciezer en betrouwbaarder binnen dat ene domein — al blijft het daarbuiten vaak juist zwakker.
Wat is het precies?
Een taalmodel is een neuraal netwerk (een wiskundig model geïnspireerd op hersencellen) dat leert om het volgende woord in een zin te voorspellen. Door dit miljarden keren te oefenen op grote hoeveelheden tekst, leert het model grammatica, feiten en redeneerpatronen. De meeste huidige taalmodellen gebruiken een architectuur die 'transformer' heet, die goed is in het afwegen van de relaties tussen woorden in een zin, ook als die ver uit elkaar staan.
Bij een domeinspecifiek model zijn er grofweg twee manieren om die specialisatie te bereiken. De eerste is trainen vanaf nul, uitsluitend of grotendeels met teksten uit één vakgebied. Dit is duur en vereist enorme hoeveelheden data, dus het gebeurt zelden. De tweede en veel gangbaardere route is fine-tuning (bijtrainen): je neemt een bestaand, algemeen taalmodel en traint dat verder op een kleinere, zorgvuldig samengestelde verzameling vakteksten. Dat is aanzienlijk goedkoper, omdat het model de basis van taal al beheerst en alleen de vakspecifieke nuances hoeft bij te leren.
Een derde, verwante techniek heet retrieval-augmented generation (RAG, oftewel 'generatie met opgehaalde informatie'). Hierbij blijft het taalmodel algemeen, maar krijgt het bij elke vraag automatisch relevante fragmenten uit een vakdatabase aangereikt, bijvoorbeeld actuele medicijnbijsluiters of jurisprudentie. Het model 'leest' die fragmenten mee voordat het antwoord geeft. Dit is vaak goedkoper dan bijtrainen en makkelijker actueel te houden, maar levert niet per se dezelfde diepe taalbeheersing van het vakjargon op.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is nauwkeurigheid. Algemene taalmodellen hebben de neiging om te 'hallucineren': ze verzinnen met overtuiging feiten die er overtuigend uitzien maar onjuist zijn. In een vakgebied als geneeskunde of recht kan dat gevaarlijk of kostbaar zijn. Een domeinspecifiek model dat is bijgeschoold op betrouwbare vakbronnen presteert doorgaans beter op specialistische toetsen en herkent jargon, afkortingen en context die een algemeen model mist.
Een tweede doel is efficiëntie. Een kleiner, gespecialiseerd model kan soms net zo goed of beter presteren binnen zijn domein als een veel groter algemeen model, tegen lagere rekenkosten. Dat maakt het aantrekkelijk voor bedrijven die AI op grote schaal willen inzetten zonder de rekenkracht van een techreus.
Daarnaast spelen vertrouwelijkheid en regelgeving een rol. Ziekenhuizen en advocatenkantoren werken met gevoelige gegevens en moeten voldoen aan strenge privacyregels. Een eigen, intern getraind model geeft meer controle over waar data terechtkomen dan het gebruik van een extern, algemeen cloudmodel. Ten slotte is er een commercieel motief: bedrijven zien een specialistisch model als concurrentievoordeel, iets wat concurrenten niet zomaar kunnen namaken zonder dezelfde vakdata.
Voorbeelden uit de praktijk
BloombergGPT (2023) is een taalmodel dat financieel-databedrijf Bloomberg trainde op een mix van 363 miljard woorddelen (tokens) uit financiële bronnen, zoals nieuwsartikelen en marktdata, aangevuld met algemene tekst. Het model moet analisten helpen bij taken als het samenvatten van marktberichten en het beantwoorden van financiële vragen.
Med-PaLM en de opvolger Med-PaLM 2 (Google, respectievelijk 2022 en 2023) zijn medische varianten van Googles PaLM-taalmodel, bijgetraind op medische examenvragen en klinische literatuur. Med-PaLM 2 haalde volgens Google een score op Amerikaanse medische-examenvragen die in de buurt kwam van menselijke experts, al benadrukten de onderzoekers dat dit niet gelijkstaat aan klinische betrouwbaarheid in de praktijk.
BioGPT (Microsoft Research, 2022) is getraind op miljoenen samenvattingen uit PubMed, de grote database van biomedische vakliteratuur, en wordt gebruikt voor taken als het beantwoorden van biomedische vragen en het genereren van relatiebeschrijvingen tussen genen en ziekten.
ESM-2 (Meta AI, 2022) is een bijzonder voorbeeld: geen taalmodel voor menselijke taal, maar voor de 'taal' van eiwitten. Het model is getraind op honderden miljoenen eiwitsequenties en kan de driedimensionale vouwing van een eiwit voorspellen op basis van de aminozuurvolgorde, wat onderzoek naar ziektes en medicijnen versnelt.
Harvey (opgericht in 2022) is een juridisch AI-platform, ondersteund door onder meer OpenAI en gebruikt door advocatenkantoren zoals Allen & Overy, dat een algemeen taalmodel combineert met juridische data en RAG-technieken om contracten te analyseren en juridisch onderzoek te versnellen.
Hoe ver is de techniek?
Sinds 2022 is het aantal domeinspecifieke modellen sterk gegroeid, gedreven door goedkopere bijtrainingstechnieken zoals LoRA ('low-rank adaptation'), waarmee je een groot model kunt aanpassen zonder alle miljarden parameters opnieuw te trainen. Toch is het veld nog volop in ontwikkeling en bestaat er discussie over de beste aanpak.
Een terugkerend probleem is dat de allernieuwste, zeer grote algemene modellen (zoals GPT-4 en opvolgers) door hun schaal en brede training soms een kleiner domeinspecifiek model evenaren of overtreffen, ook binnen diens eigen vakgebied. Dat zet vraagtekens bij wanneer bijtrainen daadwerkelijk loont ten opzichte van simpelweg een groter algemeen model met RAG te combineren. Onderzoekers zijn het er niet over eens; de uitkomst hangt sterk af van het vakgebied, de beschikbare data en het gebruiksdoel.
Een tweede obstakel is datagebrek en privacy. In de zorg bijvoorbeeld zijn patiëntgegevens strikt beschermd, waardoor er relatief weinig openbare trainingsdata beschikbaar is vergeleken met bijvoorbeeld nieuwsartikelen. Verder blijft hallucinatie ook binnen domeinspecifieke modellen een risico: bijtrainen vermindert het probleem, maar lost het niet volledig op. Grondige evaluatie per vakgebied, vaak met domeinexperts, blijft daarom noodzakelijk voordat zulke modellen in kritieke toepassingen zoals diagnose-ondersteuning worden ingezet.
Wie werken eraan?
Grote technologiebedrijven als Google (DeepMind en Google Research), Microsoft Research en Meta AI ontwikkelen domeinspecifieke modellen, vaak als onderdeel van bredere onderzoekslijnen naar toepassingen in de wetenschap en gezondheidszorg. Financiële instellingen zoals Bloomberg investeren in eigen modellen voor interne toepassingen. Daarnaast is er een groeiend aantal gespecialiseerde start-ups, zoals Harvey in de juridische sector en verschillende bedrijven die zich richten op medische AI-assistentie.
Academische instellingen spelen een grote rol bij het publiceren van onderzoek en het beschikbaar stellen van modellen, waaronder universiteiten in de Verenigde Staten en Europa. Open platforms zoals Hugging Face fungeren als centrale plek waar onderzoeksgroepen en bedrijven domeinspecifieke modellen delen, terwijl gemeenschapsprojecten zoals EleutherAI bijdragen aan open-source alternatieven. Ook in Nederland en de rest van Europa investeren universiteiten, academische ziekenhuizen en onderzoeksinstellingen in specifieke toepassingen, bijvoorbeeld voor het analyseren van medische dossiers, al zijn de meeste toonaangevende domeinmodellen tot nu toe afkomstig uit de Verenigde Staten.