Multimodale literatuurmining: AI die niet alleen leest, maar ook kijkt naar wetenschap
Stel je een onderzoeker voor die op zoek is naar alle metingen van batterijcapaciteit die ooit zijn gepubliceerd. Ze kan duizenden artikelen doorlezen, maar het probleem is dat de cruciale getallen vaak helemaal niet in de lopende tekst staan. Ze staan verstopt in een grafiek met een golvende lijn, of in een tabel ergens op pagina zeven. Traditionele tekstmining, software die automatisch woorden en zinnen in artikelen doorzoekt, mist die informatie compleet: het leest alleen de zinnen, niet de plaatjes.
Multimodale literatuurmining probeert dat gat te dichten. Het is een verzameling AI-technieken die wetenschappelijke publicaties niet alleen als tekst behandelen, maar als een mix van tekst, tabellen, grafieken, foto's en scheikundige structuurformules, vandaar 'multimodaal': meerdere soorten (modaliteiten) van informatie tegelijk. Het doel is simpel te omschrijven, maar lastig te bouwen: laat een computer een compleet wetenschappelijk artikel 'lezen' zoals een mens dat zou doen, inclusief de plaatjes, en daar bruikbare, doorzoekbare data uit halen.
Wat is het precies?
Een wetenschappelijk artikel als pdf-bestand is voor een computer in eerste instantie niets anders dan een verzameling pixels op een pagina. De eerste stap in multimodale literatuurmining is daarom altijd lay-out-analyse: software herkent welk deel van de pagina een alinea tekst is, welk deel een tabel, welk deel een figuur met bijschrift, en welk deel bijvoorbeeld een voetnoot. Dit gebeurt met beeldherkenningsmodellen die getraind zijn op duizenden voorbeeldpagina's, vergelijkbaar met hoe gezichtsherkenning objecten in een foto afbakent.
Daarna wordt elk onderdeel apart verwerkt. Tekst gaat door taalmodellen die getraind zijn om vaktermen te herkennen, bijvoorbeeld de naam van een chemische verbinding, een meeteenheid of een procesparameter zoals een oventemperatuur. Dit heet named entity recognition: het onderstrepen en labelen van relevante begrippen in een zin. Tabellen worden apart geanalyseerd door modellen die rijen en kolommen herkennen en de cijfers daarin koppelen aan de juiste kolomkop, wat lastiger is dan het klinkt omdat tabellen in elk tijdschrift er weer anders uitzien.
Figuren zijn het moeilijkste onderdeel. Een grafiek met meetpunten moet worden 'gedigitaliseerd': het systeem moet de assen herkennen, de schaal aflezen en vervolgens de positie van elk datapunt terugrekenen naar een getal. Bij microscoopfoto's of scheikundige structuurtekeningen gaat het eerder om classificatie: wat voor soort materiaal of molecuul is hier te zien? Tot slot worden al die losse stukjes weer aan elkaar gekoppeld, zodat een getal uit een grafiek gelinkt wordt aan het materiaal dat in de tekst ernaast wordt besproken. Dat resultaat wordt meestal opgeslagen in een gestructureerde database of kennisgraaf, een netwerk van met elkaar verbonden feiten die vervolgens weer doorzoekbaar en analyseerbaar is.
Wat wil men ermee bereiken?
De directe motivatie is tijdwinst. Wetenschappelijke output groeit al decennia sneller dan enig team mensen kan bijbenen; in sommige vakgebieden verschijnen dagelijks honderden nieuwe artikelen. Geen enkele onderzoeksgroep leest alles, waardoor bruikbare resultaten uit ouder of minder bekend werk simpelweg onopgemerkt blijven en experimenten soms onnodig worden herhaald.
Een tweede, misschien nog belangrijker doel is het voeden van machine-learningmodellen. Om bijvoorbeeld te voorspellen welk nieuw materiaal een goede batterij-elektrode zou zijn, heb je grote hoeveelheden trainingsdata nodig: duizenden combinaties van samenstelling, bewerking en gemeten prestatie. Die data bestaat al lang, verspreid over tientallen jaren aan publicaties, maar staat vrijwel nooit in een net databestand. Multimodale literatuurmining is in feite een manier om decennia aan verspreide labresultaten alsnog om te zetten in een trainbare dataset, zonder dat alle experimenten opnieuw hoeven te worden uitgevoerd.
Tot slot speelt reproduceerbaarheid mee: door synthesestappen en meetcondities systematisch te verzamelen, ontstaat een beter overzicht van wat wel en niet werkt in een vakgebied, en waar tegenstrijdige resultaten in de literatuur zitten.
Voorbeelden uit de praktijk
ChemDataExtractor, ontwikkeld aan de Universiteit van Cambridge (eerste versie rond 2016), is een van de bekendste tools in dit veld. Versie 2, uitgebracht in de vroege jaren twintig, breidde de oorspronkelijke tekstextractie uit met het automatisch uitlezen van tabellen en afbeeldingen, en is onder meer gebruikt om gegevens over perovskiet-zonnecellen en poreuze materialen (MOF's) uit honderden artikelen te verzamelen.
De onderzoeksgroep van Elsa Olivetti aan MIT werkt al sinds het midden van de jaren 2010 aan het automatisch destilleren van synthese-recepten voor anorganische materialen uit de vakliteratuur, met als doel machine-learningmodellen te trainen die kunnen voorstellen hoe een nieuw materiaal in het lab te maken is.
Bij GROBID, een veelgebruikte open-sourcetool, ligt de nadruk op het structureren van de opbouw van een artikel zelf (titel, auteurs, secties, referenties), wat als bouwsteen dient voor veel grotere multimodale mining-pijplijnen elders in het veld.
Grote datasets voor documentherkenning, zoals PubLayNet (lay-out-herkenning) en PubTables-1M (tabelherkenning), zijn door onderzoekers van respectievelijk IBM en Microsoft vrijgegeven zodat de hele onderzoeksgemeenschap modellen kan trainen en vergelijken op dezelfde, openbare voorbeelden.
Een recenter voorbeeld is Nougat, een model van Meta AI uit 2023 dat pdf's van wetenschappelijke artikelen, inclusief wiskundige formules en tabellen, omzet naar gestructureerde tekst, en dat inmiddels door andere onderzoekers wordt gebruikt als voorbewerkingsstap in eigen mining-projecten.
Hoe ver is de techniek?
De basisbouwstenen zijn inmiddels behoorlijk volwassen. Lay-out-herkenning en het overnemen van platte tekst uit een pdf werken voor de meeste moderne, goed opgemaakte artikelen tamelijk betrouwbaar. Ook eenvoudige tabellen worden doorgaans redelijk goed herkend.
Het lastige, foutgevoelige deel blijft het uitlezen van figuren. Het automatisch aflezen van exacte getallen uit een grafiek is nog altijd foutgevoelig: kleine afwijkingen in het herkennen van de as-schaal kunnen leiden tot behoorlijk verkeerde waarden, en overlappende lijnen of afwijkende kleurenschema's verwarren de software nog regelmatig. Oudere scans van pre-digitale artikelen, met lage resolutie of scheve pagina's, vormen een extra probleem.
Sinds 2023 experimenteren onderzoekers met multimodale taalmodellen (systemen die tegelijk tekst en afbeeldingen kunnen 'lezen', zoals de technologie achter chatbots met beeldherkenning) om figuren te interpreteren. Dat verlaagt de drempel om iets te proberen, maar brengt een nieuw risico met zich mee: dit soort modellen kan er zeer overtuigend uitziende, maar feitelijk onjuiste getallen uitrekenen, ook wel 'hallucineren' genoemd, wat in een wetenschappelijke context extra riskant is. Er bestaat nog geen algemeen geaccepteerde standaard om multimodaal gemineerde data automatisch op fouten te controleren; menselijke steekproefcontrole blijft in de meeste projecten noodzakelijk. Het veld bevindt zich dus in een fase van snelle vooruitgang in de losse onderdelen, maar nog geen volledig betrouwbare, kant-en-klare eindoplossing.
Wie werken eraan?
Universiteiten en nationale laboratoria vormen de kern van het onderzoek. Naast Cambridge en MIT zijn onder meer het Lawrence Berkeley National Laboratory in de Verenigde Staten (bekend van het Materials Project, dat berekende en deels tekst-gemineerde materiaaldata combineert) en diverse groepen materiaalinformatica actief. Het Allen Institute for AI (AI2) in Seattle ontwikkelt open-sourcegereedschap voor het verwerken van grote hoeveelheden wetenschappelijke documenten, inclusief lay-out en figuren, en beheert ook Semantic Scholar, een zoekmachine voor wetenschappelijke literatuur die op vergelijkbare technieken leunt.
Techbedrijven zoals Microsoft Research en Meta AI dragen bij met documentherkenningsmodellen en open datasets, terwijl uitgevers als Elsevier eigen tekst- en datamining-diensten aanbieden op hun eigen artikelarchieven. Ook in Oost-Azië, met name China en Zuid-Korea, investeren universiteiten en onderzoeksinstituten fors in materiaalinformatica en literatuurmining, gedreven door de wens om nieuwe batterij- en halfgeleidermaterialen sneller te vinden. Veel van dit werk verschijnt in open-sourcevorm op platforms als GitHub en wordt beschreven in voorpublicaties op arXiv, waardoor kleinere onderzoeksgroepen relatief snel kunnen meebouwen op het werk van anderen.