Informatieretrieval: hoe machines relevante informatie vinden in een zee van data
Stel je een enorme bibliotheek voor met miljarden boeken, zonder trefwoordenregister en zonder bibliothecaris. Je zou nooit snel het juiste boek vinden. Informatieretrieval (in het Engels "information retrieval", vaak afgekort tot IR) is het vakgebied dat zich bezighoudt met precies dit probleem: hoe vind je, uit een enorme hoeveelheid tekst of data, snel de stukjes informatie die relevant zijn voor een specifieke vraag? Het is de wetenschap achter zoekmachines zoals Google en Bing, maar ook achter de zoekfunctie in je e-mail, een juridische database of een ziekenhuisarchief.
Het bekendste voorbeeld is de simpele zoekbalk: je typt een paar woorden in, en binnen milliseconden krijg je een lijst met de meest relevante resultaten, gesorteerd van beste naar minst passende match. Wat er achter die zoekbalk gebeurt, is decennia aan onderzoek en steeds slimmere technieken om te bepalen wat "relevant" eigenlijk betekent voor een computer. De laatste jaren is informatieretrieval extra belangrijk geworden omdat het ook de basis vormt voor hoe chatbots zoals ChatGPT betrouwbare, actuele informatie kunnen opzoeken in plaats van alles uit hun "geheugen" te verzinnen.
Wat is het precies?
Informatieretrieval draait om drie stappen: indexeren, zoeken (de "query") en rangschikken ("ranking"). Eerst wordt een verzameling documenten geïndexeerd: net als het register achterin een studieboek, maakt de computer een zogeheten inverted index (omgekeerde index), een soort megaregister waarin voor ieder woord staat in welke documenten het voorkomt. Dat maakt zoeken razendsnel, want het systeem hoeft niet elk document apart door te lezen.
Vervolgens vertaalt het systeem jouw zoekopdracht naar diezelfde index en berekent het welke documenten het beste passen. De klassieke aanpak heet sparse retrieval: hierbij telt het systeem hoe vaak zoektermen voorkomen, met technieken als TF-IDF (Term Frequency–Inverse Document Frequency, dat woorden die vaak in één document maar zelden elders voorkomen extra gewicht geeft) en de opvolger BM25, nog altijd een veelgebruikte standaardformule voor relevantie.
Sinds enkele jaren wint een tweede aanpak sterk terrein: dense retrieval of neurale retrieval. Hierbij zet een taalmodel tekst om in een embedding, een lijst getallen die de betekenis van een zin of document wiskundig weergeeft. Documenten met een vergelijkbare betekenis krijgen vergelijkbare getallenreeksen, ook als ze geen woorden gemeen hebben. Zo vindt het systeem ook relevante teksten die niet letterlijk dezelfde woorden gebruiken als je zoekopdracht. Deze embeddings worden opgeslagen in gespecialiseerde vectordatabases, die razendsnel de "dichtstbijzijnde" betekenissen kunnen opzoeken.
In de praktijk combineren veel moderne systemen beide werelden in zogeheten hybrid search: sparse retrieval voor exacte matches (bijvoorbeeld productnummers of namen) en dense retrieval voor betekenisvolle, contextuele matches.
Wat wil men ermee bereiken?
Het overkoepelende doel is simpel te omschrijven, maar moeilijk te realiseren: gebruikers zo snel en precies mogelijk naar de informatie brengen die ze nodig hebben, uit hoeveelheden data die geen mens meer kan overzien. Dat betekent niet alleen relevante resultaten tonen, maar ook irrelevante ruis wegfilteren. Dit wordt van oudsher gemeten met twee begrippen: precision (welk deel van de getoonde resultaten is ook echt relevant) en recall (welk deel van alle relevante documenten wordt daadwerkelijk gevonden). Modernere maten zoals NDCG en MAP houden bovendien rekening met de volgorde van resultaten: een relevant document bovenaan is waardevoller dan onderaan pagina drie.
Een relatief nieuw doel is minstens zo belangrijk geworden: het "gronden" van taalmodellen. Grote taalmodellen zoals ChatGPT, Claude en Gemini genereren tekst op basis van patronen die ze tijdens training hebben geleerd, maar ze hebben geen actuele of geverifieerde kennis en kunnen dingen verzinnen die overtuigend klinken maar onjuist zijn, ook wel "hallucinatie" genoemd. Door zo'n model eerst relevante documenten te laten opzoeken via informatieretrieval, en die vervolgens als bewijsmateriaal mee te geven bij het genereren van een antwoord, kan de betrouwbaarheid flink toenemen. Deze combinatie heet Retrieval-Augmented Generation (RAG) en is inmiddels een centraal onderdeel van veel AI-toepassingen.
Voorbeelden uit de praktijk
SMART-systeem (Cornell University, jaren zestig en zeventig): computerwetenschapper Gerard Salton bouwde een van de eerste experimentele zoeksystemen en introduceerde het "vector space model", waarin documenten en zoekopdrachten worden voorgesteld als wiskundige vectoren. Dit legde de basis voor TF-IDF en beïnvloedt het vakgebied nog steeds.
TREC, sinds 1992: de Text REtrieval Conference, georganiseerd door het Amerikaanse standaardisatie-instituut NIST in samenwerking met het ministerie van Defensie, is een jaarlijkse wedstrijd waarin onderzoeksgroepen wereldwijd hun zoeksystemen laten testen op dezelfde datasets. TREC heeft decennialang gefungeerd als de gedeelde meetlat voor vooruitgang in het vakgebied.
BM25 (jaren negentig, City University London): onderzoekers Stephen Robertson en Karen Spärck Jones ontwikkelden deze rankingformule, die verrassend robuust bleek. Ondanks decennia aan nieuwere technieken wordt BM25 nog altijd gebruikt, vaak als solide basislaag naast nieuwere neurale methoden.
Dense Passage Retrieval en RAG (Facebook AI Research, 2020): onderzoekers rond Vladimir Karpukhin publiceerden DPR, een van de eerste succesvolle neurale retrieval-methoden op grote schaal. In hetzelfde jaar introduceerde een team onder leiding van Patrick Lewis bij hetzelfde lab het RAG-concept, dat retrieval en tekstgeneratie combineert en de basis vormt voor hoe veel hedendaagse AI-assistenten actuele bronnen raadplegen.
Elasticsearch in de industrie: het open source zoekplatform Elasticsearch, gebouwd op de oudere Apache Lucene-bibliotheek, wordt wereldwijd gebruikt door bedrijven om grote hoeveelheden logdata, productcatalogi en documenten doorzoekbaar te maken, van webshops tot IT-beveiligingsteams die logbestanden analyseren.
Hoe ver is de techniek?
Klassieke sparse retrieval met TF-IDF en BM25 is volwassen technologie: goed begrepen, betrouwbaar en goedkoop om te draaien. Dense en neurale retrieval hebben de afgelopen jaren een grote sprong gemaakt dankzij vooruitgang in taalmodellen, maar zijn rekenkundig duurder: het genereren en doorzoeken van embeddings kost meer rekenkracht en geheugen dan simpel woorden tellen.
Een belangrijke trend is dat de twee benaderingen elkaar steeds vaker aanvullen in plaats van verdringen: hybrid search combineert de precisie van sparse matching met de betekenisvolle flexibiliteit van dense retrieval. Ook de opkomst van RAG heeft nieuwe uitdagingen blootgelegd. Het is niet genoeg om een taalmodel toegang te geven tot een zoekmachine; het moet ook goed kunnen beoordelen welke opgehaalde documenten betrouwbaar en relevant zijn, en dat gaat nog geregeld mis. Onderzoekers werken aan betere manieren om RAG-systemen te evalueren, aangezien traditionele precision- en recallmetingen niet automatisch vertellen of het uiteindelijke, door een taalmodel gegenereerde antwoord ook klopt.
Andere obstakels zijn de actualiteit van geïndexeerde data (een index moet ververst worden om nieuwe informatie te bevatten), de kosten en snelheid (latency) van grootschalige vectorzoekopdrachten, en het risico dat systemen bevooroordeelde of onbetrouwbare bronnen als relevant beoordelen. Het vakgebied is dus allerminst "af": het beweegt in hoog tempo mee met de ontwikkeling van taalmodellen en AI-toepassingen in bredere zin.
Wie werken eraan?
Informatieretrieval wordt zowel door grote techbedrijven als door academische instituten ontwikkeld. Google en Microsoft (met Bing) hebben decennialang geïnvesteerd in zoektechnologie voor hun zoekmachines. Elastic, het bedrijf achter Elasticsearch, richt zich specifiek op zoek- en indexeringsinfrastructuur voor andere bedrijven. Meta AI (voorheen Facebook AI Research) heeft met onderzoek als DPR en RAG een belangrijke bijdrage geleverd aan moderne neurale retrieval. AI-bedrijven als OpenAI en Anthropic passen retrieval-technieken toe om hun taalmodellen te voorzien van actuele en controleerbare informatie.
Op academisch vlak geldt Cornell University, waar Gerard Salton zijn baanbrekende werk verrichtte, als een van de bakermatten van het vakgebied. In Nederland heeft de Universiteit van Amsterdam een onderzoeksgroep die zich onder meer bezighoudt met informatieretrieval, met naam verbonden aan onderzoekers als hoogleraar Maarten de Rijke. Wereldwijd wordt het vakgebied verder gestructureerd door de gemeenschap rond ACM SIGIR, de belangrijkste jaarlijkse wetenschappelijke conferentie op dit terrein, en door TREC, de evaluatiecompetitie die sinds 1992 door het Amerikaanse NIST wordt georganiseerd.