AI-hallucinatie: waarom chatbots soms overtuigend liegen
Stel je een heel goed voorbereide student voor die tijdens een tentamen een vraag krijgt waarvan hij het antwoord niet weet. In plaats van "dat weet ik niet" te zeggen, verzint hij vlot en zelfverzekerd een antwoord dat plausibel klinkt. De docent die het antwoord ook niet kent, zou het zomaar kunnen geloven. Dit is in essentie wat AI-hallucinatie is: een kunstmatige-intelligentiesysteem, meestal een taalmodel zoals ChatGPT, Gemini of Claude, produceert informatie die er overtuigend en feitelijk uitziet, maar die feitelijk onjuist of volledig verzonnen is.
Het woord "hallucinatie" is een beetje misleidend, want het systeem "ziet" niets dat er niet is zoals een mens dat bij een hallucinatie zou doen. Het model genereert simpelweg tekst op basis van patronen die het tijdens de training heeft geleerd, zonder een echt besef van wat waar of onwaar is. Een bekend voorbeeld: vraag een chatbot naar een wetenschappelijk artikel over een specifiek onderwerp, en de kans bestaat dat hij een titel, auteurs en een tijdschrift verzint die er allemaal legitiem uitzien, maar nooit hebben bestaan. De AI "liegt" niet bewust, ze heeft simpelweg geen ingebouwd onderscheid tussen feit en fictie.
Wat is het precies?
Moderne taalmodellen zoals GPT-4, Gemini en Claude zijn getraind om het meest waarschijnlijke volgende woord in een zin te voorspellen, gebaseerd op enorme hoeveelheden tekst van het internet, boeken en andere bronnen. Ze bouwen zinnen op statistisch, woord voor woord, niet door feiten op te zoeken in een database.
Dat proces werkt verrassend goed voor het genereren van coherente, natuurlijk klinkende taal. Het probleem is dat "statistisch waarschijnlijk klinkend" niet hetzelfde is als "waar". Als een model tijdens de training vaker teksten heeft gezien waarin een bepaald soort claim voorkomt, zal het die claim gemakkelijk reproduceren, ook als de specifieke details verkeerd zijn.
Hallucinaties ontstaan onder meer door drie oorzaken. Ten eerste: hiaten in de trainingsdata. Vraag je iets zeer specifieks of recents waar het model weinig over heeft geleerd, dan vult het de gaten op met plausibel klinkende, maar verzonnen informatie. Ten tweede: de manier waarop deze modellen zijn gebouwd, beloont vloeiende en zelfverzekerde antwoorden boven aarzelende "ik weet het niet"-antwoorden, simpelweg omdat trainingsdata zelden expliciet onzekerheid uitdrukt. Ten derde: bij lange, complexe redeneringen kan een model tijdens het "denken" van het ene naar het andere onjuiste tussenstapje glijden, waarna de uiteindelijke conclusie ook fout is, ook al klinkt de redenering logisch.
Wat wil men ermee bereiken?
Onderzoekers en bedrijven proberen hallucinaties niet te "bereiken" maar juist te bestrijden; het is een van de grootste obstakels voor betrouwbare AI. Het uiteindelijke doel is een systeem dat weet wat het niet weet, dat bronnen kan aanwijzen voor zijn beweringen, en dat liever toegeeft onzeker te zijn dan een verzonnen antwoord te geven.
Dit is om meerdere redenen belangrijk. In toepassingen als geneeskunde, recht of financiën kan een foutief maar overtuigend antwoord grote schade aanrichten. Ook het vertrouwen van gebruikers staat op het spel: als mensen merken dat een AI-systeem regelmatig dingen verzint, verliezen ze het vertrouwen in zelfs de correcte antwoorden. Tot slot speelt schaal een rol. Naarmate AI-systemen worden ingezet in zoekmachines, klantenservice en onderwijs, bereiken fouten miljoenen mensen tegelijk, in plaats van dat één persoon een verkeerd antwoord krijgt.
De belangrijkste technische aanpak om hallucinaties te verminderen heet Retrieval-Augmented Generation (RAG), een methode die onderzoekers van Meta (destijds Facebook AI Research) in 2020 introduceerden. In plaats van uitsluitend te vertrouwen op wat het model tijdens de training heeft "onthouden", zoekt het systeem eerst relevante documenten op in een externe bron, zoals een database of het web, en gebruikt die als basis voor het antwoord. Dit vermindert hallucinaties aanzienlijk, maar lost het probleem niet volledig op: het model kan nog steeds de opgehaalde informatie verkeerd samenvatten of combineren met verzonnen details.
Voorbeelden uit de praktijk
Een van de bekendste juridische gevallen deed zich voor in de Verenigde Staten in 2023, in de zaak Mata v. Avianca. Advocaat Steven Schwartz gebruikte ChatGPT om jurisprudentie te zoeken ter onderbouwing van een rechtszaak. Het model verzon zes compleet fictieve rechtszaken, compleet met overtuigend klinkende zaaknummers en citaten. Rechter Kevin Castel merkte dit op en legde sancties op aan de advocaten, in een zaak die wereldwijd aandacht kreeg als waarschuwing voor blind vertrouwen op AI in juridisch werk.
Ook bedrijven ontsnappen niet aan de gevolgen. In februari 2024 oordeelde het Civil Resolution Tribunal in British Columbia, Canada, in de zaak Moffatt v. Air Canada dat de luchtvaartmaatschappij aansprakelijk was nadat haar chatbot een klant onjuiste informatie had gegeven over rouwkorting op vliegtickets. Air Canada probeerde te betogen dat de chatbot een "apart juridisch entiteit" was die verantwoordelijk was voor zijn eigen woorden, een argument dat de rechter resoluut verwierp: het bedrijf moest de klant compenseren.
Ook grote techbedrijven zijn niet immuun. Bij de publieke lancering van Google's chatbot Bard, in februari 2023, bevatte de promotievideo een foutieve claim: Bard beweerde dat de James Webb-ruimtetelescoop de allereerste foto van een planeet buiten ons zonnestelsel had gemaakt, wat feitelijk onjuist is. De fout, ontdekt door astronomen kort na de lancering, droeg bij aan een koersdaling van het moederbedrijf Alphabet op de beurs.
Op wetenschappelijk vlak proberen onderzoekers de omvang van het probleem te meten met benchmarks zoals TruthfulQA, gepubliceerd in 2021 door onderzoekers verbonden aan onder meer Oxford en OpenAI. Deze test bestaat uit honderden vragen die speciaal zijn ontworpen om modellen te verleiden tot het herhalen van veelvoorkomende misvattingen, en laat zien dat zelfs geavanceerde modellen daar geregeld intrappen.
Hoe ver is de techniek?
Hallucinatie is nog altijd een onopgelost probleem, al zijn de nieuwste modellen aantoonbaar beter dan hun voorgangers van een paar jaar geleden. Bedrijven als OpenAI, Google DeepMind en Anthropic publiceren regelmatig interne metingen waarin ze claimen dat elke nieuwe modelgeneratie minder vaak hallucineert dan de vorige, met name op feitelijke vraag-en-antwoordtaken. Toch blijft het lastig om deze claims onafhankelijk en eenduidig te verifiëren, omdat hallucinatiepercentages sterk afhangen van het type vraag, het onderwerp en de gebruikte meetmethode.
Een complicerende factor is dat de nieuwere "redenerende" modellen, die stap voor stap tussenstappen genereren voordat ze een antwoord geven, niet per definitie minder hallucineren. Uit verschillende onderzoeken en interne tests van AI-bedrijven zelf blijkt dat langere redeneerketens soms juist nieuwe kansen bieden voor fouten om zich op te stapelen, ook al oogt de uiteindelijke redenering overtuigend. Dit is een actief onderzoeksgebied en de cijfers verschuiven met elke modelgeneratie, dus concrete percentages die nu circuleren, zijn snel verouderd.
De belangrijkste obstakels zijn fundamenteel van aard. Taalmodellen hebben geen ingebouwd mechanisme om intern onderscheid te maken tussen "dit heb ik ergens gelezen en het klopt zeker" en "dit klinkt plausibel maar ik verzin het eigenlijk". Onderzoek naar zogeheten uncertainty estimation, technieken waarmee een model zijn eigen onzekerheid probeert in te schatten, boekt vooruitgang maar is nog niet betrouwbaar genoeg voor kritieke toepassingen. Voorlopig blijft menselijke controle daarom onmisbaar, zeker in domeinen als recht, zorg en journalistiek.
Wie werken eraan?
Vrijwel alle grote AI-laboratoria investeren zwaar in het terugdringen van hallucinaties, al is hun aanpak verschillend. OpenAI (bekend van ChatGPT en GPT-4) en Google DeepMind (Gemini) werken aan zowel betere trainingsmethoden als aan retrieval-technieken die modellen toegang geven tot actuele, controleerbare bronnen. Anthropic, de maker van Claude, publiceert veel onderzoek specifiek gericht op de vraag waarom en wanneer modellen onwaarheden genereren, en op manieren om modellen "eerlijker" te maken over hun eigen onzekerheid.
Meta (voorheen Facebook) speelde een sleutelrol met het introduceren van RAG en blijft actief in open-source onderzoek op dit gebied. Daarnaast zijn academische instellingen onmisbaar: universiteiten als Stanford, Oxford en MIT publiceren regelmatig benchmarks en analyses die onafhankelijk van de techbedrijven zelf meten hoe goed modellen presteren. Het Stanford Institute for Human-Centered Artificial Intelligence (HAI) volgt bijvoorbeeld jaarlijks de voortgang van AI op dit soort maatstaven in zijn AI Index-rapport.
Tot slot spelen toezichthouders en juridische instanties een indirecte maar groeiende rol. Zaken zoals de Air Canada-uitspraak in Canada creëren precedenten die bedrijven dwingen zorgvuldiger om te gaan met AI-gegenereerde informatie, en in de Europese Unie stelt de AI-verordening (AI Act) eisen aan transparantie en betrouwbaarheid van AI-systemen die in de praktijk ook druk zet op het terugdringen van hallucinaties.