Onzekerheidsschatting: hoe AI leert zeggen 'ik weet het niet zeker'
Onzekerheidsschatting is een verzameling technieken waarmee een kunstmatig intelligent systeem niet alleen een antwoord geeft, maar er ook een getal bij levert dat aangeeft hoe zeker het van dat antwoord is. Vergelijk het met een weerbericht: in plaats van simpelweg te zeggen "morgen regent het", zegt een goed weermodel "er is 70% kans op regen". Die 70% is geen versiering, maar cruciale informatie waarmee je een beslissing kunt nemen, bijvoorbeeld of je een paraplu meeneemt.
Bij veel AI-systemen ontbreekt dat percentage. Een beeldherkenningsmodel dat een foto van een kat ziet, zegt vaak gewoon "kat", ook als het eigenlijk twijfelt tussen een kat en een vos. Onzekerheidsschatting probeert dat te repareren: het model moet niet alleen een antwoord geven, maar ook een eerlijke inschatting van hoe betrouwbaar dat antwoord is. Dat klinkt eenvoudig, maar is technisch lastig, en juist daarom is het een actief onderzoeksveld geworden binnen de kunstmatige intelligentie.
Wat is het precies?
Om te begrijpen hoe onzekerheidsschatting werkt, is het handig om eerst twee soorten onzekerheid uit elkaar te houden. De eerste heet aleatorische onzekerheid: onzekerheid die inherent is aan de wereld zelf, zoals ruis of toeval. Een dobbelsteen gooien blijft onzeker, hoeveel data je ook verzamelt. De tweede heet epistemische onzekerheid: onzekerheid die ontstaat doordat het model simpelweg te weinig heeft geleerd over een bepaalde situatie. Die onzekerheid kán wel afnemen, namelijk door het model meer of betere voorbeelden te geven.
Om beide soorten onzekerheid te meten, gebruiken onderzoekers verschillende technieken. Bij Bayesiaanse neurale netwerken wordt elk gewicht in het netwerk niet als één vast getal opgeslagen, maar als een kansverdeling van mogelijke waarden. Het model "weet" dan zelf hoe zeker het is van zijn eigen instellingen, en die onzekerheid werkt door in de uiteindelijke voorspelling. Dit is wiskundig elegant, maar in de praktijk zwaar: het vraagt veel rekenkracht om al die kansverdelingen bij te houden.
Een praktischer alternatief is de ensemble-methode: je traint niet één model, maar bijvoorbeeld tien, elk met een iets andere start of andere data. Zijn die tien modellen het onderling eens, dan is de voorspelling waarschijnlijk betrouwbaar. Lopen de antwoorden sterk uiteen, dan is dat een signaal van onzekerheid. Een goedkopere variant hiervan is Monte Carlo dropout: je schakelt tijdens het gebruik van het model willekeurig een deel van de neurale verbindingen uit (iets wat normaal alleen tijdens trainen gebeurt) en herhaalt dit meerdere keren. De spreiding tussen die herhalingen geeft een schatting van de onzekerheid, zonder dat je meerdere volledige modellen hoeft te trainen.
Een heel andere aanpak is conformal prediction. In plaats van te vertrouwen op de interne kansinschatting van het model, gebruikt deze methode een aparte set testdata om achteraf statistisch te garanderen hoe vaak het model gelijk heeft binnen een bepaalde marge. Het voordeel is dat de garantie wiskundig hard is, ongeacht hoe het model zelf is gebouwd. Ten slotte is kalibratie belangrijk: dat is het proces waarbij je controleert of een model dat "90% zeker" zegt, ook daadwerkelijk in negen van de tien gevallen gelijk heeft. Veel modellen blijken bij een eerste training "overmoedig": ze zeggen 99% zeker te zijn, terwijl ze in werkelijkheid vaker fout zitten dan dat percentage suggereert.
Wat wil men ermee bereiken?
De kern van het streven is vertrouwen: een AI-systeem dat weet wanneer het iets niet weet, is veiliger dan een systeem dat altijd zelfverzekerd antwoord geeft. In kritieke toepassingen, zoals medische diagnostiek of zelfrijdende auto's, kan een foute maar zelfverzekerde voorspelling grote gevolgen hebben. Onzekerheidsschatting maakt het mogelijk om een grens in te bouwen: alleen wanneer het model voldoende zeker is, neemt het zelf een beslissing; bij twijfel wordt de zaak doorgestuurd naar een mens.
Een ander belangrijk doel is het voorkomen van wat in de sector "hallucinaties" wordt genoemd: momenten waarop een taalmodel met volle overtuiging iets verzint dat niet klopt. Als een taalmodel kan aangeven hoe zeker het van een feit is, kan een gebruiker of een systeem daaromheen beter inschatten wanneer een antwoord gecontroleerd moet worden. Daarnaast speelt onzekerheidsschatting een rol bij het efficiënt inzetten van mensen en middelen: in de industrie kun je bijvoorbeeld alleen de meest onzekere gevallen laten controleren door een expert, in plaats van alles.
Voorbeelden uit de praktijk
AlphaFold (DeepMind, 2021) is misschien wel het bekendste voorbeeld. Dit systeem voorspelt de driedimensionale vorm van eiwitten op basis van hun aminozuurvolgorde. Bij elke voorspelling levert AlphaFold een pLDDT-score: een getal per onderdeel van het eiwit dat aangeeft hoe betrouwbaar die specifieke voorspelling is. Onderzoekers weten daardoor precies welke delen van een voorspelde structuur ze kunnen vertrouwen en welke niet.
In 2017 publiceerden onderzoekers van Google, onder wie Balaji Lakshminarayanan, het invloedrijke werk over "Deep Ensembles", waarin werd aangetoond dat het combineren van meerdere neurale netwerken een eenvoudige en effectieve manier is om betrouwbare onzekerheidsschattingen te krijgen, vaak beter dan complexere Bayesiaanse methoden.
IDx-DR, ontwikkeld door het bedrijf Digital Diagnostics, was in 2018 het eerste autonome AI-diagnosesysteem dat goedkeuring kreeg van de Amerikaanse toezichthouder FDA, voor het opsporen van diabetische retinopathie (een oogaandoening) op basis van netvliesfoto's. Het systeem werkt met een ingebouwde betrouwbaarheidsdrempel: is de beeldkwaliteit of de zekerheid onvoldoende, dan verwijst het systeem automatisch door naar een oogarts in plaats van zelf een diagnose te stellen.
In de wereld van zelfrijdende auto's gebruiken bedrijven als Waymo en Tesla probabilistische modellen om de omgeving te interpreteren: niet "daar staat een voetganger", maar een kansverdeling over waar voetgangers, fietsers en andere voertuigen zich waarschijnlijk bevinden en hoe ze zich waarschijnlijk zullen bewegen. Beide bedrijven zijn terughoudend met het openbaar delen van technische details, dus veel van deze informatie komt uit gepubliceerde onderzoekspapers en presentaties in plaats van volledige transparantie over de productiesystemen.
Meer recent, tussen 2022 en 2024, hebben OpenAI en Anthropic onderzoek gepubliceerd naar de kalibratie van grote taalmodellen: kunnen deze modellen leren om eerlijker aan te geven hoe zeker ze van een antwoord zijn, en kan dat helpen om hallucinaties te herkennen? De resultaten zijn wisselend; grote taalmodellen blijven notoir lastig goed te kalibreren, zeker na de fine-tuning stappen die ze gebruiksvriendelijker maken.
Hoe ver is de techniek?
De volwassenheid van onzekerheidsschatting verschilt sterk per domein. In de weersvoorspelling en in gespecialiseerde toepassingen zoals AlphaFold is de techniek al decennialang, respectievelijk enkele jaren, in productie en betrouwbaar gebleken. In de bredere wereld van deep learning, en zeker bij grote taalmodellen, staat het vakgebied nog in de kinderschoenen.
Een belangrijk obstakel is rekenkracht: echte Bayesiaanse methoden zijn vaak te duur om op grote schaal toe te passen, waardoor onderzoekers moeten terugvallen op goedkopere benaderingen die minder nauwkeurig zijn. Een tweede probleem is kalibratie onder "distributieverschuiving": een model dat goed gekalibreerd is op de data waarmee het getraind is, kan volledig de mist ingaan zodra het een situatie tegenkomt die sterk afwijkt van die trainingsdata, en juist dan is betrouwbare onzekerheidsschatting het hardst nodig. Ten derde ontbreekt het nog aan brede, geaccepteerde standaarden en benchmarks om verschillende methoden eerlijk met elkaar te vergelijken, wat het lastig maakt om vooruitgang objectief te meten.
Bij grote taalmodellen komt daar een extra complicatie bij: het fine-tunen van deze modellen om prettiger of behulpzamer te klinken (bijvoorbeeld via reinforcement learning met menselijke feedback) blijkt de kalibratie vaak te verslechteren. Het model wordt overtuigender in zijn taalgebruik, maar niet per se eerlijker over zijn eigen onzekerheid.
Wie werken eraan?
Op onderzoeksgebied lopen DeepMind, OpenAI, Anthropic en Google Research voorop, met publicaties over zowel fundamentele methoden als toepassingen in taalmodellen en wetenschappelijke voorspellingen. Aan universiteiten is Yarin Gal van de University of Oxford een bekende naam; hij heeft baanbrekend werk verricht op het gebied van Bayesiaanse deep learning en Monte Carlo dropout. Ook onderzoeksgroepen aan de University of Cambridge en het MIT dragen actief bij aan het veld.
Buiten de academische wereld werkt NASA JPL (Jet Propulsion Laboratory) aan onzekerheidsschatting voor autonome systemen zoals ruimtesondes en Mars-rovers, waar een verkeerde beslissing zonder mogelijkheid tot direct menselijk ingrijpen desastreus kan zijn. In de autonome-voertuigenindustrie investeren Waymo en Tesla fors in probabilistische perceptiemodellen. In de medische sector is Digital Diagnostics, de maker van IDx-DR, een voorbeeld van een bedrijf dat onzekerheidsschatting direct heeft verwerkt in een goedgekeurd medisch product.