Onzekerheidskwantificering: hoe zeker is een computer eigenlijk van zijn antwoord?
Als een weerman zegt dat er morgen 70 procent kans op regen is, geeft hij niet alleen een voorspelling maar ook een maat voor onzekerheid: hij weet niet zeker of het gaat regenen, maar kan wel aangeven hoe waarschijnlijk het is. Onzekerheidskwantificering is de wetenschap die dit soort inschattingen systematisch en betrouwbaar maakt, niet alleen voor het weer, maar voor elk computermodel dat een voorspelling of berekening doet.
Dat is belangrijker dan het klinkt. Een zelfrijdende auto die een voetganger detecteert, een AI-systeem dat een longfoto beoordeelt op kanker, of een klimaatmodel dat de zeespiegel in 2100 voorspelt: al deze systemen geven een antwoord, maar hoe weet je of dat antwoord te vertrouwen is? Onzekerheidskwantificering probeert die vraag met cijfers te beantwoorden, zodat mensen weten wanneer ze een model kunnen vertrouwen en wanneer niet.
Wat is het precies?
Onzekerheidskwantificering (vaak afgekort als UQ, van het Engelse uncertainty quantification) is een verzameling wiskundige en statistische methoden om te bepalen hoe betrouwbaar de uitkomst van een model of meting is. Onderzoekers maken daarbij een belangrijk onderscheid tussen twee soorten onzekerheid.
Aleatorische onzekerheid is onzekerheid die inherent is aan het systeem zelf en niet weg te nemen valt, hoe goed je model ook is. De uitkomst van een dobbelsteenworp is daar een simpel voorbeeld van: zelfs met perfecte kennis van de natuurkunde blijft er toevalligheid. Epistemische onzekerheid
Om deze onzekerheden te meten, gebruiken onderzoekers verschillende technieken. Bij Bayesiaanse statistiek wordt niet één uitkomst berekend, maar een hele kansverdeling van mogelijke uitkomsten, gebaseerd op wat je al wist en wat nieuwe data toevoegen. Bij ensemble-methoden laat men niet één maar tientallen of honderden varianten van een model dezelfde berekening doen; hoe meer die uitkomsten uiteenlopen, hoe onzekerder de voorspelling. Monte Carlo-simulaties herhalen een berekening duizenden keren met telkens iets andere startwaarden, om zo een beeld te krijgen van de spreiding in mogelijke uitkomsten. Recenter is conforme predictie (conformal prediction) in opkomst: een statistische methode die, zonder aannames over de onderliggende verdeling, een betrouwbaarheidsmarge geeft met een wiskundig bewijsbare garantie, bijvoorbeeld "met 95 procent zekerheid ligt het juiste antwoord in dit interval".
In de praktijk doorloopt een UQ-analyse meestal een aantal stappen: eerst breng je de bronnen van onzekerheid in kaart (meetfouten, onvolledige data, modelaannames), dan reken je door hoe die onzekerheden zich voortplanten door het model, en ten slotte vertaal je de uitkomst naar iets bruikbaars, zoals een foutmarge, een betrouwbaarheidsinterval of een simpel "ik weet het niet"-signaal.
Wat wil men ermee bereiken?
Het belangrijkste doel is vertrouwen: een gebruiker moet kunnen inschatten wanneer een model waarschijnlijk gelijk heeft en wanneer niet. Dat klinkt vanzelfsprekend, maar veel AI-systemen, waaronder grote taalmodellen, geven standaard een antwoord met ogenschijnlijk volle overtuiging, ook als ze het mis hebben. Dat verschijnsel, bekend als hallucineren, is een van de grootste redenen waarom onderzoekers werken aan betere onzekerheidskwantificering voor AI.
In veiligheidskritische toepassingen is dit geen luxe maar een noodzaak. Bij medische apparatuur, zelfrijdende auto's, ruimtevaarttechniek en kerncentrales kan een te zelfverzekerd verkeerd antwoord tot ernstige schade leiden. Door expliciet te maken hoe onzeker een systeem is, kan het bijvoorbeeld een moeilijk geval doorverwijzen naar een mens in plaats van zelf een beslissing te nemen.
Er is ook een regelgevend belang. De Europese AI-verordening (de EU AI Act) stelt eisen aan de betrouwbaarheid en transparantie van AI-systemen met hoog risico, en de Amerikaanse FDA vraagt bij de goedkeuring van AI-gedreven medische apparatuur steeds vaker om inzicht in de onzekerheid van voorspellingen. Onzekerheidskwantificering is daarmee niet alleen een technisch hulpmiddel, maar ook een bouwsteen voor verantwoorde regelgeving.
Voorbeelden uit de praktijk
Ruimtevaart bij NASA: al sinds de jaren negentig gebruikt NASA formele UQ-methoden bij het ontwerp van raketten en capsules, zoals de Orion-capsule, om te berekenen hoe onzekerheden in materiaaleigenschappen en meetfouten zich opstapelen tot een risico op falen tijdens een missie.
Sandia National Laboratories: dit Amerikaanse onderzoekslaboratorium van het ministerie van Energie ontwikkelde de softwaretoolkit DAKOTA, die wereldwijd wordt gebruikt in techniek en engineering om onzekerheid in simulaties van bijvoorbeeld bruggen, vliegtuigonderdelen en kernreactoren te kwantificeren.
Klimaatwetenschap: de klimaatmodellen die worden gebruikt in de rapporten van het IPCC (het klimaatpanel van de Verenigde Naties) bestaan niet uit één model maar uit tientallen modellen van instituten wereldwijd, gebundeld in het CMIP6-project (Coupled Model Intercomparison Project, fase 6, afgerond rond 2021). De spreiding tussen deze modellen wordt gebruikt om de onzekerheidsmarges in bijvoorbeeld temperatuur- en zeespiegelprojecties te bepalen.
Medische AI: bij AI-systemen die diabetische retinopathie (een oogaandoening) detecteren op basis van netvliesfoto's, wordt onderzocht hoe het systeem twijfelachtige gevallen kan herkennen en doorsturen naar een oogarts in plaats van zelf een diagnose te stellen, in plaats van elk geval met dezelfde schijnzekerheid te beoordelen.
Taalmodellen: tussen 2023 en 2024 verscheen een golf aan onderzoek naar het kalibreren van grote taalmodellen zoals GPT en soortgelijke systemen, onder meer met conforme predictie, om te voorkomen dat deze modellen met overtuiging feitelijk onjuiste informatie presenteren.
Hoe ver is de techniek?
In de klassieke ingenieurswetenschappen, ruimtevaart en klimaatmodellering is onzekerheidskwantificering een volwassen vakgebied met decennia aan ervaring, gestandaardiseerde software en breed geaccepteerde methoden. Daar is het inmiddels standaardpraktijk om nooit een enkel getal te presenteren zonder foutmarge.
Binnen deep learning en AI ligt dat anders: hier is UQ een jong en snel groeiend onderzoeksveld. Een belangrijke doorbraak was de introductie van Monte Carlo dropout door onderzoekers Yarin Gal en Zoubin Ghahramani in 2016, een relatief goedkope manier om een neuraal netwerk toch een soort onzekerheidsschatting te laten geven. Sindsdien zijn conforme predictie en andere technieken in opkomst, vooral omdat ze wiskundige garanties bieden zonder dure herhaalde berekeningen.
Toch zijn er stevige obstakels. Volledige Bayesiaanse methoden zijn vaak rekenkundig te duur om toe te passen op de miljarden parameters van moderne taalmodellen. Epistemische onzekerheid is bovendien lastig te meten in zulke grote netwerken, omdat niemand precies weet wat het model wel en niet "geleerd" heeft. Ondanks kalibratieonderzoek blijven grote taalmodellen in de praktijk regelmatig overmoedig, en er is nog geen consensus in de wetenschappelijke gemeenschap over welke UQ-methode het beste werkt voor deze zogeheten foundation models, de grote algemene basismodellen achter veel huidige AI-toepassingen.
Wie werken eraan?
In de Verenigde Staten zijn nationale laboratoria van het ministerie van Energie, zoals Sandia National Laboratories en Los Alamos National Laboratory, al decennia toonaangevend in UQ voor techniek en simulatie, net als NASA voor ruimtevaarttoepassingen.
Op het gebied van AI en machine learning lopen onder meer het Alan Turing Institute in het Verenigd Koninkrijk en de onderzoeksgroep van Yarin Gal aan de universiteit van Oxford voorop. Grote techbedrijven als DeepMind, OpenAI en Google investeren eveneens in onderzoek naar kalibratie en betrouwbaarheid van hun modellen.
In Nederland houden onder meer TU Delft en TU Eindhoven zich bezig met onzekerheidskwantificering in techniek en simulatie, terwijl het KNMI ensemblemethoden gebruikt voor weer- en klimaatvoorspellingen. Internationaal wordt klimaatgerelateerde UQ vooral gedreven door de CMIP-consortia die bijdragen aan de rapporten van het IPCC. Als vakvereniging speelt de SIAM (Society for Industrial and Applied Mathematics) een centrale rol, onder meer via een eigen wetenschappelijk tijdschrift gewijd aan het vakgebied.