CRPS: de rekenregel die probabilistische voorspellingen eerlijk beoordeelt
Stel je een weerman voor die niet zegt "morgen wordt het 18 graden", maar in plaats daarvan een hele waaier aan mogelijkheden geeft: 10% kans op 15 graden, 30% kans op ergens tussen de 16 en 18 graden, 40% kans op 18 tot 20 graden, en zo verder. Zo'n voorspelling met een verdeling van kansen heet een probabilistische voorspelling, in tegenstelling tot een enkel getal (een deterministische voorspelling). Het probleem is: hoe beoordeel je achteraf of zo'n waaier aan mogelijkheden goed was, als de werkelijkheid toch maar één uitkomst laat zien?
Daarvoor bestaat de Continuous Ranked Probability Score, afgekort CRPS. Het is een wiskundige rekenregel die precies aangeeft hoe goed een kansverdeling paste bij wat er werkelijk gebeurde. Hoe lager de score, hoe beter de voorspelling. CRPS wordt al decennia gebruikt door meteorologen, maar duikt de laatste jaren steeds vaker op in nieuws over kunstmatige intelligentie, omdat nieuwe AI-modellen voor weersvoorspelling en andere toepassingen precies op dit soort onzekerheidsschattingen worden afgerekend.
Wat is het precies?
Om CRPS te begrijpen, helpt het om eerst te kijken naar een simpelere maatstaf: de gemiddelde absolute fout (mean absolute error, MAE). Als een voorspelling "18 graden" was en het werd 20 graden, dan is de fout 2 graden. Simpel, maar dit werkt alleen bij voorspellingen die één getal geven.
Bij een probabilistische voorspelling geeft het model geen enkel getal, maar een hele verdeling: een curve die aangeeft hoe waarschijnlijk elke mogelijke uitkomst is. Wiskundig wordt zo'n verdeling vaak weergegeven als een cumulatieve verdelingsfunctie, kortweg CDF. Dat is een curve die voor elke waarde x aangeeft: "hoe groot is de kans dat de uitkomst kleiner of gelijk is aan x?" Deze curve loopt altijd geleidelijk op van 0 (helemaal geen kans) naar 1 (zekerheid).
De werkelijke uitkomst kun je ook als zo'n curve tekenen: een sprongfunctie die in één keer van 0 naar 1 springt, precies op de waarde die daadwerkelijk gemeten is. Er was tenslotte geen onzekerheid meer nadat het weer bekend was. CRPS meet nu simpelweg de oppervlakte tussen deze twee curven: de voorspelde curve en de curve van de werkelijkheid. Hoe meer die twee op elkaar lijken, hoe kleiner die oppervlakte, hoe lager de score.
Een handige eigenschap: als de voorspelling toevallig geen onzekerheid bevat (dus gewoon één getal is), dan valt CRPS automatisch terug op de simpele MAE van hierboven. CRPS is dus in feite een uitbreiding van een vertrouwde foutmaat naar de wereld van kansverdelingen, vandaar ook de naam: het is "continu" (het werkt met elke mogelijke waarde, niet alleen categorieën) en "rangschikkend" (ranked), omdat het de volledige geordende verdeling meeweegt in plaats van losse kansen.
Belangrijk is ook dat CRPS een zogeheten "strikt propere scoreregel" is (strictly proper scoring rule), een term uit de statistiek. Dat betekent dat een voorspeller de laagst mogelijke verwachte score alleen behaalt door zijn eerlijke, werkelijke inschatting van de kansen te geven, en niet door te "gokken" of de verdeling kunstmatig smaller of breder te maken. Dat maakt CRPS geschikt om modellen eerlijk met elkaar te vergelijken.
Wat wil men ermee bereiken?
Voorspellingen met onzekerheid zijn eigenlijk altijd eerlijker dan voorspellingen die doen alsof de toekomst zeker is. Een orkaanwaarschuwing die zegt "er is 60% kans dat de storm hier langskomt" geeft hulpdiensten en burgers meer bruikbare informatie dan een simpel "wel of niet". Maar zulke kansuitspraken zijn ook lastiger te beoordelen: als de storm uiteindelijk toch komt, was die 60% dan goed of fout?
Onderzoekers en weerdiensten hebben daarom behoefte aan een objectieve, wiskundig onderbouwde manier om modellen te vergelijken en te verbeteren. CRPS geeft ze dat: een enkel getal waarmee ze kunnen zeggen "model A voorspelt gemiddeld beter dan model B", zelfs als beide modellen met kansverdelingen werken in plaats van met vaste getallen.
Dat is niet alleen belangrijk voor de wetenschap zelf. Bedrijven en overheden gebruiken deze scores om te bepalen welk voorspellingssysteem operationeel wordt ingezet, bijvoorbeeld welk model een weerdienst of energiebedrijf daadwerkelijk gebruikt om beslissingen op te baseren. Een paar procent verbetering in CRPS kan in de praktijk vertalen naar betere waarschuwingen bij extreem weer, efficiëntere planning van windmolens en zonnepanelen, of scherpere inschattingen bij een epidemie.
Voorbeelden uit de praktijk
Het Europese weerinstituut ECMWF (European Centre for Medium-Range Weather Forecasts) in het Britse Reading gebruikt CRPS al sinds het begin van deze eeuw om zijn ensemblevoorspellingen te controleren: reeksen van tientallen iets verschillende weersimulaties die samen een kansverdeling van het toekomstige weer vormen. De methode om CRPS praktisch te berekenen voor zulke ensembles werd in 2000 uitgewerkt door ECMWF-onderzoeker Hans Hersbach, en die aanpak wordt sindsdien wereldwijd gebruikt.
In december 2024 publiceerde Google DeepMind in het wetenschappelijke tijdschrift Nature het model GenCast, een AI-systeem dat honderden mogelijke weerscenario's tegelijk genereert. DeepMind liet zien dat GenCast op de CRPS-score beter scoorde dan het gevestigde ensemblesysteem van ECMWF op verreweg de meeste van de 1.320 geteste variabelen en locaties, wat destijds veel aandacht kreeg als voorbeeld van AI die klassieke weermodellen begint te overtreffen.
Ook buiten de meteorologie duikt CRPS op. Tijdens de coronapandemie gebruikte de Amerikaanse COVID-19 Forecast Hub, een samenwerking tussen onder meer Johns Hopkins University en de University of Massachusetts Amherst, van 2020 tot 2023 een nauw verwante score (de Weighted Interval Score, een praktische benadering van CRPS) om wekelijks tientallen voorspelmodellen voor ziekenhuisopnames en sterfgevallen te rangschikken.
Netbeheerders en energiebedrijven gebruiken CRPS-achtige scores om voorspellingen van wind- en zonne-energie te beoordelen: hoe zekerder en preciezer die kansinschattingen, hoe beter het elektriciteitsnet kan worden gebalanceerd. Ten slotte gebruiken ook andere recente AI-weermodellen, zoals opvolgers van NVIDIA's FourCastNet en experimentele nowcasting-systemen van onder meer Google Research, CRPS of vergelijkbare scores om hun voorspellingen te testen.
Hoe ver is de techniek?
CRPS zelf is geen nieuwe uitvinding. Het wiskundige idee werd al in 1976 beschreven door de Amerikaanse onderzoekers James Matheson en Robert Winkler, en de praktische toepassing op ensemblevoorspellingen dateert uit 2000. In die zin is het een volwassen, breed geaccepteerd stuk statistiek, geen experimentele technologie.
Wat wél snel in ontwikkeling is, is het gebruik van CRPS om de nieuwe generatie AI-weermodellen te beoordelen. Dat brengt praktische uitdagingen met zich mee. Het berekenen van CRPS voor een volledig wereldwijd weerbeeld, met duizenden gridpunten en meerdere variabelen zoals temperatuur, wind en luchtdruk, kost veel rekenkracht. Onderzoekers gebruiken daarom benaderingen op basis van een beperkt aantal ensembleleden, wat zelf weer een kleine vertekening in de score kan geven.
Er is ook discussie onder statistici over de grenzen van CRPS. De score is gevoelig voor gemiddelde prestaties over veel gevallen, maar minder scherp in het bestraffen van missers bij zeldzame, extreme gebeurtenissen zoals een uitzonderlijk zware storm. Voor toepassingen waarbij juist die uitschieters het belangrijkst zijn, zoals waarschuwingen voor extreem weer, werken onderzoekers aan aanvullende of aangepaste scoreregels naast CRPS.
Kortom: het wiskundige gereedschap is uitontwikkeld, maar hoe het het beste wordt ingezet om de nieuwste AI-modellen te beoordelen en te verbeteren, is nog volop in beweging.
Wie werken eraan?
Het ECMWF in Reading (Verenigd Koninkrijk) is wereldwijd toonaangevend in het operationeel gebruiken en verder verfijnen van CRPS voor weersverificatie, in nauwe samenwerking met nationale weerdiensten van de lidstaten, waaronder het Nederlandse KNMI. De Wereld Meteorologische Organisatie (WMO) van de Verenigde Naties helpt bij het internationaal standaardiseren van dit soort verificatiemethoden.
Op het gebied van AI-weermodellen investeren vooral techbedrijven zwaar: Google DeepMind (met GenCast en eerder GraphCast) en NVIDIA (met FourCastNet) publiceren regelmatig onderzoek waarin CRPS een centrale rol speelt. In de Verenigde Staten dragen ook NOAA (de nationale oceaan- en atmosfeerdienst) en universitaire onderzoeksgroepen bij, waaronder de University of Washington, waar statisticus Tilmann Gneiting samen met Adrian Raftery baanbrekend theoretisch werk publiceerde over propere scoreregels zoals CRPS.
Buiten het weer werkte een netwerk van Amerikaanse universiteiten samen met de gezondheidsdienst CDC binnen de COVID-19 Forecast Hub aan het toepassen van CRPS-achtige scores op epidemiologische voorspellingen, een aanpak die inmiddels ook wordt doorgetrokken naar voorspellingen van griep en andere infectieziekten.