Gaussiaanse procesregressie: voorspellen met een ingebouwde foutmarge
Stel je loopt een lange wandelroute en meet op een handvol plekken de temperatuur: bij het startpunt, halverwege en bij de finish. Je wilt weten hoe warm het is op elk ander punt langs de route, ook waar je niet gemeten hebt. Een simpele lijn tussen de meetpunten trekken kan, maar dat voelt onzeker: hoe verder een plek van een meetpunt ligt, hoe minder je eigenlijk weet. Gaussiaanse procesregressie is een wiskundige methode die precies dit doet: ze geeft niet alleen een schatting voor elk punt, maar ook een eerlijk cijfer voor hoe zeker die schatting is.
Het is een vorm van machine learning, maar dan eentje met een sterke wiskundige basis in de statistiek. Waar veel bekende AI-modellen alleen een voorspelling afleveren, zoals "het wordt morgen 18 graden", levert Gaussiaanse procesregressie een voorspelling mét bandbreedte: "18 graden, met een marge van plus of min 2 graden". Die combinatie van voorspelling en onzekerheid maakt de techniek bijzonder waardevol in situaties waarin data schaars, duur of risicovol is om te verzamelen, van geologisch booronderzoek tot het testen van robotarmen.
Wat is het precies?
Regressie is in de statistiek het schatten van een verband tussen invoer (bijvoorbeeld tijdstip of locatie) en uitvoer (bijvoorbeeld temperatuur). De meeste regressiemethoden kiezen één vaste formule, zoals een rechte lijn, en passen die zo goed mogelijk op de data.
Een Gaussiaans proces doet iets fundamenteel anders. In plaats van één functie te kiezen, beschouwt het een oneindig grote verzameling van mogelijke functies die allemaal door of dicht bij de gemeten punten lopen. Voordat er data is, is er een brede waaier aan mogelijke verlopen denkbaar; dit heet de prior, oftewel de voorkennis over hoe de functie er ongeveer uit zou moeten zien, bijvoorbeeld "vloeiend" en zonder wilde sprongen.
Cruciaal hierbij is de kernel, ook wel covariantiefunctie genoemd. Dit is een wiskundige regel die bepaalt hoe sterk twee punten met elkaar samenhangen op basis van hun afstand. Liggen twee tijdstippen of locaties dicht bij elkaar, dan is de kernel-regel meestal dat hun waarden ook op elkaar moeten lijken. De keuze van kernel bepaalt dus impliciet of het model gladde, periodieke of grillige verbanden verwacht.
Zodra er meetpunten binnenkomen, worden alle mogelijke functies die niet door die punten lopen weggestreept. Wat overblijft heet de posterior: een versmalde verzameling functies die wel passen bij de data. Voor elk nieuw invoerpunt levert dit een Gaussische verdeling op, een klokvormige kansverdeling met een gemiddelde (de beste schatting) en een spreiding of variantie (de onzekerheid). Dicht bij bestaande metingen is die spreiding klein, ver ervandaan groeit ze, precies zoals bij de wandelroute.
Een bekende beperking is de rekenkost: de wiskunde achter een Gaussiaans proces vereist het omkeren van een matrix waarvan de grootte meeschaalt met het aantal datapunten in de derde macht. Bij een paar honderd metingen is dat geen probleem, maar bij honderdduizenden datapunten wordt het al snel onwerkbaar zonder slimme benaderingen, zoals zogeheten sparse (ijle) methoden die met een kleinere set representatieve punten werken.
Wat wil men ermee bereiken?
Het hoofddoel is eerlijke onzekerheid. In veel toepassingen is het gevaarlijk of misleidend als een model overtuigd "ja" of "nee" zegt terwijl het eigenlijk weinig bewijs heeft gezien. Een Gaussiaans proces zegt liever "waarschijnlijk, maar ik weet het niet zeker" wanneer de data dat rechtvaardigt.
Die eigenschap wordt actief benut in Bayesiaanse optimalisatie: een strategie om zo efficiënt mogelijk te zoeken naar de beste instelling van iets, bijvoorbeeld de ideale samenstelling van een legering of de beste instellingen (hyperparameters) van een ander AI-model. Omdat elke meting of proef geld of tijd kost, gebruikt men de onzekerheidsschatting van het Gaussiaanse proces om te bepalen waar een volgende, informatieve meting het meest oplevert: op plekken die veelbelovend lijken, of juist op plekken waar het model nog erg onzeker is.
Verder is de methode aantrekkelijk omdat ze non-parametrisch is: men hoeft vooraf geen vaste wiskundige formule te gieten (zoals "een rechte lijn" of "een tweedegraads kromme"). De data zelf, samen met de gekozen kernel, bepaalt hoe flexibel de uiteindelijke functie wordt. Dat maakt de techniek geschikt voor situaties waarin men het echte onderliggende verband niet kent.
Voorbeelden uit de praktijk
De wortels van deze techniek liggen niet in de informatica maar in de mijnbouw. De Zuid-Afrikaanse mijningenieur Danie Krige ontwikkelde in de jaren vijftig een methode om goudconcentraties tussen boorgaten te schatten; de Franse wiskundige Georges Matheron formaliseerde dit in de jaren zestig wiskundig en noemde het kriging, wiskundig identiek aan wat nu Gaussiaanse procesregressie heet. Kriging wordt tot op vandaag gebruikt in de geostatistiek, bijvoorbeeld bij bodemonderzoek en mijnbouwplanning.
In de robotica publiceerden Marc Deisenroth en Carl Edward Rasmussen in 2011 het PILCO-algoritme (Probabilistic Inference for Learning Control), dat een Gaussiaans proces gebruikt om met opvallend weinig proefritten te leren hoe een robotarm een pendel moet opzwaaien en balanceren, iets waar klassieke reinforcement-learningmethoden veel meer trials voor nodig hadden.
Google publiceerde in 2017 details over Vizier, een intern systeem voor black-box-optimalisatie dat op grote schaal wordt ingezet om instellingen van machine-learningmodellen en productiesystemen te verbeteren, met Gaussiaanse-procesmodellen als kernonderdeel van de zoekstrategie.
In de sterrenkunde gebruiken astronomen Gaussiaanse processen om ruis van sterractiviteit te scheiden van het signaal van exoplaneten in radiële-snelheidsmetingen. Het softwarepakket celerite, ontwikkeld door astronoom Daniel Foreman-Mackey en collega's (vanaf 2017), maakt zulke berekeningen ook bij grote tijdreeksen van telescoopdata haalbaar.
Ook in materiaalonderzoek en batterijontwikkeling zetten bedrijven als Toyota Research Institute Gaussiaanse-procesgebaseerde Bayesiaanse optimalisatie in om met een beperkt aantal dure laboratoriumexperimenten sneller naar veelbelovende materiaalsamenstellingen toe te werken.
Hoe ver is de techniek?
Gaussiaanse procesregressie is geen nieuwe doorbraak maar een volwassen, decennialang beproefd stuk statistiek. De wiskundige basis gaat terug tot werk van Wiener en Kolmogorov in de jaren veertig, kreeg via kriging een toepassing in de mijnbouw, en werd in 2006 breed toegankelijk voor de machine-learninggemeenschap dankzij het standaardwerk van Rasmussen en Williams. Sindsdien is het een vaste bouwsteen geworden in gereedschapskisten voor onzekerheidsschatting en optimalisatie, eerder een gevestigde methode dan een opkomende hype.
De belangrijkste praktische horde blijft schaalbaarheid: de rekenkost loopt snel op bij grote datasets. Onderzoek richt zich daarom vooral op benaderingsmethoden, zoals ijle Gaussiaanse processen met een beperkt aantal representatieve "inducing points", en op het combineren van Gaussiaanse processen met neurale netwerken (zogeheten deep kernel learning) om de flexibiliteit van deep learning te koppelen aan de eerlijke onzekerheidsschatting van Gaussiaanse processen. Dankzij GPU-ondersteunde bibliotheken is het inmiddels mogelijk om modellen met tienduizenden tot miljoenen datapunten te trainen, al blijft dit rekenkundig zwaarder dan bij veel andere ML-methoden.
In de praktijk zie je de techniek zelden als het hoofdproduct van een AI-systeem, maar vaker als een onderliggende component: het brein achter een optimalisatiestap, een onzekerheidslaag in een robotbesturingssysteem, of een statistisch hulpmiddel binnen een groter data-analysepakket.
Wie werken eraan?
De Universiteit van Cambridge speelt van oudsher een centrale rol: Carl Edward Rasmussen schreef er samen met Christopher Williams het standaardwerk over het onderwerp, en Cambridge-alumnus Marc Deisenroth, nu aan Imperial College London en University College London, bouwde daarop voort met werk over robotica en efficiënt leren. Aan Cornell University ontwikkelt de groep van Andrew Gordon Wilson schaalbare Gaussiaanse-procesmethoden en de veelgebruikte softwarebibliotheek GPyTorch.
Onder de bedrijven passen Google (via het Vizier-platform), Amazon (in de automatische hyperparameter-tuning van SageMaker) en Meta (via de open-source Bayesiaanse-optimalisatiebibliotheek BoTorch, gebouwd op PyTorch) de techniek op grote schaal toe. Het Britse Secondmind, voortgekomen uit het Cambridge-spin-off PROWLER.io, richt zich specifiek op Gaussiaanse-procestoepassingen in de automotive- en robotica-industrie. Binnen de open-sourcegemeenschap zijn GPflow (mede ontstaan uit dezelfde Cambridge/PROWLER.io-omgeving) en scikit-learn se eenvoudiger GP-module veelgebruikte gereedschappen voor onderzoekers en ontwikkelaars wereldwijd.