Differentiaalvergelijkingsoplosser: hoe computers de wetten van verandering kraken
Veel processen in de natuur worden niet rechtstreeks beschreven, maar via de manier waarop ze veranderen. De temperatuur van een kop koffie zelf is minder interessant dan het tempo waarin ze afkoelt; de positie van een vliegtuigvleugel in de lucht is minder relevant dan hoe de luchtstroom errond verandert. Een wiskundige vergelijking die zo'n veranderingstempo beschrijft, heet een differentiaalvergelijking. Een differentiaalvergelijkingsoplosser is een computerprogramma dat, gegeven zo'n vergelijking en een startsituatie, uitrekent hoe het systeem zich in de tijd of ruimte ontwikkelt.
Denk aan een weerballon die loslaat: je kent de windkracht op elk moment, maar niet meteen het hele traject. Een oplosser 'stapt' vanaf het startpunt telkens een klein stukje vooruit, op basis van de bekende regels voor verandering, tot het volledige pad zichtbaar wordt. Ditzelfde principe ligt onder weersvoorspellingen, de buiging van een brug in de wind, de verspreiding van een ziekteverwekker en het gedrag van elektrische schakelingen. De laatste jaren komt daar een nieuwe laag bij: naast klassieke rekenmethoden gebruiken onderzoekers steeds vaker kunstmatige intelligentie om dit soort vergelijkingen sneller of voor complexere situaties op te lossen.
Wat is het precies?
Een differentiaalvergelijking bestaat in twee hoofdvormen. Een gewone differentiaalvergelijking (ODE, ordinary differential equation) beschrijft verandering in de tijd, zoals de snelheid van een vallend voorwerp. Een partiële differentiaalvergelijking (PDE, partial differential equation) beschrijft verandering in meerdere richtingen tegelijk, zoals warmte die zich door een metalen plaat verspreidt in lengte, breedte én tijd. PDE's zijn doorgaans veel rekenintensiever.
De klassieke aanpak heet numeriek oplossen. De computer verdeelt tijd of ruimte in heel kleine stapjes en berekent bij elke stap opnieuw hoe het systeem verandert, gebaseerd op de vorige stap. De eenvoudigste methode heet de Euler-methode, vernoemd naar de achttiende-eeuwse wiskundige Leonhard Euler. Preciezere en stabielere varianten, zoals de Runge-Kutta-methoden, verfijnen deze stapjes door tussentijds extra te 'proefrekenen' voordat de definitieve stap wordt gezet. Voor PDE's wordt de ruimte vaak opgedeeld in een raster of net van punten (een 'mesh'), waarna op elk punt de vergelijking wordt benaderd. Dit heet de eindige-elementenmethode of eindige-differentiemethode.
Deze klassieke aanpak is betrouwbaar, maar wordt traag zodra het probleem groot, gedetailleerd of hoogdimensionaal wordt: een fijner raster of een kleinere tijdstap betekent exponentieel meer rekenwerk. Dat is waar recente AI-methoden in beeld komen. Een physics-informed neural network (PINN, 'op fysica gebaseerd neuraal netwerk') is een neuraal netwerk dat niet leert op basis van voorbeelddata alleen, maar wordt getraind om direct aan de differentiaalvergelijking zelf te voldoen. Tijdens het trainen berekent het systeem hoe sterk de output van het netwerk de vergelijking schendt, en dat 'foutsignaal' wordt gebruikt om het netwerk bij te sturen, net zoals bij gewone AI-training. Het resultaat is een netwerk dat, eenmaal getraind, in één keer een benaderde oplossing kan geven zonder stap-voor-stap te hoeven rekenen.
Een verwante, nieuwere aanpak heet een neurale operator, waarvan de Fourier Neural Operator (FNO) de bekendste variant is. In plaats van één specifieke oplossing te leren, leert dit type netwerk de afbeelding tussen een hele familie van beginsituaties en de bijbehorende oplossingen. Eenmaal getraind kan zo'n netwerk voor een compleet nieuwe beginsituatie razendsnel een oplossing schatten, vaak duizenden keren sneller dan een klassieke solver, omdat het rekenwerk van het trainen al gedaan is.
Wat wil men ermee bereiken?
Het belangrijkste doel is snelheid zonder al te veel nauwkeurigheid te verliezen. Klimaatmodellen, weersvoorspellingen en constructieberekeningen vergen normaal enorme rekenclusters die uren tot dagen draaien. Een getraind AI-model kan een vergelijkbare berekening soms in seconden doen, wat real-time of near-real-time toepassingen mogelijk maakt, zoals actuele stormwaarschuwingen of interactief ontwerpen van vliegtuigonderdelen.
Een tweede doel is het aankunnen van hoogdimensionale problemen. Klassieke rastermethoden werken slecht wanneer een probleem veel variabelen tegelijk heeft, omdat het aantal rekenpunten dan exponentieel groeit (bekend als de 'vloek van de dimensionaliteit'). Neurale netwerken hebben daar minder last van, wat kansen biedt voor bijvoorbeeld financiële modellen of kwantummechanische systemen met veel deeltjes.
Ten derde hoopt men op herbruikbaarheid: een klassieke solver moet voor elke nieuwe situatie opnieuw vanaf nul rekenen, terwijl een getraind neuraal netwerk in principe herbruikbaar is voor een hele reeks vergelijkbare situaties, zolang die binnen het bereik vallen waarop het getraind is.
Voorbeelden uit de praktijk
Het fundament van physics-informed neural networks werd gelegd door Maziar Raissi, Paris Perdikaris en George Em Karniadakis, die in 2019 een invloedrijk artikel publiceerden in het Journal of Computational Physics vanuit Brown University in de Verenigde Staten. Hun werk introduceerde een praktische manier om neurale netwerken te trainen op basis van natuurkundige vergelijkingen in plaats van alleen meetdata.
Een jaar eerder, in 2018, presenteerden Ricky T.Q. Chen, Yulia Rubanova, Jesse Bettencourt en David Duvenaud van de Universiteit van Toronto op de vooraanstaande AI-conferentie NeurIPS het concept 'Neural Ordinary Differential Equations'. Dit werk, dat destijds een prijs voor beste paper won, liet zien hoe een neuraal netwerk zelf kan fungeren als de 'regel' binnen een differentiaalvergelijking, in plaats van als los rekeninstrument.
Rond 2020-2021 introduceerden Zongyi Li, Anima Anandkumar en collega's van Caltech de Fourier Neural Operator. Deze techniek vormde later de basis voor NVIDIA's FourCastNet (2022), een AI-weersvoorspellingsmodel dat getraind is op decennia aan historische weerdata (de zogeheten ERA5-dataset van het Europees Centrum voor Weersvoorspellingen op Middellange Termijn) en dat volgens NVIDIA bepaalde voorspellingen aanzienlijk sneller kan genereren dan traditionele numerieke weermodellen.
In 2023 publiceerde Google DeepMind in het tijdschrift Science het model GraphCast, dat weersvoorspellingen doet met een graph neural network in plaats van met klassieke atmosfeervergelijkingen, en dat op sommige nauwkeurigheidsmaten beter presteerde dan de gevestigde numerieke modellen van het ECMWF. Ook Huawei bracht in 2023 met Pangu-Weather, gepubliceerd in Nature, een vergelijkbaar AI-weermodel uit. Beide voorbeelden tonen hoe AI-gebaseerde benaderingen van (impliciete) differentiaalvergelijkingen zich in een paar jaar tijd van laboratoriumcuriositeit tot serieuze concurrent van gevestigde methoden hebben ontwikkeld.
Hoe ver is de techniek?
Klassieke numerieke solvers zijn decennia oud, wiskundig goed onderbouwd en worden dagelijks gebruikt in de industrie, van bruggenbouw tot chipontwerp. Ze zijn betrouwbaar en hun foutmarges zijn doorgaans goed te berekenen.
AI-gebaseerde solvers vormen daarentegen nog een jong onderzoeksveld: de belangrijkste doorbraken dateren van ongeveer 2018 tot 2023. In specifieke domeinen, met name weersvoorspelling en snelle prototypering van stromingsberekeningen (fluid dynamics), boeken ze aantoonbaar resultaat en worden ze inmiddels naast klassieke methoden gebruikt. In veiligheidskritische engineering, zoals de constructie van vliegtuigen of kerncentrales, spelen ze nog geen hoofdrol.
Er zijn nog reële beperkingen. Ten eerste is het lastiger om harde foutgaranties te geven: een klassieke solver kan vaak wiskundig aantonen hoe klein de fout maximaal is, terwijl dat bij een neuraal netwerk veel moeilijker is. Ten tweede zijn deze modellen datahongerig en presteren ze onvoorspelbaar zodra ze buiten het bereik van hun trainingsdata worden gebruikt (slechte 'generalisatie'). Ten derde kunnen neurale oplossingen instabiel worden bij bepaalde soorten vergelijkingen, vooral wanneer oplossingen sterke schokken of discontinuïteiten bevatten. Onderzoekers zijn het erover eens dat de technologie veelbelovend is voor specifieke, goed afgebakende toepassingen, maar niet dat ze klassieke solvers op korte termijn algemeen zal vervangen.
Wie werken eraan?
In de Verenigde Staten lopen verschillende universiteiten voorop: Brown University, waar George Karniadakis de PINN-aanpak mede ontwikkelde, en Caltech, waar Anima Anandkumar (ook verbonden aan chipmaker NVIDIA) werkte aan neurale operators. Het Massachusetts Institute of Technology (MIT) en het bedrijf Julia Computing zijn nauw verbonden met Chris Rackauckas, een drijvende kracht achter het open-source SciML-ecosysteem in de programmeertaal Julia, gericht op het combineren van klassieke en neurale differentiaalvergelijkingsoplossers.
Onder de grote technologiebedrijven ontwikkelt NVIDIA het platform Modulus, specifiek gericht op physics-informed machine learning, terwijl Google DeepMind met GraphCast en Huawei met Pangu-Weather actief zijn op het gebied van AI-weersvoorspelling. Het Europees Centrum voor Weersvoorspellingen op Middellange Termijn (ECMWF), gevestigd in Reading (Verenigd Koninkrijk) en Bonn (Duitsland), levert de referentiedata en -modellen waartegen veel van dit werk wordt getoetst, en experimenteert zelf ook met AI-gebaseerde voorspelmodellen.
In Nederland doen onder meer de TU Delft en het Centrum Wiskunde & Informatica (CWI) in Amsterdam onderzoek naar numerieke analyse en scientific machine learning, het bredere vakgebied waarin deze technieken vallen.
Verder lezen
- arXiv (preprintserver met veel originele onderzoeksartikelen)
- SciML (open-source ecosysteem voor wetenschappelijk machine learning)
- NVIDIA Developer (informatie over Modulus en FourCastNet)
- Google DeepMind (onderzoek naar GraphCast en verwante modellen)
- ECMWF (Europees Centrum voor Weersvoorspellingen op Middellange Termijn)