Probabilistisch systeem: hoe machines omgaan met onzekerheid
Stel je een rekenmachine voor: tik 2+2 in en je krijgt altijd 4. Nooit 3,9, nooit 4,1. Dat is een deterministisch systeem — bij dezelfde invoer volgt altijd exact dezelfde uitkomst. Een probabilistisch systeem werkt anders. Het geeft geen vaste uitkomst, maar een kansverdeling: een opsomming van mogelijke uitkomsten, elk met een bepaalde waarschijnlijkheid. Denk aan een weerbericht dat zegt "70% kans op regen morgen" in plaats van een keihard "het gaat regenen" of "het blijft droog".
Dat klinkt misschien als een zwaktebod — waarom geen zekerheid geven als het kan? Maar in de echte wereld is verreweg de meeste informatie onzeker of onvolledig. Een probabilistisch systeem erkent dat expliciet en rekent ermee, in plaats van net te doen alsof het weet wat het niet weet. Deze aanpak vormt tegenwoordig de motor achter technologieën die je dagelijks tegenkomt: van chatbots die tekst genereren tot weersvoorspellingen en zelfrijdende auto's.
Wat is het precies?
De kern van een probabilistisch systeem is de kansverdeling: in plaats van één uitkomst te berekenen, berekent het systeem hoe waarschijnlijk elke mogelijke uitkomst is. Gooi je met een eerlijke dobbelsteen, dan is de kansverdeling simpel: elk getal van 1 tot 6 heeft een kans van 1/6. Een probabilistisch systeem past dat principe toe op veel complexere situaties, zoals taal, weer of verkeer.
Neem grote taalmodellen zoals GPT van OpenAI, de technologie achter ChatGPT. Zo'n model voorspelt niet één "juist" volgend woord (of preciezer: token, een stukje tekst), maar berekent voor duizenden mogelijke volgende woorden hoe waarschijnlijk elk woord is gegeven de voorgaande tekst. Vervolgens wordt er, met een beetje toeval, een woord uit die verdeling gesampeld — willekeurig getrokken, maar wel gewogen naar waarschijnlijkheid. Daardoor geeft hetzelfde model bij dezelfde vraag niet altijd letterlijk hetzelfde antwoord.
Een andere belangrijke stroming is Bayesiaanse statistiek, genoemd naar de achttiende-eeuwse wiskundige Thomas Bayes. Het idee: je begint met een aanname (hoe waarschijnlijk is iets, voordat je nieuwe informatie hebt), en je past die aanname stap voor stap aan naarmate er nieuw bewijs binnenkomt. Dit heet Bayesiaanse inferentie en vormt de wiskundige basis van veel probabilistische systemen, van spamfilters tot medische diagnosesystemen.
Ook weersvoorspellers werken zo. In plaats van één weermodel te draaien, laten meteorologen tientallen varianten van hetzelfde model los op net iets andere begincondities — een techniek die ensemble-modellering heet. Komen de meeste varianten uit op regen, dan is de kans op regen hoog; lopen de uitkomsten sterk uiteen, dan is de onzekerheid groot en communiceert het systeem dat ook zo.
Tot slot spelen kansen ook een rol op hardwareniveau, bij kwantumcomputers. Een qubit (de kwantumversie van een bit) bevindt zich in een superpositie van 0 en 1 tegelijk, en pas bij meting "valt" die kans op een van beide uitkomsten. Kwantumcomputers zijn daarmee van nature probabilistisch, in tegenstelling tot de strikt deterministische logica van klassieke computerchips.
Wat wil men ermee bereiken?
Het belangrijkste doel is realistischer omgaan met onzekerheid. De werkelijkheid is zelden zwart-wit: we weten niet zeker of het morgen regent, of een e-mail spam is, of een voetganger de straat oversteekt. Een systeem dat gedwongen wordt één harde uitspraak te doen, verbergt die onzekerheid juist. Een probabilistisch systeem maakt die onzekerheid zichtbaar en bruikbaar, zodat mensen (of andere systemen) er weloverwogen beslissingen op kunnen baseren.
Een tweede doel is variatie en creativiteit. Bij taalmodellen zorgt het samplen uit een kansverdeling ervoor dat teksten niet mechanisch en repetitief klinken, maar natuurlijker en gevarieerder overkomen — elke keer een iets andere formulering, net als een mens dat ook niet twee keer identiek zou zeggen.
Een derde doel is betere risico-inschatting. Bij zelfrijdende auto's bijvoorbeeld is het niet genoeg om te weten dát een voetganger kan oversteken; het systeem moet inschatten hóe waarschijnlijk dat is, om daar tijdig en proportioneel op te reageren zonder bij elk klein risico abrupt te remmen.
Voorbeelden uit de praktijk
Grote taalmodellen (OpenAI, sinds 2018-2020, met de doorbraak van ChatGPT eind 2022): GPT-modellen genereren tekst door bij elke stap een kansverdeling over mogelijke volgende woorden te berekenen en daaruit te samplen. Een instelling genaamd "temperature" bepaalt hoe voorzichtig (voorspelbaar) of avontuurlijk (gevarieerd) dat samplen gebeurt.
Ensemble-weersvoorspelling bij het ECMWF: het Europees Centrum voor Weersvoorspelling op Middellange Termijn, gevestigd in het Verenigd Koninkrijk met rekencapaciteit in Bologna, draait al sinds de jaren negentig meerdere varianten van zijn weermodel om kansrijke weersscenario's — en de bijbehorende onzekerheid — in kaart te brengen.
Bayesiaanse spamfilters: vroege e-mailprogramma's als het klassieke SpamAssassin (begin jaren 2000) berekenden op basis van woordfrequenties de kans dat een e-mail spam was, en pasten die inschatting continu aan op basis van nieuwe voorbeelden.
Probabilistische programmeertalen zoals Stan en Pyro: Stan, ontwikkeld aan Columbia University en vernoemd naar wiskundige Stanislaw Ulam, en Pyro, een opensource-taal die rond 2017 door Uber AI Labs werd geïntroduceerd bovenop het machine-learning-raamwerk PyTorch, maken het voor onderzoekers eenvoudiger om Bayesiaanse modellen te bouwen zonder alle wiskunde met de hand uit te werken.
Zelfrijdende auto's, zoals Waymo: deze voertuigen schatten voortdurend de waarschijnlijke bewegingen in van andere weggebruikers — fietsers, voetgangers, ander verkeer — en wegen die kansen mee in hun rijgedrag, in plaats van uit te gaan van één vaste voorspelling.
Hoe ver is de techniek?
Bayesiaanse statistiek en kansrekening zijn wiskundig gezien eeuwenoud en als toegepaste discipline al decennia volwassen; dit is geen nieuwe technologie. Wat wél nieuw is, is de schaal waarop probabilistische ideeën nu de kern vormen van moderne generatieve AI: zowel taalmodellen als zogeheten diffusiemodellen (de techniek achter beeldgeneratoren als DALL-E en Stable Diffusion) bouwen letterlijk op kansrekening om stap voor stap ruis om te zetten in samenhangende output.
Probabilistisch programmeren — talen als Stan en Pyro die het bouwen van Bayesiaanse modellen vereenvoudigen — blijft daarentegen een relatief niche vakgebied, vooral gebruikt door statistici en onderzoekers, en nog niet zo mainstream als reguliere programmeertalen.
Probabilistische kwantumcomputing staat nog vroeg in de ontwikkeling: er zijn werkende kwantumchips (van onder meer Google en IBM), maar praktische, foutbestendige toepassingen op grote schaal worden algemeen pas over jaren tot mogelijk nog verder in de toekomst verwacht.
Een belangrijk obstakel is de keerzijde van probabilistisch samplen bij taalmodellen: zogeheten hallucinaties, waarbij een model met groot zelfvertrouwen feitelijk onjuiste informatie genereert, simpelweg omdat die tekst statistisch gezien plausibel klinkt. Daarnaast zijn volledig Bayesiaanse berekeningen bij zeer grote modellen vaak rekenkundig te duur, waardoor onderzoekers naar goedkopere benaderingen zoeken. Ook interpreteerbaarheid blijft lastig: een kansverdeling met duizenden mogelijke uitkomsten is voor mensen minder makkelijk te doorgronden dan één helder antwoord.
Wie werken eraan?
Op het gebied van generatieve AI zijn OpenAI, Google DeepMind en Meta AI toonaangevend, met taal- en beeldmodellen die zwaar leunen op probabilistische technieken. Uber AI Labs bracht met Pyro een invloedrijk opensource-hulpmiddel voor probabilistisch programmeren op de markt. Academisch zijn Stanford University en MIT in de Verenigde Staten toonaangevend in zowel Bayesiaanse statistiek als probabilistische AI.
Op het gebied van weer is het ECMWF, een Europese intergouvernementele organisatie, wereldwijd een autoriteit op ensemble-gebaseerde, probabilistische weersvoorspelling. En de theoretische fundamenten van veel van dit werk gaan terug op onderzoekers als Judea Pearl, die in 2011 de Turing Award (vaak de "Nobelprijs van de informatica" genoemd) ontving voor zijn werk aan Bayesiaanse netwerken en probabilistisch redeneren.