KL-divergentie: hoe AI-systemen meten hoe ver ze van de werkelijkheid afwijken
Stel je twee weerberichten voor. De ene voorspeller zegt: 70 procent kans op regen, 30 procent kans op zon. De andere zegt: 40 procent regen, 60 procent zon. Beide voorspellingen zijn zogeheten kansverdelingen: ze verdelen de totale waarschijnlijkheid, 100 procent, over de mogelijke uitkomsten. KL-divergentie, voluit Kullback-Leiblerdivergentie, is een wiskundige maat die uitdrukt hoe ver twee van zulke kansverdelingen uit elkaar liggen. Hoe hoger de uitkomst van de berekening, hoe groter het verschil tussen de twee voorspellingen.
Het bijzondere is dat KL-divergentie niet zomaar een afstand meet, zoals de afstand tussen twee steden op een kaart. Ze meet hoeveel extra "verrassing" je gemiddeld ervaart als je uitgaat van de ene verdeling, terwijl in werkelijkheid de andere klopt. Vertaald naar het weerbericht: kies je je kleding op basis van voorspeller A, maar het weer volgt eigenlijk voorspeller B, dan sta je vaker verkeerd gekleed dan wanneer beide voorspellingen gelijk waren geweest. Die mate van "verkeerd gekleed staan" is precies wat KL-divergentie kwantificeert. In kunstmatige intelligentie is dit een van de meest gebruikte rekenkundige gereedschappen: het helpt bijvoorbeeld te meten hoever een getraind taalmodel is afgedreven van zijn oorspronkelijke gedrag.
Wat is het precies?
Om KL-divergentie te begrijpen, helpt het om eerst kort stil te staan bij entropie, een begrip uit de informatietheorie. Entropie meet hoeveel onzekerheid er in een kansverdeling zit: een eerlijke munt (50 procent kop, 50 procent munt) heeft meer onzekerheid dan een vervalste munt die negen van de tien keer kop geeft.
KL-divergentie bouwt hierop voort en vergelijkt twee verdelingen, meestal aangeduid als P en Q. Vaak staat P voor de "ware" of referentieverdeling, en Q voor een model, benadering of voorspelling daarvan. De berekening verloopt, sterk vereenvoudigd, in drie stappen. Eerst bekijk je voor elke mogelijke uitkomst hoe waarschijnlijk die is volgens P en hoe waarschijnlijk volgens Q. Vervolgens bereken je per uitkomst de logaritme van de verhouding tussen die twee kansen: hoe groter het verschil tussen P en Q voor die uitkomst, hoe groter deze waarde. Tot slot tel je al deze waarden bij elkaar op, gewogen naar hoe vaak elke uitkomst volgens P voorkomt.
Het resultaat is altijd nul of positief. Nul betekent dat beide verdelingen identiek zijn; hoe groter het getal, hoe verder ze uiteenlopen. Een eigenschap die vaak tot verwarring leidt, is dat KL-divergentie niet symmetrisch is: het verschil tussen P en Q berekenen levert doorgaans een andere uitkomst op dan het verschil tussen Q en P. Strikt genomen is het dus geen "afstand" in wiskundige zin, ook al wordt het zo genoemd. Een andere eigenaardigheid: als Q een uitkomst vrijwel onmogelijk acht terwijl P die uitkomst juist waarschijnlijk vindt, schiet de berekening naar een zeer hoge waarde. Dat maakt KL-divergentie streng voor modellen die zeldzame gebeurtenissen volledig over het hoofd zien.
Wat wil men ermee bereiken?
Het doel van KL-divergentie is simpel geformuleerd: een getal geven waarmee je kunt uitdrukken hoe goed een model, voorspelling of aangepast systeem overeenkomt met een referentie. Die referentie kan van alles zijn: de werkelijke verdeling van data, het gedrag van een eerder getraind model, of een wiskundig nette, gewenste verdeling.
Bij het trainen van generatieve modellen, systemen die nieuwe data zoals afbeeldingen of tekst kunnen produceren, wil men dat de verdeling die het model geleerd heeft zo dicht mogelijk bij de werkelijke verdeling van de trainingsdata ligt. KL-divergentie vormt dan een onderdeel van de wiskundige doelfunctie die tijdens het trainen wordt geminimaliseerd.
Bij het bijsturen van grote taalmodellen met reinforcement learning uit menselijke feedback (RLHF) speelt KL-divergentie een andere, verwante rol: die van rem. Onderzoekers willen een taalmodel aanmoedigen om antwoorden te geven die mensen prettiger vinden, zonder dat het daarbij zijn taalvaardigheid verliest of zich vreemd gaat gedragen om de beloning te misbruiken. Door een KL-boete toe te voegen die groeit naarmate het bijgestuurde model verder afwijkt van het oorspronkelijke model, blijft de aanpassing binnen redelijke grenzen.
Een derde toepassing is het comprimeren van modellen: als een klein, snel model getraind wordt om het gedrag van een groot model na te bootsen, gebruikt men KL-divergentie om te meten hoe goed die nabootsing lukt. Ook bij het signaleren van datadrift, de situatie waarin de data die een systeem in productie ziet geleidelijk gaat afwijken van de trainingsdata, is KL-divergentie een veelgebruikt hulpmiddel.
Voorbeelden uit de praktijk
Een bekende toepassing zit in InstructGPT en het daaropvolgende ChatGPT van OpenAI (2022). Bij het trainen met menselijke feedback voegden de onderzoekers een KL-divergentieterm toe aan de beloningsfunctie, zodat het model werd afgestraft naarmate het te ver afweek van het oorspronkelijke, voorgetrainde taalmodel. Dit hielp te voorkomen dat het model "reward hacking" ging vertonen: gedrag dat de beloning maximaliseert zonder daadwerkelijk nuttig te zijn.
Het reinforcement-learningalgoritme Proximal Policy Optimization (PPO), in 2017 ontwikkeld door John Schulman en collega's bij OpenAI, gebruikt eveneens een op KL-divergentie gebaseerde beperking. Die zorgt ervoor dat een lerende agent bij elke update zijn gedrag niet te abrupt verandert, wat de training stabieler maakt. PPO ligt mede aan de basis van veel latere RLHF-toepassingen.
In 2013 introduceerden Diederik Kingma en Max Welling de variational autoencoder (VAE), een generatief model waarin KL-divergentie een centraal onderdeel van de trainingsdoelstelling vormt. De term dwingt de interne, verborgen representatie die het model leert richting een voorspelbare verdeling, meestal een standaard normaalverdeling, waardoor het model achteraf nieuwe, samenhangende voorbeelden kan genereren.
Ook moderne diffusiemodellen, de technologie achter beeldgeneratoren zoals Stable Diffusion en DALL-E 2 (beide breed beschikbaar sinds 2022), steunen wiskundig op een grootheid die is opgebouwd uit KL-divergentietermen: de zogeheten evidence lower bound. Deze modellen leren stap voor stap ruis uit een afbeelding te verwijderen, en KL-divergentie helpt te waarborgen dat elke stap statistisch verantwoord is.
Tot slot gebruikt Anthropic bij het trainen van zijn Claude-modellen, met een aanpak die het bedrijf Constitutional AI noemt, vergelijkbare regularisatietechnieken: ook hier wordt voorkomen dat het model tijdens het bijstellen te ver van zijn basisgedrag afdwaalt.
Hoe ver is de techniek?
KL-divergentie zelf is geen nieuwe technologie die zich nog moet bewijzen: het wiskundige begrip bestaat sinds 1951, toen de Amerikaanse wiskundigen Solomon Kullback en Richard Leibler het beschreven in hun paper "On Information and Sufficiency". Het is sindsdien een van de meest gebruikte gereedschappen in de statistiek en informatietheorie, en de wiskunde erachter is volledig uitgekristalliseerd.
Wat wél volop in ontwikkeling is, is de toepassing ervan binnen moderne kunstmatige intelligentie. Sinds de doorbraak van RLHF bij grote taalmodellen rond 2020-2022 experimenteren onderzoeksteams met verfijningen: adaptieve KL-boetes die tijdens de training automatisch sterker of zwakker worden, of alternatieve trainingsmethoden zoals Direct Preference Optimization (DPO, voorgesteld in 2023), die een vergelijkbaar effect nastreven met minder rekenkracht.
Er kleven ook praktische knelpunten aan het gebruik van KL-divergentie. Bij hoogdimensionale problemen, zoals bij afbeeldingen of lange tekstsequenties, is de exacte waarde vaak niet rechtstreeks te berekenen en moet ze worden geschat met steekproeven, wat ruis in de training kan brengen. Ook de asymmetrie en de gevoeligheid voor uitkomsten die door het ene model volledig worden uitgesloten, blijven lastige eigenschappen. Daarom onderzoeken wetenschappers alternatieven zoals de Wasserstein-afstand (ook bekend als earth mover's distance) en de Jensen-Shannon-divergentie, die in sommige situaties stabielere resultaten geven. Geen van deze alternatieven heeft KL-divergentie echter verdrongen; in de praktijk worden ze vaak naast elkaar gebruikt, afhankelijk van de toepassing.
Wie werken eraan?
Omdat het om een fundamenteel wiskundig concept gaat, "ontwikkelt" niemand KL-divergentie zelf verder zoals een bedrijf een product zou bouwen. Wel zijn er duidelijke aanjagers van de toepassing ervan in AI-onderzoek. OpenAI paste het uitgebreid toe bij de ontwikkeling van InstructGPT, ChatGPT en het PPO-algoritme. Google DeepMind gebruikt vergelijkbare, op vertrouwen gebaseerde technieken in reinforcement-learningsystemen, met wortels in onderzoek naar spelend lerende systemen zoals AlphaGo. Anthropic bouwt zijn Claude-modellen met eigen varianten van KL-gebaseerde regularisatie, en ook Meta AI en Mistral passen soortgelijke technieken toe bij het fine-tunen van hun open taalmodellen.
Aan de academische kant blijven onderzoeksgroepen aan universiteiten als Stanford, UC Berkeley, Carnegie Mellon en de Universiteit van Amsterdam, waar Diederik Kingma zijn werk aan de VAE mede ontwikkelde, actief bijdragen aan zowel de theorie als nieuwe toepassingen. Daarnaast blijft het begrip een vast onderdeel van elk universitair curriculum in statistiek, machine learning en informatietheorie wereldwijd.