Logits: de ruwe getallen achter elke voorspelling van een AI-model
Wanneer een taalmodel zoals ChatGPT het volgende woord in een zin bedenkt, gebeurt er intern iets dat de meeste gebruikers nooit zien: het model berekent voor elk mogelijk woord in zijn woordenboek een los getal dat aangeeft hoe waarschijnlijk dat woord is. Die ruwe, nog niet in percentages omgezette getallen heten logits. Pas in een volgende stap worden ze omgezet in de vertrouwde kansen die optellen tot honderd procent.
Een handige vergelijking: stel je een jury voor bij een talentenshow die per kandidaat een score geeft, bijvoorbeeld tussen -5 en +8, zonder vaste bovengrens. Die scores zeggen iets over de onderlinge verhouding, maar zijn geen percentages. Pas als je alle scores omrekent naar een verdeling die optelt tot 100 procent, krijg je iets wat aanvoelt als "kans op winst". Logits zijn die ruwe jury-scores; de omrekening naar percentages gebeurt met een wiskundige functie die softmax heet.
Wat is het precies?
De term "logit" komt oorspronkelijk niet uit de AI-wereld, maar uit de statistiek. De Amerikaanse statisticus Joseph Berkson introduceerde het woord in 1944 als afkorting van "logistic unit", naar analogie van het eerder bestaande begrip "probit". Een logit is daar het resultaat van de logit-functie: de logaritme van de verhouding tussen een kans en het complement daarvan (log(p / (1-p))). Deze functie zet een kans tussen 0 en 1 om in een getal dat overal tussen min oneindig en plus oneindig kan liggen.
In moderne neurale netwerken, waaronder de grote taalmodellen (LLM's) achter chatbots, is de laatste laag van het netwerk een lineaire berekening die voor elk mogelijk uitvoerwoord ("token") één getal produceert. Bij een taalmodel met een woordenschat van bijvoorbeeld 100.000 tokens levert dit dus een lijst van 100.000 getallen op: de logit-vector. Deze getallen hebben op zichzelf geen vaste betekenis; ze kunnen negatief of positief zijn en hun absolute waarde zegt weinig, alleen de onderlinge verhouding telt.
Om van deze ruwe getallen tot een bruikbare kansverdeling te komen, past het model de softmax-functie toe. Die neemt van elk getal de exponent (e-macht) en deelt die door de som van alle exponenten. Het resultaat is een reeks percentages die precies optelt tot 100 procent, waarbij hogere logits een hogere kans krijgen. Vervolgens kiest het model, afhankelijk van de instellingen, het meest waarschijnlijke token of loot het met een zekere mate van willekeur tussen de beste kandidaten.
Een belangrijk instelbaar onderdeel hierbij is de "temperatuur": de logits worden vóór de softmax-stap gedeeld door een getal T. Een lage temperatuur (bijvoorbeeld 0,2) maakt de verschillen tussen logits groter, waardoor het model voorspelbaarder en "zekerder" antwoordt. Een hoge temperatuur (bijvoorbeeld 1,2) vlakt de verschillen af en maakt de uitvoer creatiever, maar ook grilliger. Dit is de technische verklaring achter de "temperature"-schuifjes die in veel AI-tools te vinden zijn.
Wat wil men ermee bereiken?
Logits zijn geen doel op zich, maar een tussenstap die onderzoekers en ontwikkelaars veel controle en inzicht geeft. Omdat logits de onbewerkte "mening" van het model weergeven vóórdat er wordt afgerond tot een concrete keuze, kunnen ze gebruikt worden om het gedrag van een model fijner te sturen dan met de uiteindelijke tekst alleen mogelijk is.
Zo maken technieken als top-k-sampling (alleen de k meest waarschijnlijke tokens overwegen) en top-p- of nucleus-sampling (alleen tokens overwegen tot een cumulatieve kans van bijvoorbeeld 90 procent) rechtstreeks gebruik van de logit- of kansverdeling. Ontwikkelaars gebruiken dit om de balans tussen voorspelbaarheid en creativiteit van een model te regelen, bijvoorbeeld strikter voor code-generatie en losser voor het schrijven van verhalen.
Daarnaast zijn logits een belangrijk hulpmiddel voor onderzoek naar de werking van modellen zelf, het zogeheten interpretability-onderzoek. Door te kijken hoe de logit-vector verandert naarmate informatie door de lagen van het netwerk stroomt, proberen onderzoekers te begrijpen welke concepten een model waar "opslaat" en waarom het bepaalde fouten maakt of vooroordelen vertoont.
Voorbeelden uit de praktijk
OpenAI biedt via zijn API al enige jaren een optie genaamd logprobs, waarmee ontwikkelaars de logaritmische kansen (rechtstreeks afgeleid van logits) van gegenereerde tokens kunnen opvragen. Dit wordt onder meer gebruikt om te meten hoe "zeker" een model van zijn antwoord is, en speelt een rol bij onderzoek naar het detecteren van AI-gegenereerde tekst.
Google DeepMind introduceerde in 2023 SynthID, een techniek die tijdens het genereren van tekst en beelden subtiele, voor mensen onzichtbare patronen aanbrengt door de logit-verdeling net iets te sturen bij het kiezen van tokens. Zo ontstaat een digitaal watermerk waarmee later, met de juiste sleutel, kan worden vastgesteld dat een tekst of afbeelding door een specifiek AI-model is gemaakt.
In 2020 publiceerde de anonieme AI-onderzoeker die bekendstaat als "nostalgebraist" de zogeheten "logit lens"-techniek: door tussentijdse berekeningen in een taalmodel alvast door de laatste, woordenschat-vertalende laag te sturen, kun je zien welk woord het model "denkt" te gaan zeggen op elk punt in het netwerk. Deze methode wordt sindsdien veel gebruikt in interpretability-onderzoek bij organisaties als Anthropic en het onderzoekscollectief EleutherAI.
Ook bij zogeheten speculative decoding, een techniek om taalmodellen sneller antwoord te laten geven, spelen logits een sleutelrol: een klein, snel "conceptmodel" stelt alvast een aantal tokens voor, waarna het grote model in één keer de logits voor al die tokens berekent om te controleren welke voorstellen kloppen. Onderzoekers van onder meer Google DeepMind beschreven deze aanpak in een veelgeciteerde publicatie uit 2023.
Tot slot gebruiken RLHF-technieken (reinforcement learning from human feedback), zoals toegepast bij de training van modellen van OpenAI en Anthropic, reward-modellen die uiteindelijk ook logit-achtige scores produceren om aan te geven welke van meerdere mogelijke antwoorden een menselijke beoordelaar waarschijnlijk zou prefereren.
Hoe ver is de techniek?
Het rekenkundige principe achter logits en softmax is al decennia stabiel en verandert zelf niet meer wezenlijk; het is een vast onderdeel van vrijwel elk classificatie- of taalmodel dat vandaag wordt gebouwd. De ontwikkelingen zitten vooral in wat je ermee doet: steeds geavanceerdere sampling-strategieën, watermerktechnieken zoals SynthID, en interpretability-methoden die dieper in de logit-patronen van modellen graven.
Een belangrijk obstakel is dat grote, commerciële modellen hun volledige logit-informatie vaak niet meer vrijgeven. Waar vroege API's soms de volledige logit-vector deelden, beperken aanbieders dit tegenwoordig vaak tot de kansen van de top-tokens, onder meer om te voorkomen dat concurrenten via deze gegevens een model kunnen "namaken" (een risico dat bekendstaat als model distillation of model stealing). Dit maakt onafhankelijk onderzoek naar de innerlijke werking van gesloten modellen lastiger.
Interpretability-onderzoek op basis van logits, zoals de logit lens en de daarvan afgeleide varianten, staat nog volop in ontwikkeling. De methode geeft nuttige, maar geen volledig betrouwbare inzichten: tussentijdse berekeningen in een netwerk laten zich niet altijd één-op-één vertalen naar begrijpelijke concepten, en onderzoekers waarschuwen voor te stellige interpretaties van wat een model "denkt".
Wie werken eraan?
Vrijwel elk bedrijf en onderzoeksinstituut dat taalmodellen bouwt, werkt in de praktijk met logits, simpelweg omdat het een basisonderdeel van de techniek is. Toonaangevende ontwikkelaars van grote taalmodellen zijn onder meer OpenAI, Google DeepMind, Anthropic en Meta AI, stuk voor stuk gevestigd in de Verenigde Staten, met DeepMind bovendien geworteld in het Verenigde Koninkrijk.
Op het gebied van interpretability en logit-gebaseerd onderzoek springen daarnaast Anthropic en het open onderzoekscollectief EleutherAI eruit, samen met academische groepen aan onder meer Amerikaanse en Britse universiteiten. Onderzoek naar watermerktechnieken zoals SynthID wordt vooral getrokken door Google DeepMind. Ook in China investeren grote technologiebedrijven en universiteiten fors in taalmodel-onderzoek waarin dezelfde technieken worden gebruikt, al is daarover doorgaans minder in detail gepubliceerd dan vanuit de Amerikaanse en Britse labs.