AI & computing › Generatieve AI & synthetische media
Programmeur laat AI-model letter voor letter een antwoord spellen
Een Amerikaanse ontwikkelaar bouwde een chatbot die een taalmodel dwingt om zijn antwoord symbool voor symbool te kiezen, in plaats van in één keer een heel woord te genereren. Het project heet jevchat, is vooral bedoeld als grap, maar laat verrassend goed zien hoe taalmodellen onder de motorkap werken.
De meeste chatbots zoals ChatGPT genereren tekst in grote brokken tegelijk: hele woorden of stukjes van woorden. Ontwikkelaar Kyle Pena draaide dat principe om voor zijn project jevchat, gepubliceerd op GitHub. Zijn chatbot stelt het onderliggende taalmodel bij elke stap maar één vraag: welk teken komt hierna, gegeven de vraag van de gebruiker en het antwoord dat al is opgebouwd?
Het model krijgt daarbij een beperkt alfabet voorgelegd, bijvoorbeeld alleen de letters a tot en met z, of juist volledige woorden. Voor elke optie berekent het model een kans. Een AI-token wordt zo niet in één klap gekozen, maar letter voor letter opgebouwd via herhaalde tokenvoorspelling. Zodra het model een stopsignaal het hoogst inschat, is de zin af.
Waarom dit eigenlijk waanzinnig inefficiënt is
Waar een normaal taalmodel een compleet antwoord in een handvol rekenstappen produceert, moet jevchat voor elk afzonderlijk teken opnieuw een volledige aanvraag doen bij de onderliggende AI-dienst. Voor een kort antwoord van een paar zinnen kunnen dat al snel honderden losse aanroepen zijn. Pena bouwde daarom verschillende strategieën in om het proces te versnellen. Bij de bisectiemethode splitst het model het alfabet steeds in twee helften en vraagt het alleen of de juiste letter eerder of later in het rooster staat, tot er nog maar een handvol kandidaten over is. Bij de zogeheten buckets-strategie wordt het alfabet verdeeld over meerdere kleinere vragen, wat nodig is zodra je met complete woorden werkt in plaats van losse letters.
De grootste verbetering zit in wat Pena 'hypothesis'-weergave noemt. In plaats van het model losse opties als 'a' of 'de' te laten beoordelen, krijgt het model steeds de volledige, al samengevoegde zin te zien inclusief de nieuwe optie. Daardoor hoeft het model niet meer zelf te combineren en te beoordelen tegelijk, en verdrievoudigt volgens Pena de kans dat het juiste teken als beste uit de bus komt.
Wat een grapje ons leert over taalmodellen
Jevchat maakt onbedoeld zichtbaar wat een taalmodel normaal gesproken in één ondoorzichtige rekenstap doet: voor elk mogelijk vervolg een waarschijnlijkheid berekenen en daar willekeurig uit kiezen. Die onderliggende kansgetallen heten in de AI-wereld logits. Door het model te dwingen die kansen expliciet en stap voor stap prijs te geven, ontstaat een trage, dure maar leerzame kijk in de motorkap van generatieve tekstsystemen. Pena noemt zijn project zelf niet meer dan een gimmick: nuttig voor niemand, maar wel geestig om te zien hoe een AI worstelt met simpele vragen als 'hoeveel ogen heeft een mens' wanneer het die vraag letter voor letter moet beantwoorden. De volledige code, inclusief 158 automatische tests, staat vrij beschikbaar op GitHub.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit project verandert niets aan hoe chatbots in de praktijk werken, maar het illustreert helder een principe dat wél de kern vormt van elk taalmodel: tekst ontstaat uit kansberekeningen, niet uit begrip. Dat inzicht helpt een breed publiek beter te snappen waarom AI soms rare fouten maakt of dingen 'verzint'.
- AI-token
- Het kleinste stukje tekst — een letter, lettergreep of woord — waarmee een taalmodel werkt.
- Tokenvoorspelling
- Het proces waarbij een taalmodel steeds het meest waarschijnlijke volgende stukje tekst berekent.
- Logits
- De ruwe kansgetallen die een AI-model aan elke mogelijke volgende optie toekent, voordat daaruit een keuze wordt gemaakt.
- Taalmodel (large language model)
- Een AI-systeem dat op basis van enorme hoeveelheden tekst geleerd heeft om taal te voorspellen en te genereren.
- Bisectiemethode
- Een zoekstrategie waarbij een verzameling opties steeds in twee helften wordt gesplitst totdat de juiste optie is gevonden.
- Nucleus-sampling
- Een techniek waarbij een AI-model alleen kiest uit de kleinste groep opties die samen een groot deel van de waarschijnlijkheid dekken, in plaats van uit alle mogelijke opties.
- Temperatuurparameter
- Een instelling die bepaalt hoe voorspelbaar of juist gevarieerd een AI-model zijn keuzes maakt.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
