AI & computing › Generatieve AI & synthetische media
Nieuwe tool laat zien waar een AI-taalmodel écht 'naar kijkt' tijdens het schrijven
Een ontwikkelaar bouwde een gratis webtool die precies laat zien welke eerdere woorden een AI-taalmodel gebruikt bij het schrijven van elk nieuw woord. Door over gegenereerde tekst te hoveren, wordt zichtbaar hoe het model informatie uit de tekst kopieert en combineert. De tool draait volledig in de browser en onthult een mechanisme dat normaal onzichtbaar blijft.
Grote taalmodellen zoals ChatGPT schrijven tekst woord voor woord, of eigenlijk token voor token. Bij elk nieuw woord moet het model beslissen welke eerdere woorden in de tekst nog relevant zijn. Dat gebeurt via een mechanisme dat attention heet: het model 'kijkt' terug naar eerdere tokens en bepaalt hoe zwaar elk daarvan meeweegt. Ontwikkelaar ishamf bouwde een tool die dit proces zichtbaar maakt. Hover je over een gegenereerd woord, dan lichten de eerdere woorden op die het meeste invloed hadden op die keuze.
Hoe de visualisatie werkt
Een transformer-model, de architectuur achter vrijwel elk modern taalmodel, berekent voor elk token een reeks aandachtsgewichten. De tool combineert die gewichten met de zogeheten waardevector van elk token, telt dat op over alle aandachtskoppen en alle lagen van het model, en perst het resultaat in één simpel getal per token. Dat getal bepaalt hoe doorzichtig of juist zichtbaar een eerder woord wordt getoond. Er gaat daarbij veel informatie verloren, erkent de maker, maar het resultaat is toch verrassend leesbaar.
Waarom AI zo goed kan 'kopiëren'
De visualisatie legt meteen een raadsel bloot dat veel gebruikers van AI-chatbots hebben: als een taalmodel steeds alleen het meest waarschijnlijke volgende woord raadt, hoe kan het dan foutloos lange stukken tekst letterlijk overnemen, zoals een adres of een datum? In een voorbeeldprompt over een kantoorverhuizing is te zien dat het model bij het overtypen van adresgegevens vrijwel volledig 'oplicht' op het originele adres in de brontekst. Het model hoeft dus niet alles te onthouden in een beperkt intern geheugen: het kan via attention rechtstreeks teruggrijpen naar de bron, waardoor de kans op fouten klein blijft. In een ander voorbeeld combineert het model zelfs informatie uit twee verschillende zinnen tegelijk: het woord 'remain' in een gegenereerde zin blijkt te steunen op zowel 'will work' als 'will stay the same' uit eerdere zinnen.
Een aangepast model voor meer inzicht
Om de tool te bouwen, moest de maker een technische horde nemen. De visualisatie draait op Transformers.js, een library waarmee taalmodellen in de browser draaien via het bestandsformaat ONNX. Dat formaat legt de volledige rekenstappen van het model vast, maar geeft normaal geen toegang tot interne waarden zoals aandachtsgewichten. De ontwikkelaar paste het ONNX-bestand daarom handmatig aan om deze verborgen waarden bloot te leggen, en host dat aangepaste model op Hugging Face. Omdat het model, ondanks een bescheiden omvang van 600 miljoen parameters, nog honderden megabytes groot is, zijn enkele voorbeeldprompts vooraf doorgerekend zodat bezoekers de visualisatie direct kunnen bekijken zonder te wachten op een download. De broncode van de React-applicatie staat vrij beschikbaar op GitHub.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Tools die het binnenwerk van AI-modellen zichtbaar maken, zijn een klein maar belangrijk stapje richting meer grip op kunstmatige intelligentie. Hoe beter we begrijpen waarom een model een bepaald antwoord geeft, hoe makkelijker fouten, vooringenomenheid of onbetrouwbaar gedrag op te sporen zijn. Dit soort open, laagdrempelige visualisaties helpen niet alleen onderzoekers, maar ook een breder publiek om AI minder als een ondoorzichtige zwarte doos te zien.
- Transformer
- De architectuur waarop vrijwel alle moderne taalmodellen zijn gebouwd, ontworpen om tekst te verwerken door relaties tussen woorden te wegen.
- Attention (aandachtsmechanisme)
- Het onderdeel van een transformer dat bepaalt hoe zwaar eerdere woorden meewegen bij het voorspellen van het volgende woord.
- Token
- Een stukje tekst, vaak een woord of woorddeel, dat een taalmodel als eenheid verwerkt.
- Taalmodel (large language model)
- Een AI-systeem dat getraind is om tekst te begrijpen en te genereren door patronen in enorme hoeveelheden tekst te leren.
- Aandachtsgewicht
- Een getal dat aangeeft hoe sterk een eerder woord meeweegt bij het genereren van het volgende woord.
- Waardevector
- Een reeks getallen die de inhoud van een token vertegenwoordigt en die het model gebruikt om informatie door te geven binnen het aandachtsmechanisme.
- Aandachtskop (attention head)
- Een van de meerdere parallelle rekeneenheden binnen een laag van een transformer die elk op hun eigen manier naar de tekst 'kijken'.
- ONNX
- Een bestandsformaat waarin de rekenstappen van een getraind AI-model worden vastgelegd, zodat het model buiten de oorspronkelijke software kan draaien, bijvoorbeeld in een webbrowser.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
