AI & computing › Generatieve AI & synthetische media
Waarom een lokaal AI-model dommer aanvoelt dan de clouddemo
Downloaden en zelf draaien van een groot taalmodel klinkt aantrekkelijk, maar de resultaten vallen vaak tegen vergeleken met de demo van de fabrikant. Een uitgebreide technische test laat zien dat niet het model zelf de schuldige is, maar de stapel software en hardware eromheen. Zelfs bij identieke rekenkundige gewichten geeft elke computeropstelling een net iets ander antwoord.
Veel mensen kennen het gevoel: een AI-model wordt online geprezen als indrukwekkend, maar zodra je hem lokaal installeert, voelt hij trager en minder scherp aan. Onderzoeker en techniekliefhebber "thr3e" dook op het forum van Level1Techs in die ervaring en ontdekte dat de oorzaak zelden bij het model zelf ligt. Het probleem zit in de duizenden kleine technische keuzes die bepalen hoe een taalmodel een antwoord berekent.
Elke computer rekent net anders
Een taalmodel voorspelt telkens het volgende woordstukje, of token, op basis van kansen die het model berekent. Die kansen, ook wel logits genoemd, worden bij elke stap opnieuw doorgerekend. Welke grafische kaart je gebruikt, welke software-versie daarop draait en zelfs welke rekenmethode voor die specifieke kaart is gekozen, beïnvloeden het exacte resultaat van die berekening. De onderzoeker testte dit door hetzelfde model op dezelfde videokaart te draaien, maar met drie verschillende "attention-backends": onderliggende rekenmodules die bepalen hoe het model de context van een gesprek verwerkt. Bij een lange, realistische prompt van ongeveer honderdduizend tokens begonnen de drie varianten na een tijdje andere woorden te kiezen als "beste" volgende token. Dat gebeurde niet door toeval — herhaalde tests met dezelfde instellingen gaven bit-voor-bit identieke uitkomsten — maar puur door verschillen in hoe de wiskunde onder de motorkap wordt uitgevoerd.
Kwantisatie maakt het verschil nog groter
De meeste mensen draaien geen volledig model, maar een verkleinde versie. Via kwantisatie wordt de precisie van de rekengetallen verlaagd, zodat het model past op gewone consumentenhardware en sneller reageert. Zulke modellen worden vaak verspreid in het GGUF-formaat, populair bij programma's als Ollama en llama.cpp. Kwantisatie spaart geheugen, maar introduceert extra afwijkingen bovenop de verschillen die toch al ontstaan door hardware en software. Ook het geheugen dat een model gebruikt om eerdere tekst te onthouden, de zogeheten KV-cache, kan in een lagere precisie worden opgeslagen, wat de uitkomst nog verder laat afwijken van de originele, door de fabrikant gepubliceerde versie.
Waarom dit voor gebruikers belangrijk is
Het slechte nieuws: er bestaat geen "foutloze" lokale versie van een AI-model, want elke combinatie van chip, software en instellingen wijkt op zijn eigen manier af van het origineel. Het goede nieuws: iedereen zit in hetzelfde schuitje, ook grote clouddiensten draaien op hun eigen specifieke, niet-perfecte configuratie. De onderzoeker waarschuwt vooral voor te snelle conclusies op basis van korte testvragen: pas bij lange gesprekken met meerdere stappen, zoals een AI die zelfstandig taken uitvoert, worden de verschillen echt merkbaar. Wie een lokaal model gebruikt, doet er daarom goed aan de aanbevolen instellingen van de modelmaker aan te houden en niet blind te varen op benchmarkcijfers van een andere machine.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Naarmate meer mensen en bedrijven AI-modellen lokaal of op eigen servers draaien in plaats van via de cloud, wordt het steeds belangrijker om te begrijpen waarom uitkomsten kunnen verschillen. Dit onderzoek laat zien dat prestatievergelijkingen tussen AI-systemen alleen eerlijk zijn als de volledige technische opstelling wordt meegewogen, niet alleen het model zelf.
- Logits
- De ruwe scores die een taalmodel berekent voor elk mogelijk volgend woordstukje, voordat ze worden omgezet in kansen.
- KL-divergentie
- Een wiskundige maat die aangeeft hoeveel de uitkomst van een model afwijkt van een vastgestelde referentie-uitkomst.
- Attention-backend
- De onderliggende rekenmodule die bepaalt hoe een AI-model de context van een tekst verwerkt; verschillende backends geven soms net andere uitkomsten.
- Sampler
- Het onderdeel van een AI-model dat uit de berekende kansen daadwerkelijk een woord kiest, gestuurd door instellingen zoals temperatuur.
- Greedy decoding / top-1
- De methode waarbij een model steeds het woordstukje kiest met de hoogste kans, gebruikt om verschillende opstellingen eerlijk te vergelijken.
- Tensor parallellisme
- Een techniek waarbij de berekeningen van een AI-model over meerdere grafische kaarten tegelijk worden verdeeld.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
