Open-source tool laat AI maar één keer nadenken, dan beslist een klein lokaal model

Grote taalmodellen zoals ChatGPT of Claude zijn krachtig, maar ook duur en traag als je ze voor elke kleine beslissing opnieuw aanroept. Denk aan een klantenservice die duizenden tickets per dag moet indelen in categorieën als 'factuurklacht' of 'technisch probleem'. Elke keer een taalmodel om een antwoord vragen kost geld, tijd en rekenkracht. De makers van het project Strot, gepubliceerd op de ontwikkelaarssite GitHub, bedachten hier een alternatief voor: het taalmodel wordt maar één keer gebruikt om de taak te doorgronden. Daarna draait alles lokaal, zonder dat het dure model nog wordt aangeroepen.

Hoe werkt het compileren van AI-beslissingen?

Strot noemt dit proces 'compileren', een term die normaal gesproken bij programmeren wordt gebruikt. De ontwikkelaar beschrijft eenmalig wat de bedoeling is, bijvoorbeeld 'verdeel binnenkomende supportmeldingen over de juiste afdeling', en geeft daarbij voorbeelden van de mogelijke categorieën. Het taalmodel gebruikt die informatie om automatisch een klein, op maat gemaakt beslissingsprogramma te bouwen. Dat programma wordt getest tegen bekende, correcte antwoorden ('golden records') voordat het mag worden ingezet. Vervolgens draait dit compacte systeem, met een lokaal model van 144 miljoen parameters, op een gewone processor en neemt beslissingen in ongeveer 60 milliseconden, zonder internetverbinding of herhaalde aanroepen van het dure taalmodel. Twijfelt het systeem over een beslissing, dan onthoudt het zich bewust van een antwoord in plaats van te gokken.

Wat laten de testresultaten zien?

De makers hebben hun aanpak getest met echte datasets in gecontroleerde omgevingen. Bij het indelen van 398 supportmeldingen haalde de gecompileerde aanpak een nauwkeurigheid van 92,5 procent, tegenover 74,8 procent wanneer je het taalmodel steeds opnieuw rechtstreeks zou bevragen. Bij een test met nieuwsartikelen uit de bekende AG News-dataset, waarbij het systeem categorieën moest herkennen die het nog niet eerder had gezien, steeg de nauwkeurigheid van 72,7 naar 86,7 procent. Op het gebied van sentimentanalyse, het bepalen of een tekst positief of negatief is, lagen de resultaten vrijwel gelijk aan die van bestaande commerciële AI-diensten.

Waarom is dit relevant voor bedrijven?

Voor bedrijven die AI willen inzetten voor terugkerende taken, zoals het sorteren van e-mails, het beoordelen van klantreacties of het routeren van aanvragen, is de rekening van taalmodellen vaak de grootste zorg. Elke aanroep kost geld en elke aanroep kan een ander antwoord opleveren, omdat taalmodellen van nature niet altijd consistent zijn. Door de kennis van het model vast te leggen in een voorspelbaar, lokaal programma, verdwijnt dat risico grotendeels en dalen de kosten per beslissing naar nagenoeg nul. Het project is vrij beschikbaar via de Python-pakketbeheerder PyPI en is gebaseerd op wetenschappelijk onderzoek dat eerder dit jaar is gepubliceerd. Het laat zien hoe de volgende fase van praktische AI-toepassingen minder kan draaien om steeds grotere modellen, en meer om slimmer en zuiniger gebruik van de modellen die er al zijn.