Klein open AI-model verslaat GPT-5.6 Sol in zoektaken, voor honderdste van de prijs

Grote AI-modellen zoals GPT-5.6 Sol zijn krachtig, maar duur en traag als ze herhaaldelijk moeten zoeken om een vraag te beantwoorden. Castform, een start-up gespecialiseerd in het trainen van AI-modellen, liet zien dat een veel kleiner open-source model met slechts 4 miljard parameters dezelfde zoekresultaten oplevert als het frontier-model van OpenAI. Het verschil in kosten is enorm: waar een zoekopdracht met GPT-5.6 Sol al snel 3 cent kost en meer dan 10 seconden duurt, is het kleine model honderd keer goedkoper.

Van simpele zoekopdracht naar slimme agent

Een paar jaar geleden volstond het om een taalmodel één keer relevante documenten te laten opzoeken, de bekende RAG-aanpak (retrieval-augmented generation). Inmiddels werken AI-systemen steeds vaker als autonome agents: ze zoeken meerdere keren achter elkaar, verfijnen hun vraag en combineren informatie uit verschillende bronnen voordat ze een antwoord geven. Elke zoekstap betekent een nieuwe aanroep van het onderliggende taalmodel. Bij dure frontier-modellen zoals GPT-5.6 Sol lopen de kosten en de wachttijd daardoor snel op, zeker bij toepassingen die veel gebruikers tegelijk bedienen.

Trainen met bedrijfsdata via Neon

Castform loste dit op door een klein model gericht te trainen op de taak waar het om gaat: zoeken. Bij deze vorm van training, reinforcement learning, probeert het model steeds opnieuw een zoekopdracht uit te voeren en krijgt het een beloning als het de juiste bron vindt, de juiste passage citeert en het juiste antwoord geeft. Voor deze aanpak is een grote hoeveelheid trainingsvragen nodig. Castform haalt die automatisch uit bestaande bedrijfsdata, zoals interne documentatie, klantvragen of wiki-pagina's, die het omzet in vraag-antwoordparen met een bijbehorend juist antwoord.

Voor de opslag en het doorzoeken van die data werkt Castform samen met databasebedrijf Neon. Neons Postgres-database combineert traditionele tekstzoekopdrachten (bekend als BM25) met zoeken op betekenis via zogeheten vector search, en voegt de resultaten van beide methodes samen tot één ranglijst. Tijdens het trainen worden duizenden van deze zoekopdrachten tegelijk uitgevoerd, in korte, hevige pieken. Neons database kan daarbij automatisch op- en afschalen, zodat er geen dure servercapaciteit hoeft te draaien die het grootste deel van de tijd stilstaat.

Een ander voordeel is dat Neon met zogeheten branching voor elke trainingspoging een eigen, geïsoleerde kopie van de database kan aanmaken. Zo kan het model vrij experimenteren, ook met opdrachten die data aanpassen, zonder dat verschillende trainingspogingen elkaar in de weg zitten of productiedata beschadigen.

Wat dit betekent voor bedrijven

Voor bedrijven die zelf AI-assistenten bouwen op hun eigen data, is dit een belangrijk signaal: een fors goedkoper, kleiner model inzetten hoeft niet ten koste te gaan van kwaliteit, mits het gericht is getraind op de eigen taak. Castform positioneert zichzelf als tool waarmee ontwikkelaars dit soort training kunnen uitvoeren zonder zelf kennis van machine learning of grafische rekenchips (gpu's) te hoeven hebben.