AI & computing › Agentic AI & autonome agents
Klein open AI-model Ripple-65B verslaat concurrenten tien keer zo groot
Het Amerikaanse AI-lab Ricursive Intelligence heeft een taalmodel uitgebracht dat opvallend goed is in het zelfstandig uitvoeren van programmeertaken, en dat voor een fractie van de kosten die concurrenten kwijt waren. Het model, Ripple-65B Preview, is vrij te downloaden en haalt betere resultaten dan rivalen die tot vijftien keer groter zijn.
Ricursive Intelligence noemt zichzelf een 'full-stack' AI-bedrijf: het bouwt niet alleen taalmodellen, maar ook de computerchips waarop die modellen draaien. Om die twee werelden te verbinden, trainde het bedrijf een eigen taalmodel vanaf nul. De publieke versie daarvan, Ripple-65B Preview, is nu beschikbaar via platforms als Hugging Face, Together AI en OpenRouter.
Beter dan modellen die veel groter zijn
Ripple-65B Preview is getraind op 12 biljoen tekstfragmenten (tokens) en kan tot een miljoen woorden aan context tegelijk verwerken. Op TerminalBench 2.1, een test die meet hoe goed een AI-model zelfstandig programmeertaken in een computerterminal uitvoert, scoort het model 80,52 punten. Dat is het hoogste resultaat van alle vrij beschikbare Amerikaanse modellen, en hoger dan concurrenten die vele malen groter zijn: Reflection Beam (501 miljard parameters, 80,1 punten), Meta's Muse Spark Open (816 miljard, 76,4 punten), Thinking Machines Inkling (975 miljard, 63,8 punten) en Nvidia's Nemotron 3 Ultra (550 miljard, 56,4 punten). Ripple heeft zelf maar 65 miljard parameters, de instelbare rekenknoppen die het gedrag van een AI-model bepalen. Het is bovendien een 'dicht' model in plaats van een zogeheten Mixture-of-Experts-opzet, waardoor het compacter is en ook op kleinere, lokale apparaten kan draaien, zoals de Nvidia DGX Spark.
Tien keer goedkoper dankzij slimmere training
Het trainen van een topmodel is doorgaans extreem duur. OpenAI-topman Sam Altman zei in 2023 dat het trainen van GPT-4 meer dan 100 miljoen dollar kostte, en Anthropic-ceo Dario Amodei voorspelde dat toonaangevende modellen tegen 2026 of 2027 tussen de 10 en 100 miljard dollar kunnen gaan kosten. Ricursive zegt Ripple-65B Preview voor in totaal 32 miljoen dollar te hebben ontwikkeld, inclusief alle experimenten en testfases. Dat is naar eigen schatting ongeveer een tiende van wat concurrent Reflection kwijt was aan het trainen van Beam, dat gebruikmaakte van speciale rekencapaciteit bij SpaceX voor zo'n 150 miljoen dollar per maand. Ricursive bereikte de hoge score met 1,4 miljoen trainingsrondes binnen het reinforcement-learningproces, zo'n zeventig keer minder dan concurrenten nodig hadden. Het bedrijf deed dit door zelf synthetische trainingsdata te maken in plaats van die in te koopen, en door de trainingsmethode continu bij te stellen op basis van de voortgang van het model.
Chips ontwerpen met AI, AI trainen met betere chips
De onderliggende ambitie van Ricursive gaat verder dan één taalmodel. Het bedrijf gebruikt een interne versie van dit model om computerchips te ontwerpen, die weer nodig zijn om toekomstige AI-modellen efficiënter te trainen: een cirkel van zelfverbetering. De architectuur van Ripple werd daarom bewust eenvoudig gehouden, zodat training en gebruik soepel verlopen op bestaande Nvidia-hardware, met een hoge benuttingsgraad van 40 procent zonder maatwerkoplossingen. Door zorgvuldige kleinschalige testen voorafgaand aan de grote trainingsrun, wat het bedrijf 'model laddering' noemt, behaalde Ripple tot 16 keer meer rekenefficiëntie op programmeertaken dan een vergelijkbaar open model van het Allen Institute for AI, waarop Ricursive deels voortbouwde.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit nieuws laat zien dat krachtige AI-modellen niet per se miljarden dollars en gigantische omvang nodig hebben: slimmere trainingsmethoden kunnen dezelfde of betere prestaties leveren voor een fractie van de kosten. Dat kan de drempel voor AI-ontwikkeling verlagen voor kleinere bedrijven en onderzoeksinstellingen, en versnelt bovendien de koppeling tussen AI-software en de chips waarop die draait.
- Open-weight model
- Een AI-model waarvan de onderliggende rekenparameters vrij te downloaden en te gebruiken zijn, in tegenstelling tot gesloten modellen zoals die van OpenAI.
- Agentic coding
- Het vermogen van een AI-model om zelfstandig, in meerdere stappen, programmeertaken uit te voeren zonder voortdurende menselijke sturing.
- TerminalBench 2.1
- Een testset die meet hoe goed een AI-model presteert bij het zelfstandig uitvoeren van opdrachten in een computerterminal.
- Context length (contextvenster)
- De hoeveelheid tekst die een AI-model in één keer kan 'onthouden' en gebruiken tijdens een gesprek of taak.
- Parameters
- De instelbare rekenwaarden binnen een AI-model die samen bepalen hoe het model reageert; meer parameters betekent doorgaans een groter en complexer model.
- Tokens
- Kleine stukjes tekst, zoals woorddelen, waarmee taalmodellen tijdens training en gebruik rekenen.
- Mixture-of-Experts (MoE)
- Een model-architectuur die bij elke taak slechts een deel van het model inschakelt, in plaats van het hele model zoals bij een 'dicht' model.
- Reinforcement learning (RL)
- Een trainingsmethode waarbij een AI-model leert door beloningen te krijgen voor goede uitkomsten, vergelijkbaar met leren via trial-and-error.
- Rollouts
- Individuele trainingsrondes binnen reinforcement learning waarin het model een taak uitvoert en daarop feedback krijgt.
- Synthetische data
- Kunstmatig gegenereerde trainingsgegevens, gemaakt door het AI-systeem zelf, in plaats van data die is ingekocht of verzameld van het internet.
- MFU (benuttingsgraad)
- Een maatstaf voor hoe efficiënt de rekenkracht van computerchips wordt gebruikt tijdens het trainen van een AI-model.
- Model ladder
- Een reeks kleinschalige test-trainingen waarmee onderzoekers ontwerpkeuzes uitproberen voordat ze een grote, dure trainingsrun starten.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
