IBM lanceert gratis Granite 4.2-taalmodellen die zelf tools kunnen gebruiken

IBM heeft drie nieuwe taalmodellen gepresenteerd: Granite 4.2, in de formaten 3B, 8B en 30B. Die cijfers verwijzen naar het aantal parameters, de instelbare rekenknoppen waarmee een taalmodel tekst leert begrijpen en genereren. Hoe meer parameters, hoe krachtiger een model doorgaans is, maar ook hoe meer rekenkracht het kost. De modellen zijn getraind op ongeveer 15 biljoen tokens aan tekst en zijn te downloaden via onder meer Hugging Face en GitHub onder de Apache 2.0-licentie, een open licentie die vrij hergebruik en aanpassing toestaat.

Zelf denken en zelf handelen

Een opvallende eigenschap van Granite 4.2 is het geheugen: de modellen kunnen tot 512.000 tokens aan tekst in één keer verwerken, goed voor een flink boekwerk aan context. Gebruikers kunnen bovendien schakelen tussen een 'denk'-modus voor complexe vraagstukken en een snellere modus voor simpele taken, plus een extra zuinige 'low-effort'-stand die rekenkracht bespaart bij eenvoudige verzoeken.

De grotere varianten, de 8B- en 30B-modellen, zijn daarnaast getraind met wat IBM 'agentic RL' noemt: reinforcement learning waarbij het model in een beveiligde testomgeving leert om gereedschappen te gebruiken, zelf code te schrijven en uit te voeren, en het internet te doorzoeken. Dit soort agentic AI gaat verder dan alleen tekst genereren; het model onderneemt zelfstandig actie om een taak af te ronden. De modellen ondersteunen tool calling in het OpenAI-formaat, waardoor ze eenvoudig te koppelen zijn aan bestaande software, en draaien op de populaire inferentie-frameworks vLLM en SGLang.

Razendsnelle spraakherkenning als bonus

Naast de taalmodellen introduceert IBM ook Granite Speech 5.0 Turbo CTC, een compacte spraakherkenner met 470 miljoen parameters. Dat is aanzienlijk kleiner dan de taalmodellen, maar het model is volgens IBM twee keer zo snel als de vorige koploper op het Open ASR Leaderboard, een ranglijst voor spraakherkenningssoftware. Het model transcribeert drie uur audio in slechts één seconde, wat het geschikt maakt voor grootschalige verwerking van bijvoorbeeld vergaderopnames of ondertiteling.

Door alle modellen gratis en open beschikbaar te stellen, positioneert IBM zich in een markt waar bedrijven als Meta en Mistral eveneens inzetten op open-source AI, als tegenwicht tegen gesloten systemen van OpenAI en Google. Voor ontwikkelaars betekent dit dat ze de modellen zonder licentiekosten kunnen inzetten en aanpassen voor eigen toepassingen.