Needle 2: AI-model van 14 megabyte laat goedkope apparaten zelf taken uitvoeren

De meeste kunstmatige intelligentie draait tegenwoordig in enorme datacenters, op krachtige grafische chips. Maar het grootste deel van de apparaten in de wereld heeft die rekenkracht helemaal niet. Cactus, het bedrijf achter Needle 2, wijst erop dat er wereldwijd zo'n 21 miljard apparaten zijn aangesloten op internet, tegenover ongeveer 1,5 miljard pc's. Denk aan budgettelefoons, smartwatches, kleine robots en slimme thuisapparaten: goedkope hardware zonder grafische chip (GPU) of AI-chip (NPU), met hooguit een paar honderd megabyte werkgeheugen. Voor die categorie apparaten is Needle 2 ontworpen.

Klein genoeg voor een spraakloze ring

Needle 2 telt 45 miljoen parameters, de instelbare rekenwaarden die bepalen hoe een AI-model reageert. Ter vergelijking: grote taalmodellen als ChatGPT hebben er honderden miljarden. Toch hoeft dat voor dit doel geen nadeel te zijn. Het model is namelijk niet gebouwd om te kletsen, maar om opdrachten te vertalen naar acties: toolaanroepen op maat, zoals een lamp aanzetten, een e-mailadres uit een zin halen of een robotarm drie bewegingen laten maken. Dat is precies het soort werk dat agentic AI doet: een AI-systeem dat zelfstandig stappen zet om een taak te voltooien. Omdat het model geen algemene wereldkennis nodig heeft, is een klein model genoeg. Wearable-fabrikant Pebble gebruikt Needle 2 al in zijn Index-ring: een apparaat zonder scherm, dat gesproken opdrachten direct moet omzetten in actie, ook zonder wifi of 4G.

Extreme compressie zonder kwaliteitsverlies

Om op zulke kleine apparaten te passen, is Needle 2 al tijdens het trainen voorbereid op compressie. Normaal gesproken worden AI-modellen na het trainen achteraf verkleind, een proces dat vaak ten koste gaat van de nauwkeurigheid. Cactus koos voor het omgekeerde: het model is van begin tot eind getraind met de uiteindelijke compressie in het achterhoofd, een aanpak die vergelijkbaar is met wat vakmensen kwantisatiebewuste training noemen. Het resultaat is gekwantiseerd tot gemiddeld twee bits per gewicht, waardoor het volledige model in een bestand van 14 megabyte past en zo'n 28 megabyte werkgeheugen gebruikt tijdens gebruik. Ook de architectuur zelf is aangepast: het geheugen van het model is begrensd door een vast "schuifvenster" van 256 tokens, zodat het nooit meer geheugen opeist dan een apparaat kan missen, en systeeminstructies blijven daarbij altijd bewaard.

Grens tussen apparaat en cloud

Een model van deze omvang kan niet alles. Daarom geeft Needle 2 bij elk antwoord een betrouwbaarheidsscore mee. Valt die te laag uit, dan stuurt het systeem de vraag alsnog door naar een groter model in de cloud, of vraagt het om verduidelijking. Omdat het merendeel van de opdrachten aan een slim apparaat routinematig is, blijft die uitwijk naar de cloud volgens Cactus zeldzaam, en verloopt de standaardroute lokaal, privé en zonder vertraging. Op een Raspberry Pi 5 haalt het model naar eigen zeggen snelheden van honderden tokens per seconde, ruim voldoende voor directe reacties op gesproken of getypte opdrachten. Cactus stelt de broncode en een Python-pakket beschikbaar waarmee bedrijven het model zelf kunnen bijtrainen op de eigen apparaten en functies.