AI-startup PrismML brengt piepklein taalmodel naar slimme bril van Qualcomm

PrismML, een AI-startup opgericht door onderzoekers van het Amerikaanse Caltech en geadviseerd door hoogleraar Ion Stoica van UC Berkeley, presenteerde deze week op de Snapdragon Summit van chipmaker Qualcomm een nieuwe versie van zijn taalmodel. Dat model, intern Bonsai genoemd, is speciaal gebouwd om te draaien op de Snapdragon AR1 Gen 1-chip die Qualcomm ontwikkelde voor AI-brillen. Het bedrijf claimt dat het model vier keer kleiner is dan vergelijkbare taalmodellen, terwijl de prestaties op standaardtests nauwelijks achteruitgaan.

Piepklein model, groot doel

De truc achter Bonsai zit in wat techneuten '1-bit-kwantisatie' noemen: de rekenwaarden in het model worden teruggebracht tot de kleinst mogelijke eenheid. Dat maakt het model fors compacter en minder veeleisend voor de chip, zonder dat het model gek genoeg veel aan intelligentie inboet. Voor smart glasses is dat cruciaal, want die hebben maar een klein batterijtje en beperkte rekenkracht aan boord.

De versie voor brillen telt twee miljard parameters — de instelbare knoppen waarmee een AI-model leert — en is specifiek getraind om beeld én taal te combineren. Dat betekent dat een gebruiker naar een voorwerp kan kijken en er in gewone taal een vraag over kan stellen, waarna de bril direct antwoord geeft. Dat noemen onderzoekers een visual language model: een AI die niet alleen tekst begrijpt, maar ook plaatjes.

Werken op de bril zelf

Het bijzondere is dat dit allemaal lokaal gebeurt, op de bril zelf, zonder dat data naar een server in de cloud gestuurd hoeft te worden. Grote techbedrijven als OpenAI, Google en Meta laten hun AI-modellen doorgaans in datacenters draaien: de vraag van de gebruiker gaat via internet naartoe, wordt daar verwerkt en het antwoord komt terug. Dat kost tijd, energie en vraagt vertrouwen in de privacybeloften van die bedrijven.

PrismML wil daar een alternatief voor bieden met wat de industrie een open-weightmodel noemt: een AI-model waarvan de onderliggende instellingen openbaar zijn, zodat andere partijen het vrij kunnen gebruiken, aanpassen en op eigen apparatuur laten draaien. Volgens PrismML ligt de toekomst van AI niet per se bij steeds grotere modellen in enorme datacenters, maar juist bij slimmer gebruik van de rekenkracht die apparaten al aan boord hebben.

Nog geen bril te koop

Belangrijk detail: er is nog geen enkele slimme bril op de markt die daadwerkelijk met PrismML's technologie werkt. Qualcomm toonde het model als demonstratie van wat de AR1 Gen 1-chip aankan, maar fabrikanten van brillen moeten nog beslissen of ze de software ook echt gaan gebruiken. Toch is de aankondiging veelzeggend: chipmakers en AI-bedrijven zoeken duidelijk naar manieren om kunstmatige intelligentie kleiner, zuiniger en onafhankelijker van de cloud te maken. Voor slimme brillen, die vanwege gewicht en batterijduur weinig ruimte hebben voor zware hardware, is dat een voorwaarde om ooit echt praktisch te worden.