Chinese chip zet licht direct om in AI-tokens, drones kunnen langer vliegen

Een chip die licht rechtstreeks omzet in bruikbare AI-data: onderzoekers van de Nanjing-universiteit in China presenteren een sensor die vijf bewerkingsstappen in één keer uitvoert. Het resultaat heet LightTok en moet drones en andere autonome apparaten veel minder stroom laten verbruiken bij het verwerken van camerabeelden.

Vijf stappen worden er één

Normaal gesproken doorloopt een camerabeeld een hele reeks bewerkingen voordat een AI-model er iets mee kan. Een sensor vangt het licht op, een beeldsensor-achtige schakeling zet dat om in pixels, de data wordt tijdelijk opgeslagen en vervolgens naar een aparte chip gestuurd. Daar wordt het beeld in vakjes geknipt die stuk voor stuk worden omgezet in tokens: de bouwstenen die een AI-model kan lezen.

Die omzetting van licht naar digitale pixels, de zogeheten analoog-naar-digitaalomzetting, is berucht energieverslindend. Volgens een veelgeciteerde studie is dit onderdeel verantwoordelijk voor gemiddeld 66 procent van het energieverbruik van een beeldsensor. Stuur je de data vervolgens ook nog naar de cloud voor verdere verwerking, dan loopt het verbruik nog verder op.

LightTok slaat al die tussenstappen over. "Ons ontwerp verplaatst het maken van tokens naar de sensor zelf, zodat de chip direct tokens produceert zodra er licht op valt", zegt Miao Feng, directeur van het Institute of Brain-Inspired Intelligence van de Nanjing-universiteit. De onderzoekers publiceerden hun bevindingen op 19 augustus in het tijdschrift Nature Sensors.

Een laagje van één atoom dik

De truc zit in een 2D-materiaal genaamd molybdeendisulfide, dat in laagjes van één atoom dik gegroeid kan worden. Daarvan bouwden de onderzoekers een fototransistor met een zogeheten floating gate: een geïsoleerd onderdeel dat een elektrische lading kan vasthouden in plaats van die meteen weer te verliezen. Zo kan één pixel tegelijk licht waarnemen, die informatie onthouden én er direct een berekening mee uitvoeren.

"De chip elimineert letterlijk het verplaatsen van data, en dat is de grootste bron van energieverspilling", zegt natuurkundehoogleraar Liang Shi-Jun van de Nanjing-universiteit tegen het Chinese staatspersbureau Xinhua. Vandaar de naam: er gaat licht in, er komen tokens uit.

In tests haalde de chip een nauwkeurigheid van 87,3 procent bij beeldherkenning, tegenover de gangbare meerstaps-methode. Tegelijk was LightTok tien keer energiezuiniger in het omzetten van licht naar tokens, melden de onderzoekers.

Nog te klein voor een smartphone

De huidige versie van de chip heeft een resolutie van slechts 32 bij 32 lichtgevoelige pixels, ruim onder het niveau van een gewone smartphonecamera, laat staan een drone. Miao denkt dat opschalen mogelijk is met bestaande CMOS-fabricagetechniek, dezelfde methode waarmee ook chips voor smartphones en dronesensoren worden gemaakt.

Als dat lukt, zou een drone die bijvoorbeeld een rampgebied verkent langer kunnen vliegen omdat er minder energie naar beeldverwerking gaat. Kumar Sokka, directeur van beveiligingsbedrijf Acre Security en niet betrokken bij het onderzoek, noemt het werk een "kleinschalige demonstratie" waarvan de richting volgens hem wel degelijk relevant is voor iedereen die met sensoren in de fysieke wereld werkt. Volgens Sokka gaat te veel aandacht in de discussie over fysieke AI naar de modellen zelf, terwijl de energiekosten van het omzetten van sensordata naar bruikbare input voor een AI-model de echte uitdaging vormen.