TOPS: hoe snel is de AI-chip in jouw laptop of telefoon?
Als je de afgelopen tijd een nieuwe laptop of smartphone hebt gekocht, ben je vast de term TOPS tegengekomen in de specificaties. Het staat voor Tera Operations Per Second: duizend miljard (een 1 met twaalf nullen) rekenoperaties per seconde. Het is een maatstaf voor hoe snel de ingebouwde AI-chip van een apparaat kunstmatige-intelligentietaken kan uitvoeren, zoals het herkennen van gezichten op foto's, het genereren van tekst met een lokaal taalmodel, of het live vertalen van gesproken taal zonder internetverbinding.
Een goede analogie is een sorteercentrum van een pakketbezorger. Een mens kan een paar pakketjes per minuut scannen en sorteren; een grote sorteermachine doet er duizenden per uur. TOPS werkt hetzelfde: het geeft aan hoeveel kleine rekenklusjes een chip tegelijk kan afhandelen. Hoe hoger het getal, hoe meer van dat soort klusjes de chip in theorie per seconde aankan. Net als bij een sorteermachine zegt de capaciteit op papier echter niet alles: hoe goed het écht werkt, hangt ook af van de rest van het systeem eromheen.
Wat is het precies?
Een 'operatie' in TOPS is meestal een multiply-accumulate-bewerking: een vermenigvuldiging gevolgd door een optelling, geteld als één of soms twee operaties afhankelijk van hoe de fabrikant rekent. Dit type bewerking vormt de kern van neurale netwerken, de wiskundige modellen achter moderne AI. Een neuraal netwerk bestaat uit lagen van kunstmatige 'neuronen' die elk een gewogen som berekenen van hun input; dat 'wegen en optellen' gebeurt miljoenen tot miljarden keren per seconde wanneer een AI-model een foto herkent of een zin genereert.
De meeste TOPS-cijfers gaan over berekeningen in INT8: gehele getallen die met 8 bits (een eenheid computergeheugen) worden weergegeven. Dat is minder precies dan de 32-bits floating point-getallen die tijdens het trainen van AI-modellen worden gebruikt, maar voor het toepassen van een al getraind model (dit heet 'inferentie') is die lagere precisie meestal voldoende en veel sneller en zuiniger.
Om deze bewerkingen efficiënt uit te voeren, bouwen chipmakers tegenwoordig een apart onderdeel in hun processors: de NPU, ofwel Neural Processing Unit. Dit is een gespecialiseerd rekenblok naast de vertrouwde CPU (de centrale processor, goed in allerlei uiteenlopende taken) en de GPU (de grafische processor, van oudsher gericht op beeldbewerking maar ook geschikt voor AI-berekeningen). Een NPU is minder flexibel dan een CPU of GPU, maar juist daardoor extreem efficiënt in het soort simpele, herhaalde rekenwerk dat neurale netwerken vereisen. Het TOPS-getal dat fabrikanten noemen, slaat meestal specifiek op de NPU, al rapporteren sommigen ook een gecombineerd cijfer van CPU, GPU en NPU samen.
Wat wil men ermee bereiken?
De belangrijkste drijfveer achter krachtigere NPU's is de opkomst van on-device AI, oftewel AI die lokaal op je apparaat draait in plaats van in een datacenter in de cloud. Dat heeft een paar duidelijke voordelen. Ten eerste privacy: gevoelige gegevens, zoals foto's of gesproken tekst, hoeven het apparaat niet te verlaten. Ten tweede snelheid: lokale verwerking kent geen vertraging door een internetverbinding, wat belangrijk is voor toepassingen die direct moeten reageren. Ten derde werkt het ook zonder internetverbinding, en ten vierde is het vaak energiezuiniger dan constant gegevens heen en weer te sturen naar een server.
Voor chipfabrikanten dient TOPS daarnaast een meer commercieel doel: het geeft consumenten en zakelijke inkopers een simpel getal om chips onderling te vergelijken, net zoals 'megapixels' ooit een verkoopargument was voor camera's. Dat maakt het aantrekkelijk voor marketing, maar zoals verderop blijkt, is die vergelijking lang niet altijd eerlijk.
Voorbeelden uit de praktijk
Een belangrijk keerpunt was mei 2024, toen Microsoft de categorie Copilot+ PC introduceerde: een keurmerk voor Windows-laptops die geschikt zijn voor geavanceerde, lokaal draaiende AI-functies, zoals het doorzoeken van je schermgeschiedenis of het live vertalen van audio. Microsoft stelde als eis dat de NPU van zo'n laptop minimaal 40 TOPS moet leveren.
Om aan die eis te voldoen, brachten chipmakers nieuwe generaties uit. Qualcomm lanceerde de Snapdragon X Elite en X Plus-chips, gebaseerd op Arm-architectuur, met een NPU die rond de 45 TOPS haalt. Intel volgde met zijn Core Ultra 200V-serie (codenaam Lunar Lake), waarvan de NPU rond de 48 TOPS zou moeten leveren, een flinke sprong ten opzichte van de eerdere Meteor Lake-generatie die nog rond de 10-11 TOPS zat. AMD bracht de Ryzen AI 300-serie uit met een NPU van ongeveer 50 TOPS.
Ook buiten de Windows-wereld speelt dit: Apple's Neural Engine, aanwezig in zowel de A-serie chips (iPhone) als de M-serie chips (Mac en iPad), is al sinds 2017 (met de A11 Bionic) een vergelijkbaar onderdeel, al communiceert Apple TOPS-cijfers minder prominent dan concurrenten in de Windows-markt. En buiten consumentenapparaten gebruikt Nvidia TOPS ook om de rekenkracht van zijn Jetson-modules te beschrijven, kleine computerbordjes die worden ingezet in robots, drones en zelfrijdende systemen.
Hoe ver is de techniek?
NPU's zijn tegenwoordig standaard in vrijwel elke nieuwe laptop, telefoon en tablet in het midden- en topsegment. De TOPS-cijfers stijgen elke chipgeneratie flink: waar een paar jaar geleden 10 TOPS gebruikelijk was, ligt de norm voor nieuwe apparaten nu op 40 tot 50 TOPS, en verdere stijgingen worden voor komende generaties verwacht.
Toch loopt de software achter op de hardware. Veel apps en besturingssystemen benutten de beschikbare NPU-capaciteit nog niet volledig; ontwikkelaars moeten hun software specifiek aanpassen om van deze chips te profiteren, en dat proces kost tijd. Bovendien is TOPS een theoretisch piekgetal: het beschrijft de maximale rekencapaciteit van de hardware, niet hoe snel een concreet AI-model in de praktijk draait. Zaken als geheugenbandbreedte (hoe snel data heen en weer kan tussen geheugen en rekenkern), softwareoptimalisatie en de ondersteunde datatypes (INT4, INT8, FP16 en andere precisieniveaus) bepalen minstens zo sterk de werkelijke snelheid.
Een ander obstakel is vergelijkbaarheid: fabrikanten meten en rapporteren TOPS niet altijd op precies dezelfde manier, waardoor cijfers van verschillende merken lastig één-op-één te vergelijken zijn. Om dat probleem aan te pakken, ontwikkelt het non-profitconsortium MLCommons gestandaardiseerde benchmarks zoals MLPerf Client en MLPerf Inference, die AI-prestaties meten met echte modellen en taken in plaats van met een enkel theoretisch getal. Deze benchmarks winnen terrein als aanvulling op, of correctie van, kale TOPS-cijfers, al zijn ook zij geen perfecte weerspiegeling van elke praktijksituatie.
Wie werken eraan?
Qualcomm (Verenigde Staten) heeft met zijn Snapdragon-chips, gebaseerd op Arm-technologie, een sterke positie opgebouwd in NPU's voor zowel smartphones als laptops. Intel (VS) en AMD (VS) hebben hun traditionele focus op CPU's uitgebreid met steeds krachtigere NPU's in hun Core Ultra- en Ryzen AI-lijnen. Apple (VS) ontwikkelt zijn Neural Engine al sinds 2017 in eigen beheer, geïntegreerd in zowel mobiele als desktopchips.
Nvidia (VS), vooral bekend van grafische kaarten en AI-datacenterhardware, past TOPS ook toe op zijn Jetson-modules voor robotica en embedded systemen. Arm (Verenigd Koninkrijk) levert de chiparchitectuur die aan de basis ligt van veel NPU-ontwerpen, waaronder die van Qualcomm. Op softwarevlak speelt Microsoft (VS) een sturende rol via zijn Copilot+ PC-eisen, die chipmakers direct aanzetten tot hogere TOPS-waarden. Tot slot werkt het consortium MLCommons, met leden als Google, Intel, Nvidia en Qualcomm, aan onafhankelijke benchmarkstandaarden om de prestaties van AI-hardware eerlijker te kunnen vergelijken dan met TOPS alleen mogelijk is.