LPU: de chip die is gebouwd om AI-taalmodellen supersnel te laten praten

Bijgewerkt: 24 augustus 2026 · 6 min leestijd

Als je weleens met een chatbot als ChatGPT hebt gepraat, ken je het moment: je stelt een vraag en de tekst verschijnt woord voor woord, soms met kleine haperingen. Dat komt doordat de computerchip die op de achtergrond het antwoord berekent, hard moet werken om elk volgend woord te voorspellen. Een LPU, kort voor Language Processing Unit, is een computerchip die speciaal is ontworpen om dat proces zo snel mogelijk te laten verlopen — zo snel dat de tekst soms sneller verschijnt dan je hem kunt lezen.

Vergelijk het met keukengereedschap. Een gewone GPU (de grafische chip die de afgelopen jaren hét werkpaard van AI werd) is als een goed Zwitsers zakmes: veelzijdig, geschikt voor training van AI-modellen én voor het genereren van antwoorden, en overal te koop. De LPU is meer een sushimes: het kan eigenlijk maar één ding, namelijk bestaande taalmodellen razendsnel laten 'praten', maar dat ene ding doet het opvallend efficiënt. De term is bedacht door het Amerikaanse bedrijf Groq, dat de chip sinds 2023 op de markt brengt.

Wat is het precies?

Om te begrijpen wat een LPU anders doet, helpt het om eerst te weten hoe een taalmodel werkt. Een groot taalmodel (large language model, LLM) genereert tekst woord voor woord — preciezer gezegd: token voor token, waarbij een token een stukje tekst is, vaak een deel van een woord. Voor elk nieuw token moet de chip miljarden rekensommen uitvoeren op de 'gewichten' van het model, de opgeslagen getallen die samen bepalen hoe het model taal begrijpt.

Een gewone GPU bestaat uit duizenden kleine rekenkernen die tijdens het rekenen voortdurend data heen en weer sturen naar een apart geheugenchip (HBM, high-bandwidth memory genoemd). Dat heen-en-weer-verkeer kost tijd, en welke rekenkern wanneer welk stukje data nodig heeft, wordt tijdens het draaien dynamisch bepaald door de hardware zelf. Dat maakt een GPU flexibel, maar ook een beetje onvoorspelbaar in timing.

Groqs LPU-architectuur, die het bedrijf een Tensor Streaming Processor (TSP) noemt, pakt het anders aan. Het geheugen zit niet apart, maar direct op de chip zelf, in de vorm van snel SRAM-geheugen (static random-access memory, hetzelfde type geheugen dat ook in de cache van gewone processoren zit). Daardoor hoeft data niet steeds over een trage verbinding heen en weer te reizen. Bovendien wordt de volgorde van alle rekenstappen al vooraf, door software (de compiler), volledig vastgelegd — niet tijdens het rekenen zelf. Dat maakt het gedrag van de chip deterministisch: voor dezelfde invoer duurt de berekening precies even lang, elke keer weer, wat voorspelbare, lage vertraging oplevert.

De keerzijde: het SRAM-geheugen op één LPU-chip is klein vergeleken met het geheugen op een GPU, doorgaans in de orde van tientallen tot een paar honderd megabyte. Grote taalmodellen, die tientallen gigabytes aan gewichten kunnen bevatten, passen daar niet op één chip. Groq lost dit op door honderden LPU's onderling met snelle verbindingen aan elkaar te koppelen, zodat ze samen als één systeem functioneren.

Wat wil men ermee bereiken?

Het doel is simpel te formuleren, maar technisch lastig te bereiken: AI-antwoorden zo snel en zo voorspelbaar mogelijk laten verschijnen, tegen een zo laag mogelijke energiekost per woord. Dat klinkt als een detail, maar wordt steeds belangrijker naarmate AI-chatbots, spraakassistenten en zoekmachines door miljoenen mensen tegelijk worden gebruikt.

Er is een onderscheid tussen twee fases in het leven van een AI-model: training (het model leren van enorme hoeveelheden tekst, een proces dat weken kan duren en waarvoor vrijwel altijd GPU's worden gebruikt) en inference (het daadwerkelijk gebruiken van een al getraind model om antwoorden te genereren). Groq richt zich uitsluitend op dat tweede deel. De redenering: naarmate AI-modellen vaker en door meer mensen gebruikt worden, wordt inference relatief steeds duurder en belangrijker dan training, en daar liggen kansen voor chips die niet alles kunnen, maar dat ene ding wel heel goed.

Een tweede, minder technische drijfveer is marktpositie. Nvidia beheerst met zijn GPU's op dit moment het grootste deel van de AI-hardwaremarkt. Bedrijven als Groq proberen met gespecialiseerde chips een niche te veroveren in het segment waar puur snelheid en voorspelbaarheid de doorslag geven, zoals realtime spraakassistenten of financiële toepassingen waar milliseconden ertoe doen.

Voorbeelden uit de praktijk

Groq maakte in 2024 vooral naam met openbare demonstraties op zijn platform GroqCloud, waar ontwikkelaars gratis of tegen betaling open taalmodellen zoals Meta's Llama-modellen konden uitproberen. Video's waarin het model honderden tokens per seconde genereerde — zichtbaar sneller dan een mens kan lezen — gingen op sociale media rond en zorgden voor veel aandacht voor het bedrijf.

In 2024 kondigde Groq een samenwerking aan met het Saudi-Arabische staatsoliebedrijf-dochter Aramco Digital, gericht op het bouwen van datacenters met LPU's in Saudi-Arabië, als onderdeel van de ambitie van het land om een regionaal AI-knooppunt te worden.

Verder werkt Groq samen met diverse cloud- en softwarebedrijven die hun klanten toegang willen geven tot snellere AI-inference, en met telecombedrijven die geïnteresseerd zijn in zogeheten 'soevereine AI'-infrastructuur: rekencapaciteit die binnen de eigen landsgrenzen staat, onder meer om te voldoen aan regels over dataopslag en digitale onafhankelijkheid.

Het is belangrijk hierbij te vermelden dat dit vooral aankondigingen en pilots betreft; onafhankelijk, extern geverifieerd bewijs over de omvang en het commerciële succes van deze projecten is beperkt beschikbaar, en cijfers over gebruikersaantallen of omzet worden door Groq zelf niet in detail openbaar gemaakt.

Hoe ver is de techniek?

De LPU is geen laboratoriumproject meer: sinds 2023 is de chip commercieel beschikbaar en draaien er productiesystemen. Groq claimt dat zijn chips voor bepaalde taalmodellen tot een veelvoud sneller zijn dan vergelijkbare GPU-opstellingen, gemeten in tokens per seconde per gebruiker. Onafhankelijke benchmarks bevestigen doorgaans dat de latentie (de tijd tot het eerste woord verschijnt) en de doorvoersnelheid van Groqs systeem opvallend goed zijn voor bepaalde modelgroottes, al hangt de exacte winst sterk af van het gebruikte model en de vergelijkingsopstelling.

De belangrijkste horde blijft schaal en kosten. Omdat elke chip weinig geheugen heeft, zijn er voor grote modellen honderden LPU's nodig die onderling verbonden moeten worden, wat de aanschaf- en energiekosten per geïnstalleerd systeem hoog maakt. Ook is de chip, in tegenstelling tot een GPU, niet geschikt voor het trainen van nieuwe modellen, wat de markt voor de chip beperkt tot het inference-segment. Daarnaast is het ecosysteem van software en ontwikkelaarstools rond GPU's (met name Nvidia's CUDA-platform) na jarenlange dominantie veel groter en volwassener dan dat rond de LPU, wat de overstap voor bedrijven drempelverhogend kan maken.

Groq werkt intussen aan volgende generaties van zijn chip en aan uitbreiding van datacentercapaciteit, onder meer in de Verenigde Staten en het Midden-Oosten. Concrete, extern geverifieerde tijdlijnen voor nieuwe chipgeneraties zijn echter niet altijd publiek beschikbaar, en zoals bij veel jonge hardwarebedrijven in de AI-sector moet worden afgewacht in hoeverre aangekondigde capaciteitsuitbreidingen ook daadwerkelijk gerealiseerd worden.

Wie werken eraan?

Groq is opgericht in 2016 door Jonathan Ross, die eerder bij Google meewerkte aan de ontwikkeling van de TPU (Tensor Processing Unit), Googles eigen chip voor AI-berekeningen. Die achtergrond verklaart voor een deel de architecturale keuzes achter de LPU: net als de TPU is het een chip die is toegesneden op een specifieke soort rekenwerk in plaats van algemeen inzetbaar te zijn. Groq is een op zichzelf staand, particulier bedrijf en heeft in opeenvolgende financieringsrondes honderden miljoenen dollars aan investeringen opgehaald bij durfkapitaalfondsen en, recenter, bij investeerders uit de Golfregio.

Groq staat niet alleen in dit veld. Nvidia blijft veruit de grootste speler in AI-hardware, ook voor inference, en heeft zijn GPU's inmiddels ook geoptimaliseerd voor snellere tekstgeneratie. Andere gespecialiseerde uitdagers zijn Cerebras Systems (bekend om zijn extreem grote 'wafer-scale' chips) en SambaNova Systems, die net als Groq inzetten op alternatieve architecturen voor AI-inference. Ook de grote clouddiensten ontwikkelen eigen chips voor dit doel: Google met opvolgers van de TPU, Amazon met Trainium en Inferentia, en Microsoft met de Maia-chip. Op landenniveau zijn vooral de Verenigde Staten (waar de meeste van deze bedrijven gevestigd zijn) en de Golfstaten, die fors investeren in eigen AI-rekencapaciteit, zichtbaar actief in dit domein.