Attention-backend: de motor onder de motorkap van moderne AI-taalmodellen
Wie weleens met ChatGPT, Claude of een ander taalmodel heeft gepraat, heeft onbewust gebruikgemaakt van een attention-backend. Dat is niet het taalmodel zelf, maar het stukje reken-software daaronder dat bepaalt hoe snel en hoe zuinig het model zijn belangrijkste rekentruc uitvoert: het afwegen welke woorden in een zin voor elkaar van belang zijn. Je kunt het vergelijken met de motor van een auto: de bestuurder (het taalmodel) bepaalt de route, maar de motor onder de motorkap bepaalt hoeveel brandstof dat kost en hoe snel je vooruitkomt.
Het woord "attention" (aandacht) verwijst naar het wiskundige mechanisme waarmee een taalmodel bij het lezen of genereren van tekst voortdurend nagaat welke eerdere woorden relevant zijn voor het woord dat nu aan de beurt is. Dat mechanisme kan op veel verschillende manieren in software gegoten worden, sommige veel efficiënter dan andere. Zo'n concrete software-implementatie, die op een grafische chip (GPU) daadwerkelijk de berekeningen uitvoert, noemen ingenieurs een "backend". Een attention-backend is dus letterlijk de motor die de aandacht-berekening uitvoert, en de keuze voor de juiste backend kan het verschil betekenen tussen een chatbot die traag hapert en een die vloeiend reageert.
Wat is het precies?
Vrijwel alle huidige taalmodellen zijn gebouwd volgens de zogeheten Transformer-architectuur, geïntroduceerd in 2017 door onderzoekers van Google in het invloedrijke artikel "Attention Is All You Need". Het hart van die architectuur is het attention-mechanisme: voor elk woord (of preciezer, elk "token", een stukje tekst) berekent het model hoe sterk het moet letten op elk ander woord in de tekst.
Wiskundig gebeurt dat door voor elk token drie vectoren te berekenen: een "query" (wat zoek ik), een "key" (wat bied ik aan) en een "value" (welke informatie draag ik). Door queries en keys met elkaar te vermenigvuldigen ontstaat een score die aangeeft hoe relevant elk token voor elk ander token is. Bij een tekst van duizend woorden moet dat voor elk paar van de duizend woorden gebeuren: duizend keer duizend, oftewel een miljoen berekeningen. Verdubbel de tekstlengte en het werk vervierdubbelt. Dit "kwadratisch" schalen is het fundamentele probleem waar elke attention-backend een antwoord op probeert te vinden.
De naïeve manier om dit op een GPU uit te rekenen, is alle tussenresultaten in het (relatief trage maar ruime) hoofdgeheugen van de chip te zetten, ze daar te bewerken en weer terug te lezen. Dat kost veel tijd, niet omdat de chip te weinig rekenkracht heeft, maar omdat het steeds heen en weer schuiven van data de vertragende factor is. Slimmere backends, zoals FlashAttention, herschikken de berekening zo dat zoveel mogelijk in het razendsnelle maar kleine geheugen vlak bij de rekenkernen van de chip blijft, en vermijden dat tussenresultaten onnodig worden weggeschreven. Het wiskundige eindresultaat is identiek, alleen de volgorde en locatie van de berekeningen verschilt, met soms een twee- tot viervoudige snelheidswinst als gevolg.
Een tweede probleem duikt op zodra een model tekst genereert in plaats van alleen leest: bij elk nieuw woord moet het model de "keys" en "values" van alle voorgaande woorden opnieuw beschikbaar hebben. Die worden bewaard in een zogeheten KV-cache (key-value cache), die bij lange gesprekken flink kan groeien en veel geheugen opslokt. Backends zoals PagedAttention lossen dit op door die cache, net als een besturingssysteem met computergeheugen doet, op te delen in kleine, flexibel toewijsbare blokken in plaats van één aaneengesloten geheugenblok te reserveren. Dat voorkomt verspilling en maakt het mogelijk om veel gebruikers tegelijk te bedienen op dezelfde hardware.
Wat wil men ermee bereiken?
Het doel van attention-backends is simpel te omschrijven: dezelfde wiskundige uitkomst leveren, maar sneller, met minder geheugengebruik en tegen lagere kosten. Dat klinkt als een detail voor techneuten, maar heeft grote praktische gevolgen. Trainen en gebruiken van taalmodellen kost enorme hoeveelheden dure GPU-rekentijd; een efficiëntere backend kan diezelfde taak met minder chips of in minder tijd uitvoeren.
Daarnaast bepaalt de efficiëntie van de attention-backend direct hoe lang de "contextvenster" van een model kan zijn, dus hoeveel tekst het tegelijk kan "onthouden" tijdens een gesprek of bij het lezen van een lang document. Omdat naïeve attention kwadratisch schaalt, was het jarenlang praktisch onmogelijk om modellen boekenlange documenten te laten verwerken. Betere backends hebben ervoor gezorgd dat contextvensters zijn gegroeid van een paar duizend naar honderdduizenden en soms zelfs miljoenen tokens.
Tot slot gaat het om toegankelijkheid: hoe zuiniger een model draait, hoe goedkoper het is om aan te bieden, en hoe meer gebruikers tegelijk bediend kunnen worden op dezelfde hoeveelheid hardware. Voor bedrijven die AI-diensten aanbieden is dit rechtstreeks een kostenkwestie; voor de bredere samenleving bepaalt het mede hoe breed toegankelijk krachtige AI kan worden.
Voorbeelden uit de praktijk
FlashAttention (2022) is wellicht de bekendste doorbraak. Ontwikkeld door onderzoeker Tri Dao en collega's aan Stanford University, herschreef deze backend de attention-berekening zodat die veel minder vaak hoeft te communiceren met het trage GPU-geheugen. De opvolger FlashAttention-2 verscheen in 2023 met verdere optimalisaties, en FlashAttention-3 volgde in 2024, specifiek afgestemd op de nieuwste Nvidia Hopper-chips (zoals de H100) en gemaakt in samenwerking met onder meer Together AI, Meta en het onderzoekscentrum Colfax Research.
vLLM en PagedAttention (2023) is een project van onderzoekers aan UC Berkeley dat de geheugenbeheer-truc uit besturingssystemen naar attention vertaalde. vLLM werd al snel een veelgebruikte serveersoftware voor open-source taalmodellen zoals Llama en Mistral, precies omdat het veel meer gelijktijdige gebruikers op dezelfde GPU's kan bedienen.
xFormers, een open-sourcebibliotheek van Meta AI, biedt een verzameling uitwisselbare attention-backends waarmee onderzoekers kunnen experimenteren met snellere bouwstenen, en werd onder meer gebruikt in beeldgeneratiemodellen zoals Stable Diffusion.
SGLang met RadixAttention, ontwikkeld door onderzoekers verbonden aan LMSYS (de organisatie achter de bekende Chatbot Arena), voegt een backend toe die herhaald gebruikte stukken tekst (zoals een systeeminstructie die in elk gesprek terugkeert) slim hergebruikt in plaats van steeds opnieuw te berekenen.
PyTorch's ingebouwde scaled_dot_product_attention, sinds PyTorch 2.0 (2023) onderdeel van dit veelgebruikte machine-learning-raamwerk, kiest automatisch tussen meerdere backends (waaronder een FlashAttention-variant) afhankelijk van welke hardware beschikbaar is. Ook de populaire Hugging Face Transformers-bibliotheek laat ontwikkelaars expliciet kiezen welke backend ze willen gebruiken via een instelling genaamd attn_implementation.
Hoe ver is de techniek?
Attention-backends zijn inmiddels een volwassen en actief onderzoeksgebied, geen experimentele curiositeit meer. De meeste grote taalmodellen die vandaag commercieel worden aangeboden, draaien op een of andere geoptimaliseerde backend; de naïeve, ongeoptimaliseerde variant wordt in productieomgevingen nauwelijks meer gebruikt vanwege de kosten.
Toch is het veld verre van uitontwikkeld. Elke nieuwe generatie GPU-hardware (van Nvidia's Hopper-chips naar de nieuwere Blackwell-generatie, maar ook chips van concurrenten als AMD) vraagt om een nieuwe ronde handmatige optimalisatie, omdat de laagste-niveau software specifiek is afgestemd op de architectuur van één chipfamilie. Dat betekent dat een backend die schittert op een Nvidia-chip, van nul af aan herschreven moet worden om even goed te werken op AMD's ROCm-platform, wat de opmars van alternatieve chipmakers vertraagt.
Een tweede open probleem is extreem lange context: hoewel contextvensters van honderdduizenden tokens inmiddels haalbaar zijn, blijft het efficiënt verwerken van miljoenen tokens (denk aan een volledige codebase of jarenlange gesprekgeschiedenis) een terrein van actief onderzoek, met technieken als "ring attention" en "sliding window attention" die nog niet overal even breed en stabiel zijn geïmplementeerd. Ook het combineren van deze backends met nieuwere modelarchitecturen, zoals modellen die maar een deel van hun "expertise" per token activeren (mixture-of-experts), vraagt telkens weer om aangepaste implementaties. Onafhankelijke, herhaalbare benchmarks tussen backends zijn bovendien schaars, waardoor claims over snelheidswinst niet altijd één-op-één vergelijkbaar zijn.
Wie werken eraan?
Het onderzoek naar attention-backends speelt zich af op het snijvlak van academische instellingen en grote techbedrijven. Stanford University, en specifiek onderzoeker Tri Dao (inmiddels ook verbonden aan Princeton University en het bedrijf Together AI), heeft met FlashAttention een centrale rol gespeeld. UC Berkeley bracht met het vLLM-project en PagedAttention een andere invloedrijke bijdrage.
Onder de grote techbedrijven investeren Nvidia (dat zowel de hardware als bijbehorende softwarebibliotheken zoals cuDNN en TensorRT-LLM levert), Meta AI (met xFormers en onderzoek naar efficiënte inferentie voor de Llama-modellen), Google DeepMind en Microsoft allemaal in eigen of samenwerkende optimalisaties. Startups gericht op AI-infrastructuur, zoals Together AI en Anyscale (de commerciële partij achter een deel van het Ray/vLLM-ecosysteem), bouwen commerciële diensten rond deze open-sourcetechnieken. Ook chipmakers die niet van Nvidia zijn, zoals AMD, Cerebras en Groq, werken aan eigen attention-backends die zijn toegesneden op hun eigen, afwijkende hardware-architectuur.