Autoregressief model
Stel je voor dat je iemand vraagt een zin af te maken: "De kat zit op de...". De meeste mensen vullen automatisch "mat" in, omdat ze op basis van de voorgaande woorden inschatten wat er waarschijnlijk volgt. Een autoregressief model doet in essentie precies dit, maar dan wiskundig en op enorme schaal: het voorspelt telkens het eerstvolgende stukje van een reeks op basis van alles wat daarvoor kwam, en herhaalt dat proces net zo lang tot er een compleet resultaat staat.
Dit klinkt eenvoudig, maar het is het fundament onder vrijwel alle bekende chatbots en taalmodellen van de afgelopen jaren, zoals ChatGPT, Claude en Gemini. Die genereren een antwoord niet in één keer, maar woord voor woord (of eigenlijk: stukje voor stukje tekst, een zogeheten "token"), waarbij elk nieuw stukje wordt bepaald door alles wat er al staat, inclusief de eigen eerder gegenereerde tekst. Dezelfde onderliggende techniek duikt ook op buiten tekst, bijvoorbeeld bij het genereren van spraakgeluid of afbeeldingen.
Wat is het precies?
De term "autoregressief" komt oorspronkelijk uit de statistiek, waar hij al decennia wordt gebruikt om tijdreeksen te beschrijven: de waarde van morgen wordt voorspeld op basis van de waarden van de afgelopen dagen. In de kunstmatige intelligentie is het principe hetzelfde, maar dan toegepast op tekst, geluid of beeld met behulp van neurale netwerken (rekenmodellen die patronen leren uit grote hoeveelheden data).
Concreet werkt het bij een taalmodel zo. Eerst wordt tekst opgeknipt in tokens: kleine brokjes tekst, soms een heel woord, soms een deel van een woord. Het model krijgt een reeks tokens als invoer en berekent daarna een kansverdeling over alle mogelijke volgende tokens: welk token is het meest waarschijnlijk om hierna te komen? Uit die kansverdeling wordt vervolgens één token gekozen, meestal met een beetje willekeur ingebouwd (de zogeheten "temperatuur"-instelling) zodat de tekst niet steeds identiek is.
Dat nieuw gekozen token wordt daarna gewoon weer toegevoegd aan de invoerreeks, en het hele proces begint opnieuw: het model kijkt naar de langere reeks en voorspelt het volgende token. Dit gaat door totdat een compleet antwoord is opgebouwd of een stopteken wordt gekozen. Omdat elke stap afhankelijk is van alle voorgaande stappen, moet dit sequentieel gebeuren: token één, dan twee, dan drie, enzovoort. Dat is ook meteen een belangrijke beperking, waarover verderop meer.
Getraind wordt zo'n model door het miljarden stukjes bestaande tekst te laten zien en steeds te vragen: welk token komt hierna? Door dat continu fout te laten gaan en bij te sturen, leert het model niet alleen grammatica, maar pikt het ook feiten, redeneerpatronen en stijl op uit de trainingsdata. De huidige generatie modellen gebruikt daarvoor bijna altijd de zogeheten transformer-architectuur, een neuraal netwerkontwerp dat in 2017 werd geïntroduceerd door onderzoekers van Google en dat goed is in het wegen van de relevantie van eerdere woorden in een zin.
Wat wil men ermee bereiken?
De aantrekkingskracht van het autoregressieve principe zit in de eenvoud van het trainingsdoel: "voorspel het volgende stukje" is een taak waarvoor je geen dure, handmatig gelabelde data nodig hebt. Vrijwel alle tekst op internet, in boeken en in code kan direct als trainingsmateriaal dienen, omdat het model zichzelf steeds kan toetsen aan wat er werkelijk volgde.
Onderzoekers ontdekten bovendien dat als je dit simpele recept opschaalt, met meer data, een groter model en meer rekenkracht, de resultaten voorspelbaar en gestaag beter worden. Deze zogeheten schaalwetten, beschreven in invloedrijke studies van OpenAI (2020) en later DeepMind (2022), zijn een belangrijke reden waarom bedrijven de afgelopen jaren zulke grote investeringen deden in steeds grotere modellen: meer schaal levert vaak aantoonbaar meer capaciteit op, tot op zekere hoogte.
Het achterliggende doel is breed: één en dezelfde aanpak inzetten voor uiteenlopende taken, zoals tekst schrijven, vragen beantwoorden, programmeren, samenvatten en vertalen, zonder voor elke taak apart een gespecialiseerd systeem te bouwen. Dat maakt autoregressieve modellen aantrekkelijk als "generalistisch" gereedschap.
Toch kleven er ook nadelen aan deze aanpak, en die worden in het veld openlijk erkend. Omdat het model steeds het meest waarschijnlijke volgende token kiest zonder een intern besef van "waarheid", kan het overtuigend klinkende onzin produceren, ook wel hallucinatie genoemd. Kleine fouten vroeg in een antwoord kunnen bovendien doorwerken en groter worden in de rest van de tekst, omdat elk token voortbouwt op wat ervoor kwam. En doordat generatie stap voor stap moet gebeuren, is het rekenkundig duurder en trager dan technieken die in één keer of parallel werken.
Voorbeelden uit de praktijk
Een van de eerste spraakmakende toepassingen was WaveNet, een autoregressief model dat onderzoeksinstituut DeepMind in 2016 presenteerde. Het genereerde ruwe geluidsgolven sample voor sample en zorgde voor een grote sprong voorwaarts in de natuurlijkheid van computerstemmen; de techniek werd later gebruikt in de spraaksynthese van Google Assistant.
In datzelfde jaar toonde DeepMind ook PixelRNN en PixelCNN, modellen die afbeeldingen pixel voor pixel opbouwden, elke pixel voorspeld op basis van de al gegenereerde pixels ernaast en erboven. Dit was een van de eerste bewijzen dat het autoregressieve principe ook buiten tekst en geluid werkt.
De bekendste voorbeelden zijn inmiddels de grote taalmodellen: GPT-2 (OpenAI, 2019), GPT-3 (OpenAI, 2020) en GPT-4 (OpenAI, 2023) zijn stuk voor stuk autoregressieve transformer-modellen, net als concurrerende modellen zoals Claude van Anthropic en Gemini van Google. Ook LLaMA, de familie open-source taalmodellen die Meta vanaf begin 2023 uitbracht, werkt volgens hetzelfde principe.
Een minder voor de hand liggend voorbeeld is Codex, het GPT-gebaseerde model achter GitHub Copilot dat sinds 2021 programmeurs helpt door code autoregressief, regel voor regel en token voor token, aan te vullen.
Hoe ver is de techniek?
Voor tekst is de autoregressieve aanpak inmiddels volwassen en dominant: sinds de introductie van de transformer-architectuur in 2017, gevolgd door de GPT-reeks vanaf 2018, is dit de facto de standaardmanier geworden om taalmodellen te bouwen. Belangrijke vervolgstappen waren onder meer het toevoegen van menselijke feedback tijdens training (reinforcement learning from human feedback, kortweg RLHF), waarmee OpenAI in 2022 ChatGPT bruikbaarder en beleefder maakte, en het geleidelijk vergroten van het "geheugen" van modellen, het aantal tokens dat ze tegelijk kunnen verwerken.
De belangrijkste technische hobbel blijft de sequentiële aard van het proces: omdat elk token wacht op het vorige, is het genereren van lange antwoorden traag en rekenintensief, zeker vergeleken met diffusiemodellen (die bijvoorbeeld bij beeldgeneratie in parallelle stappen ruis wegfilteren uit een heel plaatje tegelijk). Onderzoekers werken aan versnellingstechnieken zoals speculative decoding, waarbij een klein, snel model vast een gokje waagt dat het grote model daarna in bulk controleert, maar dit zijn optimalisaties bovenop het autoregressieve principe, geen vervanging ervan.
Voor beeld- en videogeneratie wonnen diffusiemodellen de afgelopen jaren juist terrein ten opzichte van de oorspronkelijke autoregressieve aanpak van PixelRNN, omdat ze doorgaans sneller en efficiënter beelden opleveren. Tegelijk is er recent weer hernieuwde belangstelling voor autoregressieve beeldgeneratie, met onderzoek dat probeert het beste van beide werelden te combineren; hoe dit zich verder ontwikkelt, is nog volop in beweging.
Ook inhoudelijk is er discussie: sommige vooraanstaande onderzoekers, zoals Yann LeCun van Meta, hebben publiekelijk twijfels geuit of het simpele principe van "voorspel het volgende token" alleen ooit kan leiden tot echt robuust redeneervermogen of tot wat wel algemene kunstmatige intelligentie wordt genoemd. Dit is een open wetenschappelijk debat zonder consensus, en het is eerlijk om te zeggen dat niemand op dit moment met zekerheid weet hoe ver deze aanpak uiteindelijk reikt.
Wie werken eraan?
De ontwikkeling wordt aangevoerd door een handvol grote Amerikaanse spelers: OpenAI (de GPT-reeks en ChatGPT), Google DeepMind (onder meer WaveNet, PixelRNN en de Gemini-modellen), Meta AI (de open LLaMA-modellen) en Anthropic (de Claude-modellen). Daarnaast speelt de academische wereld, met name aan Amerikaanse universiteiten zoals Stanford en MIT, een grote rol in het publiceren van onderliggend fundamenteel onderzoek.
Buiten de Verenigde Staten is met name China snel een factor van belang geworden, met bedrijven en laboratoria als Alibaba, Baidu en het relatief jonge DeepSeek, dat sinds 2023-2024 opvallend krachtige, deels open taalmodellen uitbrengt. In Europa profileert vooral het Franse Mistral AI, opgericht in 2023, zich als speler in open taalmodellen, met steun van onder meer de Franse overheid en Europese investeerders.