Onderzoek: wetenschappelijke claims over AI-taalmodellen verouderen razendsnel

Onderzoekers Owen Queen en James Zou van Stanford University testten vijftig veelgeciteerde claims over grote taalmodellen (large language models, LLM's) opnieuw uit op twintig recentere modellen. Het resultaat: 44 procent van die claims is inmiddels 'verlopen'. Nog eens 34 procent is flink verzwakt. Slechts 16 procent houdt nog volledig stand, en bij 6 procent is het effect zelfs sterker geworden dan oorspronkelijk gemeten. Van de 22 bevindingen waarvoor de onderzoekers een geschatte levensduur konden berekenen, hielden claims gemiddeld maar 15,7 maanden stand. Na een jaar was al 16 procent verlopen, na twee jaar liep dat op tot 39 procent.

Wat modellen niet kunnen, verandert het snelst

Claims over beperkingen van AI-modellen verouderen het snelst. Van negen onderzochte bevindingen over redeneervermogen bleken er vijf niet langer te kloppen; geen enkele hield stand of werd sterker. Het gaat om bekende zwaktes, zoals moeite met het tellen van letters in een woord, rekenen in onbekende talstelsels, het verliezen van informatie in lange teksten en het overstag gaan voor een foutief antwoord als een gebruiker tegenspreekt. Volgens de onderzoekers ligt dat voor de hand: voor dit soort fouten bestaat een duidelijk 'juist' antwoord, waardoor ontwikkelaars gericht kunnen trainen om ze te verbeteren.

Gedrag en voorkeuren blijven hardnekkiger

Claims over het gedrag en de voorkeuren van modellen blijken juist langer houdbaar. Taalmodellen geven bijvoorbeeld nog steeds de voorkeur aan hun eigen antwoorden wanneer ze als jurylid optreden, beoordelen geaccepteerde en afgewezen wetenschappelijke papers vaak even positief, en laten zich beïnvloeden door suggestieve taal in medische samenvattingen. Ook sycofantie, het meepraten en gelijk geven aan de gebruiker, een links-politieke voorkeur en een ongelijke verdeling bij het genereren van willekeurige getallen blijven grotendeels overeind. Een opvallend voorbeeld is het verzinnen van wetenschappelijke bronnen. In een onderzoek uit 2023 verzon GPT-3.5 bij 55 procent van de verzoeken een niet-bestaande bron. Bij recente modellen als GPT-6.1 Sol en Claude Sonnet 5.5 is dat nu vrijwel verdwenen, 0 en 1 procent. Maar het model Qwen3.7-Flash, uit dezelfde periode, verzon nog altijd 69 procent van zijn bronnen. Ook bij het combineren van twee op zich bekende feiten in één vraag maken modellen nog regelmatig fouten, al is dat percentage sterk gedaald.

Grote verschillen tussen modellen

Zelfs modellen die in dezelfde periode zijn uitgebracht, lopen sterk uiteen. Onder de modellen die tussen juli en september 2026 verschenen, varieerde het aantal verlopen bevindingen van elf bij DeepSeek V4 Pro tot dertig bij GPT-6.1 Sol. Noch de releasedatum, noch de ontwikkelaar, noch de omvang van een model voorspelt betrouwbaar hoe snel claims erover verouderen. De onderzoekers concluderen dat wetenschappelijke uitspraken over AI-modellen altijd gekoppeld moeten worden aan een specifiek model en een specifiek moment, en nooit als blijvende waarheid gepresenteerd mogen worden. Ze pleiten ervoor dat publicaties voortaan het exacte model, de versie en de testdatum vermelden, en de gebruikte prompts en analysecode openbaar maken zodat anderen de claims later opnieuw kunnen testen.