Benchmark: hoe meet je of een AI écht slim is?
Stel je een groep leerlingen voor die allemaal beweren de beste van de klas te zijn. De enige manier om dat eerlijk te controleren, is ze dezelfde toets te geven en de scores te vergelijken. Zo'n toets is in de wereld van kunstmatige intelligentie een benchmark: een gestandaardiseerde test waarmee onderzoekers meten hoe goed een AI-model presteert op een specifieke taak, en waarmee ze modellen onderling kunnen vergelijken.
Wanneer een techbedrijf claimt dat zijn nieuwste AI-model "beter redeneert" of "menselijk niveau" haalt, is dat meestal gebaseerd op benchmarkscores. Deze getallen duiken op in persberichten, wetenschappelijke papers en nieuwsartikelen, vaak zonder uitleg. Maar wat wordt er precies gemeten, wie bepaalt de vragen, en hoe betrouwbaar zijn die scores eigenlijk? Dat is minder vanzelfsprekend dan het lijkt.
Wat is het precies?
Een benchmark bestaat meestal uit drie onderdelen: een verzameling opgaven of vragen (de testset), een duidelijke manier om een antwoord goed of fout te rekenen, en een methode om alle scores samen te vatten in één getal of percentage. Een AI-model krijgt de vragen te zien die het nog nooit eerder heeft gehad, en de uitkomst wordt vergeleken met een vooraf vastgesteld juist antwoord.
Bij taalmodellen zoals ChatGPT of Claude kan dat bijvoorbeeld een verzameling meerkeuzevragen zijn over natuurkunde, geschiedenis of recht. Bij programmeer-AI's kan het gaan om echte softwarebugs die opgelost moeten worden, waarbij een geautomatiseerd systeem controleert of de code daadwerkelijk werkt. Sommige benchmarks laten geen computer oordelen, maar mensen: bij zogeheten voorkeursbenchmarks krijgen gebruikers twee antwoorden te zien zonder te weten welk model welk antwoord gaf, en stemmen ze op de beste. Die stemmen worden omgezet in een ranglijst, vergelijkbaar met een schaakrating.
Belangrijk is dat een benchmark alleen zinvol is als de testvragen niet al in de trainingsdata van het model zaten. Als een AI de antwoorden simpelweg uit het hoofd heeft geleerd tijdens de training, meet de benchmark geen redeneervermogen maar geheugen. Dit probleem, bekend als datacontaminatie, is een van de grootste hoofdpijnen in het vakgebied en komt verderop in dit artikel terug.
Wat wil men ermee bereiken?
Benchmarks bestaan om drie redenen. Ten eerste geven ze onderzoekers een objectieve maatstaf om vooruitgang te meten: is model B werkelijk beter dan model A, of is dat alleen marketingpraat? Zonder gedeelde tests zou elk bedrijf zijn eigen, gunstige claims kunnen doen zonder dat iemand die kan controleren.
Ten tweede sturen benchmarks onderzoek. Als een taak op een benchmark moeilijk blijkt, richten laboratoria wereldwijd hun aandacht daarop, in de hoop de eerste te zijn die hem "oplost". Dit competitie-element heeft de afgelopen jaren tastbaar tempo gebracht in AI-onderzoek: benchmarks die ooit onhaalbaar leken, werden binnen een paar jaar door meerdere modellen ruim gehaald.
Ten derde spelen benchmarks een rol bij veiligheid en beleid. Overheden en toezichthouders gebruiken specifieke tests om te beoordelen of een AI-model risicovolle vaardigheden bezit, bijvoorbeeld op het gebied van cyberaanvallen of het ontwerpen van gevaarlijke stoffen, voordat het model breed wordt vrijgegeven.
Voorbeelden uit de praktijk
MMLU (Massive Multitask Language Understanding), ontwikkeld door onderzoekers van UC Berkeley en gepubliceerd in 2020, bevat ruim 14.000 meerkeuzevragen over 57 vakgebieden, van scheikunde tot rechten. Jarenlang gold MMLU als dé standaardtoets voor taalmodellen, maar de beste modellen scoren inmiddels boven de 90 procent, waardoor de test nauwelijks nog onderscheid maakt tussen topmodellen.
GPQA (Graduate-Level Google-Proof Q&A), gepubliceerd in 2023, bestaat uit lastige vragen over natuurkunde, scheikunde en biologie die zijn opgesteld door gepromoveerde wetenschappers en zo zijn geformuleerd dat je het antwoord niet simpelweg kunt opzoeken. Zelfs vakspecialisten buiten hun eigen subdomein halen op deze test doorgaans niet meer dan zo'n 65 tot 70 procent, wat de moeilijkheidsgraad illustreert.
ARC-AGI, bedacht door AI-onderzoeker François Chollet (destijds werkzaam bij Google) en voor het eerst beschreven in 2019, bestaat uit visuele puzzels waarbij je een patroon moet afleiden uit een paar voorbeelden. De test is bewust ontworpen om moeilijk te zijn voor systemen die vooral patronen uit trainingsdata onthouden, en juist gevoelig voor abstract redeneervermogen. Eind 2024 haalde OpenAI's model "o3" opvallend hoge scores op deze benchmark, wat wereldwijd nieuws was omdat het gold als een aanwijzing voor een nieuwe generatie redenerende AI-systemen.
SWE-bench, geïntroduceerd in 2023 door onderzoekers verbonden aan onder meer Princeton University, test of een AI-systeem echte, bestaande softwarebugs uit populaire open source-projecten op GitHub kan oplossen. Een door mensen gecontroleerde variant, SWE-bench Verified, wordt inmiddels breed gebruikt om de praktische bruikbaarheid van AI-coding-assistenten te beoordelen.
Chatbot Arena (sinds 2025 verdergegaan als het bedrijf LMArena), opgezet door de onderzoeksgroep LMSYS aan UC Berkeley, werkt anders: gewone gebruikers krijgen twee anonieme AI-antwoorden op dezelfde vraag te zien en stemmen op de beste. Van de miljoenen stemmen wordt een ranglijst berekend, vergelijkbaar met een Elo-schaakrating. Omdat hier mensen oordelen in plaats van een geautomatiseerd script, meet deze benchmark eerder "welk antwoord bevalt mensen het meest" dan puur feitelijke correctheid.
Hoe ver is de techniek?
Het benchmark-landschap verandert snel, en dat is meteen het grootste probleem: benchmarks verouderen razendsnel. Testen die een paar jaar geleden als grens van het haalbare golden, zoals MMLU, zijn inmiddels grotendeels "verzadigd" doordat de beste modellen er bijna foutloos op scoren. Onderzoekers moeten daarom voortdurend nieuwe, moeilijkere benchmarks ontwikkelen, zoals GPQA en ARC-AGI, om nog verschil te kunnen meten tussen topmodellen.
Een tweede structureel probleem is datacontaminatie: omdat AI-modellen worden getraind op enorme hoeveelheden tekst van het internet, is de kans reëel dat benchmarkvragen (of variaties daarop) al ergens online stonden en dus per ongeluk in de trainingsdata zijn beland. Dit kan scores kunstmatig opblazen zonder dat het model daadwerkelijk beter redeneert.
Een derde probleem is bekend als de wet van Goodhart: "zodra een maatstaf een doel wordt, houdt hij op een goede maatstaf te zijn". Als bedrijven hun modellen specifiek trainen om op een bepaalde benchmark te scoren, kan de score omhooggaan zonder dat de praktische bruikbaarheid van het model evenredig meegroeit. Onderzoekers en journalisten zijn hierdoor voorzichtiger geworden met het één-op-één vertalen van een hoge benchmarkscore naar "dit model is nu net zo slim als een mens".
Tegelijkertijd is er duidelijke vooruitgang: taken die vijf jaar geleden nog gold als vrijwel onmogelijk voor AI, zoals ingewikkelde programmeeropdrachten of promotieniveau-wetenschapsvragen, worden nu door topmodellen met wisselend maar aantoonbaar succes aangepakt. Het tempo waarin nieuwe benchmarks worden "verslagen" is de afgelopen jaren toegenomen, al blijft onduidelijk in hoeverre dat de echte wereld weerspiegelt buiten de gecontroleerde testomgeving.
Wie werken eraan?
De grote AI-laboratoria, waaronder OpenAI, Anthropic, Google DeepMind en Meta AI, publiceren zowel eigen benchmarkresultaten bij nieuwe modellen als eigen testsets. Omdat zij tegelijk speler en soms scheidsrechter zijn, hechten onafhankelijke partijen extra waarde aan externe, onafhankelijke benchmarks.
Academische instellingen spelen een sleutelrol. Stanford University's Center for Research on Foundation Models (CRFM) ontwikkelde HELM (Holistic Evaluation of Language Models), een poging om modellen op veel meer aspecten te beoordelen dan alleen ruwe accuratesse, zoals eerlijkheid, kosten en energieverbruik. De onderzoeksgroep LMSYS aan UC Berkeley staat aan de basis van Chatbot Arena.
Daarnaast bestaan er brancheorganisaties zoals MLCommons, een samenwerkingsverband van onder meer Google, NVIDIA en Intel, dat de MLPerf-benchmarks beheert voor het meten van hardwareprestaties bij AI-training en -gebruik. Platformen als Hugging Face bieden open leaderboards waarop duizenden modellen, ook kleinere en minder bekende, hun scores kunnen laten zien.
Tot slot richten organisaties als METR en Epoch AI zich specifiek op het volgen van AI-vooruitgang op de lange termijn en op het testen van risicovolle capaciteiten, zoals de vraag of een AI-systeem autonoom complexe, meerstaps taken kan uitvoeren zonder menselijke tussenkomst. Dit soort werk krijgt steeds meer aandacht van beleidsmakers die AI-regelgeving proberen te baseren op meetbare risico-indicatoren in plaats van vage claims.