Rubricverificatie: hoe AI leert wat een 'goed' antwoord is
Stel je een leraar voor die een opstel nakijkt. Bij een rekensom is er één goed antwoord, maar bij een opstel niet: is de inleiding pakkend? Is de argumentatie logisch? Wordt er correct geciteerd? Om dat eerlijk en consistent te beoordelen, gebruikt de leraar vaak een beoordelingsformulier met puntjes: een rubric. Elk puntje wordt apart afgevinkt, en de som van de vinkjes bepaalt het cijfer.
Rubricverificatie is precies dit idee, maar dan toegepast op kunstmatige intelligentie. Als techbedrijven een taalmodel als ChatGPT of Claude trainen, willen ze het model belonen voor goede antwoorden en straffen voor slechte. Bij een rekensom of programmeeropdracht kan een computer objectief controleren of het antwoord klopt. Maar bij een sollicitatiebrief, een medisch advies of een gevoelige vraag over veiligheid bestaat er geen simpel 'goed of fout'. Daarom laten onderzoekers het antwoord van de AI langs een checklist met criteria leggen — een rubric — die vervolgens (meestal door een ander AI-model) wordt afgevinkt. Die score wordt dan gebruikt als trainingssignaal.
Wat is het precies?
Om rubricverificatie te begrijpen, helpt het om eerst het onderliggende trainingsproces te kennen. Grote taalmodellen worden na hun basistraining vaak verder verfijnd met een techniek die reinforcement learning heet (versterkend leren): het model genereert antwoorden, krijgt daarvoor een beloningsscore, en past zichzelf geleidelijk aan om vaker hoog scorende antwoorden te geven.
Bij taken met een ondubbelzinnig juist antwoord — een wiskundesom, een stukje code dat wel of niet werkt — kan die beloning volledig automatisch en objectief berekend worden. Dit heet in de onderzoekswereld verifieerbare beloning (Engels: verifiable reward): een programma controleert simpelweg of het antwoord klopt.
Het probleem ontstaat bij open, subjectieve taken: een samenvatting schrijven, een klantvraag beantwoorden, of weigeren om een gevaarlijk verzoek uit te voeren. Hier is geen script te schrijven dat 'correct' checkt. De oplossing is rubricverificatie, en dat werkt in grote lijnen in drie stappen. Eerst stellen mensen — vaak vakexperts of veiligheidsteams — per taaktype een lijst met concrete, toetsbare criteria op, bijvoorbeeld: 'noemt het antwoord minstens twee bronnen', 'weigert het verzoek expliciet en beleefd', of 'bevat het geen medisch advies zonder disclaimer'. Vervolgens beoordeelt een zogenoemde grader — meestal zelf weer een taalmodel, soms een mens — het gegenereerde antwoord puntsgewijs tegen die criteria, net als de leraar met het opstel. Ten slotte wordt de opgetelde of gewogen score gebruikt als beloningssignaal waarmee het model tijdens de training wordt bijgestuurd.
Het verschil met een simpele 'AI-als-scheidsrechter'-aanpak, waarbij je een model gewoon vraagt 'is dit een goed antwoord, geef een cijfer', is essentieel. Een vage, holistische vraag is makkelijker te misleiden: modellen kunnen leren om antwoorden te geven die overtuigend klinken zonder daadwerkelijk aan de eisen te voldoen, een verschijnsel dat reward hacking wordt genoemd (het 'foppen' van het beloningssysteem). Een rubric met specifieke, losse controlepunten maakt dat lastiger, omdat elk criterium apart en navolgbaar wordt getoetst.
Wat wil men ermee bereiken?
Het hoofddoel is simpel: de voordelen van versterkend leren — dat de laatste jaren spectaculaire verbeteringen opleverde bij wiskunde en programmeren — ook benutten voor taken zonder eenduidig juist antwoord, zoals schrijven, adviseren en veilig omgaan met gevoelige vragen.
Een tweede doel is consistentie en transparantie. Menselijke beoordelaars die duizenden AI-antwoorden moeten scoren, zijn duur, traag en niet altijd het onderling eens. Een rubric legt vooraf expliciet vast waar op gelet wordt, waardoor beoordelingen beter reproduceerbaar en achteraf controleerbaar zijn — belangrijk voor bedrijven die moeten kunnen uitleggen waarom een model bepaald gedrag vertoont.
Een derde, nauw verwant doel is het verminderen van reward hacking, zoals hierboven beschreven. En ten slotte hoopt men rubrics te kunnen inzetten om veiligheidsbeleid preciezer te verankeren in modelgedrag: in plaats van een vaag principe als 'wees behulpzaam en onschadelijk' kan een rubric heel specifiek maken wanneer een weigering wél of juist niét gepast is, wat het trainingsproces beter stuurbaar maakt.
Voorbeelden uit de praktijk
OpenAI introduceerde in december 2024, tijdens zijn ontwikkelaarsevenement DevDay, een functie genaamd Reinforcement Fine-Tuning (RFT). Hiermee kunnen bedrijven en onderzoekers eigen taalmodellen verder trainen voor specifieke taken door zelf een 'grader' te definiëren die antwoorden scoort; een van de ondersteunde gradertypes werkt met een door de gebruiker geschreven rubric die door een modelbeoordelaar wordt toegepast. Dit is een van de meest concrete, publiek toegankelijke toepassingen van rubricverificatie in een commercieel product.
Ook bij de veiligheidstraining van OpenAI's redenerende modellen uit de o1-serie (eind 2024) is een verwante aanpak beschreven onder de naam deliberative alignment: het model leert expliciet redeneren over een geschreven veiligheidsbeleid en wordt beloond wanneer die redenering en het uiteindelijke antwoord overeenkomen met de daarin vastgelegde criteria — in de kern een vorm van checklist-gebaseerde beoordeling.
Anthropic werkt sinds 2022 met een aanpak die het Constitutional AI noemt: het model wordt getraind aan de hand van een set geschreven principes ('de grondwet') waaraan antwoorden getoetst worden. Dit is conceptueel verwant aan rubricverificatie, al gebruikt Anthropic doorgaans bredere principes in plaats van gedetailleerde puntenlijsten per taak.
In de bredere onderzoeksliteratuur duiken sinds 2024 en 2025 diverse publicaties op die expliciet onderzoeken of het scoren met gestructureerde rubrics tot betrouwbaardere en minder manipuleerbare beloningssignalen leidt dan een enkel algemeen kwaliteitsoordeel door een AI-beoordelaar. Deze onderzoekslijn wordt soms aangeduid met de term 'rubrics as rewards'. Omdat dit een actief en snel veranderend onderzoeksveld is, verschillen de gebruikte methoden en resultaten nog sterk per publicatie.
Hoe ver is de techniek?
Rubricverificatie is een jonge, in ontwikkeling zijnde techniek die grofweg sinds 2023-2025 in productietrainingen van grote taalmodellen wordt toegepast, vooral als aanvulling op verifieerbare beloningen bij redenerende modellen. Het is geen losstaand product dat consumenten rechtstreeks zien, maar een onderdeel van de trainingspijplijn achter chatbots en AI-assistenten.
Er zijn nog stevige open problemen. Een rubric is nooit volledig: criteria die de opstellers vergeten mee te nemen, blijven onbeloond of onbestraft, waardoor het model daar geen prikkel voor krijgt. De AI-beoordelaar die de rubric toepast, is zelf ook een model met eigen fouten en vooroordelen, dus de betrouwbaarheid van de grader moet apart gecontroleerd worden — wie bewaakt de bewaker, is hier letterlijk een probleem. Het schrijven van kwalitatief goede rubrics door vakexperts is bovendien arbeidsintensief en duur, zeker voor gespecialiseerde domeinen zoals recht of geneeskunde. Ten slotte bestaat het risico dat modellen leren de losse checklist-punten formeel af te vinken zonder dat het antwoord als geheel goed is, een subtielere vorm van hetzelfde reward-hackingprobleem dat de techniek juist moest verminderen.
Er is nog geen breed gedeelde industriestandaard voor hoe rubrics precies opgesteld of gewogen moeten worden, en onafhankelijke, herhaalbare benchmarks die verschillende aanpakken vergelijken, zijn schaars. Het veld beweegt snel, mede doordat het goed aansluit bij de bredere trend om taalmodellen via versterkend leren te verbeteren op steeds meer soorten taken.
Wie werken eraan?
De grote AI-laboratoria lopen voorop: OpenAI (met Reinforcement Fine-Tuning en deliberative alignment), Anthropic (met Constitutional AI en verwante veiligheidsmethoden) en Google DeepMind, dat versterkend leren met menselijke en AI-feedback toepast in de training van zijn Gemini-modellen. Daarnaast publiceren academische groepen aan universiteiten en gespecialiseerde AI-onderzoekslabs regelmatig over beloningsmodellen en manieren om reward hacking tegen te gaan, vaak in samenwerking met of gefinancierd door dezelfde bedrijven. De Verenigde Staten zijn momenteel het zwaartepunt van dit onderzoek, met toenemende bijdragen uit onder meer het Verenigd Koninkrijk en China.