Arbiter-agent: de AI die andere AI's beoordeelt
Stel je een sportwedstrijd voor zonder scheidsrechter: spelers zouden het voortdurend oneens zijn over fouten, doelpunten en regels. Een arbiter — een ander woord voor scheidsrechter of onafhankelijke beoordelaar — hakt knopen door. In de wereld van kunstmatige intelligentie duikt een vergelijkbaar idee op: een arbiter-agent is een AI-programma dat niet zelf de hoofdtaak uitvoert, maar de output van andere AI-programma's (agents) beoordeelt, controleert of tussen hen kiest.
Dit speelt in zogeheten multi-agent systemen: opzetjes waarin meerdere AI-modellen samenwerken, elk met een eigen deeltaak, vergelijkbaar met een team van collega's. Waar één agent bijvoorbeeld tekst schrijft en een ander code programmeert, is er soms een derde agent nodig die zegt: "dit antwoord klopt niet" of "deze van de twee oplossingen is beter". Die rol van interne scheidsrechter noemen onderzoekers en ontwikkelaars een arbiter-, judge- of critic-agent.
Wat is het precies?
Een arbiter-agent is zelf meestal ook een taalmodel (large language model, LLM) — hetzelfde soort technologie achter chatbots zoals ChatGPT of Claude. Het verschil zit in de taak die het krijgt: geen nieuwe inhoud verzinnen, maar bestaande antwoorden van andere agents vergelijken, controleren of van een score voorzien.
Dat werkt in grote lijnen zo. Eerst produceren een of meer 'werkende' agents een output: een stuk tekst, een stukje code, een plan van aanpak of een beslissing. Vervolgens krijgt de arbiter-agent die output te zien, samen met de oorspronkelijke opdracht en vaak een set criteria (bijvoorbeeld: klopt het feitelijk, is het veilig, is het logisch consistent). De arbiter geeft daarna een oordeel: een score, een goedkeuring, een afwijzing met uitleg, of een keuze tussen meerdere kandidaat-antwoorden.
Er bestaan verschillende varianten van dit principe. Bij debate (letterlijk: debat) laat men twee agents tegenover elkaar argumenteren, waarna de arbiter-agent — of een mens — bepaalt wie het overtuigendst is. Bij LLM-as-a-judge (AI als rechter) beoordeelt één taalmodel simpelweg de kwaliteit van het antwoord van een ander model, vaak gebruikt om AI-systemen te testen zonder dat er telkens een mens naar hoeft te kijken. Bij hiërarchische multi-agent systemen fungeert een 'manager-agent' als arbiter: die verdeelt taken over gespecialiseerde subagents en beoordeelt vervolgens of het resultaat voldoet, voordat het wordt doorgestuurd.
Belangrijk om te beseffen: een arbiter-agent is geen apart soort technologie met een uniek algoritme. Het is een rol die een AI-model krijgt toebedeeld binnen een groter systeem — vergelijkbaar met hoe een spreadsheetprogramma en een tekstverwerker dezelfde onderliggende computertechniek gebruiken, maar een andere functie vervullen.
Wat wil men ermee bereiken?
De belangrijkste reden om een arbiter-agent toe te voegen aan een AI-systeem is kwaliteitscontrole. Taalmodellen maken fouten: ze verzinnen soms feiten (dit heet 'hallucineren'), redeneren niet altijd consistent, of geven antwoorden die net naast de vraag zitten. Door een tweede, onafhankelijke agent te laten meekijken, hoopt men fouten eruit te vissen voordat een gebruiker ze te zien krijgt.
Een tweede doel is schaalbaarheid van beoordeling. Het laten controleren van AI-output door mensen is arbeidsintensief en duur. Als een AI-model die controle (deels) kan overnemen, kunnen ontwikkelaars sneller en goedkoper testen, trainen en bijsturen. Dit is vooral relevant bij het trainen van nieuwe modellen: door miljoenen antwoorden automatisch te laten beoordelen, kan een systeem leren welke antwoorden beter zijn, zonder dat een mens ze allemaal hoeft te lezen.
Een derde, meer toekomstgerichte drijfveer komt uit AI-veiligheidsonderzoek. Naarmate AI-systemen krachtiger en hun redeneringen moeilijker te doorgronden worden, zoeken onderzoekers naar manieren om AI te controleren zonder dat mensen alle technische details nog kunnen begrijpen. Het idee: laat een AI-arbiter meekijken die wél in staat is de details te doorgronden, en die mensen vervolgens een begrijpelijke samenvatting of waarschuwing geeft.
Tot slot is er een praktisch, organisatorisch doel binnen agentic AI-systemen (AI-systemen die zelfstandig meerdere stappen uitvoeren): wanneer meerdere agents tegenstrijdige voorstellen doen — bijvoorbeeld twee agents die allebei een andere aanpak voor hetzelfde probleem voorstellen — is een arbiter nodig om een keuze te maken en het proces niet te laten vastlopen.
Voorbeelden uit de praktijk
Het idee van een AI die andere AI beoordeelt, is al langer onderwerp van onderzoek dan de huidige hype rond AI-agents doet vermoeden.
In 2018 publiceerden onderzoekers van OpenAI, onder wie Geoffrey Irving en Paul Christiano, het concept AI Safety via Debate: twee AI-systemen debatteren over een vraag, en een rechter (in hun voorstel aanvankelijk een mens, later mogelijk een AI) bepaalt wie gelijk heeft. Het doel was te onderzoeken of debat mensen kan helpen AI-beweringen te beoordelen die te complex zijn om zelf volledig te doorgronden.
In 2023 lieten onderzoekers van onder meer MIT (Yilun Du en collega's) zien dat meerdere kopieën van hetzelfde taalmodel, die elkaars antwoorden becommentariëren en bijstellen in een soort 'multiagent debate', tot feitelijk kloppendere en beter onderbouwde antwoorden komen dan één enkel model alleen.
Ook in 2023 introduceerden onderzoekers van UC Berkeley, samen met het LMSYS-project (bekend van het Chatbot Arena-platform), de term LLM-as-a-judge: een taalmodel dat de kwaliteit van antwoorden van andere modellen beoordeelt, als goedkoper alternatief voor menselijke evaluatie. Deze aanpak wordt inmiddels breed gebruikt om nieuwe AI-modellen onderling te vergelijken.
OpenAI presenteerde in 2024 CriticGPT, een model dat specifiek getraind is om fouten te vinden in door ChatGPT geschreven programmeercode — in feite een gespecialiseerde arbiter-agent voor codekwaliteit, bedoeld om menselijke reviewers te ondersteunen.
In softwareframeworks voor het bouwen van AI-agentsystemen, zoals Microsoft's opensource-project AutoGen en het framework CrewAI, kunnen ontwikkelaars zelf een 'manager'- of 'critic'-agent toevoegen die het werk van andere agents beoordeelt of taken tussen hen verdeelt. Dit zijn geen kant-en-klare producten met de naam 'arbiter-agent', maar bouwstenen waarmee die rol praktisch wordt ingevuld.
Hoe ver is de techniek?
Arbiter-achtige agents worden vandaag de dag al gebruikt, vooral achter de schermen bij het testen en trainen van AI-modellen, en in experimentele multi-agent toepassingen. Het is geen toekomstmuziek in de zin dat het nog niet zou bestaan — de bouwstenen zijn beschikbaar en worden actief toegepast door onderzoekslabs en softwarebedrijven.
Toch kleven er duidelijke beperkingen aan. Een arbiter-agent is zelf ook een taalmodel en dus evenmin onfeilbaar: onderzoek laat zien dat AI-beoordelaars systematische voorkeuren kunnen hebben, bijvoorbeeld voor langere antwoorden, voor een bepaalde schrijfstijl, of voor antwoorden die lijken op wat het model zelf zou schrijven. Twee AI's die elkaar beoordelen, kunnen dus ook samen dezelfde fout maken zonder dat iemand het opmerkt — een probleem dat onderzoekers 'correlated errors' noemen.
Een ander obstakel is dat het inzetten van een extra beoordelende agent rekenkracht en tijd kost: meer AI-aanroepen betekent hogere kosten en langzamere systemen, wat in praktijktoepassingen een reële afweging is.
Voor de meest ambitieuze toepassing — een AI-arbiter die mensen helpt AI-systemen te controleren die krachtiger zijn dan het menselijk begripsvermogen — bestaat vooralsnog vooral theoretisch en klein-schalig experimenteel onderzoek. Niemand heeft dit op grote schaal betrouwbaar aangetoond voor complexe, open-eindige taken. Dit blijft een actief en nog onopgelost onderzoeksgebied binnen AI-veiligheid.
Wie werken eraan?
Het onderzoek naar AI-systemen die elkaar beoordelen wordt gedreven door een mix van grote AI-bedrijven en academische instituten. OpenAI (bekend van ChatGPT) heeft met werk als 'AI Safety via Debate' en CriticGPT een voortrekkersrol gespeeld. Anthropic, de maker van Claude, publiceert eveneens onderzoek waarin AI-modellen elkaars output en redeneringen beoordelen, onder meer binnen hun werk aan 'Constitutional AI', waarbij AI-feedback het trainingsproces van andere modellen bijstuurt.
Aan de academische kant dragen onder meer MIT, UC Berkeley en het bijbehorende LMSYS-onderzoeksproject bij, met werk rond multiagent debate en LLM-as-a-judge. Microsoft ontwikkelt met AutoGen een van de bekendere opensource-frameworks waarin ontwikkelaars zelf arbiter-achtige agentrollen kunnen inbouwen; kleinere, snelgroeiende opensource-projecten zoals CrewAI bieden vergelijkbare bouwstenen.
Daarnaast is er een bredere, internationale onderzoeksgemeenschap rond AI-veiligheid — met bijdragen uit onder meer het Verenigd Koninkrijk (bijvoorbeeld via het UK AI Safety Institute) en verschillende universiteiten wereldwijd — die zich bezighoudt met de vraag hoe AI-systemen elkaar (en uiteindelijk mensen) betrouwbaar kunnen controleren.