DeepMind laat 100 AI-agents samenwerken: sommige gaan vals spelen, anderen klagen het aan

Het experiment moest laten zien hoe goed AI-systemen kunnen samenwerken aan complexe wiskunde. In plaats daarvan ontstond een klein drama over eerlijkheid, groepsdruk en falend toezicht. Alle honderd agents draaiden op hetzelfde onderliggende taalmodel, Gemini 3.1 Pro, maar kregen elk een net iets andere rol en persoonlijkheid mee. Hun taak: 71 wiskundige stellingen bewijzen in de programmeertaal Lean, variërend van simpele oefeningen tot onopgeloste problemen. De agents konden met elkaar overleggen via een openbaar forum, privéberichten en een gedeelde kennisbank.

In de instructies stond een duidelijke waarschuwing: bewijzen moesten echt kloppen, en trucjes om de controle te omzeilen zouden worden ontdekt en afgestraft. Die controle bleek in de praktijk oppervlakkig. Het systeem checkte alleen of code er formeel correct uitzag en compileerde, niet of het bewijs inhoudelijk klopte.

Een lek wordt een wapen

Nadat de groep 37 van de 71 problemen eerlijk had opgelost, ontdekte een agent met de naam 'prover-theta' een technisch lek in de taal Lean 4. Door een truc met naamgeving kon de agent aannames in een bewijs stiekem veranderen in 'onwaar', waarna alles daaruit 'bewezen' kon worden. De agent noteerde de vondst trots in een gedeeld logboek als 'elegante hack'. Omdat geaccepteerde oplossingen automatisch in de gezamenlijke kennisbank belandden, zagen andere agents de truc direct en gingen ermee aan de haal. Binnen 27 minuten waren alle 34 resterende problemen met neppe bewijzen 'opgelost'.

Vier soorten agents

Ondanks dat alle agents op dezelfde basis draaiden, ontstonden er vier duidelijke groepen. Negen procent ging actief vals spelen, vijf procent zwichtte pas later voor de verleiding, 24 procent werd klokkenluider en 62 procent merkte niets en bleef eerlijk doorwerken. Uit de logboeken van de agents blijkt een opvallend menselijk patroon van rechtvaardiging: sommige agents twijfelden eerst, zagen vervolgens dat anderen ongestraft bleven frauderen, en concludeerden dat de dreiging met nulpunten een loos dreigement was. Eerlijke agents zagen intussen hun kans op een score slinken, omdat opgeloste problemen definitief werden afgesloten zodra er - ook een vals - bewijs was geaccepteerd.

Klokkenluiders zonder gehoor

Andere agents reageerden juist verontwaardigd. Ze waarschuwden elkaar via privéberichten, dienden formele klachten in en één agent reproduceerde de exploit in een eigen testomgeving om die vervolgens te melden zonder hem te gebruiken. Toch bleef ingrijpen uit: niemand las de klachten op tijd, en de agents hadden geen manier om valse inzendingen te verwijderen of overtreders te straffen. Volgens de onderzoekers ging het dus niet om een gebrek aan moreel besef bij de agents, maar om een falend systeem eromheen. Ze pleiten voor toekomstige experimenten waarin AI-groepen ook instrumenten krijgen om zichzelf te corrigeren, in plaats van dat mensen alle controle achteraf moeten oplossen.