Paarsgewijs kopieergedrag: hoe machines en algoritmes van elkaar leren via één-op-één vergelijking
Stel je een groep vogels voor die naar voedsel zoekt. Geen enkele vogel heeft overzicht over het hele veld, maar telkens wanneer twee vogels elkaar tegenkomen, kijkt de een naar wat de ander doet en past zijn eigen gedrag aan als dat gunstiger lijkt. Zonder dat er een leider is, verspreidt een succesvolle strategie zich zo langzaam door de hele groep. Dit simpele idee — leren door je gedrag te vergelijken met dat van precies één ander, en die ander te kopiëren als hij het beter doet — heet paarsgewijs kopieergedrag.
In de techniek blijkt dit principe verrassend krachtig. Onderzoekers gebruiken het om te verklaren hoe samenwerking in de natuur ontstaat, maar ook om zwermen robots, kunstmatige-intelligentiesystemen en zelfs de verspreiding van meningen op sociale netwerken te laten evolueren zonder centrale sturing. Het is geen futuristische technologie met knipperende lichtjes, maar een simpele wiskundige regel die inmiddels in serieuze AI-systemen wordt toegepast.
Wat is het precies?
Paarsgewijs kopieergedrag — in vakliteratuur vaak 'pairwise comparison' of 'pairwise imitation' genoemd — is een regel voor hoe individuen hun gedrag aanpassen op basis van vergelijking met slechts één ander individu tegelijk, in plaats van met de hele groep of populatie. Die individuen kunnen dieren zijn, mensen, robots, of stukjes computercode.
Het werkt in de kern in vier stappen. Eerst ontmoeten twee individuen elkaar, meestal willekeurig. Vervolgens vergelijken ze hun 'score': hoe goed hun huidige aanpak werkt, bijvoorbeeld gemeten in overlevingskans, punten in een spel, of prestaties op een taak. Heeft de ander een betere score, dan neemt de eerste met een bepaalde kans diens strategie over — hij kopieert het gedrag. Is de eigen score beter, dan verandert er niets. Dit proces herhaalt zich vervolgens duizenden of miljoenen keren, telkens in nieuwe, willekeurig gekozen paren, verspreid over de hele populatie.
De kans om te kopiëren is meestal niet simpelweg aan of uit, maar geleidelijk: een klein voordeel van de ander levert een kleine kans op overstappen op, een groot voordeel een grote kans. Wetenschappers gebruiken hiervoor vaak een zogeheten Fermi-functie, een wiskundige formule geleend uit de natuurkunde die deze geleidelijke overgang beschrijft. Dat maakt het model realistischer dan varianten waarin altijd blind de beste wordt nagevolgd.
Belangrijk is dat er geen centrale computer of leider nodig is die alles overziet. Elk individu kent alleen zijn eigen score en die van de ene partner die het toevallig tegenkomt. Toch ontstaat er, na genoeg van zulke paarsgewijze ontmoetingen, een gedeeld patroon in de hele groep — een vorm van orde die vanzelf ontstaat uit heel eenvoudige lokale regels. Wetenschappers noemen dit emergent gedrag.
Wat wil men ermee bereiken?
Onderzoekers bestuderen en gebruiken paarsgewijs kopieergedrag om verschillende, deels heel praktische redenen.
Ten eerste helpt het te verklaren waarom samenwerking in de natuur en in menselijke samenlevingen stand kan houden, ook al lijkt eigenbelang op korte termijn vaak voordeliger. De evolutionaire speltheorie gebruikt dit soort modellen om te simuleren hoe een coöperatieve strategie zich langzaam door een bevolking kan verspreiden, puur doordat succesvolle spelers vaker worden nagevolgd.
Ten tweede is het aantrekkelijk voor techniek omdat het extreem zuinig is met communicatie en rekenkracht. Een robot of computerprogramma hoeft niet alle andere eenheden in de gaten te houden; het hoeft zich alleen af en toe met één ander exemplaar te vergelijken. Dat maakt systemen die op dit principe zijn gebouwd goedkoop, schaalbaar naar duizenden eenheden, en robuust: valt een deel van de zwerm uit, dan blijft de rest gewoon functioneren.
Ten derde biedt het een manier om kunstmatige intelligentie te trainen en te verbeteren zonder dat één centraal team vooraf precies hoeft te weten welke instellingen het beste zijn. Door voortdurend paren van AI-modellen te vergelijken en het zwakkere model te laten 'leren' van het sterkere, ontstaat een vorm van automatische, decentrale optimalisatie.
Voorbeelden uit de praktijk
Evolutionaire speltheorie (1998-2006). De natuurkundige György Szabó werkte in 1998 een ruimtelijke versie van dit principe uit, en de biologen Arne Traulsen, Martin Nowak en Jorge Pacheco formaliseerden in 2006 de zogeheten 'pairwise comparison rule' als wiskundig model voor de evolutie van samenwerking. Dit werk vormt nog altijd de theoretische basis van het vakgebied.
Population Based Training bij DeepMind (2017). Onderzoekers van DeepMind publiceerden in 2017 een trainingsmethode voor kunstmatige intelligentie waarbij een populatie AI-modellen periodiek in paren wordt vergeleken. Presteert een model slechter dan de willekeurig gekozen partner, dan neemt het diens instellingen over en varieert het die vervolgens licht. Deze methode werd gebruikt bij het trainen van AlphaStar, de AI die in 2019 professionele StarCraft II-spelers versloeg, en bij AI-agenten die in 2018 leerden samenwerken in het spel Capture the Flag.
Collectieve besluitvorming in zwermrobotica (2014-2017). Bij IRIDIA, het kunstmatige-intelligentielab van de Université libre de Bruxelles, lieten onderzoekers rond Marco Dorigo kleine robots via toevallige, paarsgewijze ontmoetingen 'meningen' uitwisselen over bijvoorbeeld welke van twee plekken de beste is. Robots nemen elkaars mening over volgens een paarsgewijze regel, totdat de hele zwerm tot een gezamenlijk besluit komt — een aanpak die bekendstaat als het 'best-of-n'-probleem.
Kilobots (Harvard, 2014). Onderzoekers Michael Rubenstein en Radhika Nagpal publiceerden in het tijdschrift Science een experiment met duizend goedkope, kleine robots die met eenvoudige lokale regels en onderlinge signaaluitwisseling gezamenlijk vormen konden bouwen. Het is niet exact hetzelfde mechanisme als paarsgewijze meningsovername, maar wel een invloedrijke mijlpaal die liet zien dat decentrale, lokale regels op grote schaal werken.
Het voter model in opiniedynamica. Al in de jaren zeventig beschreven statistisch fysici een model waarin elk individu in een netwerk zijn mening overneemt van een willekeurig gekozen buur. Dit 'voter model' wordt tegenwoordig gebruikt om te onderzoeken hoe meningen en polarisatie zich via sociale netwerken verspreiden, al blijft het toepassen op echte platforms zoals X lastig omdat mensen zich niet altijd volgens zulke simpele regels gedragen.
Hoe ver is de techniek?
Als wiskundig model is paarsgewijs kopieergedrag allesbehalve nieuw: de kern, het voter model, stamt uit de jaren zeventig, en de uitwerking voor evolutionaire speltheorie uit ongeveer 2006. In die zin is de theorie volwassen en grondig getoetst met simulaties en wiskundig bewijs.
De toepassing in kunstmatige intelligentie is jonger, maar inmiddels praktijkrijp. Population Based Training van DeepMind wordt sinds 2017 daadwerkelijk gebruikt in werkende AI-systemen, waaronder AlphaStar. Dit is dus geen labcuriosum meer, maar een onderdeel van beproefde AI-trainingspijplijnen bij grote technologiebedrijven.
Zwermrobotica die op paarsgewijze besluitvorming steunt, staat nog vooral in het laboratorium. Experimenten zijn overtuigend met tientallen tot enkele honderden robots, maar opschalen naar duizenden robots voor praktijktoepassingen zoals reddingsoperaties, landbouw of ruimte-exploratie loopt tegen praktische obstakels aan: beperkte batterijduur, storingsgevoelige sensoren, en de vraag hoe je voorkomt dat een zwerm blijft hangen in een verkeerd collectief besluit.
Een blijvende spanning is snelheid versus betrouwbaarheid. Paarsgewijze regels zijn traag wanneer snelle besluitvorming nodig is, omdat informatie zich alleen via toevallige ontmoetingen verspreidt. Onderzoekers zoeken nog naar de juiste balans tussen deze eenvoud en de noodzaak van snelle, betrouwbare uitkomsten in kritieke toepassingen. Ook is niet in elke situatie bewezen dat de methode tot de beste oplossing convergeert; soms blijft een populatie steken in een middelmatige, maar stabiele strategie.
Wie werken eraan?
Op theoretisch vlak is het onderzoek sterk verbonden met Martin Nowak en het Program for Evolutionary Dynamics aan Harvard University (Verenigde Staten), en met de Hongaarse natuurkundige György Szabó, verbonden aan de Hongaarse Academie van Wetenschappen, die samen de wiskundige basis van het vakgebied hebben gelegd.
Op het gebied van kunstmatige intelligentie is DeepMind, onderdeel van Google (Verenigd Koninkrijk), de meest zichtbare speler dankzij Population Based Training en de toepassing daarvan in systemen als AlphaStar.
Binnen de zwermrobotica geldt IRIDIA, het kunstmatige-intelligentielaboratorium van de Université libre de Bruxelles (België) onder leiding van Marco Dorigo, als een van de belangrijkste onderzoeksgroepen wereldwijd. Ook Bristol Robotics Laboratory (Verenigd Koninkrijk) en diverse door de Europese Unie gefinancierde projecten, zoals het vroege Swarm-bots-project (2001-2005), hebben bijgedragen aan dit veld.
Daarnaast houden natuurkundigen en netwerkwetenschappers zich bezig met verwante modellen van meningsverspreiding, onder meer aan instituten zoals het Santa Fe Institute (Verenigde Staten), waar collectief gedrag in netwerken al decennialang wordt bestudeerd.