Evolutionaire agent
Een evolutionaire agent is een computerprogramma dat zelfstandig een taak uitvoert — zoeken, plannen, code schrijven, een spel spelen — en dat zichzelf verbetert volgens hetzelfde recept dat de natuur gebruikt om soorten te laten evolueren. In plaats van dat een programmeur precies voorschrijft hoe het systeem moet werken, laat men duizenden lichtjes verschillende varianten van het programma tegen elkaar 'strijden'. De varianten die het beste presteren, mogen zich voortplanten: hun eigenschappen worden gemengd en een beetje willekeurig aangepast (gemuteerd), waarna een nieuwe generatie ontstaat die weer wordt getest. Na veel van zulke rondes rolt er vaak een oplossing uit die niemand van tevoren had bedacht.
Vergelijk het met het fokken van postduiven. Een fokker kiest niet zelf hoe een duif optimaal moet vliegen; hij laat duizenden duiven vliegen, houdt de snelste over, laat die paren, en herhaalt dat proces generatie na generatie. Zo ontstaat langzaam een duif die beter is dan wat de fokker zelf had kunnen ontwerpen. Een evolutionaire agent past dat principe toe op software: geen duiven, maar bijvoorbeeld duizenden varianten van een route-planningsalgoritme of een stukje programmeercode, die razendsnel na elkaar worden getest en verbeterd op een computer.
Wat is het precies?
De basis is de genetische algoritme, een wiskundige techniek uit de jaren zeventig die door onderzoeker John Holland is beschreven. Het werkt in een vaste cyclus. Eerst maakt men een populatie: een groep van bijvoorbeeld honderd of duizend verschillende kandidaat-oplossingen. Elke kandidaat wordt getest en krijgt een score volgens een fitnessfunctie, simpelweg een maatstaf voor 'hoe goed doet deze variant het op de taak'. De beste kandidaten worden geselecteerd; de slechtste vallen af. Van de overgebleven kandidaten worden nieuwe varianten gemaakt door onderdelen te combineren (crossover, vergelijkbaar met erfelijkheid) en door kleine willekeurige wijzigingen aan te brengen (mutatie). Dit hele proces herhaalt zich vele generaties lang.
Dit verschilt wezenlijk van hoe de meeste bekende AI-systemen, zoals ChatGPT, worden getraind. Die gebruiken gradient descent: een wiskundige methode die met behulp van afgeleiden precies berekent in welke richting je de instellingen van het model moet bijstellen om iets beter te presteren. Dat werkt heel efficiënt, maar vereist dat je zo'n richting (gradiënt) kunt uitrekenen. Evolutionaire methoden hebben dat niet nodig: ze proberen gewoon willekeurige variaties uit en houden wat werkt. Dat maakt ze bruikbaar in situaties waarin je geen nette wiskundige formule hebt, bijvoorbeeld bij het ontwerpen van programmeercode, natuurkundige constructies of strategieën in een spel.
Een recente ontwikkeling, vanaf ongeveer 2024, is het combineren van evolutie met large language models (LLM's), de taalmodellen achter chatbots. In plaats van compleet willekeurige mutaties genereert een taalmodel doelgerichte, 'slimme' variaties — het stelt bijvoorbeeld een verbeterde versie van een stuk code voor. Die variant wordt vervolgens objectief getest, en alleen als hij aantoonbaar beter scoort, overleeft hij in de populatie. Deze aanpak wordt weleens evolutionaire agent genoemd omdat het niet louter een los algoritme is, maar een zelfstandig opererend systeem dat waarneemt, voorstelt, test en aanpast.
Wat wil men ermee bereiken?
De belangrijkste belofte is dat evolutionaire agents oplossingen kunnen vinden die buiten de menselijke intuïtie vallen. Omdat het systeem niet gehinderd wordt door aannames van een ontwerper, komt het soms tot ongebruikelijke, contra-intuïtieve constructies die achteraf efficiënter blijken dan wat mensen zelf zouden bedenken.
Daarnaast wil men problemen aanpakken waarvoor gangbare machine-learningtechnieken minder geschikt zijn: taken met een niet-continue of niet-differentieerbare uitkomst, zoals het schrijven van programmacode, het ontwerpen van een fysiek object, of het plannen van een logistiek proces. Voor dat soort 'stapsgewijze' of 'ja/nee'-beslissingen is er vaak geen bruikbare gradiënt te berekenen, terwijl evolutie daar geen probleem mee heeft.
Een derde, meer ambitieuze doelstelling is zelfverbetering: een systeem dat zijn eigen werking kan aanpassen en objectief kan vaststellen of die aanpassing een verbetering is, zonder dat een mens steeds handmatig moet ingrijpen. Dit idee is niet nieuw — informaticus Jürgen Schmidhuber beschreef al in 2003 een theoretisch model hiervoor, de zogeheten Gödel Machine — maar recente evolutionaire aanpakken maken het voor het eerst praktisch uitvoerbaar, zij het nog in beperkte, geteste omgevingen.
Voorbeelden uit de praktijk
NEAT (2002): onderzoekers Kenneth Stanley en Risto Miikkulainen van de Universiteit van Texas in Austin ontwikkelden een methode om niet alleen de gewichten, maar ook de structuur van kleine neurale netwerken te laten evolueren. Het werd een veelgebruikte basis voor evolutionaire kunstmatige intelligentie in games en robotica.
NASA's ruimte-antenne (2006): voor de ST5-satellietmissie liet NASA een genetisch algoritme een antennevorm ontwerpen. De uitkomst zag er grillig en onlogisch uit, maar werkte beter dan door mensen ontworpen alternatieven en is daadwerkelijk de ruimte in gevlogen.
OpenAI's Evolution Strategies (2017): OpenAI liet zien dat een evolutionaire zoekmethode, verspreid over duizenden computers tegelijk, vergelijkbare resultaten kon behalen als klassiek reinforcement learning bij het besturen van robotarmen en het spelen van Atari-spellen, met als voordeel dat de methode makkelijker te parallelliseren was.
Sakana AI en model merging (2024): het Tokiose bedrijf Sakana AI, opgericht door voormalige Google-onderzoekers David Ha en Llion Jones, gebruikte evolutie om automatisch te ontdekken hoe je onderdelen van meerdere bestaande open-source taalmodellen het beste kunt combineren. Zo ontstond zonder nieuwe, kostbare training een taalmodel dat goed was in Japanse wiskundeopgaven.
AlphaEvolve en de Darwin Gödel Machine (2025): Google DeepMind presenteerde AlphaEvolve, dat een taalmodel combineert met evolutionaire zoekmethoden om nieuwe, wiskundig geverifieerde algoritmen te ontdekken, onder meer voor het efficiënter plannen van rekencapaciteit in datacenters. Rond dezelfde periode publiceerden onderzoekers (deels verbonden aan Sakana AI) de Darwin Gödel Machine: een programmeeragent die zijn eigen broncode mag herschrijven, de nieuwe versie empirisch test op programmeertaken, en alleen bewezen verbeteringen behoudt in een groeiend archief van varianten.
Hoe ver is de techniek?
Klassieke evolutionaire algoritmen en neuro-evolutie bestaan al decennia en zijn goed begrepen; ze worden toegepast in nichegebieden zoals technisch ontwerp, planningsproblemen en game-AI. Voor het trainen van grote, moderne AI-modellen zijn ze doorgaans te rekenintensief vergeleken met gradient descent, en daarom spelen ze in de mainstream van deep learning maar een beperkte rol.
De combinatie met taalmodellen is echt nieuw: de eerste veelbelovende resultaten dateren pas van 2024 en 2025. Voorbeelden zoals AlphaEvolve en de Darwin Gödel Machine zijn vooral onderzoeksdemonstraties op relatief afgebakende taken — specifieke wiskundige of programmeeropdrachten met een duidelijk meetbaar succescriterium — en nog geen kant-en-klare producten voor algemeen gebruik.
Eerlijkheidshalve moet gezegd dat grote, stellige claims over 'zichzelf verbeterende AI' voorzichtig moeten worden behandeld. De huidige systemen opereren in gecontroleerde, afgeschermde omgevingen met vaste testcriteria en menselijk toezicht; het is onduidelijk hoe goed deze aanpak opschaalt naar open, ongestructureerde real-world taken. Ook blijft de vraag hoe je controle houdt over een systeem dat zijn eigen code mag aanpassen een onopgelost, actief onderzoeksthema binnen AI-veiligheid.
Wie werken eraan?
Op onderzoeksgebied lopen Google DeepMind (Londen, VS) en het Tokiose Sakana AI momenteel voorop met de combinatie van evolutie en taalmodellen. OpenAI heeft in het verleden baanbrekend werk verricht met evolution strategies als alternatief voor reinforcement learning. Aan de Universiteit van Texas in Austin blijft Risto Miikkulainen actief op het gebied van neuro-evolutie, ook via het bedrijf Cognizant AI Labs, dat evolutionaire technieken toepast op bedrijfsvraagstukken.
Ook in Europa is er een lange onderzoekstraditie: aan de Vrije Universiteit Amsterdam werkt hoogleraar A.E. (Guszti) Eiben al jarenlang aan evolutionaire robotica, onder meer in projecten waarin fysieke robots generatie na generatie 'evolueren'. Verder is er een brede internationale academische gemeenschap rond het vakgebied, verenigd in onder andere SIGEVO, de belangengroep van de Amerikaanse computerwetenschapsvereniging ACM voor genetische en evolutionaire algoritmen, die jaarlijks de GECCO-conferentie organiseert.