Imitatieleren: machines die leren door te kijken
Stel je voor dat je leert autorijden niet door zelf achter het stuur te kruipen en te experimenteren, maar door duizenden uren mee te rijden met een ervaren chauffeur en precies te onthouden wat die persoon doet bij elke bocht, elk kruispunt en elke noodstop. Dat is in essentie imitatieleren: een manier om computers en robots vaardigheden te leren door ze grote hoeveelheden voorbeelden van menselijk (of ander deskundig) gedrag te tonen, in plaats van ze zelf op basis van vallen en opstaan te laten ontdekken wat werkt.
Imitatieleren is een deelgebied van machine learning, het onderzoeksveld waarin computers patronen leren herkennen uit data. Het wordt vooral gebruikt bij taken waarbij het lastig is om vooraf exact te omschrijven wat 'goed gedrag' is, zoals autorijden, een robotarm besturen of een computerspel spelen, maar waarbij wel voorbeelden van bekwame uitvoering beschikbaar zijn. In plaats van een programmeur die alle regels handmatig vastlegt, laat het systeem zien wat er gebeurt en leert het model zelf het onderliggende patroon.
Wat is het precies?
De eenvoudigste vorm van imitatieleren heet gedragskloning (behavioral cloning). Een expert, bijvoorbeeld een mens, voert de taak een aantal keer uit terwijl elke situatie (de 'toestand') en de bijbehorende actie wordt opgeslagen. Denk aan een bestuurder: de toestand is het camerabeeld van de weg, de actie is de stuur- en rembeweging. Al die paren van toestand en actie vormen een trainingsdataset.
Vervolgens leert een neuraal netwerk, een wiskundig model geïnspireerd op hersencellen, om bij een gegeven toestand de bijbehorende actie te voorspellen. Dit gebeurt met supervised learning, een standaardtechniek waarbij het model stap voor stap zijn voorspellingen bijstelt totdat ze zo goed mogelijk overeenkomen met de voorbeelden van de expert.
Dat klinkt eenvoudig, maar er is een bekend probleem: distributieverschuiving (distribution shift). Een menselijke expert maakt zelden grote fouten, dus de trainingsdata bevat vooral 'perfecte' situaties. Zodra het getrainde systeem in de praktijk een klein foutje maakt, belandt het in een situatie die niet in de trainingsdata voorkwam, en weet het niet goed meer wat te doen. Kleine afwijkingen kunnen zo uitgroeien tot grote fouten.
Om dit te verhelpen zijn geavanceerdere technieken ontwikkeld. Bij DAgger (Dataset Aggregation) laat men het systeem zelf rijden, grijpt een menselijke expert in zodra het misgaat, en wordt die correctie toegevoegd aan de trainingsdata. Bij inverse reinforcement learning (omgekeerd bekrachtigend leren) probeert het systeem niet de acties zelf te kopiëren, maar te achterhalen welk onderliggend doel of welke beloning de expert nastreefde, om vervolgens zelf een strategie te bedenken die dat doel bereikt. Een bekende variant hierop is GAIL (Generative Adversarial Imitation Learning, voorgesteld door Jonathan Ho en Stefano Ermon van Stanford University in 2016), waarbij twee neurale netwerken tegen elkaar 'strijden': het ene probeert gedrag te genereren dat niet te onderscheiden is van de expert, het andere probeert precies dat verschil te ontdekken.
Wat wil men ermee bereiken?
De belofte van imitatieleren is dat je complexe, moeilijk te formaliseren vaardigheden kunt overdragen aan een machine zonder dat iemand exact hoeft uit te schrijven welke regel in welke situatie geldt. Voor taken als autorijden of het besturen van een robotarm zijn de mogelijke situaties bijna oneindig, waardoor handmatig programmeren onbegonnen werk is.
Een tweede doel is snelheid en veiligheid van het leerproces. Bij klassiek reinforcement learning (bekrachtigend leren) moet een systeem zelf duizenden of miljoenen pogingen doen, inclusief mislukte, om te ontdekken wat werkt. Voor een robot in de fysieke wereld is dat kostbaar en soms gevaarlijk: een robotarm die per ongeluk een fles kapotgooit of een auto die tegen een boom rijdt, zijn geen wenselijke leermomenten. Door te starten met imitatie van deskundig gedrag, en dat eventueel later te verfijnen, hoopt men sneller tot bruikbaar gedrag te komen met minder risicovolle experimenten.
Tot slot hoopt men zo systemen te bouwen die menselijke voorkeuren en conventies beter aanvoelen. Een zelfrijdende auto die is getraind op hoe mensen daadwerkelijk rijden, gedraagt zich mogelijk voorspelbaarder voor andere weggebruikers dan een systeem dat vanaf nul zelf een rijstijl heeft 'uitgevonden'.
Voorbeelden uit de praktijk
Een van de vroegste voorbeelden is ALVINN, ontwikkeld door onderzoeker Dean Pomerleau aan Carnegie Mellon University in 1989. Dit was een van de eerste neurale netwerken dat leerde sturen door simpelweg te kijken naar camerabeelden en het stuurgedrag van een menselijke bestuurder na te bootsen, jaren voordat 'zelfrijdende auto' een gangbare term werd.
Onderzoekers Andrew Ng en Pieter Abbeel van Stanford University lieten begin jaren 2000 een onbemande helikopter geavanceerde stunts leren, zoals looping en achterstevoren vliegen, door demonstraties van een menselijke expert-piloot te bestuderen via apprenticeship learning, een vorm van inverse reinforcement learning. Dit gold destijds als een van de indrukwekkendste bewijzen dat imitatieleren ook zeer dynamische, fysieke taken aankan.
In 2019 combineerde DeepMind (onderdeel van Alphabet, het moederbedrijf van Google) imitatieleren met reinforcement learning in AlphaStar, een systeem dat het real-time strategiespel StarCraft II op zeer hoog niveau leerde spelen. Het model werd eerst getraind op duizenden opgeslagen partijen van menselijke spelers (imitatieleren) en verbeterde zichzelf daarna verder door tegen kopieën van zichzelf te spelen.
Bij robotica zijn recentere voorbeelden de modellen RT-1 en RT-2 van Google, gepresenteerd tussen eind 2022 en medio 2023. Deze zogeheten 'robot transformers' leren manipulatietaken, zoals objecten oppakken en sorteren, deels door na te bootsen wat er te zien is in duizenden opgenomen robotdemonstraties, gecombineerd met kennis uit taal- en beeldmodellen.
Ook in de auto-industrie speelt de techniek een rol: verschillende fabrikanten van zelfrijdende systemen, waaronder naar verluidt Tesla bij de ontwikkeling van hun 'Full Self-Driving'-software, zouden gebruikmaken van rijgedrag verzameld uit hun wagenparkvloot om besturingsmodellen te trainen. Omdat dit soort bedrijven hun exacte technische aanpak niet volledig openbaar maakt, is publiek niet altijd precies te verifiëren in welke mate en op welke manier imitatieleren daarbij wordt toegepast.
Hoe ver is de techniek?
Gedragskloning, de basisvorm van imitatieleren, is inmiddels decennia oud en relatief goed begrepen. Het fundamentele probleem van distributieverschuiving is echter nooit helemaal opgelost: hoe beter een systeem moet omgaan met onverwachte situaties, hoe meer en diversere demonstraties nodig zijn, of hoe geavanceerder de aanvullende technieken (zoals DAgger of inverse reinforcement learning) moeten zijn.
De laatste jaren is er een duidelijke trend naar het combineren van imitatieleren met grootschalige, op internet-schaal getrainde modellen, vergelijkbaar met de aanpak achter grote taalmodellen. Onderzoekers proberen zogeheten 'generalistische' robotbeleidsmodellen te bouwen die met relatief weinig voorbeelden een nieuwe taak of omgeving oppikken, in plaats van voor elke specifieke taak apart te moeten trainen. Technieken als 'diffusion policies', waarbij een robot een reeks acties genereert op een manier die verwant is aan de beeldgeneratietechnieken achter AI-beeldgeneratoren, zijn hier een voorbeeld van en worden onder meer onderzocht door instituten als het Toyota Research Institute in samenwerking met universiteiten.
De belangrijkste obstakels blijven de kwaliteit en diversiteit van beschikbare demonstratiedata, de kloof tussen simulatie en de echte wereld (een robot die in een computersimulatie perfect functioneert, gedraagt zich in de fysieke wereld vaak net anders), en de vraag hoe je garandeert dat een systeem veilig blijft handelen in situaties die niet in de trainingsdata voorkwamen. Er is geen wetenschappelijke consensus dat dit laatste probleem op korte termijn volledig oplosbaar is; het blijft een actief onderzoeksveld zonder pasklare oplossing.
Wie werken eraan?
Onderzoek naar imitatieleren wordt sterk aangedreven door een combinatie van academische instituten en grote techbedrijven. Aan universiteitszijde spelen Stanford University en University of California, Berkeley (Verenigde Staten) een vooraanstaande rol, mede dankzij onderzoekers als Pieter Abbeel en Stefano Ermon die aan de basis stonden van invloedrijke technieken op dit gebied. Ook Carnegie Mellon University, met zijn lange traditie in robotica sinds ALVINN, en het Massachusetts Institute of Technology (MIT) zijn actief.
Bij de grote bedrijven is DeepMind (onderdeel van Alphabet/Google, gevestigd in het Verenigd Koninkrijk) prominent aanwezig, onder meer via werk als AlphaStar en robotica-onderzoek. Google zelf ontwikkelt via zijn onderzoeksafdelingen robotmodellen zoals de RT-serie. OpenAI (Verenigde Staten) heeft in het verleden onderzoek gepubliceerd naar imitatieleren in combinatie met reinforcement learning voor robothanden en spelomgevingen. In de automotive-sector investeren bedrijven als Waymo (eveneens onderdeel van Alphabet) en Tesla in grootschalige data-verzameling die (mede) voor dit soort training gebruikt kan worden, al blijven de technische details doorgaans bedrijfsgeheim.
Daarnaast zijn er gespecialiseerde robotica-startups, zoals het Amerikaanse Physical Intelligence, die zich sinds 2024 specifiek richten op het trainen van algemene robotbeleidsmodellen met technieken uit het imitatieleren. Ook Chinese onderzoeksinstituten en techbedrijven investeren in robotica en autonoom rijden waarbij vergelijkbare technieken worden toegepast, al is over de precieze aanpak en resultaten daarvan in het Westen vaak minder gedetailleerde, onafhankelijk geverifieerde informatie beschikbaar dan over Amerikaans onderzoek.