End-to-end training: hoe machines leren zonder tussenstappen

Stel je een fabriek voor waar een auto in aparte afdelingen wordt gebouwd: eerst het chassis, dan de motor, dan de elektronica, en pas aan het einde de afwerking. Elke afdeling doet haar eigen ding en geeft het resultaat door aan de volgende. Dat is hoe veel klassieke computersystemen werken: het probleem wordt opgeknipt in kleine stukjes, en voor elk stukje schrijft een programmeur aparte regels of traint een apart model. Bij end-to-end training (letterlijk: training van begin tot eind) gebeurt dat anders. In plaats van losse afdelingen is er één systeem dat in één keer leert om van de ruwe invoer direct naar het gewenste eindresultaat te gaan, zonder dat mensen de tussenstappen bedenken.

Een bekend voorbeeld is een zelfrijdende auto. In een traditioneel ontwerp herkent het ene onderdeel verkeersborden, een ander onderdeel voetgangers, weer een ander onderdeel berekent de route, en uiteindelijk stuurt een apart stuk software het stuur en de rem aan. Bij een end-to-end aanpak krijgt één neuraal netwerk camerabeelden te zien en leert het direct om daar stuur- en gasbewegingen uit te produceren, puur door te oefenen op miljoenen voorbeelden van hoe mensen rijden. Niemand heeft het systeem verteld wat een stopbord is; het heeft dat zelf afgeleid uit de patronen in de data.

Wat is het precies?

Om end-to-end training te begrijpen, helpt het om eerst het alternatief te zien: de modulaire pipeline. Daarin bouwt men een keten van gespecialiseerde onderdelen, elk getraind of geprogrammeerd voor één deeltaak. Zo'n onderdeel werkt vaak met features: kenmerken die een ingenieur handmatig heeft bedacht en die belangrijk worden geacht voor die deeltaak, bijvoorbeeld de vorm van een verkeersbord of de toonhoogte in een stukje spraak. Elk onderdeel wordt los geoptimaliseerd en geeft zijn uitkomst door aan het volgende onderdeel.

Bij end-to-end training vervalt die opdeling. Er is één groot statistisch model — meestal een neuraal netwerk, een wiskundige structuur die losjes geïnspireerd is op hoe hersencellen met elkaar verbonden zijn — dat de volledige weg aflegt van ruwe invoer (bijvoorbeeld pixels van een camerabeeld of geluidsgolven van spraak) naar de gewenste uitvoer (bijvoorbeeld een stuurhoek of een stuk tekst). Dit netwerk wordt getraind met een techniek die backpropagation heet: het systeem doet een voorspelling, vergelijkt die met het juiste antwoord uit de trainingsdata, en past vervolgens al zijn interne instellingen een klein beetje aan om de volgende keer dichter bij het juiste antwoord te komen. Dat proces herhaalt zich miljoenen keren, met miljoenen voorbeelden.

Het cruciale verschil is dat al die interne aanpassingen gebeuren met het uiteindelijke doel voor ogen. Er wordt niet apart geoptimaliseerd op “herken dit bord correct” en dan los op “stuur nu bij”, maar alles wordt tegelijk bijgesteld op basis van de vraag: leidt dit tot het juiste eindresultaat? Het systeem leert dus niet van door mensen bedachte regels, maar puur van voorbeelden: paren van invoer en gewenste uitvoer.

Wat wil men ermee bereiken?

De belangrijkste belofte van end-to-end training is dat je als ontwikkelaar niet meer hoeft te bedenken en te programmeren welke tussenstappen en kenmerken relevant zijn. Dat handmatige ontwerpwerk — vaak feature engineering genoemd — is tijdrovend en berust op menselijke aannames die niet altijd kloppen. Een neuraal netwerk kan tijdens het trainen soms patronen ontdekken die een mens nooit had bedacht, simpelweg omdat het door duizenden voorbeelden heen “zoekt” naar wat werkt.

Een tweede voordeel is dat fouten zich minder opstapelen. In een modulaire pipeline plant een kleine fout in de eerste stap zich voort naar alle volgende stappen: als de bordherkenning een stopbord mist, kan geen enkele latere module dat nog herstellen. Een end-to-end systeem wordt in principe getraind op het totale resultaat, waardoor het kan leren compenseren voor onzekerheden die het onderweg tegenkomt.

Daar staat een eerlijke afweging tegenover. End-to-end systemen zijn vaak lastiger te doorgronden: omdat er geen aparte, benoembare tussenstappen meer zijn, is minder goed te zien waarom het systeem een bepaalde beslissing neemt. Dit staat bekend als het “black box”-probleem. Bovendien hebben deze systemen doorgaans grote hoeveelheden trainingsdata nodig om goed te functioneren, en presteren ze slecht in situaties die sterk afwijken van wat ze hebben gezien tijdens het trainen.

Voorbeelden uit de praktijk

Een van de vroegste voorbeelden is ALVINN (Autonomous Land Vehicle In a Neural Network), ontwikkeld door onderzoeker Dean Pomerleau aan Carnegie Mellon University in 1989. Dit was een klein neuraal netwerk dat camerabeelden van de weg direct omzette in een stuurrichting, zonder tussenkomst van aparte modules voor bijvoorbeeld het herkennen van rijstrepen. Voor die tijd was dit opmerkelijk, al waren de omstandigheden waarin het werkte nog zeer beperkt.

Een veel bekender en krachtiger voorbeeld volgde in 2016, toen chipmaker NVIDIA het DAVE-2-project publiceerde, ook wel bekend onder de naam PilotNet. Hierin liet een zogenoemd convolutioneel neuraal netwerk — een netwerktype dat gespecialiseerd is in het verwerken van beeldmateriaal — zien dat het met relatief weinig trainingsdata camerabeelden direct kon omzetten in stuurcommando's, en daarbij zelfs situaties aankon waarvoor het niet expliciet was getraind.

Ook buiten de auto-industrie zette end-to-end training een grote stap. In 2014 publiceerde het Chinese techbedrijf Baidu het onderzoek Deep Speech, een spraakherkenningssysteem dat rechtstreeks van geluidsgolven naar tekst leerde, zonder de traditionele tussenstap van handgemaakte taalkundige modellen die klanken eerst omzetten in taaleenheden zoals fonemen. Dit soort end-to-end spraakherkenning vormt inmiddels de basis van vrijwel alle moderne spraak-naar-tekstsystemen.

Recenter maakte Tesla veel ophef met de overstap naar een end-to-end aanpak voor zijn Full Self-Driving-software, met een versie die rond 2023-2024 werd uitgerold. Een groot deel van de voorheen handgeschreven, regelgebaseerde besturingscode werd daarbij vervangen door een neuraal netwerk dat getraind is op enorme hoeveelheden video van menselijke bestuurders.

Het Britse bedrijf Wayve, opgericht in 2017, profileert zich expliciet met een “AV2.0”-aanpak (Autonomous Vehicle 2.0): end-to-end leren als alternatief voor de meer modulaire architecturen die veel andere zelfrijdende-autobedrijven gebruiken. Het bedrijf heeft de afgelopen jaren aanzienlijke investeringen opgehaald van grote techspelers om deze aanpak verder te ontwikkelen.

Hoe ver is de techniek?

De volwassenheid van end-to-end training verschilt sterk per toepassingsgebied. In spraakherkenning en machinevertaling is het inmiddels de gangbare standaard: vrijwel alle moderne systemen, inclusief de grote taalmodellen die achter chatbots zitten, worden in essentie end-to-end getraind. Daar is de techniek dus volwassen en betrouwbaar genoeg gebleken voor grootschalig commercieel gebruik.

In de wereld van zelfrijdende auto's ligt dat genuanceerder. De techniek ontwikkelt zich snel, gedreven door meer rekenkracht en grotere hoeveelheden rijdata, maar is nog volop onderwerp van discussie. Veel bedrijven, waaronder marktleider Waymo, houden vooralsnog (deels) vast aan modulaire of hybride architecturen, waarin sommige onderdelen wel en andere niet volledig end-to-end getraind zijn. Een belangrijke reden is veiligheid en verantwoording: bij een ongeval moet vaak te herleiden zijn waarom het systeem een bepaalde keuze maakte, en dat is bij een volledig end-to-end systeem lastiger uit te leggen dan bij een pipeline met herkenbare tussenstappen.

De belangrijkste obstakels blijven de honger naar data, het omgaan met zeldzame en onvoorziene situaties (in het jargon edge cases genoemd), de beperkte interpreteerbaarheid van de beslissingen, en de vraag hoe je zo'n systeem grondig genoeg kunt testen en valideren voordat het veilig genoeg wordt geacht voor gebruik zonder toezicht. Toezichthouders en regelgevers zoeken nog naar geschikte manieren om end-to-end systemen te beoordelen, juist omdat traditionele testmethoden vaak uitgaan van herkenbare tussenstappen die hier ontbreken.

Wie werken eraan?

In de autosector zijn Tesla (met zijn interne AI-team voor Autopilot en Full Self-Driving), het Britse Wayve, en het Amerikaanse comma.ai (bekend van het opensource-project openpilot, opgericht door George Hotz) prominente voorbeelden van bedrijven die nadrukkelijk inzetten op end-to-end leren voor autonoom rijden. Chipmaker NVIDIA doet al sinds het DAVE-2-project onderzoek op dit terrein en levert bovendien de rekenkracht (chips) waarop veel van deze systemen draaien. In China werkt onder meer Baidu, via zijn Apollo-platform, aan vergelijkbare technologie.

Academisch gezien geldt Carnegie Mellon University als een van de pioniers dankzij het vroege ALVINN-onderzoek, en instituten als Stanford University blijven actief op het snijvlak van robotica en end-to-end leren. In de bredere AI-wereld, buiten de auto-industrie, zijn organisaties als OpenAI (met onder meer het spraakherkenningssysteem Whisper en zijn taalmodellen) en Google DeepMind toonaangevend in end-to-end getrainde systemen voor taal en spraak.

Geografisch zijn de Verenigde Staten en China op dit moment de belangrijkste spelers, met een groeiende rol voor het Verenigd Koninkrijk dankzij Wayve en toenemende aandacht in de Europese Unie voor onderzoek naar veilige en verklaarbare vormen van deze technologie.

Verder lezen

• arXiv — open archief met wetenschappelijke papers over machine learning en end-to-end leren, waaronder de originele onderzoeken van NVIDIA en Baidu.
• Wayve — officiële site van het Britse bedrijf dat de “AV2.0” end-to-end aanpak voor zelfrijdende auto's ontwikkelt.
• NVIDIA — bedrijfssite met onderzoek en achtergrond over onder meer het DAVE-2/PilotNet-project en autonoom rijden.
• OpenAI — informatie over end-to-end getrainde systemen zoals het spraakherkenningsmodel Whisper.
• comma.ai — opensource-project openpilot, met inzicht in een praktische, end-to-end geïnspireerde aanpak van autonoom rijden.