Deep learning: hoe machines leren herkennen, voorspellen en genereren
Deep learning is een vorm van kunstmatige intelligentie waarbij computers patronen leren herkennen door te oefenen op grote hoeveelheden voorbeelden, in plaats van dat een programmeur alle regels vooraf vastlegt. Stel je een kind voor dat leert hondenrassen herkennen: niet door een handboek met exacte kenmerken te lezen, maar door honderden foto's te zien en telkens te horen 'dit is een hond' of 'dit is geen hond'. Na verloop van tijd herkent het kind zelf nieuwe honden, zonder dat iemand precies kan navertellen welke regel het toepast. Deep learning werkt vergelijkbaar: een systeem verbetert zichzelf stap voor stap door duizenden of miljoenen voorbeelden te verwerken.
De term 'deep' (diep) verwijst naar de gelaagde structuur van het onderliggende wiskundige model, het zogeheten neurale netwerk. Dat netwerk bestaat uit veel opeenvolgende rekenlagen, waarbij elke laag iets ingewikkelder patronen herkent dan de vorige. De eerste laag van een beeldherkenningssysteem pikt bijvoorbeeld alleen randjes en contrasten op, een volgende laag herkent vormen zoals ogen of oren, en een latere laag herkent complete gezichten. Deze aanpak ligt aan de basis van technologieën die inmiddels overal om ons heen zijn: van gezichtsherkenning op je telefoon tot chatbots als ChatGPT.
Wat is het precies?
De bouwstenen van deep learning zijn kunstmatige neuronen: simpele rekeneenheden die geïnspireerd zijn op hersencellen, maar er wiskundig weinig mee te maken hebben. Elk neuron ontvangt getallen als input, vermenigvuldigt die met een 'gewicht' (een soort belangrijkheidsfactor), telt ze op en geeft het resultaat door aan de volgende laag. Door duizenden van deze neuronen in lagen achter elkaar te zetten, ontstaat een neuraal netwerk dat complexe verbanden kan leren.
Het 'leren' gebeurt via een proces dat training heet. Het netwerk krijgt een voorbeeld te zien, bijvoorbeeld een foto van een kat, en doet een gok. Klopt die gok niet met het juiste antwoord, dan berekent het systeem hoe ver het ernaast zat en past het via een wiskundige methode, backpropagation genaamd, de gewichten van alle neuronen lichtjes aan. Dit gebeurt miljoenen keren achter elkaar, met steeds nieuwe voorbeelden, totdat het netwerk steeds betere voorspellingen doet.
Cruciaal is dat deep learning zelf de relevante kenmerken ontdekt, in plaats van dat mensen die vooraf programmeren. Bij oudere AI-technieken moest een expert precies specificeren waar het systeem op moest letten. Deep learning-netwerken zoeken die kenmerken zelf uit, mits ze genoeg data en rekenkracht krijgen. Dat maakt de techniek krachtig, maar ook lastig te doorgronden: zelfs de ontwikkelaars kunnen vaak niet precies uitleggen waarom een netwerk een bepaalde beslissing neemt. Dit staat bekend als het 'black box'-probleem.
Wat wil men ermee bereiken?
Het uiteindelijke doel van deep learning-onderzoek is machines die taken kunnen uitvoeren die voorheen alleen mensen konden: beelden interpreteren, taal begrijpen en genereren, geluid herkennen, voorspellingen doen en zelfs creatieve content maken. De belofte is dat computers dit sneller, goedkoper en op grotere schaal kunnen dan mensen, zonder vermoeidheid of vooringenomenheid — al blijkt die laatste belofte in de praktijk lastig waar te maken, omdat modellen vooroordelen uit trainingsdata kunnen overnemen.
Praktische toepassingen variëren van medische diagnostiek, waarbij netwerken tumoren op scans helpen opsporen, tot zelfrijdende auto's die de omgeving moeten interpreteren. Bedrijven zien commerciële kansen in automatisering van klantenservice, fraudedetectie bij banken en gepersonaliseerde aanbevelingen bij streamingdiensten. Wetenschappers gebruiken deep learning ook als onderzoeksinstrument, bijvoorbeeld om eiwitstructuren te voorspellen of klimaatmodellen te verbeteren.
Voorbeelden uit de praktijk
AlphaFold (DeepMind, 2020) — Dit systeem van Google DeepMind voorspelt de driedimensionale vouwing van eiwitten op basis van hun aminozuurvolgorde, een probleem waar biologen decennia mee worstelden. In 2024 ontvingen de ontwikkelaars hiervoor mede de Nobelprijs voor Scheikunde.
ChatGPT en GPT-4 (OpenAI, 2022-2023) — Grote taalmodellen die met deep learning zijn getraind op enorme hoeveelheden tekst en in staat zijn samenhangende antwoorden, code en teksten te genereren op basis van een vraag of opdracht.
Stable Diffusion en Midjourney (2022) — Beeldgeneratiemodellen die tekstbeschrijvingen omzetten in nieuwe, vaak realistische afbeeldingen, getraind op miljarden afbeelding-tekstparen van internet.
Tesla Autopilot en Full Self-Driving — Gebruiken neurale netwerken die camerabeelden analyseren om de omgeving van een auto te interpreteren en rijbeslissingen te ondersteunen, hoewel volledige zelfrijdende autonomie nog niet is bereikt.
DeepL (sinds 2017, Keulen) — Een Europees vertaalsysteem dat met deep learning aanzienlijk natuurlijkere vertalingen produceert dan eerdere op regels gebaseerde vertaalmachines.
Hoe ver is de techniek?
Deep learning bestaat als wiskundig concept al sinds de jaren tachtig, maar pas rond 2012 volgde de doorbraak, toen een netwerk genaamd AlexNet een grote beeldherkenningswedstrijd overtuigend won dankzij een combinatie van grotere datasets, krachtigere grafische processoren (GPU's) en verbeterde trainingsmethoden. Sindsdien is de ontwikkeling in een stroomversnelling geraakt.
De afgelopen jaren draait de vooruitgang vooral om schaal: grotere modellen, meer trainingsdata en meer rekenkracht leveren vaak betere prestaties op, een patroon dat onderzoekers 'scaling laws' noemen. Dit heeft geleid tot steeds indrukwekkendere taalmodellen en beeldgeneratoren, maar ook tot zorgen over de enorme energiekosten van het trainen van deze systemen en de vraag of deze schaalstrategie op termijn tegen grenzen aanloopt.
Belangrijke obstakels blijven bestaan. Modellen kunnen 'hallucineren': met overtuiging onjuiste informatie presenteren. Ze hebben doorgaans enorme hoeveelheden data nodig, wat problematisch is voor talen of domeinen waar weinig data beschikbaar is. Ook blijft uitlegbaarheid een probleem: voor toepassingen in bijvoorbeeld de zorg of rechtspraak is het lastig te verantwoorden waarom een systeem een bepaalde uitkomst geeft. Onderzoekers werken aan oplossingen zoals 'explainable AI', maar een sluitend antwoord ontbreekt nog.
Wie werken eraan?
De ontwikkeling van deep learning wordt gedomineerd door een klein aantal grote Amerikaanse technologiebedrijven: Google (via DeepMind en Google Research), Meta (Facebook AI Research), Microsoft (samen met OpenAI) en Amazon investeren miljarden in onderzoek en de bijbehorende rekencapaciteit. Chipmaker Nvidia speelt een sleutelrol omdat vrijwel alle deep learning-training draait op zijn gespecialiseerde GPU's.
China investeert eveneens fors, met bedrijven als Baidu, Alibaba en Tencent en met expliciete overheidsstrategieën om wereldleider in AI te worden. Academisch gezien blijven universiteiten als Stanford, MIT, Toronto (waar Geoffrey Hinton, een van de grondleggers van deep learning, lange tijd werkte) en het Canadese Mila-instituut van Yoshua Bengio toonaangevend.
In Europa zijn onder meer DeepMind (oorspronkelijk Brits, nu onderdeel van Google), het Duitse DeepL en diverse universitaire onderzoeksgroepen actief, al blijft de Europese rekencapaciteit en investeringsomvang duidelijk kleiner dan die van de VS en China. Nederlandse instellingen zoals de Universiteit van Amsterdam en de TU Delft doen gerenommeerd fundamenteel onderzoek naar machine learning, zij het op kleinere schaal dan de grote buitenlandse spelers.