Verklaarbare AI: waarom we willen weten hoe algoritmes tot hun antwoord komen
Stel je voor dat een bank je hypotheekaanvraag afwijst en op je vraag "waarom?" alleen antwoordt met: "Dat zegt het systeem." Onbevredigend, toch? Toch werkt het vaak zo bij beslissingen die door kunstmatige intelligentie worden genomen of ondersteund. Verklaarbare AI, in het Engels Explainable AI of kortweg XAI, is een verzameling technieken en onderzoeksrichtingen die dit probleem aanpakken: ze proberen inzichtelijk te maken waarom een AI-systeem tot een bepaalde uitkomst komt, in taal en vorm die mensen kunnen begrijpen.
Het probleem speelt vooral bij moderne AI op basis van deep learning: neurale netwerken met miljoenen tot miljarden interne rekenknopen (parameters). Zo'n netwerk leert patronen uit grote hoeveelheden data, maar niemand — ook de bouwers niet — kan zomaar zeggen welke van die parameters de doorslag gaven bij één specifieke beslissing. Dit heet het black box-probleem: je ziet de invoer (bijvoorbeeld een röntgenfoto) en de uitvoer (bijvoorbeeld "verdacht op longkanker"), maar wat daartussen gebeurt blijft ondoorzichtig. Verklaarbare AI probeert een venster in die zwarte doos te maken, zonder de doos zelf open te hoeven breken.
Wat is het precies?
Verklaarbare AI is geen los stukje software, maar een verzameling methoden die grofweg in twee families vallen. De eerste familie kiest voor intrinsiek interpreteerbare modellen: relatief eenvoudige AI-systemen, zoals beslisbomen (een reeks ja/nee-vragen die tot een uitkomst leidt) of lineaire modellen, waarvan de werking vanzelf te volgen is. Nadeel: deze modellen zijn vaak minder nauwkeurig dan complexe neurale netwerken.
De tweede familie heet post-hoc-verklaring (achteraf toegevoegd): technieken die een bestaand, ondoorzichtig model achteraf analyseren zonder het aan te passen. Twee bekende voorbeelden zijn LIME en SHAP. LIME (Local Interpretable Model-agnostic Explanations, geïntroduceerd in 2016 door onderzoekers verbonden aan de University of Washington) legt lokaal — dus voor één specifieke voorspelling — uit welke kenmerken van de invoer het zwaarst wogen. Dat doet het door net iets andere versies van dezelfde invoer aan het model voor te leggen en te kijken hoe de uitkomst verandert.
SHAP (SHapley Additive exPlanations, 2017, eveneens uit onderzoekskringen rond Washington) doet iets vergelijkbaars, maar steunt op een wiskundig concept uit de speltheorie: de Shapley-waarde, oorspronkelijk bedacht om eerlijk te berekenen hoeveel elke speler bijdraagt aan de winst van een team. Toegepast op AI berekent SHAP hoeveel elk kenmerk — leeftijd, inkomen, postcode — bijdroeg aan een specifieke voorspelling, positief of negatief.
Bij beeldherkenning bestaan weer andere technieken, zoals saliency maps (gevoeligheidskaarten): een gekleurde overlay op een foto die laat zien welke pixels het meest bijdroegen aan bijvoorbeeld de diagnose "melanoom". Belangrijk om te beseffen: al deze methoden geven een benadering van de redenering, geen exacte weergave van wat er intern werkelijk gebeurt. Dat is meteen een beperking waar onderzoekers open over zijn.
Wat wil men ermee bereiken?
Het belangrijkste doel is vertrouwen. Een arts die een AI-diagnose krijgt voorgeschoteld, wil weten of het systeem naar relevante medische kenmerken keek, of toevallig naar iets irrelevants zoals het type scanapparaat — dat laatste is in onderzoek al eens misgegaan. Zonder verklaring is het voor een professional lastig in te schatten wanneer hij een AI-advies wel of niet moet vertrouwen.
Een tweede doel is controleerbaarheid en foutopsporing. Ontwikkelaars gebruiken verklaringsmethoden om te ontdekken of hun model per ongeluk vooroordelen (bias) uit de trainingsdata heeft overgenomen, bijvoorbeeld doordat een sollicitatiefilter systematisch bepaalde namen lager beoordeelt.
Een derde doel is wettelijke verantwoording. In de Europese Unie geeft de Algemene Verordening Gegevensbescherming (AVG, internationaal bekend als GDPR, van kracht sinds 2018) burgers bepaalde rechten rond volledig geautomatiseerde besluitvorming, al is er onder juristen discussie over hoe ver een concreet "recht op uitleg" precies reikt. De nieuwere Europese AI-verordening (AI Act), die vanaf augustus 2024 gefaseerd in werking treedt, verplicht aanbieders van "hoog risico"-AI-systemen expliciet tot transparantie en menselijk toezicht. Bedrijven die AI gebruiken bij bijvoorbeeld sollicitatieselectie of kredietbeoordeling moeten kunnen laten zien hoe het systeem tot zijn oordeel komt.
Ten slotte hoopt men met verklaarbare AI ook discriminatie en fouten eerder te betrappen dan pas nadat er schade is aangericht, en zo het maatschappelijk draagvlak voor AI te vergroten.
Voorbeelden uit de praktijk
Het Amerikaanse defensie-onderzoeksagentschap DARPA lanceerde vanaf 2017 het programma "Explainable AI (XAI)", dat enkele jaren liep en meerdere universiteiten financierde om nieuwe verklaringsmethoden te ontwikkelen, onder meer voor militaire toepassingen zoals de analyse van dronebeelden.
IBM bracht in 2019 de opensourcetoolkit AI Explainability 360 uit: een verzameling algoritmes die organisaties kunnen inzetten om hun eigen modellen te doorgronden, bijvoorbeeld in de financiële sector bij kredietbeoordeling.
Google introduceerde in 2018 de What-If Tool, onderdeel van het onderzoeksinitiatief PAIR (People + AI Research), waarmee ontwikkelaars visueel kunnen onderzoeken hoe een model reageert op kleine aanpassingen in de invoergegevens, zonder zelf te hoeven programmeren.
In de radiologie experimenteren ziekenhuizen met saliency maps om artsen te laten zien welk deel van een röntgen- of MRI-scan een AI-systeem liet meewegen bij zijn beoordeling — een reactie op eerdere gevallen waarin bleek dat modellen op irrelevante details "spiekten" in plaats van op medisch relevante kenmerken.
In de financiële sector zetten banken sinds de aanscherping van Europese privacy- en AI-regels technieken zoals SHAP in om klanten te kunnen vertellen welke factoren hun leningaanvraag beïnvloedden, deels omdat dit onder de AVG en de AI Act ook een wettelijke verplichting kan zijn.
Hoe ver is de techniek?
Verklaarbare AI is een actief onderzoeksveld, geen afgerond product. Methoden als LIME en SHAP zijn inmiddels gangbaar in de praktijk en beschikbaar als kant-en-klare softwarebibliotheken, maar kennen bekende zwaktes: hun uitleg kan instabiel zijn — een kleine wijziging in de invoer geeft soms een heel andere verklaring — en soms zelfs misleidend, omdat de verklaring niet per se de werkelijke interne redenering van het model weergeeft.
Grote taalmodellen zoals ChatGPT vormen een extra uitdaging: hun omvang (honderden miljarden parameters) maakt klassieke verklaringsmethoden rekenkundig zwaar of nauwelijks bruikbaar. Een nieuwere onderzoekslijn heet mechanistic interpretability, onder meer onderzocht bij het AI-bedrijf Anthropic. Deze aanpak probeert letterlijk uit te zoeken welke interne rekenpatronen overeenkomen met welke concepten, vergelijkbaar met het in kaart brengen van hersengebieden. Dit onderzoek staat nog in een pril stadium en werkt vooralsnog vooral op kleinere modellen dan de allergrootste commerciële systemen.
Een fundamenteel spanningsveld blijft bestaan tussen nauwkeurigheid en uitlegbaarheid: de meest accurate modellen zijn vaak het minst doorzichtig, en andersom. Er is geen wetenschappelijke consensus over wat een "goede" verklaring precies is, laat staan hoe je dat objectief meet. Ook is er kritiek dat sommige verklaringsmethoden vooral een schijn van transparantie geven — soms "uitlegtheater" genoemd — zonder daadwerkelijk inzicht te bieden in de werkelijke besluitvorming van het model.
Wie werken eraan?
Naast DARPA in de Verenigde Staten investeren grote techbedrijven zoals IBM, Google, Microsoft (met de opensourcetoolkit InterpretML) en Anthropic in verklaarbaarheidsonderzoek, deels vanuit commercieel belang bij vertrouwde producten en deels vanuit bredere AI-veiligheidsoverwegingen.
In Europa doen de Duitse Fraunhofer-instituten onderzoek naar verklaarbare AI voor industriële toepassingen, en het Britse Alan Turing Institute publiceert richtlijnen voor verantwoorde en uitlegbare AI, onder meer voor gebruik in de publieke sector. De Europese Unie speelt vooral een regisserende rol via wetgeving: de AI Act verplicht transparantie, zonder daarbij zelf specifieke technische methoden voor te schrijven.
Academisch is het onderzoek breed verspreid over universiteiten wereldwijd, met invloedrijke bijdragen van onder meer de University of Washington — waar LIME en SHAP ontstonden — en talrijke publicaties op grote AI-congressen zoals NeurIPS en in vaktijdschriften op het gebied van machine learning.