Het zwarte-doosmodel: waarom AI vaak een raadsel blijft
Stel je voor: je vraagt een orakel om advies, en het orakel geeft altijd een antwoord dat verrassend vaak klopt. Maar als je vraagt waarom het dat antwoord geeft, blijft het stil. Zo werkt een zwarte-doosmodel in kunstmatige intelligentie. Het is een computersysteem, meestal een neuraal netwerk, dat op basis van invoer (een foto, een tekst, een reeks cijfers) een uitvoer produceert, zonder dat mensen precies kunnen navertellen welke redenering daarbinnen plaatsvond.
Het begrip komt oorspronkelijk niet uit de AI, maar uit de techniek in het algemeen: een zwarte doos is elk systeem waarvan je de invoer en uitvoer kunt zien, maar niet de binnenkant. Denk aan een magnetron: je stopt er eten in, drukt op een knop, en er komt warm eten uit. De meeste mensen hebben geen idee hoe microgolven precies moleculen laten trillen, en dat hoeft ook niet, want de magnetron is voorspelbaar en veilig genoeg. Bij AI-modellen die beslissen over leningen, medische diagnoses of strafmaten ligt dat gevoelig anders: daar wil je vaak wél weten waarom.
Wat is het precies?
Moderne AI-systemen, met name deep-learningmodellen, bestaan uit lagen van kunstmatige 'neuronen' die met elkaar verbonden zijn via miljoenen tot miljarden parameters. Deze parameters zijn getallen die tijdens het trainen automatisch worden aangepast, net zo lang tot het model goede voorspellingen doet op basis van voorbeelddata.
Het probleem is dat niemand die parameters één voor één heeft ontworpen of begrijpt. Ze zijn het resultaat van een wiskundig optimalisatieproces, niet van door mensen bedachte regels. Waar een traditioneel computerprogramma bestaat uit expliciete instructies ('als dit, doe dat'), leert een neuraal netwerk zelf patronen uit data, verspreid over duizenden gewichten die onderling met elkaar interacteren.
Het tegenovergestelde is een 'witte doos' of interpreteerbaar model, zoals een beslisboom of een lineaire regressie. Daarbij kun je stap voor stap volgen welke factor hoe zwaar meetelt. Bij een zwarte doos ontbreekt die transparantie: je ziet alleen dat foto A wordt geclassificeerd als 'kat' en foto B als 'hond', maar niet welke combinatie van pixels de doorslag gaf.
Belangrijk is dat 'zwart' hier niets zegt over kwade opzet. Het beschrijft een gebrek aan inzicht, niet een gebrek aan integriteit. Een model kan volledig zwarte-doos zijn en toch eerlijk en accuraat werken, of juist onbedoeld vooroordelen bevatten die niemand had opgemerkt omdat niemand er goed inkeek.
Wat wil men ermee bereiken?
Niemand bouwt een zwarte doos omdat ondoorzichtigheid een doel op zich is. Het is eerder een bijeffect van de zoektocht naar zo goed mogelijke prestaties. Grotere, complexere modellen presteren vaak beter op moeilijke taken zoals beeldherkenning of taalbegrip, maar die complexiteit maakt ze tegelijk minder te doorgronden. Onderzoekers noemen dit de 'trade-off' tussen nauwkeurigheid en interpreteerbaarheid.
Het vakgebied dat zich richt op het openen van die doos heet 'explainable AI' of uitlegbare AI, afgekort XAI. Het doel is niet per se om het model simpeler te maken, maar om er begrijpelijke verklaringen uit te destilleren: welke factoren speelden een rol, hoe gevoelig is de uitkomst voor kleine veranderingen, en zijn er tekenen van ongewenste vooroordelen.
Die uitleg is om meerdere redenen belangrijk. Ontwikkelaars willen fouten kunnen opsporen en debuggen. Toezichthouders en wetgevers eisen steeds vaker verantwoording, zeker bij besluiten met grote gevolgen voor mensen. Gebruikers willen vertrouwen kunnen opbouwen, en burgers willen kunnen aanvechten wat een systeem over hen heeft besloten. Zonder enig inzicht is het bovendien lastig te bewijzen dat een model niet discrimineert op basis van bijvoorbeeld etniciteit of geslacht.
Voorbeelden uit de praktijk
Een van de bekendste illustraties van de risico's van zwarte-doosmodellen is het COMPAS-algoritme, dat Amerikaanse rechtbanks gebruikten om het recidiverisico van verdachten in te schatten. In 2016 publiceerde onderzoeksjournalistiek platform ProPublica een analyse van dit systeem in Broward County, Florida, en concludeerde dat het model zwarte verdachten vaker ten onrechte als hoog risico bestempelde dan witte verdachten. Omdat de exacte werking van het commerciële algoritme niet openbaar was, kon niemand precies vaststellen waar die scheve uitkomst vandaan kwam. De zaak werd een schoolvoorbeeld in discussies over algoritmische verantwoording.
Als reactie op dit soort problemen ontwikkelden onderzoekers technieken om zwarte dozen alsnog gedeeltelijk te doorgronden. In 2016 publiceerden Marco Tulio Ribeiro, Sameer Singh en Carlos Guestrin van de University of Washington de methode LIME (Local Interpretable Model-agnostic Explanations). LIME benadert een complex model rond één specifieke voorspelling met een eenvoudig, uitlegbaar model, zodat je lokaal kunt zien welke kenmerken de doorslag gaven.
Een jaar later, in 2017, introduceerden Scott Lundberg en Su-In Lee, eveneens verbonden aan de University of Washington, de methode SHAP (SHapley Additive exPlanations). SHAP bouwt voort op de Shapley-waarde, een wiskundig concept uit de speltheorie dat oorspronkelijk werd ontwikkeld om de eerlijke verdeling van opbrengsten tussen samenwerkende spelers te berekenen. Toegepast op AI kent SHAP aan elk kenmerk in de invoer een bijdrage toe aan de uiteindelijke voorspelling.
Ook in de gezondheidszorg spelen zwarte-doosmodellen een rol. Systemen die foto's van het netvlies analyseren om diabetische retinopathie vroegtijdig op te sporen, of huidfoto's beoordelen op mogelijke huidkanker, halen soms een nauwkeurigheid die vergelijkbaar is met die van ervaren artsen. Tegelijk kunnen de ontwikkelaars zelf vaak niet volledig verklaren welke visuele kenmerken precies de doorslag gaven bij een individuele diagnose, wat vragen oproept over hoeveel vertrouwen artsen en patiënten aan zo'n uitkomst mogen ontlenen.
Als antwoord op de groeiende vraag naar praktische hulpmiddelen bracht IBM Research in 2019 de opensourcetoolkit AI Explainability 360 uit, een verzameling algoritmen waarmee ontwikkelaars verschillende uitlegtechnieken op hun eigen modellen kunnen toepassen.
Hoe ver is de techniek?
Uitlegbare AI is een actief onderzoeksveld, maar er bestaat geen definitieve oplossing die het probleem volledig wegneemt. De meeste huidige technieken, zoals LIME en SHAP, leveren benaderingen op: ze simuleren hoe het model zich rond een bepaalde voorspelling gedraagt, maar geven geen volledig, letterlijk inzicht in wat er intern gebeurt. Critici wijzen erop dat zulke verklaringen soms misleidend eenvoudig ogen, terwijl het onderliggende model nog steeds ondoorgrondelijk blijft.
De opkomst van grote taalmodellen, zoals de systemen achter moderne chatbots, heeft het probleem eerder groter dan kleiner gemaakt. Deze modellen bevatten honderden miljarden parameters, veel meer dan de systemen waarvoor LIME en SHAP oorspronkelijk werden ontworpen. Een nieuwere onderzoeksrichting, 'mechanistic interpretability' genoemd, probeert letterlijk in kaart te brengen welke interne onderdelen van een neuraal netwerk welke concepten representeren. Dit werk staat nog in een pril stadium en is tot nu toe vooral toegepast op relatief kleine onderdelen van grote modellen.
Ondertussen zet ook wetgeving druk op de ontwikkeling. De Europese AI-verordening (AI Act), die in 2024 formeel van kracht werd, verplicht aanbieders van AI-systemen met een hoog risico tot technische documentatie en een mate van traceerbaarheid, zodat toezichthouders en gebruikers kunnen nagaan hoe een systeem tot zijn uitkomsten komt. De verplichtingen worden gefaseerd ingevoerd tot in 2027, en het is nog niet volledig uitgekristalliseerd hoe streng deze regels in de praktijk zullen worden gehandhaafd, mede omdat volledige technische transparantie bij de grootste modellen simpelweg niet altijd haalbaar is met de huidige stand van de wetenschap.
Wie werken eraan?
Het Amerikaanse defensie-onderzoeksagentschap DARPA financierde tussen 2017 en 2021 het programma Explainable Artificial Intelligence (XAI), dat gericht was op het ontwikkelen van machine-learningtechnieken die zowel goed presteren als uitlegbaar zijn. Dit programma gaf een belangrijke impuls aan het academische onderzoeksveld.
Aan universiteiten leverde vooral de University of Washington baanbrekend werk met LIME en SHAP. Ook Stanford, met het Stanford Institute for Human-Centered Artificial Intelligence (HAI), en het Massachusetts Institute of Technology (MIT) doen onderzoek naar interpreteerbaarheid en verantwoorde AI.
In de bedrijfswereld investeren grote technologiebedrijven in eigen tools: IBM met AI Explainability 360, Google met interpretatiehulpmiddelen zoals het 'What-If Tool', en AI-laboratoria als OpenAI en Anthropic met onderzoek naar mechanistic interpretability, waarbij Anthropic dit als een van de kernpijlers van zijn veiligheidsonderzoek beschouwt.
Op regelgevend niveau speelt de Europese Unie een sturende rol via de AI Act, terwijl in de Verenigde Staten en het Verenigd Koninkrijk verschillende toezichthouders eigen richtlijnen ontwikkelen voor transparantie en verantwoording bij geautomatiseerde besluitvorming, mede gebaseerd op eerdere regelgeving zoals artikel 22 van de Europese privacywetgeving AVG (GDPR), die sinds 2018 burgers bepaalde rechten geeft rond volledig geautomatiseerde besluiten met belangrijke gevolgen.