Interpreteerbaarheid: kijken in de black box van kunstmatige intelligentie
Stel je een enorm brein voor met miljarden verbindingen, dat feilloos gedichten schrijft, code programmeert en vragen beantwoordt — maar waarvan niemand precies weet hoe het tot zijn antwoorden komt. Dat is de situatie met moderne AI-systemen zoals ChatGPT en Claude. Ze zijn opgebouwd uit kunstmatige neurale netwerken die tijdens hun training zelf hebben uitgevogeld welke patronen belangrijk zijn, zonder dat een programmeur dat proces stap voor stap heeft voorgeschreven. Interpreteerbaarheid is het onderzoeksveld dat probeert die black box open te breken: te achterhalen wat er intern gebeurt tussen de vraag die je intypt en het antwoord dat verschijnt.
Een bruikbare analogie is een brein-scan bij een neuroloog. Je kunt iemand vragen "waarom hield je van dat schilderij?" en een verklaring krijgen, maar die verklaring hoeft niet overeen te komen met wat er werkelijk in de hersenen gebeurde — mensen verzinnen achteraf plausibele redenen. Interpreteerbaarheidsonderzoekers willen niet afgaan op wat een AI-model zegt te denken, maar willen letterlijk in de "neuronen" van het model kijken om te zien welke interne signalen daadwerkelijk het antwoord bepaalden.
Wat is het precies?
Een taalmodel bestaat uit lagen kunstmatige neuronen die getallen doorgeven en bewerken. Bij elke laag worden patronen in tekst omgezet in lange rijen getallen, vectoren genoemd, die samen een soort interne "gedachte" vormen. Het probleem is dat één neuron meestal niet één duidelijk begrip vertegenwoordigt. Eén neuron kan tegelijk meebepalen of een zin over Frankrijk gaat, of een deel-door-nul fout in code, én of een gedicht rijmt. Dit verschijnsel heet polysemanticiteit: neuronen zijn veelbetekenend in plaats van één-op-één gekoppeld aan een begrip.
Om hier grip op te krijgen gebruiken onderzoekers verschillende technieken. Bij mechanistische interpreteerbaarheid wordt een model letterlijk gedemonteerd: onderzoekers volgen hoe informatie van laag tot laag stroomt en proberen kleine subnetwerken — circuits genoemd — te identificeren die een specifieke taak uitvoeren, bijvoorbeeld het herkennen van namen in een zin.
Een tweede, invloedrijke aanpak is de sparse autoencoder. Dit is een hulpmodel dat de verwarde, polysemantische activiteit van een neuraal netwerk herschrijft naar een veel grotere set "features" die elk wél overwegend één helder begrip vertegenwoordigen — zoals "ironie", "de Golden Gate Bridge" of "onveilige code". Door aan zo'n feature te draaien (het kunstmatig sterker of zwakker te maken) kunnen onderzoekers zien welk effect dat heeft op de output, en zo controleren of hun interpretatie van dat begrip klopt.
Daarnaast bestaan eenvoudigere, oudere technieken zoals saliency maps (welke invoerwoorden kregen de meeste "aandacht" van het model) en methodes als LIME en SHAP, die niet in het model zelf kijken maar van buitenaf testen hoe de uitvoer verandert als je de invoer een beetje aanpast. Dat laatste heet ook wel post-hoc uitlegbaarheid: een verklaring achteraf, niet per se de werkelijke interne oorzaak.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is veiligheid. Naarmate AI-systemen meer autonome taken uitvoeren — code schrijven, e-mails beantwoorden, beslissingen voorbereiden — wordt het risicovoller als niemand kan controleren waarom een model iets doet. Interpreteerbaarheid moet het mogelijk maken te ontdekken of een model liegt, verborgen doelen nastreeft, of gevoelig is voor manipulatie, nog vóór dat in de praktijk misgaat.
Een tweede doel is vertrouwen en verantwoording. In sectoren als de gezondheidszorg, financiële dienstverlening en rechtspraak is een AI-advies pas bruikbaar als een arts, bankmedewerker of rechter kan navragen waarom het systeem tot die conclusie kwam. De Europese AI-verordening (AI Act), die vanaf 2024 gefaseerd van kracht wordt, verplicht voor risicovolle toepassingen zelfs een vorm van transparantie en uitlegbaarheid.
Tot slot hoopt men dat interpreteerbaarheid simpelweg leidt tot beter begrip en betere modellen. Als je weet welke interne mechanismen tot fouten leiden — bijvoorbeeld hallucinaties, waarbij een model overtuigd klinkende onzin verzint — kun je gerichter bijsturen in plaats van te blijven gokken met meer trainingsdata.
Voorbeelden uit de praktijk
Een van de bekendste doorbraken kwam van AI-bedrijf Anthropic. In 2023 publiceerde het onderzoek getiteld "Towards Monosemanticity", waarin een sparse autoencoder voor het eerst duizenden interpreteerbare features blootlegde in een klein taalmodel. In mei 2024 volgde "Scaling Monosemanticity", waarin dezelfde techniek werd toegepast op het grote productiemodel Claude 3 Sonnet. Daaruit kwam onder meer een feature naar voren die reageerde op de Golden Gate Bridge; door die feature kunstmatig te versterken ontstond de publiek gedemonstreerde "Golden Gate Claude", een versie van het model die in vrijwel elk antwoord op de brug terugkwam — een speelse maar overtuigende illustratie dat interne features daadwerkelijk gedrag sturen.
Onderzoeker Chris Olah, eerst bij Google Brain en later medeoprichter van Anthropic, publiceerde al in 2020 met collega's het "Circuits"-onderzoek op het wetenschappelijke platform Distill, waarin ze lieten zien hoe beeldherkenningsnetwerken specifieke, herkenbare subnetwerken bevatten voor bijvoorbeeld het detecteren van hoeken of dierenkoppen. Dit werk geldt als een van de fundamenten van het huidige veld.
OpenAI onderzocht in 2023 of een groot taalmodel gebruikt kon worden om de functie van neuronen in een ánder, kleiner model automatisch in gewone taal te beschrijven — een poging om interpreteerbaarheidswerk te schalen zonder dat mensen elk neuron met de hand hoeven te bekijken.
Ook in de rechtszorg zijn praktijkvoorbeelden te vinden: onderzoekers hebben SHAP- en LIME-achtige technieken toegepast op modellen die medische beeldherkenning doen (zoals het opsporen van tumoren op röntgenfoto's), om artsen inzicht te geven in welke delen van een scan de diagnose van het model beïnvloedden, zodat zij de uitkomst kunnen toetsen in plaats van blind te vertrouwen.
Bij Google DeepMind loopt sinds enkele jaren onderzoek naar interpreteerbaarheid van grote taalmodellen, onder meer gericht op het opsporen van "deceptive alignment" — de hypothetische situatie waarin een model zich anders gedraagt tijdens training dan tijdens daadwerkelijk gebruik.
Hoe ver is de techniek?
Interpreteerbaarheid van kleine, eenvoudige modellen is inmiddels behoorlijk volwassen: onderzoekers kunnen voor sommige taken vrij precies aanwijzen welke onderdelen van een netwerk verantwoordelijk zijn. Bij de allergrootste taalmodellen, met honderden miljarden parameters, staat het werk nog in de kinderschoenen. Sparse autoencoders zoals die van Anthropic konden in 2024 miljoenen features blootleggen, maar dat is naar schatting nog altijd maar een fractie van alle begrippen die zo'n model intern gebruikt — en de features die wél gevonden worden, zijn niet altijd scherp afgebakend.
Een fundamenteel obstakel is dat interpreteerbaarheidsonderzoek trager schaalt dan de modellen zelf: elke generatie taalmodellen wordt groter en complexer, terwijl het analyseren van hun binnenkant handmatig en rekenintensief werk blijft. Er bestaat bovendien geen goede, algemeen aanvaarde manier om te bewijzen dat een gevonden "verklaring" ook echt klopt — onderzoekers moeten voortdurend controleren of hun interpretatie geen toeval is.
Toch is de vooruitgang meetbaar: waar onderzoekers een aantal jaar geleden nog vooral naar losse neuronen in kleine netwerken keken, worden nu betekenisvolle features en zelfs eenvoudige "redeneerstappen" in productiemodellen zoals Claude en GPT-4 blootgelegd. Veel experts, waaronder mensen bij Anthropic zelf, noemen interpreteerbaarheid desondanks een race tegen de klok: kan het begrip van deze systemen de groei van hun mogelijkheden bijbenen?
Wie werken eraan?
Anthropic geldt momenteel als koploper en heeft een apart interpreteerbaarheidsteam met een eigen publicatieplatform. Ook OpenAI en Google DeepMind hebben onderzoeksgroepen die zich specifiek op dit onderwerp richten, naast hun werk aan grotere en krachtigere modellen.
Aan universiteiten lopen eveneens actieve onderzoekslijnen, onder meer aan de University of Cambridge, het Massachusetts Institute of Technology (MIT) en in Nederland bij groepen die zich bezighouden met uitlegbare AI (explainable AI, afgekort XAI) aan onder meer de Universiteit van Amsterdam en de TU Delft. Non-profitorganisaties zoals Redwood Research in de Verenigde Staten richten zich specifiek op AI-veiligheid en interpreteerbaarheid.
Op beleidsniveau speelt vooral de Europese Unie een rol, met de AI Act als eerste brede wetgeving die transparantie-eisen aan bepaalde AI-toepassingen stelt. In de Verenigde Staten en het Verenigd Koninkrijk zijn overheidsinstituten voor AI-veiligheid opgericht — het UK AI Safety Institute en het Amerikaanse AI Safety Institute — die onder meer onderzoek naar interpreteerbaarheid financieren en toepassen bij het testen van nieuwe modellen.