Trainingsartefact: waarom AI soms de verkeerde lessen leert

Bijgewerkt: 27 augustus 2026 · 6 min leestijd

Een trainingsartefact is een patroon dat een kunstmatige-intelligentiesysteem tijdens het leren oppikt, niet omdat dat patroon iets echts over de wereld zegt, maar omdat het toevallig aanwezig was in de trainingsgegevens. Het systeem 'werkt', maar om de verkeerde reden. Vergelijk het met een scholier die voor een proefwerk geschiedenis niet de stof leert, maar ontdekt dat de docent bij lastige vragen altijd het langste antwoord als juist aanmerkt. De leerling scoort goed, maar heeft niets begrepen over geschiedenis: hij heeft een eigenaardigheid van de toetsmaker geleerd.

Bij AI-systemen die op grote hoeveelheden data worden getraind, gebeurt precies zoiets. Een beeldherkenner die moet leren wolven van huskyhonden te onderscheiden, kan bijvoorbeeld ontdekken dat wolven op de trainingsfoto's toevallig vaker in de sneeuw staan. Het systeem leert dan sneeuw te herkennen in plaats van wolven, en faalt zodra het een wolf zonder sneeuw op de foto krijgt. Zulke sluiproutes noemen onderzoekers trainingsartefacten, en ze vormen een van de hardnekkigste problemen in de ontwikkeling van betrouwbare AI.

Wat is het precies?

Machine-learningmodellen, waaronder de neurale netwerken achter beeldherkenning en taalmodellen zoals ChatGPT, leren niet door regels te krijgen voorgeschoteld. Ze leren door in enorme hoeveelheden voorbeelden statistische verbanden te zoeken tussen invoer (bijvoorbeeld een foto) en gewenste uitvoer (bijvoorbeeld het label 'wolf'). Het model kent geen betekenis toe aan wat het ziet; het optimaliseert simpelweg om zo vaak mogelijk het juiste antwoord te geven op de trainingsdata.

Het probleem is dat trainingsdata bijna nooit perfect neutraal is samengesteld. Er sluipen toevallige correlaties in: bepaalde achtergronden, fotograferingshoeken, watermerken, schrijfstijlen van de mensen die de data hebben verzameld, of technische kenmerken van de apparatuur waarmee data zijn opgenomen. Als zo'n toevallig kenmerk sterk samenhangt met het juiste antwoord, is het voor het model vaak makkelijker om dát kenmerk te herkennen dan het onderliggende concept dat de mens eigenlijk bedoelde. Onderzoekers noemen dit ook wel 'shortcut learning': het model neemt de kortste weg naar een hoge score, niet de weg die tot echt begrip leidt.

Een trainingsartefact ontstaat dus niet doordat het model een fout maakt in de klassieke zin. Het model doet precies wat het gevraagd is: de trainingsfout minimaliseren. Het probleem zit in de data en in de manier waarop het leerproces is ingericht, niet in een 'bug' in de code. Dat maakt het lastig op te sporen: het model presteert vaak uitstekend op de testset, omdat die testset dezelfde eigenaardigheden bevat als de trainingsset.

Wat wil men ermee bereiken?

Onderzoek naar trainingsartefacten is geen doel op zich, maar een noodzakelijke stap om AI-systemen te bouwen die betrouwbaar werken buiten het lab. Als een medisch beeldherkenningssysteem een ziekte niet leert herkennen aan echte medische kenmerken maar aan een toevallig watermerk van een bepaald ziekenhuis, dan faalt het zodra het in een ander ziekenhuis wordt ingezet. Dat kan letterlijk levensgevaarlijk zijn.

Daarnaast raken trainingsartefacten aan eerlijkheid en vooringenomenheid (bias) in AI. Wanneer trainingsdata scheve maatschappelijke patronen bevat, bijvoorbeeld omdat historische sollicitatiedata overwegend mannen bevatten, kan een model die scheefheid overnemen als een 'geldig' signaal, met discriminerende gevolgen. Het opsporen en corrigeren van dit soort artefacten is daarom een kernonderdeel van verantwoorde AI-ontwikkeling.

Tot slot is dit onderzoek van belang voor de wetenschappelijke geloofwaardigheid van AI zelf. Als blijkt dat spectaculaire resultaten op benchmarks deels te danken zijn aan artefacten in plaats van aan werkelijk 'begrip' of redeneervermogen, dan geeft dat een vertekend beeld van hoe intelligent deze systemen daadwerkelijk zijn. Onderzoekers willen weten of vooruitgang echt is, of slechts het gevolg van steeds beter leren gokken binnen de eigenaardigheden van een dataset.

Voorbeelden uit de praktijk

Een bekend vroeg voorbeeld komt uit 2016, toen onderzoekers Marco Tulio Ribeiro, Sameer Singh en Carlos Guestrin met hun interpretatietechniek LIME een beeldclassifier bouwden die 'wolf' en 'husky' moest onderscheiden. Het model bleek vrijwel volledig te steunen op de aanwezigheid van sneeuw in de achtergrond in plaats van op kenmerken van het dier zelf, precies het voorbeeld dat later een schoolvoorbeeld werd voor het uitleggen van trainingsartefacten.

In de taalverwerking toonden Suchin Gururangan en collega's in 2018 met hun paper 'Annotation Artifacts in Natural Language Inference Data' aan dat populaire datasets voor natuurlijke-taal-redenering, zoals SNLI, verborgen patronen bevatten. Modellen konden tot ruim 60-70 procent van de vragen goed beantwoorden puur op basis van woordkeuzes in de zin zelf, zonder de bijbehorende context te lezen, omdat de menselijke opstellers van de dataset onbewust bepaalde woorden gebruikten wanneer ze een bepaald type antwoord bedachten.

In de dermatologie is meermaals gedocumenteerd dat AI-systemen voor het herkennen van huidkanker op foto's soms leren op irrelevante signalen zoals chirurgische markeringsstickers, linialen die artsen naast verdachte plekken leggen, of paarse markeringspennen, omdat kwaadaardige moedervlekken in trainingsdata vaker met dat soort medische markeringen waren gefotografeerd dan goedaardige.

In 2018 werd bekend dat Amazon een intern experimenteel wervingsalgoritme had stopgezet nadat bleek dat het systeem cv's van vrouwen systematisch lager waardeerde. Het model was getraind op tien jaar aan historische sollicitaties, een periode waarin de techsector overwegend mannelijke kandidaten aannam, en had dat scheve patroon als een geldig criterium overgenomen.

Onderzoekers Robert Geirhos en collega's van de Universiteit van Tübingen lieten in 2019 zien dat standaard beeldherkenningsnetwerken getraind op de ImageNet-dataset veel sterker leunen op textuur dan op vorm: een foto van een kat met de textuur van een olifant erop geplakt, werd vaak als 'olifant' herkend. Mensen doen precies het omgekeerde en herkennen vooral vormen, wat liet zien hoe anders het 'zicht' van deze modellen in werkelijkheid functioneert.

Hoe ver is de techniek?

Het opsporen van trainingsartefacten is een actief en snel groeiend onderzoeksveld, maar een volledige oplossing bestaat niet. Er zijn wel steeds betere gereedschappen gekomen: interpretatietechnieken zoals LIME en SHAP laten zien welke pixels of woorden het zwaarst meewegen in een beslissing, zodat onderzoekers verdachte kortere wegen kunnen opsporen. Ook wordt steeds vaker gewerkt met 'stress tests' en 'adversarial' voorbeelden: opzettelijk lastige of misleidende testgevallen om te zien of een model écht begrijpt wat het doet.

Bij grote taalmodellen, de systemen achter chatbots, is het probleem extra hardnekkig omdat de trainingsdata bestaat uit vrijwel het hele publiek toegankelijke internet. Niemand kan die dataset nog handmatig controleren op verborgen patronen, en modellen worden steeds groter en ondoorzichtiger. Onderzoek naar 'mechanistic interpretability', het letterlijk uitpluizen van wat individuele onderdelen van een neuraal netwerk doen, staat nog in de kinderschoenen maar wordt gezien als een belangrijke weg om artefacten in de toekomst systematischer op te sporen.

Een belangrijk obstakel blijft dat artefacten per definitie vaak onopgemerkt blijven totdat het model in de praktijk faalt, bijvoorbeeld bij een ander ziekenhuis, een andere taal of een ander cultureel publiek dan waarop is getraind. Regelgevers, waaronder de Europese Unie met de AI-verordening, verplichten daarom in toenemende mate testen op robuustheid en representativiteit van trainingsdata voor risicovolle toepassingen, al is de praktische handhaving daarvan nog volop in ontwikkeling.

Wie werken eraan?

Academisch onderzoek naar trainingsartefacten en shortcut learning komt onder meer uit de groep van Robert Geirhos en Matthias Bethge aan de Universiteit van Tübingen, en uit onderzoek van Sameer Singh (Universiteit van Californië, Irvine) en Carlos Guestrin (Universiteit van Washington), de auteurs achter de LIME-methode. Ook Stanford University en het Allen Institute for AI hebben met werk over annotatie-artefacten in taaldata een grote rol gespeeld.

Grote AI-bedrijven investeren eveneens in interpretatie- en robuustheidsonderzoek: Google DeepMind en OpenAI publiceren regelmatig over hoe hun modellen beslissingen nemen, en Anthropic voert onderzoek naar 'mechanistic interpretability' om te doorgronden welke interne patronen taalmodellen daadwerkelijk gebruiken. Op beleidsniveau zetten het Amerikaanse National Institute of Standards and Technology (NIST) met zijn AI Risk Management Framework en de Europese Unie met de AI-verordening standaarden voor het testen van AI-systemen op dit soort verborgen kwetsbaarheden.