Train-test-inzetmodel: hoe een AI-systeem leert, wordt getoetst en de praktijk in gaat
Stel je een leerling-automobilist voor. Eerst oefent hij honderden uren met een instructeur op rustige wegen: dat is de trainingsfase. Daarna doet hij een onafhankelijk rij-examen bij een examinator die hij nog nooit heeft ontmoet, op een route die hij niet kent: dat is de testfase. Pas als hij slaagt, mag hij zelfstandig de weg op, tussen echt verkeer: dat is de inzetfase. Een train-test-inzetmodel is precies dit stramien, maar dan voor een AI-systeem in plaats van een mens.
In de praktijk zit achter vrijwel elke AI-toepassing die je dagelijks gebruikt zo'n opbouw: de spamfilter van je mailbox, de aanbevelingen op Netflix, de gezichtsherkenning op je telefoon. Eerst wordt een wiskundig model getraind op grote hoeveelheden voorbeelden, dan wordt het getest op voorbeelden die het nog nooit heeft gezien, en pas als het die toets doorstaat, wordt het 'ingezet': het draait dan echt, met echte gebruikers en echte gevolgen. Dit artikel legt uit hoe die drie fasen precies werken, waarom ze zo belangrijk zijn, en wat er kan misgaan als je ze overslaat.
Wat is het precies?
Alles begint met data: een verzameling voorbeelden waarvan het gewenste antwoord al bekend is. Denk aan duizenden foto's die zijn gelabeld als 'kat' of 'geen kat', of jaren aan transactiegegevens die zijn gemarkeerd als 'fraude' of 'legitiem'. Deze verzameling wordt opgeknipt in meestal drie delen: een trainingsset, een validatieset en een testset.
Tijdens de trainingsfase krijgt het model alleen de trainingsset te zien. Het past intern duizenden tot miljarden parameters aan om zo goed mogelijk de juiste antwoorden te voorspellen. De validatieset wordt tussentijds gebruikt om keuzes te maken over het model zelf, zoals hoeveel 'lagen' een neuraal netwerk krijgt: dit heet het afstellen van hyperparameters.
De testset, ook wel de holdout set genoemd, blijft tijdens dit hele proces volledig buiten beeld. Pas aan het einde krijgt het model deze data voor het eerst te zien, om een eerlijk, onbevooroordeeld beeld te krijgen van hoe het presteert op nieuwe, onbekende gevallen. Dit heet generalisatie: kan het model zijn kennis toepassen buiten de voorbeelden die het uit zijn hoofd heeft geleerd? Een model dat de trainingsdata te letterlijk onthoudt in plaats van er patronen uit te leren, lijdt aan overfitting: het scoort dan perfect op bekende data, maar faalt op nieuwe data. Bij kleinere datasets gebruikt men vaak cross-validation, waarbij de data meerdere keren op andere manieren wordt opgeknipt om een betrouwbaarder gemiddelde te krijgen.
Pas als een model de testfase goed doorstaat, volgt de inzetfase (in het Engels: deployment). Het model wordt dan opgenomen in een echt systeem, bijvoorbeeld een app of een fabrieksproces, waar het beslissingen neemt over echte, nieuwe gegevens. Dit gebeurt tegenwoordig zelden in één keer voor alle gebruikers: vaak wordt eerst een klein deel van het verkeer naar het nieuwe model gestuurd (canary deployment) of draait het nieuwe model stilletjes mee naast het oude zonder beslissingen te nemen, puur om te vergelijken (shadow mode). Ook na inzet stopt het proces niet: systemen worden gemonitord op data drift, het verschijnsel dat de wereld verandert waardoor de oorspronkelijke trainingsdata niet meer representatief is, en modellen worden periodiek opnieuw getraind. De discipline die deze hele levenscyclus organiseert, van data tot monitoring, heet MLOps (machine learning operations), naar analogie van DevOps in software-ontwikkeling.
Wat wil men ermee bereiken?
Het hoofddoel is vertrouwen: zonder een strikte scheiding tussen trainings- en testdata is er geen manier om te weten of een model werkelijk iets heeft geleerd, of alleen de antwoorden uit zijn hoofd heeft geleerd. Die scheiding is de wetenschappelijke basisregel die machine learning onderscheidt van simpelweg een grote database met voorbeelden.
Daarnaast wil men risico's beheersen. Een fraudedetectiemodel dat ongetest wordt ingezet, kan duizenden legitieme klanten blokkeren of juist fraude missen. Een medisch beeldherkenningsmodel dat niet grondig is getest, kan levensgevaarlijke fouten maken. De train-test-inzetcyclus dwingt ontwikkelaars om eerst bewijs te verzamelen voordat een systeem invloed krijgt op mensen.
Een derde doel is meetbaarheid en verantwoording. Doordat prestaties op een testset in cijfers zijn uit te drukken, kunnen verschillende modellen eerlijk met elkaar worden vergeleken en kan een organisatie achteraf aantonen waarom een bepaald model is gekozen. Dat is ook waarom toezichthouders, zoals bij de Europese AI-wetgeving, steeds vaker eisen dat bedrijven kunnen aantonen hoe en met welke data hun systemen zijn getest.
Voorbeelden uit de praktijk
De ImageNet-competitie (ILSVRC), die van 2010 tot 2017 jaarlijks werd gehouden, is een van de bekendste voorbeelden van deze aanpak op grote schaal: onderzoeksteams trainden beeldherkenningsmodellen op miljoenen gelabelde foto's en werden vervolgens beoordeeld op een geheime testset. De doorbraak van het model AlexNet in 2012, dat de testfoutmarge in één klap fors verlaagde, wordt algemeen gezien als het startpunt van de huidige golf van deep learning.
De Netflix Prize (2006-2009) werkte volgens hetzelfde principe voor aanbevelingssystemen: deelnemers trainden algoritmes op een deel van de kijkgeschiedenis van gebruikers en werden beoordeeld op een verborgen testset, met een miljoen dollar als prijs voor wie de voorspellingen het meest wist te verbeteren.
Bij zelfrijdende technologie gebruikt Tesla sinds ongeveer 2019 een vorm van 'shadow mode': nieuwe versies van de Autopilot-software draaien onzichtbaar mee in gewone klantvoertuigen, waar ze meekijken en hun voorspellingen vergelijken met wat de bestuurder daadwerkelijk doet, voordat een nieuwe versie daadwerkelijk het stuur mag beïnvloeden.
Grote technologiebedrijven hebben deze cyclus ook geautomatiseerd in vaste software-infrastructuur. Google introduceerde vanaf 2017 TensorFlow Extended (TFX), een intern ontwikkelde pijplijn die data-validatie, training, testen en gefaseerde uitrol aan elkaar knoopt en die het bedrijf zelf gebruikt voor onder meer Gmail-spamfilters en Google Play-aanbevelingen.
Ook in de financiële sector is dit patroon gangbaar: betaalverwerkers zoals PayPal en Adyen trainen fraudedetectiemodellen op historische transacties, testen die op recentere, nog ongebruikte transacties, en zetten nieuwe modelversies eerst naast bestaande modellen in productie om te controleren of ze daadwerkelijk beter presteren voordat ze volledig de beslissingen overnemen.
Hoe ver is de techniek?
Het train-test-inzetprincipe zelf is geen nieuwe uitvinding meer; het is al decennia de wetenschappelijke standaard binnen machine learning en wordt in elk inleidend studieboek behandeld. Wat de afgelopen tien jaar wél sterk is veranderd, is de mate waarin dit proces is geautomatiseerd en geïndustrialiseerd via MLOps-tooling, met geautomatiseerde pijplijnen die data-kwaliteit controleren, modellen trainen, testen en gefaseerd uitrollen zonder dat een mens elke stap handmatig hoeft te doen.
Toch blijven er reële knelpunten. Data drift blijft lastig te voorspellen: de wereld verandert vaak sneller dan modellen worden bijgewerkt, zoals bleek toen veel voorspellende modellen tijdens de coronapandemie plotseling onbetrouwbaar werden omdat gedragspatronen abrupt veranderden. Bij grote taalmodellen, zoals de systemen achter moderne chatbots, is bovendien een nieuw probleem ontstaan: doordat trainingsdata vaak bestaat uit enorme hoeveelheden internettekst, is niet altijd zeker of testvragen niet stiekem al ergens in die trainingsdata voorkwamen, wat testresultaten kunstmatig te rooskleurig kan maken. Dit heet benchmarkcontaminatie en is een actief punt van zorg en onderzoek.
Ook regelgeving loopt de techniek in met wisselend tempo. De Europese AI Act, die vanaf 2024 gefaseerd in werking treedt, verplicht aanbieders van zogeheten hoogrisico-AI-systemen om aantoonbaar te testen op representatieve data vóórdat een systeem op de markt of in gebruik wordt genomen, en om na inzet toezicht te houden op de prestaties. Hoe streng en praktisch uitvoerbaar deze eisen in de praktijk zullen blijken, moet nog blijken naarmate de wet stap voor stap wordt gehandhaafd.
Wie werken eraan?
De grote clouddienstverleners bieden allemaal complete gereedschapskisten voor deze cyclus. Google heeft naast het eerdergenoemde TFX ook het bredere platform Vertex AI. Amazon biedt SageMaker aan, en Microsoft heeft Azure Machine Learning. Het bedrijf Databricks ontwikkelde het populaire open-source project MLflow, dat inmiddels door talloze organisaties wereldwijd wordt gebruikt om trainings- en testresultaten bij te houden en modellen naar productie te brengen.
Op het gebied van standaardisatie speelt het Amerikaanse NIST (National Institute of Standards and Technology) een leidende rol met zijn AI Risk Management Framework, dat organisaties handvatten geeft voor het testen en bewaken van AI-systemen. In Europa coördineert het pas opgerichte EU AI Office de uitvoering van de AI Act, terwijl internationale normalisatie-instituten werken aan normen zoals ISO/IEC 42001 voor managementsystemen rond AI. Academisch onderzoek naar robuustere test- en evaluatiemethoden vindt plaats bij onder meer Stanford (Human-Centered AI Institute) en MIT, vaak in samenwerking met dezelfde techbedrijven die deze systemen ook daadwerkelijk inzetten.