Classificatiemodel
Stel je voor dat je duizenden brieven moet sorteren: reclame in de ene bak, facturen in de andere, persoonlijke post in een derde. Na verloop van tijd herken je aan het uiterlijk van de envelop, het lettertype en de afzender vaak al snel in welke bak een brief hoort, zonder hem te hoeven openen. Een classificatiemodel is in essentie een computerprogramma dat precies dit doet, maar dan met data in plaats van brieven: het kijkt naar kenmerken van iets - een foto, een tekst, een geluidsfragment, een medisch scanbeeld - en wijst het toe aan een van tevoren vastgestelde categorie.
Classificatiemodellen behoren tot de meest gebruikte vormen van kunstmatige intelligentie (AI) en machine learning, de tak van de informatica waarbij computers patronen leren herkennen uit voorbeelden in plaats van dat een programmeur elke regel expliciet voorschrijft. Of het nu gaat om een spamfilter die rommelpost uit je inbox houdt, een app die inschat of een moedervlek verdacht is, of een systeem dat bepaalt of een banktransactie fraude betreft: overal waar iets in hokjes moet worden ingedeeld op basis van data, kan een classificatiemodel worden ingezet.
Wat is het precies?
Een classificatiemodel wordt niet met vaste regels geprogrammeerd, maar getraind aan de hand van voorbeelden. Dat proces verloopt in een aantal stappen.
Eerst verzamelt men een trainingsdataset: een grote verzameling voorbeelden waarvan het juiste antwoord al bekend is. Voor een spamfilter zijn dat duizenden e-mails die mensen vooraf hebben gelabeld als "spam" of "geen spam". Voor een medisch model zijn dat röntgenfoto's waarvan artsen al hebben vastgesteld of er een tumor op staat.
Uit elk voorbeeld worden vervolgens kenmerken (in vaktaal: features) gehaald: meetbare eigenschappen waarop het model zich kan baseren. Bij een e-mail kunnen dat veelvoorkomende woorden zijn, bij een foto de kleur- en helderheidswaarden van elke beeldpunt.
Een algoritme - een wiskundig recept - past daarna zijn interne instellingen (parameters) net zo lang aan totdat het model de voorbeelden zo goed mogelijk correct indeelt. Dit heet trainen. Bekende algoritmen zijn logistische regressie, beslisbomen en support vector machines, en sinds de jaren 2010 steeds vaker neurale netwerken: wiskundige structuren die losjes zijn geïnspireerd op hersencellen en die via "deep learning" (leren met veel opeenvolgende rekenlagen) zeer complexe patronen kunnen herkennen.
Na het trainen wordt het model getest op nieuwe voorbeelden die het nog niet heeft gezien, om te controleren of het niet simpelweg de trainingsvoorbeelden uit zijn hoofd heeft geleerd (overfitting) maar ook goed werkt op onbekende gevallen. Belangrijke maatstaven zijn nauwkeurigheid (hoeveel procent goed is), precisie (van de gevallen die het model "positief" noemt, hoeveel kloppen er echt) en recall (van alle werkelijk positieve gevallen, hoeveel worden er gevonden). Dit onderscheid is belangrijk, want een model met een hoge algemene nauwkeurigheid kan toch slecht presteren op precies de categorie die ertoe doet, bijvoorbeeld een zeldzame ziekte.
Eenmaal getraind en goedgekeurd, wordt het model ingezet: het krijgt nieuwe, ongelabelde data te zien en voorspelt daarbij de categorie. Dat laatste heet inferentie.
Wat wil men ermee bereiken?
Het doel van een classificatiemodel is vrijwel altijd hetzelfde: een taak die normaal veel mensenwerk, tijd of expertise kost, sneller, goedkoper of op grotere schaal uitvoeren dan mensen dat zouden kunnen.
Een menselijke moderator kan onmogelijk elke video bekijken die dagelijks wordt geüpload; een classificatiemodel kan in seconden duizenden uploads doorlichten op verboden inhoud. Een arts kan maar een beperkt aantal scans per dag beoordelen; een getraind model kan in potentie duizenden scans doorlichten en de meest verdachte gevallen bovenaan de stapel leggen, zodat schaarse artsentijd daar het eerst naartoe gaat.
Daarnaast streeft men naar consistentie: een model classificeert in theorie elke keer volgens dezelfde criteria, terwijl mensen worden beïnvloed door vermoeidheid, stemming of vooroordelen. Al brengen modellen overigens hun eigen vooringenomenheid mee, afhankelijk van de data waarmee ze zijn getraind - een model dat vooral op foto's van lichte huid is getraind, herkent huidaandoeningen op donkere huid soms slechter.
Tot slot vormen classificatiemodellen vaak de bouwstenen van grotere AI-systemen. Een zelfrijdende auto moet voortdurend classificeren of een object op de weg een voetganger, fietser, verkeersbord of ander voertuig is, voordat hij kan beslissen hoe te reageren. Chatbots gebruiken classificatiemodellen om te bepalen of een bericht bijvoorbeeld een klacht, een vraag of ongepaste taal bevat.
Voorbeelden uit de praktijk
In 2012 wonnen onderzoekers Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton van de University of Toronto de invloedrijke ImageNet-wedstrijd met AlexNet, een diep neuraal netwerk dat foto's moest indelen in duizend categorieën. Het model verkleinde de foutmarge in één klap zo sterk dat het gezien wordt als het startpunt van de huidige deep-learning-golf.
In 2017 publiceerden onderzoekers van Stanford University in het tijdschrift Nature een studie waarin een classificatiemodel foto's van huidaandoeningen even goed indeelde in "goedaardig" of "kwaadaardig" als gecertificeerde dermatologen - een van de eerste overtuigende voorbeelden van medische beeldclassificatie op menselijk niveau.
Een jaar eerder, in 2016, beschreven onderzoekers van Google in het medische tijdschrift JAMA een classificatiemodel dat diabetische retinopathie (een oogaandoening die tot blindheid kan leiden) herkent op foto's van het netvlies. Het systeem werd later, onder de naam Automated Retinal Disease Assessment (ARDA), ingezet in klinieken in onder meer India en Thailand, waar te weinig oogartsen zijn om alle diabetespatiënten te screenen.
Veel alledaagser, maar minstens zo invloedrijk: Google gebruikt al sinds de vroege jaren van Gmail classificatiemodellen om spam te herkennen, tegenwoordig gebaseerd op neurale netwerken die via het framework TensorFlow zijn getraind. Het bedrijf meldt dat het overgrote deel van alle spam, ruim 99 procent, wordt onderschept voordat een gebruiker het ooit ziet.
Ook bij contentmoderatie op sociale platforms, zoals het detecteren van haatzaaiende taal of expliciete beelden op Meta's platforms, draaien classificatiemodellen op de achtergrond mee als eerste filter, vaak aangevuld met menselijke beoordelaars voor twijfelgevallen.
Hoe ver is de techniek?
Voor goed afgebakende taken met veel beschikbare, gelabelde data is classificatie inmiddels volwassen technologie: op benchmarks zoals ImageNet daalde de foutmarge van ongeveer 26 procent in 2011 naar minder dan 3 procent enkele jaren later, lager dan de geschatte menselijke foutmarge van circa 5 procent op diezelfde taak. Dat soort resultaten zegt echter vooral iets over prestaties op nette, gestandaardiseerde testdata.
In de praktijk blijven er belangrijke obstakels. Modellen presteren vaak slechter zodra de data waarmee ze in het echt te maken krijgen, afwijkt van de trainingsdata - denk aan een ziekenhuis met andere scanapparatuur dan waarmee het model is getraind. Ze kunnen vooroordelen uit de trainingsdata overnemen en versterken. Veel modellen, vooral grote neurale netwerken, zijn bovendien lastig te doorgronden: ze geven een antwoord, maar niet altijd een navolgbare reden waarom, wat problematisch is in bijvoorbeeld de zorg of rechtspraak. Tot slot blijken classificatiemodellen gevoelig voor kleine, soms voor mensen onzichtbare aanpassingen aan invoerdata die het model volledig om de tuin kunnen leiden.
Mede daardoor worden classificatiemodellen voor gevoelige toepassingen, zoals medische diagnostiek, in de praktijk pas na uitgebreide klinische validatie en goedkeuring door toezichthouders ingezet, en niet automatisch zodra ze op papier goed scoren. De Europese Unie heeft met de AI-verordening (AI Act), aangenomen in 2024, bovendien classificatiesystemen voor onder meer medische toepassingen, kredietbeoordeling en biometrische herkenning aangemerkt als "hoogrisico", met extra eisen op het gebied van transparantie, toezicht en documentatie.
Wie werken eraan?
Grote techbedrijven zetten fors in op classificatietechnologie, vaak als onderdeel van bredere AI-onderzoeksafdelingen: Google en het bijbehorende onderzoekslab DeepMind, Meta AI, Microsoft, Amazon (met onder meer de beeldherkenningsdienst AWS Rekognition) en chipmaker Nvidia, die de rekenkracht levert waarop veel van deze modellen draaien.
Fundamenteel onderzoek komt daarnaast van universiteiten als Stanford, MIT en de University of Toronto - waar met AlexNet een belangrijke doorbraak plaatsvond - en van Oxford. In Nederland doen onder meer de TU Delft, de Universiteit van Amsterdam en de Radboud Universiteit Nijmegen (met sterke focus op medische beeldclassificatie) onderzoek naar classificatiemodellen, vaak in samenwerking met toegepast-onderzoeksinstituut TNO en het Centrum Wiskunde & Informatica (CWI) in Amsterdam.
Op regelgevend vlak speelt vooral de Europese Unie een sturende rol met de AI Act, terwijl in de Verenigde Staten instanties als de FDA (voor medische toepassingen) een vergunningsrol vervullen voordat classificatiemodellen in de klinische praktijk mogen worden gebruikt.