Adaptieve toetsing: hoe een toets zich aanpast aan de kandidaat
Stel je voor: je doet een rekentoets en de eerste vraag is van gemiddeld niveau. Maak je die goed, dan krijg je meteen een moeilijkere vraag. Maak je hem fout, dan volgt een makkelijkere. Zo past de toets zich na elke vraag aan jouw niveau aan, net als een ervaren examinator die tijdens een mondeling gesprek slimmer doorvraagt naarmate hij meer over je kennis te weten komt. Dat is in de kern adaptieve toetsing: een toets die meebeweegt met de kandidaat in plaats van iedereen exact dezelfde vragen in dezelfde volgorde voor te leggen.
Het tegenovergestelde is de klassieke papieren toets, waarin alle leerlingen dezelfde vaste set vragen krijgen. Voor een zeer sterke leerling zijn de meeste vragen dan te makkelijk en zeggen ze weinig over wat hij werkelijk kan; voor een zwakke leerling zijn veel vragen te moeilijk en levert dat vooral frustratie op. Een adaptieve toets probeert dit te verhelpen door sneller naar het niveau van de individuele kandidaat toe te bewegen, met als gevolg dat de toets vaak korter kan zijn terwijl de meting nauwkeuriger wordt, juist ook aan de uitersten van de schaal.
Wat is het precies?
Adaptieve toetsing steunt op een tak van de statistiek die Item Respons Theorie (IRT) heet. Bij IRT wordt niet simpelweg het aantal goede antwoorden opgeteld, maar wordt van elke vraag ("item") vooraf statistisch bepaald hoe moeilijk hij is en hoe goed hij onderscheid maakt tussen sterke en zwakke kandidaten. Dat gebeurt door de vraag eerst bij grote groepen mensen af te nemen en de resultaten te analyseren; pas daarna komt de vraag beschikbaar voor een adaptieve toets.
Al die doorgemeten vragen samen vormen een itembank: een grote, gekalibreerde voorraad vragen met bekende moeilijkheidsgraad. Een computerprogramma kiest hieruit voor elke kandidaat een eigen route. De toets begint meestal met een vraag van gemiddelde moeilijkheidsgraad. Na elk antwoord berekent het algoritme een nieuwe schatting van het vaardigheidsniveau van de kandidaat en zoekt het de vraag uit de bank die op dát niveau de meeste statistische informatie oplevert, meestal een vraag die ongeveer vijftig procent kans op een goed antwoord geeft bij de huidige schatting.
Dit proces herhaalt zich totdat een stopregel wordt bereikt: een vast aantal vragen is gesteld, of de onzekerheid rond de geschatte vaardigheid (de "standaardfout") is klein genoeg. Een variant is multistage testing, waarbij niet na elke vraag maar na een blok van vragen wordt aangepast; dit is makkelijker te controleren op inhoud en kwaliteit en wordt daarom door grote toetsaanbieders steeds vaker verkozen boven aanpassing na elke afzonderlijke vraag.
Wat wil men ermee bereiken?
Het belangrijkste doel is meetnauwkeurigheid met minder vragen. Een vaste toets moet voor alle niveaus geschikte vragen bevatten en is daardoor al snel lang; een adaptieve toets kan met aanzienlijk minder vragen een even nauwkeurige of zelfs nauwkeurigere schatting geven, omdat vrijwel elke vraag informatief is voor die specifieke kandidaat.
Daarnaast speelt welzijn van de kandidaat mee: minder tijdverlies aan te makkelijke of te moeilijke vragen betekent minder verveling en minder frustratie, en dus mogelijk een eerlijker beeld van wat iemand kan. Voor toetsaanbieders is er ook een praktisch voordeel: doordat elke kandidaat een andere combinatie van vragen krijgt, is het lastiger om antwoorden door te seinen of toetsen letterlijk te onthouden en later te delen, wat de beveiliging van het examen ten goede komt.
In het onderwijs wordt adaptieve toetsing daarnaast ingezet voor diagnostiek en het volgen van voortgang: niet alleen meten wát een leerling kent, maar precies vaststellen waar de grens van zijn kunnen ligt, zodat lesstof daarop kan worden afgestemd. Dat maakt adaptieve toetsing een brug tussen toetsing en adaptief leren, waarbij oefenstof zich eveneens aanpast aan het niveau van de leerling.
Voorbeelden uit de praktijk
De GRE (Graduate Record Examination), gebruikt voor toelating tot Amerikaanse universitaire masteropleidingen, was een van de eerste grootschalige toepassingen: toetsontwikkelaar ETS voerde in 1993 een itemgewijze computeradaptieve versie in. Sinds 2011 werkt de GRE met een aangepaste, minder fijnmazige vorm van adaptiviteit op sectieniveau (multistage testing) in plaats van na elke losse vraag.
De GMAT, het toelatingsexamen voor MBA-opleidingen, is sinds 1997 adaptief. In 2023 introduceerde toetsingsorganisatie GMAC de "GMAT Focus Edition", met adaptiviteit zowel binnen als tussen onderdelen.
In Nederland ontwikkelt Cito, van oudsher de toetsontwikkelaar voor het funderend onderwijs, al decennia adaptieve toetsen en onderdelen van leerlingvolgsystemen, waarbij het niveau van de vragen zich aanpast aan de leerling om nauwkeuriger te kunnen vaststellen waar iemand staat, ook aan de boven- en onderkant van de leerlingpopulatie.
De Duolingo English Test, sinds 2016 online beschikbaar en inmiddels geaccepteerd door duizenden universiteiten wereldwijd als alternatief voor de traditionele TOEFL of IELTS, is volledig adaptief opgebouwd.
ALEKS (Assessment and Learning in Knowledge Spaces), ontwikkeld vanuit onderzoek van wiskundige Jean-Claude Falmagne en sinds de jaren negentig commercieel beschikbaar, combineert adaptieve toetsing met adaptief oefenmateriaal voor met name wiskunde en wordt gebruikt door scholen en universiteiten wereldwijd.
Hoe ver is de techniek?
De onderliggende statistiek van adaptieve toetsing is volwassen: Item Respons Theorie bestaat sinds de jaren zestig en zeventig van de vorige eeuw, en computeradaptieve toetsing wordt al sinds begin jaren negentig op grote schaal ingezet bij examens als de GRE en GMAT. In die zin is dit geen opkomende maar een gevestigde technologie.
Toch zijn er praktische obstakels. Het opbouwen van een goede itembank is duur en tijdrovend: elke vraag moet eerst bij voldoende mensen zijn afgenomen voordat de moeilijkheidsgraad statistisch betrouwbaar bekend is. Veelgebruikte vragen "verslijten" doordat kandidaten ze onderling delen, wat continue aanvulling van de itembank vereist. Er is voortdurend spanning tussen meetnauwkeurigheid (liefst itemgewijze aanpassing) en praktische beheersbaarheid en eerlijkheid van de inhoud (liefst grotere, vooraf gecontroleerde blokken vragen), wat verklaart waarom veel grote toetsaanbieders inmiddels naar multistage-varianten zijn overgestapt.
Een actueel aandachtspunt is het automatisch genereren van nieuwe itembankvragen met behulp van taalmodellen, wat de dure kalibratiestap zou kunnen versnellen. Dit staat echter nog in een experimentele fase en roept eigen vragen op over de kwaliteit en betrouwbaarheid van machinaal gegenereerde vragen. Ook blijft eerlijkheid tussen groepen — bijvoorbeeld voorkomen dat een toets systematisch ongunstig uitpakt voor een bepaalde groep kandidaten — een blijvend punt van onderzoek en discussie in de psychometrie, adaptief of niet.
Wie werken eraan?
In de Verenigde Staten is ETS (Educational Testing Service), de organisatie achter onder meer de GRE en TOEFL, een van de grondleggers van grootschalige computeradaptieve toetsing. Voor de GMAT is de Graduate Management Admission Council (GMAC) verantwoordelijk. Onderwijsorganisatie NWEA ontwikkelt met MAP Growth een veelgebruikte adaptieve voortgangstoets voor Amerikaanse basis- en middelbare scholen.
In Nederland is Cito de belangrijkste partij, met nauwe banden met onderzoeksgroepen op het gebied van psychometrie aan onder meer de Universiteit Twente, van oudsher een centrum voor onderzoek naar toetstheorie en meetmethoden in het onderwijs.
Op internationaal niveau zet de OESO (OECD) adaptieve elementen in bij delen van het PISA-onderzoek, de internationale vergelijking van leerprestaties van 15-jarigen. Vakverenigingen als de National Council on Measurement in Education (NCME) en beroepsorganisaties als de American Psychological Association (APA) stellen kwaliteits- en ethische standaarden op waaraan (adaptieve) toetsen wereldwijd worden getoetst.