Reproduceerbaarheidscrisis: waarom wetenschappelijke resultaten vaak niet overeind blijven
Stel je voor: een kok publiceert een receptenboek en beweert dat zijn chocoladetaart altijd perfect lukt. Tien andere koks volgen het recept exact — dezelfde ingrediënten, dezelfde hoeveelheden, dezelfde oventemperatuur. Toch krijgen zes van hen een taart die inzakt of flauw smaakt. Zoiets speelt zich al ruim tien jaar af in de wetenschap, en het heeft een naam gekregen: de reproduceerbaarheidscrisis.
Het probleem is simpel te omschrijven: wanneer onderzoekers een gepubliceerd experiment overdoen volgens dezelfde methode, komt er regelmatig een ander resultaat uit dan de oorspronkelijke studie beweerde. Dat klinkt misschien als een detailkwestie voor academici, maar het raakt de kern van wat wetenschap betrouwbaar maakt: als resultaten niet herhaalbaar zijn, hoe weten we dan of ze kloppen? De crisis speelt in vrijwel elk vakgebied, van psychologie tot medicijnonderzoek, en sijpelt inmiddels ook door naar snel groeiende terreinen zoals kunstmatige intelligentie.
Wat is het precies?
Wetenschappers maken onderscheid tussen twee begrippen die vaak door elkaar worden gebruikt. Reproduceerbaarheid betekent dat iemand anders, met dezelfde data en dezelfde analysemethode, exact dezelfde uitkomst krijgt. Replicatie gaat een stap verder: een onafhankelijk team verzamelt nieuwe data volgens dezelfde onderzoeksopzet en kijkt of het effect opnieuw optreedt. De crisis speelt zich vooral af op het niveau van replicatie: hetzelfde experiment, opnieuw uitgevoerd, levert vaak geen bevestiging op.
Waarom gaat dit mis? Een belangrijke oorzaak is p-hacking: onderzoekers proberen, bewust of onbewust, net zo lang met data te schuiven (andere subgroepen bekijken, uitschieters weglaten, extra metingen toevoegen) totdat een statistisch "significant" resultaat verschijnt. Significantie wordt doorgaans uitgedrukt in een p-waarde: de kans dat een gevonden verband toeval is. Bij een p-waarde onder 0,05 spreken onderzoekers van een significant resultaat, maar bij genoeg pogingen vind je bijna altijd wel ergens toevallig zo'n uitkomst.
Een tweede oorzaak is publicatiebias: tijdschriften en onderzoekers zijn veel enthousiaster over verrassende, positieve bevindingen dan over saaie "we vonden niets"-resultaten. Studies die niets aantonen belanden vaak in een la in plaats van in een tijdschrift, waardoor het gepubliceerde beeld te rooskleurig wordt. Ten slotte spelen kleine steekproeven een rol: met weinig proefpersonen is de kans groot dat toevallige uitschieters worden aangezien voor een echt effect.
Wat wil men ermee bereiken?
De beweging die deze problemen probeert op te lossen — vaak de open-sciencebeweging genoemd — heeft een helder doel: wetenschap betrouwbaarder en transparanter maken, zodat conclusies daadwerkelijk overeind blijven wanneer anderen ze controleren. Dat is niet alleen een academische kwestie. Medicijnen die op wankele preklinische studies zijn gebaseerd, kosten vervolgens miljoenen euro's aan klinische trials die mogelijk gedoemd zijn te mislukken. Beleid dat op te enthousiast geïnterpreteerd sociaal-wetenschappelijk onderzoek steunt, kan burgers verkeerd adviseren.
De belangrijkste remedies die worden voorgesteld: preregistratie, waarbij onderzoekers vóór het verzamelen van data hun hypothese en analyseplan publiek vastleggen, zodat achteraf sleutelen aan de analyse zichtbaar wordt. Open data en open code, zodat anderen de berekeningen kunnen natrekken. En registered reports: een publicatievorm waarbij een tijdschrift een studie al accepteert op basis van de onderzoeksvraag en -opzet, nog vóórdat de resultaten bekend zijn — waardoor het niet meer uitmaakt of de uitkomst spectaculair is of saai.
Voorbeelden uit de praktijk
Het duidelijkste signaal kwam in 2015 met het Reproducibility Project: Psychology, uitgevoerd door de Open Science Collaboration onder leiding van psycholoog Brian Nosek. Het team probeerde honderd gepubliceerde psychologiestudies exact te herhalen. Slechts ongeveer een derde tot iets meer dan een derde van de replicaties leverde een even sterk effect op als het origineel — een resultaat dat destijds in het tijdschrift Science insloeg als een schokgolf.
Ook de medische sector kreeg rond dezelfde tijd een pijnlijke waarschuwing. Onderzoekers van farmaceut Amgen probeerden in 2012 (gepubliceerd door C. Glenn Begley en Lee Ellis in Nature) 53 spraakmakende preklinische kankerstudies te bevestigen. In slechts een handjevol gevallen — volgens hun rapportage minder dan een op de tien — lukte dat. Vergelijkbare pogingen bij farmaceut Bayer kwamen tot soortgelijke conclusies.
Naar aanleiding van diezelfde onrust startte het Reproducibility Project: Cancer Biology, een samenwerking tussen het Center for Open Science en Science Exchange, waarbij een reeks invloedrijke kankerbiologiestudies systematisch werd overgedaan. De resultaten, gepubliceerd in het tijdschrift eLife, lieten zien dat effecten vaak wel in dezelfde richting wezen, maar meestal veel zwakker waren dan oorspronkelijk gerapporteerd.
Het tijdschrift Nature peilde in 2016 meer dan 1.500 onderzoekers over dit onderwerp. Een ruime meerderheid gaf aan ooit te hebben gefaald in een poging om andermans experiment te reproduceren, en een aanzienlijk deel zei zelfs moeite te hebben eigen eerder werk opnieuw te bevestigen.
Recenter duikt hetzelfde probleem op in machine learning. Veel gepubliceerde AI-modellen blijken lastig na te bouwen omdat code, exacte hyperparameters of trainingsdata ontbreken, of omdat kleine willekeurige verschillen in training tot sterk uiteenlopende resultaten leiden. Initiatieven als de jaarlijkse ML Reproducibility Challenge en het platform Papers with Code proberen die transparantie te vergroten door onderzoekers te stimuleren code publiek te delen.
Hoe ver is de techniek?
De reproduceerbaarheidscrisis is geen technologie die "af" kan zijn, maar een cultuuromslag die nog volop gaande is — met ongelijke vooruitgang per vakgebied. In de psychologie is preregistratie inmiddels redelijk gangbaar en bieden honderden tijdschriften het format registered reports aan. Financiers zoals de Amerikaanse National Institutes of Health en de Europese Unie stellen bij nieuwe subsidies steeds vaker eisen aan het delen van data en methoden.
Toch blijven grote obstakels bestaan. De academische wereld beloont nog altijd vooral nieuwe, spectaculaire bevindingen; een zorgvuldige replicatiestudie levert minder aanzien en minder kans op een vaste aanstelling op dan een origineel, verrassend resultaat. Financiering voor pure replicatieonderzoeken is schaars, en "publish or perish" — de druk om voortdurend nieuwe publicaties te produceren — zet nog altijd aan tot snelheid boven zorgvuldigheid.
In de biomedische wetenschappen en in AI-onderzoek staat de beweging minder ver: daar ontbreekt het vaak nog aan gedeelde standaarden, en de complexiteit van bijvoorbeeld grote taalmodellen maakt volledige reproduceerbaarheid technisch lastig, al is het maar omdat trainingsdata soms niet openbaar wordt gemaakt of omdat modellen na publicatie worden aangepast. Er is dus reële vooruitgang, maar niemand in het veld beweert dat de crisis is "opgelost".
Wie werken eraan?
Het Center for Open Science (COS), opgericht in 2013 door psycholoog Brian Nosek in Charlottesville, Verenigde Staten, is een van de meest zichtbare spelers. Het beheert het Open Science Framework (OSF), een gratis platform waarop onderzoekers preregistraties, data en materialen kunnen delen, en organiseerde zowel het psychologie- als het kankerbiologie-replicatieproject.
Epidemioloog John Ioannidis van Stanford University geldt als een van de vroegste en invloedrijkste critici; zijn veelgeciteerde artikel "Why Most Published Research Findings Are False" uit 2005 (gepubliceerd in PLOS Medicine) legde methodologische zwakheden bloot lang voordat de term "reproduceerbaarheidscrisis" gangbaar werd.
Op het gebied van medisch bewijs speelt de Cochrane Collaboration een centrale rol door systematische reviews te maken die de kwaliteit en consistentie van klinisch onderzoek beoordelen. Grote tijdschriften zoals Nature en Science hebben eigen richtlijnen ingevoerd voor het delen van data en code bij publicatie. Ook overheidsinstanties mengen zich erin: de Amerikaanse NIH stelt sinds enkele jaren expliciete eisen aan "rigor and reproducibility" in gesubsidieerd onderzoek, en de Europese Unie verplicht bij Horizon Europe-subsidies in toenemende mate open toegang tot data. In de AI-gemeenschap zijn het vooral onderzoeksconferenties zoals NeurIPS, samen met platforms als Papers with Code, die reproduceerbaarheid als publicatiecriterium naar voren schuiven.