[Dit is een gastblog van onze RS-collega Daan Rutten]
Tijdens de Open Access week zet LIS een aantal wetenschappers in de schijnwerper, omdat ze veel betekenen voor Open Science. We hebben een van deze Open Science Champions geinterviewd: Michèle Nuijten.
De sociale wetenschappen verkeren in een replicatiecrisis. Michèle Nuijten, docent en onderzoeker bij de Tilburg School of Social and Behavioral Sciences (TSB), ziet maar een remedie: Open Science.
Wanneer ze studenten uitlegt dat wetenschap niet hetzelfde is als de waarheid vertellen, kan ze zich de deceptie goed voorstellen. Ook zij begon optimistisch of ‘ietwat naïef’ als student met een rotsvast vertrouwen in de waarheid van de wetenschap. Tijdens de studie groeide het besef dat je wel heel gemakkelijk kon spelen met data en statistiek.
En dan hebben we het niet eens over wetenschappelijke fraude à la Diederik Stapel, de Tilburgse psycholoog die in 2011 werd ontmaskerd door zijn promovendi. Het gaat om veelgebruikte statistische handelingen die niet verboden zijn, maar wel arbitrair zijn en het verschil kunnen uitmaken of een verband ‘significant’ mag heten of niet. Je kunt gemakkelijk spelen met data. De vraag is dan of het aangetoonde verband wel bestaat.Een belangrijk artikel uit 2015 leerde dat twee derde van het psychologische onderzoek bij herhaling niet aantoont wat het belooft. Een desillusie voor velen, maar Nuijten zag het anders: ‘Ik zag een grote kans. De materie boeide enorm. En er was een uitdagende opgave: om het allemaal beter te gaan doen. Je kunt treurig worden van het feit dat veel wetenschap op los zand berust, maar een crisis is ook vaak een goed instapmoment.’
Tijdens de research master aan de Universiteit van Amsterdam was ze bezig met de ontwikkeling van een programma dat de statistische rapportage in een wetenschappelijk artikel automatisch navolgt. In een paar seconden geeft Statcheck, zoals het heet, informatie over statistische inconsistenties. Bedenkelijke resultaten kunnen op deze manier worden opgespoord. In de periode dat ze de basis legde voor Statcheck kwam er plots een promotieplek vrij bij de Tilburgse hoogleraar Jelte Wicherts. Het thema: de replicatiecrisis. Nuijten besloot haar tweejarige researchmaster om te zetten in een eenjarige masterstudie, zodat ze op tijd over het masterdiploma beschikte waarmee ze kon solliciteren. Ze werd aangenomen in Tilburg. Statcheck werd ontwikkeld en zorgde voor een aardbeving in het wetenschappelijke landschap. Een grote steekproef van 30.000 artikelen leerde dat de helft van de artikelen in de psychologie ten minste één statistische inconsistentie bevat. Bij een achtste van de artikelen zat er een fout in die mogelijk de statistische conclusie kon veranderen. Sommige wetenschappers voelden zich aan de schandpaal genageld, maar de Tilburgse onderzoeksgroep kreeg ook grote waardering. Het tijdschrift Science zag Nuijten als onderdeel van de ‘Truth Squad’, het departement Methoden en Technieken van Onderzoek dat schoon schip maakte na het echec van Diederik Stapel.
In die tijd raakte de notie van ‘Open Science’ steeds meer in zwang. Nuijten: ‘Eerder was ik vooral bezig met onderzoek naar onderzoek en dan vooral waar het misgaat in de onderzoekspraktijk. Je kunt natuurlijk steeds laten zien waar anderen het fout doen, maar op een zeker moment moet je ook een verhaal hebben van hoe het dan wel zou moeten. Steeds meer werd gesproken over wat gemunt is als Open Science.. Het is een containerbegrip waarin van alles kan worden ondergebracht, maar ik focus me op de transparantie en robuustheid van onderzoek. Ik vind dat we zoveel mogelijk informatie in een vroeg stadium moeten delen: van hypotheses tot scripts, modellen en formules. Wanneer je anderen mee laat kijken, voorkom je de verleiding om bochten af te snijden en kunnen onschuldige fouten worden ontdekt en hersteld.’
Niet iedereen gelooft in het heil van Open Science. Want waarom zouden we bijvoorbeeld de hypotheses vastleggen als ze toch moeten worden bijgesteld? Een onderzoek verandert nu eenmaal voortdurend, wordt dan gezegd. Nuijten vindt dat geen goed tegenargument: ‘Natuurlijk verandert de onderzoeksopzet vaak nog tijdens het onderzoek, maar pre-registratie maakt dat het transparant wordt wat onderzoekers hebben gedaan om tot een resultaat te komen. Je mag best aanpassen, maar laat dat dan zien en laat ook zien waar het mis ging of wat bij nader inzien minder interessant bleek.’ Zoveel mogelijk elementen van gedane onderzoeken zouden terug te vinden moeten zijn. ‘Er is veel nadruk op positieve resultaten, negatieve resultaten verdwijnen in de lade omdat wetenschappers en tijdschriften het niet interessant genoeg vinden. Maar het is essentieel om te weten dat hetzelfde onderzoek misschien wel veel vaker is uitgevoerd, terwijl de werking van dezelfde behandeling of een medicijn hier geen effect toonde. Stel dat er een onderzoek is dat zegt dat een medicijn werkt, terwijl 99 andere papers geen positieve werking bevestigen. Dat is relevante informatie die te denken geeft.’ Open Science zegt dat we alle bouwstenen moeten kunnen zien, ook als ze niet hebben geleid tot goed nieuws.
Nuijten begon zelf vrijwel meteen met data delen: ‘Dat voelde goed en eigenlijk heel natuurlijk.’ En haar studenten krijgen ook aangeleerd om meteen volgens de principes van open science te werken. Ze laat masterstudenten al hun onderzoeksopzet registeren op bijvoorbeeld het Open Science Framework, OSF, een veelgebruikt platform voor wetenschappelijke samenwerkingsverbanden en het registreren en delen van onderzoekinformatie, data en preprints. ‘Studenten kunnen zich gemakkelijk aanpassen, die komen binnen als een blank slate. Voor hen is open science normaal.’
Toch begrijpt Nuijten ook dat Open Science niet altijd mogelijk is. Vanwege privacy bijvoorbeeld, of bedrijfsgevoelige informatie. Maar wat haar betreft is Open Science geen ijzeren wet. Ze wil niet dogmatisch zijn: ‘Eerder zou ik voorstellen om data te delen en Open Science te omarmen waar het kan en mag en wanneer het goed voelt.’ En het hoeft ook niet allemaal in een keer helemaal goed: ‘Toen ik begon als PhD-student, had ik de neiging om met het vingertje te wijzen, maar als je dan zelf projecten gaat draaien en probeert zoveel mogelijk je eigen adviezen en regels op te volgen, blijkt het ingewikkelder dan gedacht. Ik zie nu ook wel dat er wel heel veel op onderzoekers af komt. Mijn suggestie: probeer eerst maar eens een enkele Open Science methode te integreren in je werk, en dan misschien eerst nog maar half. Misschien kan je niet al je data zomaar online aanbieden, maar kan je je dataset wel op een verantwoorde manier archiveren zodat een opvolger of collega er nog bij kan, ook als je zelf niet meer betrokken bent bij het onderzoek. Misschien kan je wel het analysescript delen, of de hypotheses middels preregistratie. Het is belangrijk dat wetenschappers hun koudwatervrees overwinnen en gewoon beginnen te experimenteren met Open Science. Blijf positief, alleen dan lukt het om ingesleten gewoontes te veranderen.’
0 Comments.