Wetenschap was te veel gericht op vernieuwing

Case

Wetenschap was te veel gericht op vernieuwing

Jelte Wicherts: ‘Niet hals over kop laboratorium invliegen en dan maar data verzamelen’

Psychologen lopen voorop als het gaat om het onderkennen van de ‘crisis in de wetenschap’, zegt Jelte Wicherts. Met Vidi-financiering bracht hij de afgelopen jaren diverse problemen en hobbels in kaart. Dankzij de Consolidator Grant van de ERC bezit hij nu de financiële armslag om nieuwe onderzoeks- en meetmethodes vorm te geven die tot betere en robuuste resultaten moeten leiden. ‘Onderzoekers zijn gewoon mensen, met al hun feilen en falen. De uitkomsten moeten vertrouwenwekkender.’

De kersverse hoogleraar methodologie aan Tilburg University – sinds 1 april dit jaar – zetelt op de zevende verdieping van het S-gebouw op de campus. De dag voor ons gesprek fungeerde hij als promotor bij de verdediging van een van zijn aio’s, die onderzoek verrichtte naar bias en falen onder wetenschappers. Een uitloper van het Vidi-project van Wicherts. ‘Ik ben erg trots op Coosje Veldkamp. Ze deed het uitstekend.’

Gedegen methodologie

Onderzoek is mensenwerk. Er was weinig bekend over de effecten van verwachtingen die leven bij onderzoekers als het gaat om de uitkomst van hun statistische analyses. Tijdens de Vidi werden veelvoorkomende fouten onderzocht en ontwikkelden Wicherts en zijn team remedies en modelmatige correcties voor vertekeningen die daardoor optreden.

Wicherts: ‘Coosje Veldkamp stuitte bijvoorbeeld tijdens het doorvlooien van onderzoeksresultaten in andermans artikelen op simpele rekenfouten, typefouten en afrondingsfouten, die vervolgens van invloed waren op de statistische uitkomsten. Hoe kun je die voorkomen? Dat maakt het zo fascinerend, naast de – volkomen begrijpelijke en menselijke – wens onder onderzoekers om onbewust naar een interessante uitkomst toe te werken en wellicht patronen te zien die er niet zijn. En dat geldt vanzelfsprekend niet alleen voor gedragspsychologen – alle disciplines zijn er gevoelig voor. Van het grootste belang is het vooraf uitrollen van een gedegen methodologie. Niet hals over kop het laboratorium invliegen en dan maar data verzamelen.’

Portretfoto van Jelte Wicherts (Tilburg University)Foto: Tilburg University

Jelte Wicherts (1976) stamt uit Amersfoort. Zijn oorspronkelijke roeping lag in de artsenij, maar uitloting voor de studie medicijnen bracht hem aan een Belgische universiteit. ‘Daar kwam ik via studenten in andere richtingen in contact met de ‘wetenschap’ – daarvan had ik voordien geen enkele notie. Dat was zo’n vaag begrip voor me. Ik had besloten psychologie te gaan studeren en was na verloop van tijd volstrekt gegrepen. Mijn proefschrift (uit 2007) handelt over het gebruik van psychometrische modellen voor testscores.’

De expertise van Jelte Wicherts werd de psychometrie (kortweg: hoe meet men menselijke eigenschappen?) en psychologische methodenleer. Met graagte zet hij de komende jaren zijn tanden in een replicatieproject dat eerder dit jaar werd gefinancierd door NWO. Replicatie van een onderzoek beoogt de robuustheid van de eerder verkregen resultaten te testen. In het geval van NWO gaat het om de herhaling van onderzoek dat ’n enorme impact heeft gehad op werk- en denkwijze van collega’s en studenten: als springplank voor vervolgstudies of als basis voor leerstof, zogenoemd ‘hoeksteenonderzoek’.

Hoeksteenonderzoek

Wicherts: ‘In dit geval gaan wij hoeksteenonderzoek herhalen dat handelt over Stereotype Threat (ST), oftewel ‘stereotiepe bedreiging’ en de koppeling met wiskundige prestaties bij vrouwen. Indertijd maakte dit onderzoek, een mogelijke verklaring voor het verschil in aantallen vrouwelijke en mannelijke wiskundigen, veel indruk. Stereotype Threat (ST) is de angst om in een groep aan een stereotiep beeld te moeten voldoen. Eerdere experimenten toonden aan dat in ‘veilige’ situaties – zonder die bedreiging dus – vrouwen betere wiskundige prestaties vertonen.’

Foto: Shutterstock

Deze studies hadden grote wetenschappelijke en maatschappelijke impact. Er werd beleid op bepaald. Maar klopten de resultaten ook? Er rezen meteen twijfels rond de grootte van de samples van deze ST-experimenten en de vooraf getoetste rekenvaardigheden bij de proefpersonen. Maar toch bleven collega-wetenschappers en beleidsmakers erop teruggrijpen.

Wist u dat? In de VS alleen al is meer dan 50 miljoen dollar aan onderzoek naar Stereotype Threat gespendeerd

Het ST-fenomeen

‘Het ST-fenomeen gaan we nu op grootschalige wijze opnieuw toetsen,’ aldus Wicherts in zijn Tilburgse werkkamer. ‘We moeten per se weten of die tests kloppen. ST is een belangrijk fenomeen in onze maatschappij. Er worden talloze studies naar uitgevoerd. In de VS alleen al heeft men meer dan 50 miljoen dollar aan dit onderzoek gespendeerd. Maar de individuele studies zijn vaak klein en de analyses erg flexibel. Grote vertekeningen zijn mogelijk. Er is bijna nooit ‘preregistratie’, een protocol waarin een onderzoeker vooraf vastlegt wát men gaat onderzoeken, en hóe men deze hypothese beoogt te toetsen. Uitkomsten kunnen dus minder robuust zijn dan  je denkt. Een van mijn aio’s heeft inmiddels een ontzettend goed experiment uitgevoerd onder duizend havo- en vwo-scholieren. Dat kan wat opleveren hoor!’

Een replicatie van 150.000 euro is veel geld voor één studie, beaamt Wicherts. ‘Maar het moet goed zijn! Het onderzoeksprotocol dat we hiervoor hebben opgesteld is het beste van het beste. Labs van over de hele wereld kunnen deelnemen. Dan weten we ook of en hoe dit ST-fenomeen in andere landen optreedt: bij wie en bij wie niet.’

De ‘mislukte’ studies zien we nooit; data lijken soms helemaal verdwenen
- Jelte Wicherts

De psychometrist verdedigt een duidelijke stellingname. ‘Wetenschap is veel te veel gericht geweest op vernieuwing. De ‘mislukte’ studies zien we nooit.

En wat te denken van het delen van data? Veel onderzoekers zijn niet bereid of in staat hun data te delen. Om maar een voorbeeld te noemen: de scores in IQ-tests zijn over de jaren toegenomen. Op zich een fascinerend fenomeen. Maar hebben alle IQ-testjes dezelfde meeteigenschappen als vroeger? Antwoord is nee. Waar zijn de data van al die IQ-tests gebleven? Geen idee. Er is onnoemelijk veel verloren gegaan. Wat blijft er dan over van al die resultaten? Niet veel, zou ik zeggen.’

Jelte Wicherts beoogt vooral de onderzoeksmethode te verbeteren. ‘Onderzoekers zijn gewoon mensen, met al hun feilen en falen. Maar de uitkomsten moeten vertrouwenwekkender. Dat is nuttiger voor de wetenschap én voor de maatschappij. En: NWO moet vooral niet onderschatten hoe belangrijk de financieringsmogelijkheid voor deze replicatiestudies is.’

Op woensdag 15 november gaat de tweede ronde van het pilotprogramma Replicatiestudies open, voor de disciplines maatschappij- en gedragswetenschappen, gezondheidsonderzoek en zorginnovatie.

Meer informatie