Onderzoekers: ‘Kijk niet alleen naar wetenschappelijke kwaliteit'
Twee derde van de onderzoekers staat positief of neutraal tegenover het tellen van publicaties om wetenschappers en hun subsidieaanvragen te beoordelen. Maar wat de meerderheid ook vindt: per vakgebied mogen er gerust andere beoordelingscriteria bestaan. Dit blijkt uit een enquête die NWO liet uitvoeren onder bijna tweeduizend onderzoekers aan Nederlandse kennisinstellingen.
Wie de discussies over wetenschapsbeleid de afgelopen jaren volgt, zou geneigd zijn te denken dat de kritiek op het belonen op basis van publicaties en citaties breed gedragen wordt. De bekende klaagroep publish or perish heeft geleid tot invloedrijke initiatieven als Science in Transition, Open Science en de San Francisco Declaration on Research Assessment. Bij NWO worden op dit moment zelfs alle verwijzingen naar de H-index uit de subsidieaanvragen en criteria verwijderd. Het is dan ook opmerkelijk dat slechts 34 procent van de onderzoekers aan Nederlandse kennisinstellingen lijkt af te willen van het systeem dat bibliometrische gegevens gebruikt om wetenschappers te beoordelen. Een derde staat positief tegenover het huidige systeem, nog een derde staat er neutraal tegenover. Van de mannen en de bèta’s staat zelfs zeven op de tien positief of neutraal tegenover het huidige systeem. Het zijn vooral vrouwen (41 procent), alfa’s en gamma’s (46 procent) die kritisch zijn op de bestaande manier van belonen en waarderen.
100 procent verdelen
We vroegen de onderzoekers ook waarop ze beoordeeld willen worden. Ze konden 100 procent verdelen over de volgende aspecten: wetenschappelijke kwaliteit, maatschappelijke impact, onderwijs, leiderschap & talentontwikkeling en overig.
Op dit moment is de wetenschappelijke kwaliteit doorslaggevend bij het al dan niet ontvangen van een subsidieaanvraag. Bijdragen aan onderwijs en leiderschap & talentontwikkeling zijn vooral aan de orde bij universiteiten en soms bij de tweede geldstroom (zo is leiderschap een voorwaarde bij de Vici-beurs). Behalve bij het NWO-domein Technische en Toegepaste wetenschappen en bij de Nationale Wetenschapsagenda spelen maatschappelijke toepassingen van kennis doorgaans een kleine rol bij granting.
Bijdrage aan onderwijs telt
En wat vindt de gemiddelde onderzoeker? Volgens de enquête moeten wetenschappers voor de helft afgerekend worden op de wetenschappelijke kwaliteit die ze leveren. Bij de beoordeling door de werkgever moet dat voor 47 procent meetellen, bij de beoordeling door NWO of andere subsidieverstrekkers is dat hoger: 60 procent. Dat klinkt logisch, het gaat immers om een aanvraag voor onderzoek. Bij beoordeling door de werkgever vinden de respondenten onderwijs (22 procent) en leiderschap (14 procent) belangrijker dan bij een oordeel over een subsidieaanvraag (respectievelijk 8 en 10 procent). Desondanks is het opvallend dat onderzoekers – uit álle vakgebieden – bij het aanvragen van een subsidie voor onderzoek óók beoordeeld willen worden op hun bijdrage aan onderwijs (16 procent) en op leiderschap (12 procent).
Relevant voor samenleving
Bij een subsidieaanvraag mag maatschappelijke impact – in de vragenlijst omschreven als het oplossen van een maatschappelijk vraagstuk, het benutten en/of delen van kennis, valorisatie, wetenschapscommunicatie en opinievorming – voor 19 procent van de respondenten meetellen. Onderzoekers in de maatschappij- en gedragswetenschappen en technische wetenschappen hechten het meest aan het belang voor de samenleving (respectievelijk 21 en 26 procent). De behoefte aan maatschappelijk relevant onderzoek is sinds de jaren negentig gestaag toegenomen (denk aan de societal challenges uit Brussel, het topsectorenbeleid en de NWA) en dit lijkt dus op instemming van de onderzoekers te kunnen rekenen. Het is niet alleen de overheid of de maatschappij die aan academici vraagt om nuttige kennis, wetenschappers vinden het zelf zó belangrijk dat ze er voor 20 procent op beoordeeld – en waarschijnlijk ook gewaardeerd – willen worden.
Team science in opkomst
In de categorie ‘andere criteria’ (3 procent) is de weerstand tegen het Mattheuseffect opvallend (het fenomeen waarbij veel subsidie gaat naar een beperkt aantal toponderzoekers). De respondenten tikten: ‘Stel een limiet aan het aantal NWO-gefinancierde posities binnen een groep om de huidige scheefgroei te corrigeren’; ‘Kijk naar reeds ontvangen subsidies en geef nieuwkomers meer kans’ en zelfs: ‘Elk beoordelingssysteem moet rich get richer-fenomenen vermijden.’
Daarnaast klinkt de groeiende behoefte aan het waarderen van werken in teams. Wetenschap is meer en meer teamwork, maar het huidige systeem zou daar onvoldoende rekening mee houden. Wij legden dan ook de volgende stelling voor: ‘Naast individuele prestaties moeten ook samenwerking en prestaties van een team meewegen.’ Daar is 78 procent voor als het gaat om het oordeel van de werkgever. Twee derde vindt dat samenwerking een rol mag spelen bij het beoordelen van een subsidieaanvraag.
Liever valide dan objectief
Omdat NWO en ZonMw op dit moment vormen van beoordeling verkennen die niet zijn gebaseerd op publicaties, vroegen we wat onderzoekers belangrijk vinden bij het ontwikkelen van nieuwe criteria. Moeten ze vooral meten wat je wilt meten (valide), moeten ze objectief en onderling vergelijkbaar zijn, of zijn andere aspecten belangrijk? Om de respondenten te dwingen tot prioriteren, mochten ze maximaal twee antwoorden geven. Van de 748 respondenten vinden 441 dat de beoordeling vooral valide moet zijn. Dat is fors meer dan objectief (292) of onderling vergelijkbaar (254). Hier is een interessant kruisverband gevonden: respondenten die positief staan tegenover het huidige systeem vinden objectiviteit belangrijker (50 procent) dan respondenten die hier negatief tegenover staan (26 procent). Dit komt overeen met de evaluaties en ervaringen rond het huidige systeem: het meet niet exact wat je wilt meten, maar is behoorlijk objectief.
Onderscheid tussen disciplines
Een zesde van de respondenten geeft aan ook andere aspecten belangrijk te vinden. In de toelichtingen kwam het toepassen van maatwerk het vaakst naar voren. De beoordeling moet ‘contextueel’ zijn: afhankelijk van het vakgebied, de discipline en het profiel van de wetenschapper. ‘Stem de beoordeling af op het specifieke traject en de prestaties van de aanvrager. Het is belangrijk om een diversiteit van geselecteerde aanvragers te hebben, die het pluralisme van academisch werk en de samenleving als geheel weerspiegelt.’ De spontane antwoorden sluiten nauw aan bij de stelling in de laatste vraag: ‘Ik vind dat er per vakgebied andere beoordelingscriteria mogen zijn.’ Daar is maar liefst 86 procent het mee eens. Een duidelijk signaal.
Welke beoordelingscriteria verdienen meer aandacht? Vier perspectieven
Onderwijs
Christine Espin, Hoogleraar Leerproblemen en Orthopedagogische Interventies in Onderwijs, Universiteit Leiden
‘Soms komen studenten naar me toe en zeggen: je hebt mijn manier van denken veranderd of ik ga het vanaf nu anders aanpakken. Dat is leuk, want dan merk ik dat ik invloed heb. In zo’n reactie zit de vertaling van mijn onderzoek en mijn leservaring, en hopelijk nemen studenten dat mee als ze later zelf met leerlingen of leerkrachten werken.’
‘Ik vind dat het onderwijs en docenten zich doorlopend moeten blijven verbeteren. Ik en twee collega’s zijn recent een onderzoek gestart naar hoe onderwijs voor studenten met leerproblemen, zoals dyslexie, autisme en ADHD kan verbeteren. We weten nog heel weinig van studenten die op een andere manier leren. Dat is een uitdaging voor de universiteit. Ik zou willen dat daar veel meer aandacht voor komt.’
Voor onderzoekers is onderwijs belangrijk, het is een manier om kennis te vertalen naar de praktijk
‘Ik denk dat onderwijs zeer belangrijk is voor onderzoekers. Het is een manier om kennis te vertalen naar de praktijk. Sinds vijftien à twintig jaar merk ik dat er meer aandacht is voor onderwijskwaliteit. Ik denk dat universiteiten steeds meer laten zien dat onderzoek en onderwijs allebei belangrijk zijn. Er wordt bijvoorbeeld gepraat over de bevordering van UD naar UHD primair op basis van onderwijsprestaties. Het is natuurlijk een universiteit, dus onderzoek blijft belangrijk, maar het zou kunnen dat de balans per persoon verschilt.’
Nieuwsgierigheid
Monica Wagner, Promovendus, Donders Institute for Brain, Cognition and Behaviour, Nijmegen
‘Familie en vrienden vragen weleens wat ik doe en waar het goed voor is. Sommige mensen begrijpen het beroep van wetenschapper niet helemaal. Ze denken dat alle wetenschap toegepast onderzoek is om problemen op te lossen. Ik probeer altijd uit te leggen dat de mens nieuwsgierig is en dat onderzoek fascinerend kan zijn. Neem een foto van een zwart gat: iedereen vindt het leuk, ook al weten ze niet precies waar het goed voor is.’
Fundamenteel onderzoek heeft ook waarde zonder concrete doelen
‘Ik onderzoek waarom de ene persoon een tweede taal vloeiender en zonder accent uitspreekt dan de ander. Sommige mensen klinken als een native speaker, terwijl anderen dat nooit lukt. Ervaring is belangrijk, maar talent speelt ook mee. De vraag is bijvoorbeeld of mensen met een goede uitspraak vooral goede imitatoren zijn en hoe dat komt. Het blijkt een complex vraagstuk, eigenlijk te groot voor vier jaar. That’s the nature of the beast. Je vindt antwoorden én vooral meer vragen.’
‘Toen ik mijn aanvraag indiende voor mijn promotie, moest ik ook mogelijke toepassingen aangeven. Het is wel goed om daarbij stil te staan, maar fundamenteel onderzoek heeft ook waarde zonder die concrete doelen, want toepassingen van kennis kunnen ook later ontstaan. Je kunt dat niet voorspellen.’
Impact
Bart Knols, Medisch entomoloog, Science, Management and Innovation, RU Nijmegen
‘Naast mijn werk aan de universiteit ben ik consultant en mede-eigenaar van een social enterprise in Oeganda, die klamboes bedrukt. Als je een logo van voetbalclub Manchester United op een klamboe zet, gaan duizenden Oegandese jongetjes erom zeuren bij hun ouders. Daar heb je geen hardcore wetenschap voor nodig, maar het levert wel ongekende mogelijkheden op in de malariabestrijding.’
‘Het is geweldig om jonge mensen in Nijmegen, Tanzania en Oeganda te enthousiasmeren om met kennis een verschil te maken. Die motivatie ontstond bij mij uit frustratie over het feit dat er duizenden malaria-papers per jaar verschijnen, maar in Afrika nog altijd met DDT wordt gespoten. Ik wilde niet langer aan de zijlijn staan. Ik zou me opvreten na een carrière met veel publicaties en eervolle prijzen, zonder betekenisvol te zijn geweest. Ik wil oplossingen verzinnen.’
Ik zou me opvreten na een carrière met veel publicaties, zonder betekenisvol te zijn geweest
‘We kijken in de wetenschap nog altijd te veel naar publicaties en citaties. Ik zou willen dat er een relevance index of impact index komt in plaats van een citation index. Al vind ik eigenlijk dat je onderzoekers überhaupt niet moet afrekenen op indexen of milestones. Vroeger dacht ik bij het bedrijfsleven aan zakkenvullers, maar inmiddels verkies ik vaker bedrijfsmatig denken boven het academisch gedachtengoed. In het bedrijfsleven staan de neuzen dezelfde kant op, terwijl op de universiteit kleine koninkrijkjes onderling concurreren. Ik schipper dus tussen die twee plekken en dat vind ik eigenlijk wel prima.’
Talentontwikkeling
Marcel van den Hout, Hoogleraar Klinische Psychologie, Universiteit Utrecht
‘Ik vind het begeleiden van promovendi een van de aangenaamste aspecten van het vak. Je werkt met getalenteerde, gedreven mensen, die zich een aantal jaar wijden aan de wetenschap. Ze komen binnen en moeten nog veel leren, maar aan het einde van de rit hebben ze je als het goed is niet meer nodig. Ze groeien uit tot collega. Dat is zeer bevredigend en feestelijk.’
‘Onderzoeksmanagement en promotiebegeleiding zijn geloof ik geen zaken waarmee je veel krediet verwerft. Maar welk criterium je ook kiest: publicaties, promoties of onderwijs – als het gaat over het honoreren van prestaties, wil je niet dat mensen zich daarnaar gaan gedragen. In het verleden is dat een beetje uit de hand gelopen. Er hing te veel af van publicaties bij personeelswerving en visitaties. Het tellen van papers is overzichtelijk, maar heeft allerlei neveneffecten als je alleen daarop carrières bouwt. Overigens denk ik dat de laatste jaren ook andere prestaties en indices in een mengverhouding worden bekeken, om een genuanceerder beeld te krijgen.’
Bij het honoreren van prestaties, wil je niet dat mensen zich daarnaar gaan gedragen
‘Ik zou willen dat er voor een nieuwe generatie onderzoekers een premie komt te staan op kwaliteit. Laat onderzoekers zoveel schrijven als ze willen, maar maak vooraf duidelijk dat besluiten over bijvoorbeeld een aanstelling of bevordering worden genomen op basis van de beste publicatie per twee jaar. Dat is het tegenovergestelde van de tactiek waartoe jonge onderzoekers nu worden verleid.’
Online enquête
In april 2019 heeft bureau Markteffect in opdracht van NWO een online enquête uitgevoerd. Zij benaderden onderzoekers die in de eerste drie maanden van 2019 een aanvraag bij NWO hebben ingediend voor onder andere Veni- en Vici-beurzen, de open competitie van NWO-domeinen ENW en TTW, en promotiebeurzen in de geesteswetenschappen.1940 onderzoekers ontvingen op 5 april een uitnodigingsmail. Op 16 april hadden daarvan 748 – anoniem – de online enquête ingevuld. Het responspercentage komt daarmee op 39 procent, waardoor de antwoorden met een zekerheid van 95 procent en nauwkeurigheid van 2,8 procent generaliseerbaar zijn voor de doelgroep. De volledige rapportage van Markteffect staat op nwo.nl.