Vici wetenschapsbreed beoordelen

Case

Vici wetenschapsbreed beoordelen

Vici-commissieleden doorbreken de grenzen van hun eigen discipline om het allerbeste onderzoek te selecteren voor financiering.

Waarom vraagt NWO een bioloog te oordelen over het onderzoeksvoorstel van een literatuurhistoricus? Het is eenvoudig: om het allerbeste onderzoek te selecteren voor financiering.

Impact op aanvrager en beoordeler

Maar de uitvoering is niet per se eenvoudig. Wetenschapsbrede beoordeling betekent zowel voor commissieleden als aanvragende onderzoekers nogal wat. Voor de commissie betekent het kennis nemen van andere gewoonten en tradities dan die van het eigen vak, intensieve bespreking van voorstellen en vervolgens intensieve bijeenkomsten waarin kandidaten uit uiteenlopende vakgebieden aan de tand worden gevoeld. De Vici-aanvrager wordt in het interview geconfronteerd met een veelheid aan vragen, zowel diepgravende als betrekkelijk eenvoudige, moet specifieke onderzoeksmethoden toelichten of wordt gevraagd basiskenmerken van het vakgebied uit te leggen.

Nieuwe inzichten bij beoordelen

‘Wij hebben in de Vici-commissie wel eens gediscussieerd over een onderzoeker die vrijwel geen individuele publicaties op het cv had, uitsluitend artikelen met vele co-auteurs, dat leek me vreemd’, zo licht een commissielid toe, ‘maar andere commissieleden wezen me erop dat co-publicaties in dit vakgebied eerder regel dan uitzondering zijn ‘. En er zijn meer voorbeelden van vragen die voortkomen uit het breed beoordelen, of die bij wetenschapsbreed beoordelen extra aandacht moeten krijgen: hoe belangrijk is in een vakgebied bijvoorbeeld het geven van voordrachten op conferenties ten opzichte van het publiceren in vakbladen? Wat is nu precies het vernieuwende aspect aan een onderzoeksvoorstel? Hoe legt de onderzoeker uit of de kennis die voortkomt uit het onderzoek door derden benut kan worden? En hoe vergelijk je twee onderzoekers uit uiteenlopende vakgebieden die beide uitstekende oordelen kregen van de vakdeskundige referenten?

Vici-financiering op basis van kwaliteit

In 2012 besloot NWO de Vici-financiering, een bedrag van maximaal 1,5 miljoen euro per persoon voor ongeveer dertig onderzoekers, wetenschapsbreed te verdelen. Tot die tijd werden vooraf de Veni-, Vidi- en de Vici-financieringsbudgetten over de negen wetenschapsgebieden verdeeld. Elk gebied had jaarlijks een bepaald aantal Veni’s, Vidi’s en Vici’s te verdelen, en daarbovenop werden er op advies van drie domeincommissies nog een aantal extra posities toegekend. Per onderdeel waren er zo’n drie Vici’s te verdelen. Daarmee was de impact van het vooraf toekennen van budgetten aan gebieden groot en lag het risico van suboptimale uitslagen op de loer. Het doel van Vici was en is om ongeacht discipline of gebied, over de hele linie van de wetenschap, de beste onderzoekers te financieren op basis van kwaliteit. Vooraf het geld over verschillende gebieden verdelen stond dat in de weg.

Onderzoekers die een Vici aanvragen zijn wetenschappers op hoogleraarsniveau. Van hen verwacht NWO dat ze in staat zijn hun onderzoeksvoorstel, hun methoden, de verwachtingen over hun onderzoek en de impact en mogelijke benutting van de resultaten toe te lichten in een gesprek met wetenschappers uit andere vakgebieden.

Ervaren wetenschappers moeten niet-vakgenoten van het belang van hun onderzoek kunnen overtuigen

Aanpassingen na feedback

Ook de commissieleden zijn ervaren wetenschappers, van wie NWO een brede blik verwacht en de vaardigheid om alle kandidaten vanuit een gedeelde academische denkwijze te interviewen. Die twee voorwaarden geven NWO het vertrouwen dat het mogelijk is in de Vici-competitie, zoals bijvoorbeeld al voor de jaarlijkse Spinozapremies en voor Zwaartekracht gebeurt, wetenschapsbreed te beoordelen. Maar: dit alles wel met oog voor eventuele vraagstukken die breed beoordelen met zich mee kan brengen. De twee Vici-commissies van de rondes 2012 en 2013 hebben op basis van hun ervaringen met de procedure feedback gegeven welke aspecten van de brede beoordeling nog eens goed bekeken moesten worden. Deze feedback heeft NWO ter harte genomen. Zo is voor de ronde 2014 een aantal aanpassingen gedaan. Belangrijkste is dat de uitgewerkte aanvragen samen met de referentenoordelen en weerwoorden in het domein worden beoordeeld. Dat gebeurde eerder nog wetenschapsbreed. De interviewronde wordt in 2014 net zoals in eerdere jaren door een wetenschapsbrede commissie gedaan. Ook in de komende rondes zal steeds gevolgd worden of de procedure bevredigend verloopt en of bijstelling wenselijk is. In het licht van de nieuwe NWO-strategie voor 2015-2018 zal NWO blijven bekijken hoe wetenschapsbreed beoordelen het best kan worden ingezet.

Wennen aan andere manier van werken

Het beoordelen van onderzoekers en onderzoeksvoorstellen blijft uiteraard mensenwerk. De één ligt het breed beoordelen meer dan de ander. Wetenschapsbreed beoordelen vraagt ook van de referenten meer: zij moeten hun oordeel voor niet-vakgenoten begrijpelijk formuleren. Sommige commissieleden vonden het stimulerend, maar anderen bedankten na één ronde; ze voelden zich niet prettig een oordeel te geven over een breed scala wetenschappers. Alle betrokkenen, van referent tot aanvrager en commissielid, moeten een wat andere manier van werken aanwennen.

Risico’s

Een risico van wetenschapsbreed beoordelen, stellen ervaren beoordelaars, is dat talent niet herkend wordt. Een kandidaat kan minder sterk overkomen dan een ander zonder dat te zijn, omdat zijn cv niet op de juiste manier geduid wordt door de brede commissie. De kwaliteit van alle aanvragers is hoog en de kwaliteitsverschillen tussen de aanvragers zijn klein. Het gaat om kiezen tussen zeer goed en nog iets beter. Een wetenschapsbrede commissie beschikt over verschillende referentenrapporten door vakexperts, samen met een weerwoord. En ze hebben de kandidaat zelf in een interview kunnen bevragen. Waar het vervolgens om gaat in de commissie, is het zorgvuldig tegen elkaar afwegen van alle informatie. Dat is mogelijk, zo beamen ook de commissieleden, maar alleen met een breed georiënteerde commissie met uiteenlopende expertises en een open mind en voldoende tijd voor zorgvuldige discussie. Daarnaast is het voor een groot deel een kwestie van wennen en kennis maken met de verschillende culturen in disciplines. NWO probeert dat waar mogelijk te ondersteunen. Zo bracht het NWO-gebied Maatschappij- en Gedragswetenschappen de verschillen in publicatieculturen binnen de maatschappij- en gedragswetenschappen in kaart. Recht, culturele antropologie en geografie, kennen belangrijke verschillen in traditie en aanpak en daar kan bij de beoordeling rekening mee worden gehouden.

Wetenschapsbrede benadering niet onomstreden, maar biedt voordelen

De wetenschapsbrede benadering is niet onomstreden, maar biedt – naast het kunnen financieren van de beste onderzoekers zonder gehinderd te worden door schotten – ook andere voordelen. Het verruimt de blik, stellen ervaren beoordelaars, en met elke beoordelingsronde groeit het begrip voor de gewoontes en tradities in elkaars vakgebied. Dat kan weer inspirerend werken voor het eigen onderzoek. Een belangrijker aspect is volgens velen het feit dat wetenschapsbrede beoordeling recht doet aan inter- en multidisciplinaire onderzoeksvoorstellen. Niet alleen de Vici-beoordelingsronde, ook procedures van andere financieringsinstrumenten van NWO ambiëren over grenzen heen te kijken. Steeds vaker, nu een groeiend aantal onderzoeksvoorstellen zich op de grenzen van disciplines bevindt. Zo kan het vergelijken van “appels met peren” meer opleveren dan alleen het selecteren van de allerbeste onderzoeksvoorstellen en de grootste wetenschappelijke talenten.

Dit artikel is gepubliceerd in Hypothese 2014-1. De indeling is aangepast voor de website.

Download