De wetenschappelijke peer review door referenten

Stel, u wilt subsidie aanvragen bij NWO. Waar dan te beginnen? Wat moet u doen, wie bepaalt of uw aanvraag wordt gehonoreerd, wanneer weet u of u tot de gelukkigen behoort en wat kunt u doen als u het er niet mee eens bent? Jaarlijks ontvangt NWO zo’n 4000 subsidieaanvragen waarvan ongeveer 20 à 25 procent wordt gehonoreerd.

Wat doet een referent?

Referenten ofwel peers zijn van groot belang in het beoordelingssysteem van NWO. De referent is een onafhankelijke en onbevooroordeelde deskundige die, op verzoek van NWO, schriftelijk rapporteert over een subsidieaanvraag op basis van duidelijk omschreven selectiecriteria. Dit schriftelijke oordeel wordt – mét het weerwoord van de aanvrager – voorgelegd aan de beoordelingscommissie die op basis van deze informatie een rangorde aanbrengt in de aanvragen en hierover gemotiveerd advies uitbrengt. Het algemeen bestuur, gebiedsbestuur of ander NWO-bestuursorgaan neemt op basis van dit advies het uiteindelijke besluit. NWO heeft de rollen van het adviserend en besluitnemend orgaan bewust van elkaar gescheiden, om de subsidieprocedure zo objectief en transparant mogelijk te maken.

NWO benadert voor vrijwel al haar subsidie-instrumenten referenten, in de regel minimaal twee per aanvraag. Als het om omvangrijke subsidies gaat of aanvragen die verschillende wetenschapsdisciplines omvatten, verzoekt NWO om meer referentenrapporten. Zo worden bijvoorbeeld voor Vici-subsidies vaak vier referenten om commentaar gevraagd. Zij worden in principe niet voor hun bijdrage betaald.

Hoe wordt een referent geselecteerd?

De beleidsmedewerker van NWO die de subsidieronde begeleidt, selecteert en benadert de referenten en vraagt ze commentaar te leveren op een subsidieaanvraag. De selectie van referenten is een tijdrovend en uiterst secuur karwei waarbij zorgvuldigheid, neutraliteit en integriteit belangrijk zijn. Referenten moeten bij uitstek deskundig zijn op het specifieke wetenschapsgebied van de aanvraag. NWO-medewerkers gebruiken bij hun zoektocht behalve eigen kennis en eigen databanken, ook grote, internationale databases als bijvoorbeeld Web of Science of Medline, maar ook Google. Daarnaast kan de medewerker zich ook op andere informatie baseren, zoals bijvoorbeeld gegevens over sprekers op of deelnemers aan relevante conferenties binnen een bepaald wetenschapsgebied.

Het grootste deel van de door NWO benaderde referenten, ongeveer tweederde, komt uit het buitenland. Hiervoor zijn twee redenen. NWO wil nadrukkelijk belangenverstrengeling en vooringenomenheid van de referenten voorkomen. Daarnaast wil NWO dat de Nederlandse aanvragen vergeleken worden met internationale maatstaven.

Voordat een referent wordt benaderd, onderzoekt de beleidsmedewerker of een referent betrokken is bij de aanvraag of de aanvrager. Getoetst worden bijvoorbeeld gezamenlijke publicaties of andere betrokkenheid bij het werk van de aanvrager. Als de referent inhoudelijk deskundig is en onbevooroordeeld zijn oordeel kan geven, kan deze door NWO benaderd worden. De referent wordt verzocht om de aanvraag te beoordelen op de voor het subsidieinstrument vastgestelde criteria.

Hoe wordt een referent benaderd?

NWO benadert mogelijke referenten telefonisch en/of schriftelijk en wijst hen op haar Gedragscode Belangenverstrengeling (zie: www.nwo.nl/gedragscode) die zij dienen te onderschrijven. Als er dan alsnog sprake is van een vorm van belangenverstrengeling kan de referent niet optreden als beoordelaar. Uitgesloten worden bijvoorbeeld ook onderzoekers die verwikkeld zijn in een scholenstrijd. Een referent krijgt van NWO de toezegging dat zijn/haar anonimiteit gegarandeerd is en dat diens naam niet bekend wordt bij de aanvrager. NWO hecht hieraan om de referent de mogelijkheid te bieden in alle openheid te reageren op een subsidieaanvraag. Een referent heeft in de regel drie of vier weken de tijd om schriftelijk – meestal via e-mail – commentaar te leveren op een aanvraag. Dat gebeurt meestal met een beoordelingsformulier, waarin een reactie gevraagd wordt op de verschillende beoordelingscriteria. NWO biedt referenten voor sommige subsidierondes sinds kort ook de mogelijkheid om via haar elektronisch systeem Iris de aanvraag direct online te bekijken en de reactie online in te dienen. Referenten dienen zorgvuldig en vertrouwelijk met de onderzoeksgegevens om te gaan. Dit is van belang om het intellectuele eigendom van de aanvrager te beschermen.

De hele procedure wordt in principe schriftelijk afgehandeld.

Mag de aanvrager zelf nog reageren?

Ja, NWO biedt de aanvrager de gelegenheid om inhoudelijk te reageren op het referentencommentaar. NWO hecht wezenlijk belang aan dit weerwoord. Hiermee heeft de aanvrager de mogelijkheid om verschillen van inzicht en misvattingen van de referent te weerleggen. NWO neemt met deze mogelijkheid een unieke positie in Europa in, een werkwijze die inmiddels meer navolging vindt. Met een goed en onderbouwd weerwoord is het in principe mogelijk om, ondanks een negatief referentenoordeel, toch de beoordelingscommissie te overtuigen van het tegendeel en een subsidie te bemachtigen. De ontvangen referentenrapporten worden ter beschikking gesteld aan de aanvrager. In principe wordt er aan de teksten van het referentencommentaar niets gewijzigd. Als de referent in zijn commentaar toch zijn identiteit prijsgeeft, worden deze passages zo bijgesteld dat deze niet te achterhalen is, echter zonder de inhoud van het commentaar te veranderen.

De aanvrager krijgt meestal ongeveer een week de tijd om te reageren op het rapport van de referenten. De aanvraag, het referentencommentaar en het weerwoord van de aanvrager worden vervolgens naar de beoordelingscommissie gestuurd. Deze commissie heeft de taak de ingediende aanvragen met elkaar te vergelijken.