Beoordelingsprocedure

Onderstaande tekst is een persoonlijk schrijven van de wetenschappelijke coördinator van NWO-MES; Dr. L. van der Laan.

Vele verzoeken voor ondersteuning van onderzoeksvoorstellen zijn in de loop van de tijd bij NWO-MES binnengekomen. In totaal kwamen 13 kortlopende en 14 langlopend onderzoeken voor subsidie in aanmerking. Niet ieder verzoek kon gehonoreerd worden. Dat is vanzelfsprekend een teleurstelling. Niet alleen voor de indieners, maar vaak ook voor de programmacommissie. Want lang niet alle voorstellen die het niet gehaald hebben waren zeker niet van slechte kwaliteit.

Stel dat er bijvoorbeeld vijf goede voorstellen op het gebied van ?arbeid? zijn, en twee goede op een terrein dat nog niet aan bod is gekomen, bijvoorbeeld ?bedrijvigheid?. En stel dat het programma ook dit laatste terrein zeer belangrijk vindt. Indien er dan slechts de budgettaire mogelijkheid bestaat om vijf onderzoeken te honoreren, is de kans groot dat de twee bedrijvigheidvoorstellen een hogere prioritering krijgen. Daarmee vallen echter wel twee op zichzelf goede arbeidsvoorstellen buiten de boot. Dat is natuurlijk jammer en kan door de betrokken indieners op het eerste gezicht als onrechtvaardig worden gezien. Het is zeker uit den boze als deze onderzoekers binnen hun eigen organisatie hierop in negatieve zin worden aangesproken. Dit neemt natuurlijk niet weg dat er ook gewoon slechte onderzoeksvoorstellen werden ingediend.

Een verduidelijking van de gevolgde procedure lijkt op haar plaats. Dat is niet echt spannende lectuur, maar het maakt wel de nagestreefde zorgvuldigheid in de besluitvorming duidelijk en daarmee ook de status van afwijzing/toewijzing van voorstellen.

Kortlopend onderzoek

Kenmerkend voor het kortlopend onderzoek was dat de beoordelingsprocedure ook zo kort mogelijk werd gehouden. Ingediende voorstellen werden in eerste instantie door twee leden van de programmacommissie van een pré-advies voorzien. De keuze van deze leden is gebaseerd op hun aan het voorstel gelieerde expertise. Daarbij werd echter expliciet rekening gehouden met dat de pré-adviseurs niet direct uit de omgeving van de aanvrager komen. Leden van bijvoorbeeld de Faculteit X van Universiteit Y beoordeelden nooit een aanvraag afkomstig van een hoofdaanvrager verbonden aan X. Indien binnen de programmacommissie de expertise niet voorhanden was, werd een beroep worden gedaan op externe deskundigen. De criteria voor de beoordeling, zoals vermeldt in de brochure, werden hierbij gehanteerd. De twee, onafhankelijk van elkaar opgestelde pré-adviezen, werden vervolgens door de programmacommissie als geheel besproken. Alle leden van de programmacommissie lazen en beoordeelden zelf dan ook alle voorstellen. Uit de discussie kwam vervolgens een eindoordeel. Bij een beperkt budget werd dit eindoordeel van het betreffende onderzoek vervolgens met die van andere vergeleken. Daardoor ontstond een rangorde oftewel een prioriteringsvolgorde. Deze ordening van de aanvragen werd daarna ter goedkeuring aan de stuurgroep van NWO-MES voorgelegd. In de stuurgroep zijn vooral de verschillende departementen vertegenwoordigd. De stuurgroep had de mogelijkheid om de rangorde, met name op basis van criteria van maatschappelijke relevantie, te wijzigen. Dat is soms ook gebeurd. Na de besluitvorming in de stuurgroep werden de aanvragers van het resultaat op de hoogte gesteld.

Langlopend onderzoek

Voorstellen voor langlopend onderzoek doorliepen in principe dezelfde procedure, met het verschil dat er nog een extra beoordelingstraject werd ingebouwd. Na een eerste besluitvorming over vooraanvragen, die aldus nog niet geheel uitgewerkt waren, werden de meest kansrijke voorstellen zonder prioritering aan externe, vaak buitenlandse referees voorgelegd. Dit kostte echter onvermijdelijk wel veel tijd. Evenals bij het kortlopend onderzoek kwam het voorlopige oordeel van de programmacommissie tot stand op basis van de schriftelijke rapportage van minstens twee leden van de programmacommissie, hun mondelinge toelichting daarop, het oordeel van de leden van de programmacommissie en de beraadslagingen van de programmacommissie als geheel. Op basis van deze eerste besluitvormingsfase, gaf de programmacommissie aanvragers het advies om hun voorstel al dan niet verder uit te werken. Hierdoor werd het aantal aanvragen dat verder werd behandeld beperkt. Deze beperking en daardoor strenge selectie was gebaseerd op de grote hoeveelheid (voor)aanmeldingen en het voor de uitvoering beschikbaar budget. Daarbij speelde dan ook de overweging om het tijdsbeslag op de onderzoekers zoveel mogelijk te beperken. Een en ander betekende zeker niet dat de in deze ronde afgewezen onderzoeken alle van slechte kwaliteit zouden zijn. Integendeel, met spijt heeft de programmacommissie soms belangwekkende onderzoeksvoorstellen van een negatief advies moeten geven.

Vervolgens werden de oordelen van de externe referenten aan de betrokken indieners voorgelegd. Dit bood hen de mogelijkheid om hun aanvrage te verduidelijken en daarmee op de aangedragen punten te verbeteren. Opnieuw werden de voorstellen, maar nu met de oordelen van de referenten en de reactie van de indieners daarop, door de programmacommissie beoordeeld. Indien het ging om voorstellen die, ondanks het eerder negatief advies van de programmacommissie, toch werden uitgewerkt en daardoor ook aan de externe deskundigen zijn voorgelegd, werden overigens twee andere programmacommissieleden dan tijdens de vooraanvragen verzocht om over het voorstel een schriftelijk pré-advies uit te brengen. Daarmee werd getracht een ?frisse kijk? op die voorstellen te bevorderen. Vervolgens doorlopen de voorstellen weer de procedure zoals bij het kortlopend onderzoek, resulterend in de uiteindelijke prioritering door de programmacommissie en de stuurgroep.