Het is moeilijk, maar het kan
Vruchtbaar multidisciplinair beoordelen

15 februari 2010

In de eerste ronde voor de Vrije Competitie zijn dit jaar negentig voorstellen ingediend. De verdeling over de disciplines is als volgt: astronomie 13, informatica 41, wiskunde 34 en 2 multidisciplinaire voorstellen. Het Gebiedsbestuur Exacte Wetenschappen werkt sinds 2007 met een multidisciplinaire beoordeling. Coördinator van de Vrije Competitie, Mark Kas, over zijn ervaringen met het vergelijken van appels en peren.

Is het project waarin wordt voorgesteld het bewijs voor een wiskundige stelling op een originele manier af te leiden beter dan een project waarin informatici een algoritme voor beeldherkenning gaan versnellen of het project waarin astronomen de theorievorming rondom zwarte gaten kunnen aanscherpen? We moeten appels met peren vergelijken. Hoe bepalen we onze keuze? Hetzelfde dilemma speelt in ieder huishouden: Komt er dit jaar een nieuwe wasmachine of krijgen de kinderen een computer om hun huiswerk mee te maken? Het geld kan maar één keer op en dus moeten we kiezen.

De oplossing die jarenlang door wetenschapsfinancier NWO is gekozen, was die van mijn tante en oom. Zij hadden voor iedere uitgavencategorie een apart potje: het geld voor de huur in een wit potje, het huishoudgeld in een rode, gas en licht in een blauwe, enz. Ze hadden meer dan tien potjes. Het leidde tot veel gekibbel over hoeveel geld er in welk potje moest en of de overschotten van het ene potje mochten worden gebruikt om de tekorten in het andere aan te vullen.

Wetenschappelijke kwaliteit

Om het beschikbare geld efficiënter te benutten is het beter een beperkt aantal potten te hebben en een keuzeproces af te spreken. De missie van NWO is om het beschikbare geld in te zetten voor het allerbeste onderzoek. Eén zo’n pot van het gebied Exacte Wetenschappen, verantwoordelijk voor de disciplines astronomie, informatica en wiskunde, is de Vrije Competitie. Het Gebiedsbestuur Exacte Wetenschappen is er sinds 2007 van afgestapt om dit relatief kleine potje in nóg kleinere mootjes te hakken en op voorhand over de disciplines te verdelen. Daarmee loop je immers het risico je missie (alleen het allerbeste krijgt geld) niet te vervullen. Het gevolg is echter dat je appels met peren met sinaasappels moet vergelijken. Hoe doe je dat?

Uitgangspunt voor de aanpak die het Gebiedsbestuur heeft gekozen, is dat er voldoende redenen zijn om aan te nemen dat het wetenschappelijke talent (kwaliteit) grosso modo gelijk verdeeld is over de disciplines. In aantallen (kwantiteit) is er wel een verschil: er zijn net zoveel informatici als astronomen en wiskundigen samen. De kwaliteit is echter doorslaggevend. Dus als onderzoekers uit de ene discipline verhoudingsgewijs meer excellente aanvragen indienen, dan moeten er van die discipline ook relatief meer aanvragen worden gehonoreerd.

Beoordelingscommissie

De werkwijze binnen de Vrije Competitie is als volgt. Op grond van de ingediende voorstellen, de oordelen van buitenlandse deskundigen (referenten), de weerwoorden van de aanvragers en de eigen inzichten van de commissieleden, wijzen disciplinaire beoordelingscommissies aan wat de excellente (plusplus) en zeer goede (plus) voorstellen zijn. Alle voorstellen van mindere kwaliteit (plusmin en min) spelen in de discussie verder geen rol. Iedere disciplinaire commissie maakt een lineair geordende lijst van de allerbeste voorstellen op het eigen vakgebied. In elk van die lijsten trekt NWO een ‘rode lijn’: voor de aanvragen boven de rode lijn is geld beschikbaar, voor die daaronder niet. De plaats van de rode lijn wordt berekend op basis van de veronderstelling dat de kwaliteit gelijk is verdeeld over de drie disciplines. Dus als er geld is om twintig procent van de excellente en zeer goede aanvragen te honoreren, dan komt de rode streep op alle drie de lijsten op twintig procent van de top te liggen.

Multidisciplinaire vergelijking

Maar is de kwaliteit werkelijk gelijk verdeeld? Een multidisciplinaire beoordelingscommissie bestaande uit drie vertegenwoordigers per discipline vergelijkt onder leiding van een onafhankelijke voorzitter de voorstellen rondom de rode lijn met elkaar. Dit is niet makkelijk, want in dit stadium van het beoordelingsproces moeten onderzoekers uit de ene discipline zich een mening vormen over voorstellen uit de andere twee disciplines. Toch blijkt het in de praktijk niet onmogelijk. Werkelijke vernieuwing blijkt door beoordelingscommissies te worden herkend, ook over disciplinegrenzen heen.

Astronomie, informatica en wiskunde hebben heel verschillende onderzoeksculturen, maar ze hebben met elkaar gemeen dat het alle drie exacte wetenschappen zijn. Dat helpt. En als de commissie er discussiërend niet uitkomt, biedt een bepaalde stemprocedure uitkomst. De ervaring is dat de stemming de gevoerde discussie eigenlijk altijd goed tot uitdrukking brengt. Zo vindt een kwalitatieve toets plaats, die in vrijwel iedere competitie tot een of zelfs enkele aanpassingen van de rode lijn leidt: een beter beoordeeld project komt boven de rode lijn, een minder goed eronder.

Rode lijn

Het gebiedsbestuur en de voorzitter van de beoordelingscommissie evalueren na iedere ronde de vergelijkingsprocedure. Na twee jaar ‘tweaken’ is de ervaring dat multidisciplinair beoordelen moeilijk is, maar dat het kan. Het moeilijkste is nog dat door geldgebrek de rode lijn meestal dwars door het plusplus-gebied van excellente voorstellen loopt. Excellente voorstellen laten afvallen, dat is voor beoordelaars én het gebiedsbestuur het moeilijkste wat er is. En het is buitengewoon frustrerend voor de onderzoekers die zulke goede aanvragen hebben ingediend. Het gebiedsbestuur blijft zich daarom inzetten voor een budgetverruiming die het mogelijk maakt om alle excellent beoordeelde voorstellen te honoreren. Ofwel door de middelen per pot te vergroten, ofwel door meer potten te creëren voor excellente onderzoekers. Immers, als na de zware disciplineoverstijgende vergelijking is vastgesteld wat werkelijk de allerbeste en meest vernieuwende onderzoeksvoorstellen zijn, dan behoren die vanzelfsprekend ook te worden gefinancierd.

Mark Kas
Coördinator Vrije Competitie NWO Exacte Wetenschappen

Wijzigingen Vrije Competitie 2010 

Subsidiepagina Vrije Competitie