Security and Rule of Law evaluatie om financieringsmechanismen te verbeteren

Presentatie van de eindevaluatie van het onderzoeksprogramma Security and Rule of Law (SRoL)

24 juni 2020

Na het eindigen van het onderzoeksprogramma Security and Rule of Law (SRoL) heeft NWO-WOTRO Science for Global Development Ecorys opdracht gegeven om een externe eindevaluatie uit te voeren. In deze eindevaluatie is de relevantie, effectiviteit en efficiëntie van het programma beoordeeld. Sterke punten bleken de betrokkenheid van praktijkorganisaties en het co-creëren van activiteiten. Verbeteringen hadden kunnen worden aangebracht in de gezamenlijke opzet van het programma en de research uptake activiteiten.

EVALUATIERAPPORT (in het Engels)

Bij de evaluatie werd bijzondere aandacht besteed aan het toetsen van de aannames die ten grondslag lagen aan het programma en werd gekeken naar de werkingsmechanismen en de experimentele opzet. Over het geheel genomen blijkt uit de evaluatie dat de projecten door de beoogde eindgebruikers als doeltreffend worden beschouwd, waarbij het effect op de persoonlijke capaciteitsontwikkeling binnen organisaties is genoemd als een duidelijke positieve bijdrage.

Samenwerking binnen consortia

Transnationale samenwerking tussen noordelijke en zuidelijke partners bleek een sleutelfactor te zijn die bijdroeg aan de doeltreffendheid van het SRoL-programma. Hierdoor ontstond vaak een 'tweerichtingsmentorschap', wat  voor teamleden nieuwe (onderzoeks)vaardigheden, kennis en netwerken opleverde. Evaluatiebevindingen tonen echter ook aan dat noordelijke organisaties vaker de leiding nemen en een grotere rol spelen in vergelijking tot zuidelijke partners, wat vaak heeft geleid tot onevenwichtige samenwerkingen.

Activiteiten gericht op co-creatie kwamen naar voren als een kracht van het programma

De vereiste om transdisciplinaire teams te vormen, werd door de projecten als relevant beschouwd, maar stond niet voorop in de dagelijkse samenwerking. De betrokkenheid van praktijkorganisaties bij het onderzoek kwam naar voren als een sterk element dat bijdroeg aan de effectiviteit van het onderzoek. Dergelijke organisaties werden geacht de lokale context en de toegang tot lokale netwerken beter te begrijpen, wat essentieel was om kennis te ontsluiten. Co-creatie-activiteiten kwamen ook naar voren als een kracht van het programma.

Een sterke trend van onderbesteding is merkbaar in het volledige spectrum van projecten, waarbij het merendeel van de onderbestede middelen oorspronkelijk was bestemd voor kennisbenutting. Deze onderbestedingstrend komt niet overeen met de informatie die tijdens deze evaluatie is verzameld, waaruit blijkt dat organisaties (in de meeste gevallen zuidelijke partners) vaak extra tijd aan het project, en kennisbenuttingsactiviteiten in het bijzonder, hebben besteed. In die zin zou de trend een weerspiegeling kunnen zijn van de onevenwichtige relatie tussen noordelijke en zuidelijke partners, waarbij de noordelijke leiding verantwoordelijk is voor het budget.

De bijdrage van NWO-WOTRO

De projecteen zijn over het algemeen positief waren met betrekking tot de ondersteuning en assistentie van NWO-WOTRO, met name met betrekking tot Monitoring en Evaluatie (M&E) activiteiten en het ontwerp en de implementatie van Impact Pathways. De meeste projecten vonden M&E-activiteiten (zeer) relevant om hun project op koers te houden en doelstellingen te behalen. Impact Pathways werden beschouwd als een nuttig mechanisme, maar de lokale partners in de doellanden leken meer moeite te hebben bij het ontwerpen en toepassen ervan.

Impact Pathways werden beschouwd als een nuttig mechanisme

De door NWO-WOTRO ontworpen en uitgevoerde selectieprocedure is transparant en eerlijk gebleken. De lengte en complexiteit van het proces roept echter vragen op met betrekking tot de geschiktheid in relatie tot de behoeften van de donororganisatie voor snel, toepasbaar onderzoek. Bovendien zijn de meeste aanvragen ingediend en projecten geleid door een noordelijke organisatie. Een diepere blik op de strategie voor de verspreiding van de calls for proposals en de selectiecriteria geeft aan dat er in dit opzicht meer zou kunnen worden gedaan om een meer gebalanceerde pool van aanvragers en projecten te borgen.

In termen van efficiëntie concludeert de evaluatie dat de wijzigingen in de reikwijdte van de programma-activiteiten die in 2015 zijn geïntroduceerd, een sterk verhoogde werkdruk op het beperkte personeel van NWO-WOTRO met zich meebrachten. Dit beïnvloedde de kostenefficiëntie van het programma, aangezien de kosten stegen zonder een parallelle verhoging van het overheadbudget.

Samenwerken aan het programma

Het SRoL-onderzoeksprogramma is gestart in 2013 en werd beheerd door NWO-WOTRO. Het programma is onderdeel van het Knowledge for Development Policy van het Nederlandse Ministerie van Buitenlandse Zaken. Het Knowledge Platform Security and Rule of Law (KPSRL) heeft de onderzoeksagenda voor het SRoL-onderzoeksprogramma opgesteld. Het programma maakte gebruik van een gecombineerde aanpak van kennisontwikkeling en toepassing daarvan door zowel strategisch als toegepast onderzoek te financieren in een twee aparte fondsen.

Uit de evaluatie blijkt dat de initiële werkafspraken tussen NWO-WOTRO, KPRSL en het ministerie, hoewel gerechtvaardigd bij de start van het programma, niet effectief waren. Dit kan worden toegeschreven aan het ontbreken van formele contractuele afspraken tussen NWO-WOTRO en het KPSRL en het daaruit voortvloeiende ontbreken van een duidelijke rolverdeling en verantwoordelijkheden tussen beide. Dit had met name gevolgen voor de kennisbenutting en verspreiding van onderzoeksresultaten, ook vanwege het ontbreken van een specifieke pool van middelen binnen een van de twee organisaties. De beoordelaars bevestigen dat er aanzienlijke stappen voorwaarts zijn genomen om deze tripartiete relatie gedurende de levensduur van het SRoL-programma te verbeteren, hoewel er nog enkele obstakels zijn, met name met betrekking tot research uptake.

Aanbevelingen

Er zijn maar liefst zeventien aanbevelingen gedaan:

  1. Blijf het belang van het onderzoeksproces benadrukken om vanaf het begin lokale besluitvormers te betrekken.
  2. Zorg ervoor dat u eigenaar bent van de MFB en / of ambassades aan het begin van het project, evenals eigendom van de respectievelijke lokale openbare instellingen.
  3. Concentreer de middelen in één ‘overkoepelend’ fonds en specificeer per oproep wat de exacte doelstellingen van de projecten zouden moeten zijn.
  4. Verleng het evaluatieproces met de opname van een ‘effectbeoordeling’ één of twee jaar na voltooiing ervan.
  5. Richt de noordelijke en zuidelijke relatie consequent in als een tweerichtings mentorschapsproces.
  6. Herzie de beoordeling van de impact die projecten genereren door ook aandacht te besteden aan meer kwalitatieve aspecten zoals het bevorderen van dialoog en het opbouwen van relaties.
  7. Moedig consortia actief aan om met praktijkorganisaties te werken.
  8. Denk na over hoe M&E in de onderzoeksprogrammering beter kan worden geïnstitutionaliseerd, ongeacht de duur van het project.
  9. Vereenvoudig de selectieprocedure, zonder concessies te doen aan de kwaliteit van het geselecteerde onderzoek.
  10. Verbeter de ‘openheid’ van de oproepen en teken applicaties in van verschillende soorten organisaties over de hele wereld.
  11. Institutionaliseer de relatie tussen NWO-WOTRO en de KPSRL in het kader van het SRoL-programma.
  12. Versoepel de vereisten met betrekking tot de geheimhouding van voorstellen ten gunste van betere samenwerking met de KPSRL en grotere bekendheid van het onderzoek via hun netwerk.
  13. Stel een specifiek budget op voor activiteiten voor kennisverspreiding.
  14. Vraag aanvragers om in de voorstelfase expliciet te zijn over risico's en hun risicobeperkende maatregelen.
  15. Geef duidelijkere richtlijnen over hoe begrotingen in voorstellen moeten worden ingediend.
  16. Bundel niet-bestede projectmiddelen voor kennisverspreiding in een opnamefonds.
  17. Overweeg een overheadbudget voor NWO-WOTRO dat aansluit bij de verwachte hoeveelheid werk.

Lees verder (in het Engels)


Bron: NWO