De waarde van kennis bij evalueren

Workshop van NWO-WOTRO tijdens de 'Leren van Evalueren’ bijeenkomst

15 december 2017

Op 29 september 2017 organiseerde Vice Versa - samen met de IOB, Wageningen University and Research en NWO-WOTRO Science for Global Development - de ‘Leren van Evalueren’ bijeenkomst. Het slotpanel van de dag concludeerde verder dat evalueren niet alleen een kunde, maar ook een kunst is. Het evaluatieproces mag creatiever, ook omdat resultaten van evaluaties lastig in cijfers uit te drukken zijn. We zouden vaker experimenten en kwalitatief onderzoek kunnen uitvoeren. Dagvoorzitter Ruerd Ruben sloot af met de essentie: het stimuleren van meer creativiteit en diversiteit.

Picture: Selma Zijlstra

De centrale vraag van de bijeenkomst was ‘Stellen impactevaluaties de juiste vragen?’. Tijdens plenaire sessies en uitdagende workshops werd er gediscussieerd over: wat zijn de trends op het terrein van impactevaluaties? Wat is de invloed van recente maatschappelijke en wetenschappelijke ontwikkelingen op impactevaluaties? Hoe evalueer je in een wereld die steeds complexer wordt? Het verslag is te lezen op de website van ViceVersa.

NWO-WOTRO faciliteerde een van de workshops, waarin de wetenschappelijke bijdrage aan mondiale ontwikkeling centraal stond. Ellen Lammers en Daniëlle de Winter zijn samen met de deelnemers aan de slag gegaan met drie centrale vragen:

  1. Wat is de waarde van kennis?
  2. Waarom willen we de waarde van kennis in kaart brengen?
  3. Hoe evalueren we de waarde van kennis?

De doelstelling was om de deelnemers bewust te maken van hun denkbeelden omtrent ‘kennis voor ontwikkeling’, de meerwaarde van deze kennis te belichten, en hen mee te nemen in de complexiteiten (doch noodzaak) van gerichte verslaglegging van kennisprocessen. Aan het einde van de geanimeerde sessie vertrokken de deelnemers met een groter bewustzijn van het belang van kennis.

De waarde van kennis

De deelnemers kregen drie stellingen voorgelegd waar ze ‘voor’ of ‘tegen’ konden stemmen.

Hierbij werd beoogd het ‘gewicht’ te bespreken dat de deelnemers toekennen aan het belang van kennis; hen mee te nemen in de discussie over de rol van kennis in verhouding tot andere aspecten als budget, leiderschap, ervaring, etc; en het belang van verschillende soorten kennis - impliciet, expliciet, wetenschappelijk, praktijk, etc - voor praktijk en beleid.

  1. De opbrengst van mijn project is zo sterk als de kennis die ik erin stop.
    Hierbij werd beoogd het ‘gewicht’ te bespreken dat de deelnemers toekennen aan het belang van kennis; hen mee te nemen in de discussie over de rol van kennis in verhouding tot andere aspecten als budget, leiderschap, ervaring, en het belang van verschillende soorten kennis - impliciet, expliciet, wetenschappelijk, praktijk, etc - voor praktijk en beleid.
  2. Als iedereen zijn of haar expertise mag inbrengen wordt het een gebed zonder end.
    Hierbij werd een discussie aangegaan over de partnerschappen en het (on-)belang van verschillende soorten kennis en doelstellingen bij elkaar brengen. Er werd gesproken over de meerwaarde van multi-stakeholder partnerschappen en de rol van de ‘kennismakelaar’.
  3. Kennis loopt per definitie achter de feiten aan.
    De stelling wakkerde een discussie aan over de beleidstoepassing en de functionaliteit van kennis; en de invloed die de oorsprong van de kennisvraag kan hebben op de uitkomsten en de toepasbaarheid van de kennis.

De stelling wakkerde een discussie aan over de beleidstoepassing en de functionaliteit van kennis; en de invloed die de oorsprong van de kennisvraag kan hebben op de uitkomsten en de toepasbaarheid van de kennis.

De waarde van kennis in kaart gebracht

Uit de discussie volgde de vaststelling dat kennis een bredere definitie omvat dan we in eerste instantie vaak denken. Ellen en Danielle introduceerden NWO-WOTRO’s interpretatie van kennis, namelijk kennis is gecreëerd door academisch of toegepast onderzoek, alsook door de uitvoering van innovatieve projecten, reviews, studies, geleerde lessen, etc. De meerwaarde van al deze vormen van kennis is vaak impliciet. Het is daarom zaak die meerwaarde tastbaarder te maken. Goede voorbeelden van projecten waarbij de kennisinbreng een grote rol heeft gespeeld zijn hiervoor weliswaar relevant, maar we zouden graag voorbij dit anekdotische niveau gaan. De vraag is daarom of het vastleggen van de meerwaarde van kennis systematischer kan worden aangepakt.

Aan de hand van enkele quotes bespraken Daniëlle en Ellen niet alleen hun ervaring met The Gold Standard studie (2017) en huidige betrokkenheid bij NWO-WOTRO’s ‘Pilot Study’ (ontwikkeling van methodologie voor het tonen van (meer-)waarde), maar ook hun internationale ervaringen.

Hieruit bleek dat, ondanks de toenemende interesse in het onderwerp, er nog geen benchmark of consensus bestaat over hoe de resultaten van research uptake het beste kunnen worden ‘gemeten’. Om dit ‘meten’ mogelijk te maken, werd vastgesteld dat het behapbaar maken van de meetexercitie van groot belang is.

En dan: de kenniswaarde evalueren

Kennis kan worden beschouwd als een proces, bestaande uit drie componenten: (co-) creation, exchange en use. Een proces dat iteratief is en dynamisch is. De deelnemers werden uitgenodigd om de kennisactiviteiten waar zij mee te maken hebben in hun werk, te plaatsen onder de desbetreffende categorieën. Enkele bijdragen van de deelnemers zijn weergegeven op de onderstaande foto’s.

Na de opdracht lichtten Daniëlle en Ellen nog enkele belangrijke aspecten toe over het meten van kennisgebruik, wat minimaal het volgende vergt:

  • realistische ambities
  • kwantitatieve en kwalitatieve benadering
  • korte, midden en lange termijn visie
  • een combinatie van verscheidene aanpakken

Tastbaar en meetbaar maken van kennis

Een mogelijk stappenplan om kennis tastbaar en meetbaar te maken gaat als volgt:

  1. Bepaal de Theory of Change en welke plaats kennis daarbinnen krijgt?
    • creatie/ uitwisseling/ gebruik
    • type kennis/ activiteiten
    • doel/ doelgroep
  2. Bepaal jouw contributiecriteria en indicatoren (maak gebruik van bestaande matrices en tools!)
  3. Bepaal de casussen die je wil evalueren op ‘research uptake’ uitkomsten (spendeer aandacht aan het type casus dat relevant zal zijn voor de doelstelling van de evaluatie)
  4. Ga uitkomsten oogsten en beschouw jouw contributie, o.a.:
    • kennisproducten (monitoring + interviews)
    • kennisactiviteiten (monitoring + interviews)
    • percepties (interviews/survey/FGD)
    • procesevaluatie (interviews)
    • gebruik van objecten & activiteiten m.b.v. scoring (interviews/survey/FGD)

Bron: NWO