Resultaat- en Impactmeting voor goede doelen

Resultaat- en Impactmeting
voor goede doelen
Op weg naar beter evalueren, meten en verantwoorden van bestedingen
Auteurs:
drs. E.M. Ten Hoorn
drs. W.M. Stubbe
Resultaat- en Impactmeting
voor goede doelen
Op weg naar beter evalueren, meten en verantwoorden van bestedingen
1
2
3
4
5
6
7
8
9
10
Voorwoord
In de afgelopen decennia is het belang voor goededoelen-
verhoging van de administratieve lastendruk. Voor met name
gen aan de hand van de strenge criteria, die ook betrekking
organisaties om resultaten inzichtelijk te maken gegroeid. Dit
kleinere en beginnende goededoelenorganisaties kan het
hebben op de bestedingen. Het doel van deze publicatie is
belang komt onder meer voort uit een aanhoudende vraag
lastig zijn om investering in evaluaties te legitimeren bij hun
om de kwaliteit van de bestedingen en de verantwoording
van institutionele en private donateurs om transparantie en
achterban. Dit mag echter geen reden zijn om helemaal niet
daarvan door de goededoelenorganisaties te verhogen.
een heldere verantwoording van de resultaten. De laatste
te werken aan resultaat- en impactmeting en het communice-
Het CBF-Keur gaat immers om zowel verantwoorde fondsen-
tijd, en voor organisaties in de ontwikkelingssamenwerking
ren van resultaten aan donateurs. Zoals Swanborn (2007) in
werving als bestedingen. In het Register goede doelen op
al langer, is daar de vraag bijgekomen hoe de resultaten
het handboek Evalueren aangeeft is er geen enkele algeme-
www.cbf.nl treft u daarover informatie aan.
onderbouwd kunnen worden door metingen en welke
ne methode voor een bepaalde situatie alleenzaligmakend.
verdere effecten en impact goede doelen hebben op hun
Elke evaluatie dient afgestemd te worden op de situatie en
Het meten van resultaten en impact maakt soms al deel uit
doelgroep en de maatschappij. Een klein gebaar kan een
vaak is een meervoudige aanpak het beste om het evaluatie-
van de evaluaties die goededoelenorganisaties uitvoeren.
groot effect hebben. Dit symboliseert de vlinder op de
onderzoek te verbeteren. Vanuit het donateursbelang bepleit
Toch is er nog veel te winnen op dit gebied en geven
voorkant van deze publicatie. Kleine vlinderslagen kunnen
het CBF dat alle goededoelenorganisaties het evalueren seri-
veel goededoelenorganisaties aan dat zij hierin willen
meer impact hebben dan wij soms kunnen waarnemen. Het
eus op blijven pakken en dit (blijven) ontwikkelen.
doorontwikkelen.
traditionele geven (doe goed en zie niet om) neemt bij som-
Het CBF wil goededoelenorganisaties graag deze publica-
mige donateurs af. Men geeft niet louter vanuit het hart. In
Evaluaties zijn sinds 2001 een belangrijk aspect binnen
tie aanbieden voor het verder stimuleren en ontwikkelen van
toenemende mate worden vraagtekens gezet bij de effectivi-
het CBF-Keur, bijvoorbeeld als onderdeel van goed bestuur,
resultaat- en impactmeting. Hiermee wil het CBF een brug
teit van schenkingen. Heeft al dat geven wel nut? De laatste
de beleidscyclus en de verantwoording over bestedingen.
slaan naar de praktijk. Vragen die veel goededoelenorgani-
meting van het Nederlandse Donateurspanel laat zien dat
Impactevaluaties zijn echter geen verplichting binnen het
saties hebben, zijn bijvoorbeeld:
mensen kiezen voor een goed doel op basis van het onder-
CBF-Keur. Na de vervlechting van de Code Wijffels met
werp, maar dat mensen overwegen om te stoppen met
het CBF-Keur in 2008 zijn aan het keurmerk drie ‘principes’
geven als het goede doel niet laat zien dat het geld goed
toegevoegd waarin goededoelenorganisaties uiting kunnen
besteed is of wanneer het werk niet tot concrete resultaten
geven aan hoe zij blijven werken aan goed intern bestuur,
leidt. De onderzoekers pleiten ervoor dat goededoelenorga-
effectiviteit en efficiency van bestedingen en de omgang met
• Zijn er modellen of instrumenten die ik kan toepassen?
nisaties in hun communicatie laten zien wat de impact is van
de belangrijkste belanghebbenden. Deze publicatie sluit met
• Kan ik extra fondsen werven voor evaluaties?
donateursgiften en wat met dat geld bereikt wordt (WWAV,
name aan bij het tweede principe, dat goededoelenorga-
• Wat leveren resultaat- en impactmeting op?
2013). Voor goededoelenorganisaties is dit een moeilijk
nisaties continu werken aan een optimale besteding van de
• Wat kan ik doen met positieve en eventuele negatieve
dilemma, want meer rationele overwegingen bij donateurs
middelen, zodat effectief en doelmatig gewerkt wordt aan
leiden waarschijnlijk niet tot een verhoging van het filantropi-
het realiseren van de doelstelling. In het kader van het toe-
sche schenkvolume. Daarnaast leiden de evaluatie- en rap-
zicht visiteren de medewerkers van het CBF jaarlijks tiental-
Op deze en andere vragen probeert deze publicatie een
portage-eisen van de diverse institutionele donoren tot een
len goededoelenorganisaties en beoordelen zij de instellin-
antwoord te vinden vanuit het gezichtspunt van goede-
• Waarom en in welke mate zijn resultaat- en impactmeting belangrijk voor mijn organisatie?
• Hoe begin ik met resultaat- en impactmeting en hoe
voer ik dit uit?
uitkomsten?
VOORWOORD
|3
1
2
3
4
5
6
7
8
9
10
doelenorganisaties. Uiteraard zijn er allerlei manieren om
Het CBF wil graag iedereen bedanken die heeft bijgedra-
de sector): Fabio Poelhekke, senior beleidsmedewerker bij
informatie over resultaat- en impactmeting te bundelen. Deze
gen aan de totstandkoming van deze publicatie. Te begin-
Wilde Ganzen; Mirjam Locadi, Evaluation Manager bij
publicatie heeft dan ook geenszins het uitgangspunt om
nen met de auteurs drs. Wendy Stubbe, senior consultant bij
Partos; Marianne Gybels, Manager Program Development
hierin volledig te zijn. Deze publicatie is bedoeld als aanvul-
CSR Academy, en drs. Esther Ten Hoorn, senior controller
bij 1%CLUB; Peter Schoof, directeur Hersenstichting en
ling op en bundeling van bestaande publicaties.
en beleidsmedewerker bij het CBF. Deze publicatie is onder
bestuurslid Samenwerkende GezondheidsFondsen; Luuk
verantwoordelijkheid van het CBF uitgegeven. Ook aan
van Kempen en Lau Schulpen, Researchers/Lecturers ver-
Het CBF richt zich met name op het toezicht op verant-
de andere medewerkers van het CBF die hun input hebben
bonden aan CIDIN; Kellie Liket, PhD-Student en Karen
woorde fondsenwerving en verantwoorde besteding. De
gegeven bij het schrijven en redigeren van de publicatie
Maas, Assistant Professor verbonden aan het ECSP; Cecile
voorliggende publicatie is vooral bestemd voor de directeu-
wordt dank uitgesproken.
Kusters, docent verbonden aan Wageningen UR Centre for
ren, projectleiders en andere medewerkers van goededoe-
Development Innovation.
lenorganisaties die zich bezighouden met het evalueren en
Hartelijk dank aan prof. dr. Ruerd Ruben, verbonden aan
verantwoorden van bestedingen. Daarnaast is deze publica-
het Centre for International Development Issues Nijmegen
Drs. A.J.J. Kemps
tie ook nuttig voor branche- of koepelorganisaties en andere
(CIDIN) van de Radboud Universiteit Nijmegen en directeur
Directeur CBF
belanghebbenden. Hierin is de keuze gemaakt om alle
Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie
keurmerkhouders aan te spreken, zowel kleine, middelgrote
(IOB) van het ministerie van Buitenlandse Zaken, voor het
als grotere goededoelenorganisaties en minder om volledig
schrijven van een inleiding en het geven van inhoudelijke
te zijn in de wetenschappelijke en meer complexe aspecten
adviezen.
van impactevaluaties voor grote projecten.
In het bijzonder gaat dank uit naar Rian Fokker, directeur
Deze publicatie sluit aan op de handleiding bij het
van Heifer Nederland, Rien Timmer, directeur van Vereniging
Reglement CBF-Keur en bevat een begrippenkader en
Samenwerkingsverband Exodus Nederland en Riekje de
beschrijving van instrumenten die als hulpmiddel gebruikt
Vries, bestuursvoorzitter van Stichting Projecten Zuid-Afrika,
kunnen worden bij de kwaliteitsverbeteringen zoals die
omdat zij in interviews hun ervaringen met resultaat- en
vereist worden in het CBF-Keur. Keurmerkhouders kunnen
impactmeting wilden delen en zij voor de publicatie foto’s
hiervan gebruik maken bij het schrijven van de periodieke
beschikbaar hebben gesteld.
verantwoordingsverklaring en de bespreking hiervan met het
Daarnaast bedankt het CBF de wetenschappers, branche-
CBF als onderdeel van de periodieke beoordeling door het
organisaties en goededoelenorganisaties die een bijdrage
CBF.
hebben geleverd aan deze publicatie door hun inspirerende
ervaringen en zienswijzen met betrekking tot dit onderwerp te geven (zie het hoofdstuk Visies en ervaringen uit
4 |
VOORWOORD
1
2
3
4
5
6
7
8
9
10
Samenvatting
Het belang voor goededoelenorganisaties om resultaten en
Beide uitgangspunten kunnen door goededoelenorganisaties
In deze publicatie worden tien stappen voorgesteld als
‘impact’ te meten groeit. In deze publicatie wordt daarom
worden gehanteerd. Belangrijk is dat goededoelenorganisa-
leidraad voor goededoelenorganisaties om resultaat- en
uitgebreid stilgestaan bij de verschillende achtergronden van
ties in discussies en rapportages helder laten blijken wat zij
impactmeten te ontwikkelen en uit te voeren. Deze tien stap-
het ‘impactdenken’ en wat veelgebruikte begrippen, zoals
onder impact verstaan.
pen zijn verdeeld in drie fasen: voorbereiden, meten en
resultaten, output, outcome en impact betekenen. Ook wor-
verantwoorden.
den vele tips en voorbeelden gegeven aan goede doelen
STAP
waar zij op kunnen letten bij het voorbereiden en uitvoeren
van resultaat- en impactmeting. Na een introducerend hoofd-
Hoofdstuk II Voorbereiden
stuk met achtergrondinformatie, wordt in tien stappen uitgelegd hoe goededoelenorganisaties resultaat- en impactmeten
kunnen ontwikkelen en uitvoeren.
Impact kan op verschillende manieren worden gedefinieerd.
In de wetenschappelijke literatuur zijn grofweg twee stromingen hierin (White, 2009):
• Impact als de duurzame, langetermijnveranderingen als
gevolg van een activiteit. In lijn met deze stroming is
de DAC-definitie van impact: ‘positieve en negatieve,
Hoofdstuk III Meten
primaire en secundaire langetermijneffecten die het
resultaat zijn van een interventie, direct of indirect,
bedoeld of onbedoeld’ (OECD-DAC, 2002:24, vrij
vertaald uit het Engels).
• Impacteffecten als de verandering die tot stand is
gebracht door de activiteit minus ‘wat er toch al aan
veranderingen zou hebben plaatsgevonden’ (Clark et
al., 2004).
Het verschil met de eerder beschreven stroming is dat
Hoofdstuk IV Verantwoorden
1
Keuze wat evalueren + wat wil ik bereiken (Theory of Change)
2
SMART-doelstellingen + prestatie-indicatoren
3
Nulmeting en betrekken belanghebbenden hierbij
4
Context en attributie: wat doen anderen en wat is mijn bijdrage
5
Meetmodel beschrijven
6
Meetinstrument kiezen
7
Gegevens verzamelen en analyseren
8
Evaluatie rapportage
9
Leren van evalueren
10
Communiceren van de bevindingen aan belanghebbenden
met name het toewijzen van het effect aan een activiteit
centraal staat. Dit wordt ook wel attributie genoemd.
SAMENVATTING
| 5
1
2
3
4
5
6
7
8
9
10
Voorbereiden
De eerste vijf stappen zijn voorbereidende stappen, die voor
het meten van resultaten en impact van belang zijn nog vóór
dat de activiteit wordt uitgevoerd.
1. Impact meten begint met het maken van de keuze of er
gegeven van goede en minder goed geformuleerde
SMART-doelstellingen en prestatie-indicatoren.
3. De derde stap bestaat uit het bepalen van de beginsitu-
De vergelijking in de tijd kan door gegevens uit de nulmeting te vergelijken met de situatie na afloop van het
project. Het vergelijken van de uitkomsten met of zonder
atie (nulmeting) en het betrekken van belanghebbenden
activiteit doet men door dezelfde gegevens te verzame-
wordt geëvalueerd op project-, programma- of organi-
daarbij. Op basis van de beginsituatie kan achteraf
len onder een groep/populatie die geen deel uitmaakt
satieniveau, gevolgd door het beschrijven van het denk-
beter worden bepaald welke veranderingen als gevolg
model hoe de beoogde veranderingen tot stand gaan
van de activiteit hebben plaatsgevonden bij de doel-
worden gebracht. Dit heet ook wel de verandertheorie,
groep of in de maatschappij. Dit kan een behoeftepei-
en impact worden gemeten in een meetmodel. Het
veranderboom of ‘Theory of Change’. In dit denkmodel
ling onder de doelgroep zijn, het verzamelen van basis-
meetmodel geeft meer duidelijkheid in hoe de organi-
wordt de waardeketen van de beoogde veranderingen
van het project (de controlegroep).
5. De vijfde stap is het beschrijven van hoe de resultaten
gegevens over de doelgroep of een omgevingsanalyse.
satie wil meten of resultaat- en impactmeting haalbaar
uitgeschreven: benodigde middelen (inputs), beoogde
4. De vierde stap bestaat uit het omschrijven van de context
is en waarover de organisatie wil communiceren. Een
resultaten (outputs), beoogde effecten van die resultaten
waarin de meting wordt verricht. Het is raadzaam om
belangrijk onderdeel van het meetmodel is het bepa-
(outcomes) en het beoogde mogelijke langetermijn-netto-
na te gaan wat andere organisaties die vergelijkbare
len of de gegevens die nodig zijn voor de evaluatie
effect van positieve, negatieve, bedoelde, onbedoelde,
activiteiten uitvoeren al hebben gedaan en gemeten op
bereikbaar of beschikbaar zijn of hoe en wanneer deze
directe en indirecte effecten en in hoeverre deze zou-
dit gebied. Door gebruik te maken van informatie die al
kunnen worden verzameld. Voor het verzamelen van
den kunnen worden toegeschreven aan de activiteiten
voorhanden is, kunnen tijd en kosten bespaard worden.
gegevens zijn diverse methoden beschikbaar, zoals
(impact).
Ook is het goed om van tevoren al na te denken over
interviews, focusgroepen, vragenlijsten en dossieronder-
2. De tweede stap is het formuleren van SMART-doelstel-
hoe aannemelijk kan worden gemaakt dat de beoogde
zoek. Het kan ook wenselijk zijn om te beschrijven of er
lingen en het benoemen van prestatie-indicatoren. De
impact het gevolg is geweest van de geïmplementeerde
additionele fondsen dienen te worden geworven voor
letters van SMART staan voor: Specifiek, Meetbaar,
activiteit of welk aandeel in de verandering kan worden
de evaluatie en welke mogelijkheden en verwachtingen
Acceptabel, Realistisch en Tijdgebonden.
toegeschreven aan de activiteit (attributie). Dit kan wor-
hiervoor zijn.
Met behulp van prestatie-indicatoren kan de organisatie
den gedaan door beschrijving van het speelveld waarin
de voortgang van haar prestaties meten en beoordelen.
wordt gewerkt, welke andere organisaties actief zijn op
Prestatie-indicatoren zijn variabelen om prestaties van
hetzelfde terrein, hun invloed op de doelgroep en door
organisaties, beleid, programma’s, projecten of activitei-
te meten:
ten te analyseren.
Een prestatie-indicator is een meetbaar getal dat aangeeft of de doelstellingen worden behaald, vaak een
bedrag, een percentage, een aantal of een tijdseenheid. In deze publicatie worden diverse voorbeelden
6 |
SAMENVATTING
1.Vergelijking van de situatie vóór en na de activiteit
(analyse in de tijd).
2.Vergelijking van de situatie met en zonder activiteit
(counterfactual analysis).
1
2
3
4
5
6
7
8
9
10
Meten
6. Het kiezen van een meetinstrument.
Er zijn talloze instrumenten voorhanden om de prestaties
en resultaten van een organisatie inzichtelijk te maken.
Het is niet verplicht om gebruik te maken van instrumen-
Stap 1:
Stap 2:
Stap 3:
Stap 4:
Stap 5:
Theory of Change
SMART/
Beginsituatie
Context/Attributie
Meetmodel
indicatoren
ten, alhoewel sommige financiers wel een model kun-
SROI
+++
+++
+
+++
++
nen voorschrijven. In deze publicatie is ervoor gekozen
SIA
+++
++
++
+++
+
PVS
++
+++
+
+
++
PIA
+++
+++
++
+++
+++
BoP
++
+++
+
+
+++
Logframe
+++
+++
+++
++
+++
om slechts een aantal veelgebruikte meetinstrumenten
te laten zien. Genoemd worden: de Most Significant
Change Method, Timeline Analysis, Participatory
Assessment of Development, Result Chain Analysis,
Outcome Mapping, Theory Based Evaluation, Benchmarking, Randomized Controlled Trial en Quasi-experimentele Methoden. Op zes methoden wordt dieper
ingegaan, namelijk Social Return on Investment (SROI),
Kenmerken van meetinstrumenten
Social Impact Assessment (SIA), Public Value Scorecard
(PVS), Participatory Impact Assessment (PIA), Base of
the Pyramid Impact Assessment Framework (BoP) en het
Logical Framework (Logframe). Een belangrijke vraag is
welk instrument het meest geschikt is voor de evaluatie
die gaat worden uitgevoerd. Hiervoor is gekeken naar
in hoeverre de meetinstrumenten aandacht geven aan
de vijf voorbereidende stappen in deze publicatie.
Dit resulteert in het overzicht hiernaast.
7. H
et verzamelen en analyseren van gegevens.
Bij meten wordt al gauw in getallen gedacht, maar het
meten van resultaat en impact beperkt zich hier niet
toe. De gegevens die gebruikt worden in een evaluatie
kunnen zowel kwalitatief als kwantitatief van aard zijn
of een combinatie van beide.
SAMENVATTING
| 7
1
2
3
4
5
6
7
8
9
10
Verantwoorden
8. Rapporteren.
Kwalitatieve onderzoeksmethoden
Kwantitatieve onderzoeksmethoden
Storytelling
Vragenlijsten per post, e-mail, internet of telefoon
Bijeenkomsten en workshops
Door de onderzoeker afgenomen enquêtes
Informele gesprekken
Informatie uit registratie
voorbeelden en suggesties gegeven voor het opstellen
Visitaties
Informatie uit dossiers en documenten
is onder meer voor welke doelgroep de rapportage
Observaties, beschrijvend
Observaties, tellend
Eén-op-één interviews, gestructureerd of semi-gestructureerd
Vertalen van verhalen naar scores, cijfers, percentages
Focusgroepen
Indexen, ranglijsten
Nadat de evaluatie is uitgevoerd en de uitkomsten bekend zijn, komt de vraag op wat kan worden gedaan
met alle bevindingen. Er is geen eenduidige manier
om te rapporteren over evaluaties. Er worden enkele
van interne en externe rapportages. Belangrijk hierbij
wordt geschreven, dat aandacht wordt gegeven aan
zowel cijfermatige als verhalende bevindingen, dat
aandacht wordt gegeven aan in hoeverre de vooraf
bedachte Theory of Change in de praktijk is waargemaakt met referentie aan de van tevoren opgestelde
prestatie-indicatoren. Om maatschappelijk draagvlak te
Participatieve methoden
creëren kan belanghebbenden de mogelijkheid worden
Kwalitatieve en kwantitatieve onderzoeksmethoden
geboden opmerkingen te maken over de bevindingen,
de conclusies en de aanbevelingen.
Het proces van data-analyse is een ingewikkeld proces, dat
9. Leren van evalueren.
dient te worden uitgevoerd door iemand die bekend is met
Naast de verantwoording aan bijvoorbeeld financiers
het construeren van verhaallijnen, grafieken en tabellen en
kan een andere waardevolle doelstelling van evalueren
het analyseren van gegevens, of er sprake is van samen-
ook zijn om te leren wat goed en wat minder goed werkt
hang tussen gegevens. Het is hierbij van groot belang om
in de praktijk. Deze laatste stap, het leren van evalueren,
aandacht te geven aan zowel positieve als negatieve uit-
wordt vaak overgeslagen in evaluatietrajecten, terwijl
komsten en bedoelde en onbedoelde resultaten en effecten.
het leren van evaluaties juist kan helpen om te komen
tot een betere of vernieuwde uitvoering van activiteiten
en projecten in de toekomst en efficiënter gebruik van
beschikbare middelen. Leren van evalueren kan vorm
krijgen door brainstormsessies te organiseren, discussiebijeenkomsten of workshops met medewerkers en
belanghebbenden van de organisatie.
8 |
SAMENVATTING
1
10. C
ommuniceren van de uitkomsten aan belanghebben-
2
3
4
5
6
7
8
9
10
proportie dienen te zijn met de omvang van de te evalueren
den en donateurs.
activiteit. Voor grote projecten met veel begunstigden kan het
Goededoelenorganisaties dienen zelf de afweging
relevant en haalbaar zijn om de attributie (toewijzing) van
te maken of en op welke wijze over de resultaten van
effecten en impact aan de activiteiten te meten. Activiteiten
impact wordt gecommuniceerd. Veel goededoelenor-
van kleine omvang kunnen vaak volstaan met eenvoudiger
ganisaties houden de uitkomsten van hun evaluaties
methoden om hun maatschappelijke bijdrage inzichtelijk en
liever intern. Echter, de uitkomsten van evaluaties
aannemelijk te maken op output- of outcome-niveau. Het is
kunnen een goede aanvulling zijn in het afleggen van
van belang dat goededoelenorganisaties hier op de voor
verantwoording over bestedingen aan belanghebben-
hen gepaste wijze aan blijven werken.
den, zoals donateurs, de overheid en de doelgroep.
Door externen inzicht te geven in de uitkomsten van
evaluaties, kunnen zij beter geïnformeerde keuzen ma-
Het CBF heeft de volgende aanbevelingen
ken. Daarnaast zou het communiceren van uitkomsten
voor de sector:
bij kunnen dragen aan het verzamelen van ‘bewijs’
Aanbeveling 1:Veranker resultaat- en impactmeting in
welke activiteiten beter of minder goed werken, waardoor binnen de sector betere keuzen gemaakt kunnen
de organisatiecultuur.
Aanbeveling 2:Maak budget vrij voor resultaat- en
worden in welke activiteiten te investeren en kunnen
impactmeting
besparingen gerealiseerd worden. De informatie die
Aanbeveling 3:Zet ook eenvoudige instrumen-
gecommuniceerd wordt, dient volledig, begrijpelijk,
ten en best-practices op de
accuraat en toegankelijk te zijn en toegespitst op de
onderzoeksagenda
doelgroep en hun informatiebehoefte. Hierbij is op te
Aanbeveling 4:Leer van elkaars ervaringen en werk
merken dat er diverse typen donoren zijn, waarbij de
samen
traditionele donoren meer op basis van vertrouwen
doneren en sturende donoren meer waarde hechten
aan aangetoonde resultaten en impact.
Voor het toepassen van de genoemde tien stappen voor
resultaat- en impactmeten is het belangrijk om deze in de
juiste context te plaatsen. Een belangrijke notie is dat de
omvang en complexiteit van resultaat- en impactmeting in
SAMENVATTING
| 9
1
2
3
4
5
6
7
8
9
10
Inhoudsopgave
Voorwoord3
Samenvatting 5
Inhoudsopgave10
Inleiding13
Hoofdstuk I Achtergrond van resultaat- en impactmeting15
1.1. Achtergrond van het ‘impactdenken’
15
1.2. Van input naar impact 16
1.3. Wat is impact? 18
1.4. Wat zijn resultaat- en impactmeting? 20
1.5. Waarom resultaat- en impactmeting?
21
1.6. Leeswijzer: tien stappen voor resultaat- en impactmeting
21
Hoofdstuk II Voorbereiden van resultaat- en impactmeting23
10 |
INHOUDSOPGAVE
2.1. Evalueren op project-, programma- of organisatieniveau?
24
2.2. Theory of Change 25
2.3. SMART-doelstellingen
26
2.4. Prestatie-indicatoren
29
2.5. Bepalen van de beginsituatie: de nulmeting 32
2.6. Betrekken van belanghebbenden en doelgroep 33
2.7. Context en nagaan van attributie
34
2.8. Ontwikkelen van een meetmodel
37
1
Hoofdstuk III Meten van resultaten en impact
2
3
4
5
6
7
8
9
10
39
3.1. Meetinstrumenten
40
3.1.1. Social Return on Investment
41
3.1.2. Social Impact Assessment (SIA)
43
3.1.3. Public Value Scorecard
44
3.1.4. Participatory Impact Assessment (PIA)
46
3.1.5. Base of the Pyramid Impact Assessment Framework
48
3.1.6 Logical Framework
50
3.1.7 Keuze welk meetinstrument
51
3.2. Kwalitatieve en kwantitatieve onderzoeksmethoden 52
3.3. Interpreteren en analyseren van de gegevens
55
3.3.1. Attributie en externe factoren
56
3.3.2. Correlatie en causaliteit 57
3.4. Positieve en negatieve, bedoelde en onbedoelde effecten
60
3.5. Uitdagingen bij het meten van resultaten en impact
62
Hoofdstuk IV Verantwoording en leren van resultaat- en impactmeting 63
4.1. Rapporteren van evaluatie-uitkomsten
64
4.2. Leren van evalueren
67
4.3. Communiceren met belanghebbenden
69
4.4. Communiceren met donateurs 71
Hoofdstuk V Discussie en aanbevelingen73
5.1. Gradaties van resultaat- en impactmeting 73
5.2. Aanbevelingen
73
5.3. CBF-perspectief
75
INHOUDSOPGAVE
| 11
1
2
3
4
5
6
7
8
9
10
Visies en ervaringen uit de sector
77
Wilde Ganzen
77
Erasmus Centre for Strategic Philanthropy
79
Samenwerkende GezondheidsFondsen / Hersenstichting 81
Centre for International Development Issues (CIDIN)
83
1%CLUB / AmLab
85
Partos – Branchevereniging voor Internationale Samenwerking
87
Centre for Development Innovation
88
NCDO
90
Begrippenkader92
Trefwoordenregister95
Literatuurlijst96
Colofon99
12 |
INHOUDSOPGAVE
1
2
3
4
5
6
7
8
9
10
Inleiding
Het is verheugend dat het Centraal Bureau Fondsenwerving
Effectmeting kent een lange geschiedenis en wordt geken-
ook meer proces-georiënteerd en vraagt om een bredere
(CBF) de laatste jaren steeds meer aandacht is gaan vragen
merkt door een steeds bredere keuze aan benaderingen en
samenwerking.
voor het verrichten van geloofwaardig effectenonderzoek bij
methodieken. Vragen over de effectiviteit van interventies
De evaluatieliteratuur kent een gelijksoortige ontwikkeling
de organisaties die het CBF-Keur dragen. Daardoor is er
worden al sinds mensenheugenis gesteld, vooral in de (para)
van paradigma’s waarbij nieuwe vragen en bijbehorende
– naast de toetsing op rechtmatigheid – ook noodzaak om
medische sector. Na de Tweede Wereldoorlog is de aan-
methoden worden geïntroduceerd. Guba & Lincoln (1989)
de criteria van doeltreffendheid en doelmatigheid nader in
dacht voor evaluaties van effectbereik sterk toegenomen,
karakteriseren vier generaties van evaluatiestudies, waar-
te vullen. Deze brochure biedt daartoe een aantal zeer nut-
mede onder invloed van de ontluikende management- en
bij de focus zich langzaam maar zeker verbreedt van het
tige bouwstenen en praktische aanbevelingen.
bestuurswetenschappen. Met de toegenomen rol van
‘meten’ en ‘beschrijven’ van de resultaten van interventies
publieke en semipublieke organisaties waaraan steeds meer
naar het ‘waarderen’ en ‘reconstrueren’ van het interventie-
Het meten van resultaten van goededoelenorganisaties is
maatschappelijke taken worden opgedragen, komen ook
proces. Daarbij is het vooral van belang om inzicht te ver-
om drie redenen van belang. In de eerste plaats verwacht
vragen naar de effectiviteit en de verantwoording steeds
werven in de specifieke rol en bijdrage (de ‘meerwaarde’)
het publiek een duidelijk inzicht in de wijze waarop de
meer centraal te staan. Professioneel toezicht wordt daarbij
van elk van de (lokale en internationale) partners in het
ingezamelde middelen worden besteed. Het is niet meer
gehanteerd om organisaties scherp gericht te houden op
samenwerkingsproces.
voldoende om alleen de doelstellingen van de organisatie te
marktoriëntatie en prestatielevering.
communiceren, maar er wordt ook verwacht dat er toezicht
De verschillende benaderingswijzen en evaluatiemethoden
wordt gehouden op de gerealiseerde resultaten. In de twee-
Onderzoek naar de effecten en resultaten van goededoe-
die in deze publicatie worden genoemd, dragen – elk op
de plaats wordt om resultaatmeting gevraagd omdat er een
lenorganisaties is van recentere oorsprong en kent ook een
hun eigen wijze – bij aan een beter begrip van de effectivi-
steeds grotere keuze en variëteit bestaat tussen verschillende
aantal specifieke uitdagingen. Deze hebben vooral te maken
teit en efficiency van de activiteiten van goededoelenorga-
goededoelenorganisaties die werkzaam zijn in dezelfde sec-
met een steeds bredere definitie van doelen en resultaten en
nisaties. Voor de potentiële gebruikers is het zaak om een
tor. Steeds meer – grote en kleine – instellingen presenteren
de veranderende verhouding tussen goededoelenorganisaties
doelbewuste combinatie te maken van de geschikte metho-
zich aan het publiek en stellen daarbij specifieke resultaten
en hun lokale partners. Korten (1990) onderscheidt in dit ver-
den die het beste aansluiten bij de doelstelling en werkwijze
in het vooruitzicht. Inzicht in het resultaatbereik wordt daarbij
band vier generaties van niet-gouvernementele organisaties
van de eigen organisatie.
van belang geacht voor het vergroten van de transparantie
(NGO’s) met uiteenlopende visies ten aanzien van werkwijze
van de sector. In de derde plaats is resultaatmeting van
en interventiestrategie. De eerste en tweede generatie orga-
Deze publicatie is natuurlijk vooral bedoeld om de discussie
belang om te kunnen leren van en communiceren over de
nisaties leggen vooral nadruk op noodhulp (logistieke steun)
over het ‘waarom’ en ‘hoe’ van verantwoorde resultaatme-
– al dan niet – bereikte resultaten, zodat er ook lessen kun-
en lokale projecten gericht op dorpsontwikkeling waarvan
ting binnen de goededoelenorganisaties te bevorderen. Het
nen worden getrokken over de werkwijze van de betrokken
effecten min of meer eenduidig traceerbaar zijn. De derde
is verstandig om dan ook gelijk een aantal praktische rand-
organisatie. Goede evaluaties zijn nodig voor het tijdig bij-
en vierde generatie van organisaties definiëren hun rol eer-
voorwaarden in ogenschouw te nemen. Ik noem daartoe
stellen van de activiteitenkeuze of de interventiestrategie van
der als ‘katalysator’ of ‘mobilisator’ en richten zich meer op
een vijftal uitgangspunten die behulpzaam kunnen zijn bij de
elke goededoelenorganisatie.
(inter)nationale systeemverandering. Effectmeting wordt hierbij
keuze van de geëigende evaluatieaanpak:
INLEIDING
| 13
1
2
3
4
5
6
7
8
9
10
1. Selectiviteit: niet alles behoeft geëvalueerd te worden.
organisatie. Daarmee wordt mogelijke vooringenomen-
Van vele interventies is het resultaatbereik genoegzaam
heid bij de evaluatieopzet en -uitvoering voorkomen
bekend (bijvoorbeeld door de beschikbaarheid van
en dat zal de betrouwbaarheid van de uitkomsten ten
systematisch effectenonderzoek). Er zijn veelal betere
goede komen.
lessen te trekken uit evaluaties die zich richten op
interventies waar de onzekerheid van resultaatbereik het
Ik ben ervan overtuigd dat de CBF-organisaties deze publi-
grootst is.
catie zullen weten te benutten voor een verdere discussie en
2.Proportionaliteit: een beperkt gedeelte van het beschik-
reflectie over het gebruik van resultaat- en impactmeting bij
bare budget kan gewoonlijk ten behoeve van evaluaties
het verantwoorden, leren en communiceren over de doeltref-
worden ingezet. Voor veel kleine projecten is grootscha-
fendheid en doelmatigheid van hun activiteiten in de dage-
lig effectenonderzoek gewoonweg te kostbaar en lig-
lijkse praktijk.
gen eenvoudiger methoden van ‘monitoring’ meer voor
de hand. Maar als men welbewust wil uitvinden ‘wat
Prof. dr. Ruerd Ruben
werkt’ is een grotere investering in resultatenonderzoek
Hoogleraar Effectiviteit van Ontwikkelingsbeleid
juist gewettigd.
Radboud Universiteit Nijmegen
3. Kwaliteit: beter geen evaluatie dan een slechte evalu-
Directeur
nimumkwaliteitscriteria (bijvoorbeeld vanwege ondeug-
Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie
delijke indicatoren, te kleine steekproef of afwezigheid
(IOB), Ministerie van Buitenlandse Zaken van controlegroep). Dergelijke studies kunnen dan beter
achterwege worden gelaten.
4. Creativiteit: evaluaties zijn geen standaardproduct maar
moeten zich aanpassen aan de specifieke situatie van
interventies. Een blauwdrukbenadering doet geen recht
aan de diversiteit van mogelijke resultaten. Het combineren van kwantitatieve en kwalitatieve methoden levert
veelal het beste inzicht in het resultaatbereik.
5. Onafhankelijkheid: evalueren is een vak en de uitvoering van kwalitatief hoogstaande evaluaties kan het
beste worden toevertrouwd aan een onafhankelijke
14 |
&
atie. Veel evaluaties voldoen uiteindelijk niet aan de mi-
INLEIDING
1
2
3
4
5
6
7
8
9
10
Hoofdstuk I Achtergrond van resultaat- en impactmeting
De aandacht voor het meten van resultaten en het bepalen
woording over de uitgevoerde activiteiten. Verantwoording
telijk kunnen maken. De onderliggende gedachte is dat het
van de ‘impact’ van activiteiten van goededoelenorganisa-
wordt afgelegd in specifieke maatschappelijke jaarversla-
meten van impact inzichten geeft in de handvatten voor
ties neemt toe. Maar wat zijn resultaat- en impactmeting en
gen of geïntegreerde jaarverslagen, op websites, andere
verbeteringen, en positief bij zal dragen aan het publieks-
waarom is het belangrijk? In het eerste deel van deze publi-
communicatie-uitingen en in gesprekken met stakeholders.
vertrouwen in de sector. Echter, in de praktijk blijkt dat veel
catie wordt ingegaan op de achtergrond van resultaat- en
De overheid besteedt in haar subsidievoorwaarden voor
goededoelenorganisaties het nog lastig vinden er concreet
impactmeting. In de komende hoofdstukken wordt aandacht
goededoelenorganisaties ook aandacht aan het rapporteren
vorm aan te geven. Vanuit historisch perspectief is de sector
besteed aan de achtergrond (Paragraaf 1.1), het verklaren
en het meten van resultaten.
ontwikkelingssamenwerking, gedreven door institutionele
van de gebruikte terminologie (Paragrafen 1.2, 1.3 en 1.4)
Toenemende druk van buitenaf, van media, publiek en poli-
donoren zoals de overheid, hier al het langst mee bezig en
en het waarom van resultaat- en impactmeting (Paragraaf
tiek en een dalend maatschappelijk vertrouwen zijn van
er daarom ook het meest in ontwikkeld.
1.5).
invloed op de wijze waarop en de mate waarin goededoelenorganisaties verantwoording afleggen aan hun belang-
Veel goededoelenorganisaties verzamelen informatie over
1.1. Achtergrond van het ‘impactdenken’
hebbenden (Maas, 2009). Maar intern groeit er bij goede-
hun prestaties. Zij doen dit vaak voor interne doeleinden.
Goededoelenorganisaties leggen zich al decennia lang
doelenorganisaties ook een interesse naar het verkrijgen van
Het blijkt echter uit diverse studies van goededoelenorgani-
toe op het leveren van een maatschappelijke bijdrage.
inzicht in de effectiviteit van de projecten die zij uitvoeren
saties in onder andere de Verenigde Staten en het Verenigd
Het belang voor goededoelenorganisaties om prestaties,
en het uiteindelijke maatschappelijke verschil dat zij maken
Koninkrijk, dat hoewel de druk met betrekking tot het ver-
resultaten en impact te meten groeit. Sinds de jaren ’90
(Liket en Maas, nog te verschijnen).
zamelen van informatie over de resultaten en de behaalde
van de vorige eeuw is de aandacht voor transparantie
Deze ontwikkelingen hebben alle aanzet gegeven tot
impact toeneemt, organisaties zich nog beperkt bezighou-
– de zichtbaarheid en kwaliteit van het rapporteren – en
het denken in termen van impact. Hierbij wordt steeds
den met resultaat- en impactmeting (Carman, 2007; Ní
accountability – het afleggen van rekenschap en verant-
meer aandacht gegeven aan het meten van resultaten en
Ógáin et al., 2012). De mate waarin wordt geïnvesteerd
woording – gegroeid. De vraag om transparantie heeft
impact. Dit blijkt ook bijvoorbeeld uit de thema’s van de
in resultaat- en impactmeting ligt besloten in de keuzen die
zich ontwikkeld van TRUST ME naar TELL ME naar SHOW
Transparantprijs op initiatief van PwC en de annual letter
goededoelenorganisaties maken in het alloceren van beste-
ME en uiteindelijk naar PROVE ME en INVOLVE ME. De
van de Gates Foundation (2013), waar Bill Gates een
dingen voor hun activiteiten. Goededoelenorganisaties zijn
aandacht voor transparantie groeit en dat is ook duidelijk te
heel duidelijk manifest uitspreekt voor het selecteren van de
hier lang niet altijd vrij in: vele donateurs, zowel institutioneel
zien in initiatieven als de publieke managementletter van de
juiste indicatoren om inzicht te krijgen in de progressie en
als privaat, beïnvloeden – op directe of indirecte wijze – de
Nederlandse Beroepsorganisatie van Accountants voor de
veranderingen die het gevolg zijn van ieder maatschappelijk
ruimte die goededoelenorganisaties hebben om fondsen
goededoelensector (NBA, 2012), de GRI-richtlijnen (Global
initiatief.
te besteden aan het meten van de resultaten. Organisaties
Reporting Initiative) voor jaarverslaglegging en talrijke
verzamelen nog beperkt gegevens over het daadwerkelijke
andere initiatieven. In de afgelopen decennia zijn steeds
Veel goededoelenorganisaties zijn geïnteresseerd in de
effect van hun activiteiten op de maatschappij. Naast de
meer organisaties zoals bedrijven, gemeenten, scholen en
wijze waarop ze de resultaten van hun fondsenwerving,
beperkte fondsen die goededoelenorganisaties tot hun
ziekenhuizen gewend geraakt aan het afleggen van verant-
bestedingen en activiteiten het beste kunnen meten en inzich-
beschikking hebben voor het uitvoeren van resultaat- en
ACHTERGROND
| 15
1
2
3
4
5
6
7
8
9
10
impactmetingen is een tweede oorzaak voor het tekort aan
die worden doorlopen bij het nadenken over en meten van
deze metingen de beperkte kennis over het belang en de uit-
impact:
voering hiervan. Het CBF ervaart dat bij goededoelenorganisaties vaak het geloof bestaat dat het mogelijk is om een
concrete en eenduidige set aan indicatoren en methodieken
te identificeren waarmee de maatschappelijke impact van
de goededoelenorganisaties inzichtelijk gemaakt kan worden. Het zal in deze publicatie duidelijk worden dat resultaat- en impactmeting zeer contextafhankelijk zijn; daardoor
INPUTS
ACTIVITIES
OUTPUTS
OUTCOMES
GOAL ALIGNMENTS
WHAT IS PUT
VENTURE’S
RESULTS THAT
CHANGES TO
ACTIVITY AND
INTO THE
VENTURE
PRIMARY
ACTIVITIES
CAN BE
MEASURED
SOCIAL SYSTEMS
GOAL ADJUSTMENT
moet er voor iedere meetvraag opnieuw nagedacht worden
WHAT WOULD
HAVE HAPPEND
ANYWAY
en moeten (soms moeilijke) keuzen gemaakt worden.
1.2. Van input naar impact
= IMPACT
In het praten over impact komt een aantal begrippen naar
voren, die wellicht enige verheldering vragen. Een veelgebruikt begrip in de discussies over impact is de waardeketen. Dit is de keten van waardecreatie die loopt van inputs
Figuur 1: Impact Value Chain (Clark et al., 2004)
(de middelen die men inzet), de activiteit (in deze publicatie
een breed begrip waar ook project, programma en interven-
De belangrijkste gedachte achter het Impact Value Chain-
betreffende input. Deze activiteiten worden ook wel gezien
tie onder vallen), de outputs (de directe meetbare resultaten),
model is het onderscheid tussen output en outcome en de
als de doelbestedingen. Voorbeelden van activiteiten zijn:
de outcomes (de directe effecten op de doelgroep), naar
definiëring van impact als effecten als gevolg van een acti-
hulpverlening, voorlichting, belangenbehartiging, bewust-
ten slotte impact. Het valt tevens op dat woorden als resul-
viteit ‘minus wat er toch al aan veranderingen zou hebben
wording, wetenschappelijk onderzoek.
taten, output, outcome en impact vaak door elkaar worden
plaatsgevonden’.
Outputs zijn de meetbare directe resultaten als gevolg van
gebruikt. Men zou kunnen zeggen dat output (directe resultaten) en outcome zich onderscheiden van impact doordat
Inputs zijn alle middelen die een organisatie inzet om de
de ontplooide activiteiten. Aan de hand van de eerder
ze zijn gerelateerd aan de leverancier van het product, de
doelstellingen te realiseren. Voorbeelden van inputs zijn:
geformuleerde prestatie-indicatoren kan geëvalueerd worden
activiteit of de dienst, terwijl impact vooral samenhangt met
geld, materiaal, kennis, netwerken en uren.
of de gestelde doelen behaald zijn. Voorbeelden van out-
de gebruiker (Kolodinsky et al., 2006).
puts: het aantal daklozen in regio X dat behuisd, verzorgd
Het Impact Value Chain-model (Impactwaardeketen-model)
Activiteiten zijn alle activiteiten die leiden tot het realiseren
en gevoed is of het aantal blindengeleidehonden dat is
van onderzoekers Clark et al. (2004) beschrijft vijf stadia
van de doelstellingen van de organisatie met gebruik van de
getraind in het afgelopen jaar. Of bijvoorbeeld het aantal
16 |
ACHTERGROND
1
2
3
4
5
6
7
8
9
10
vogels dat is geteld, het aantal congressen dat is georgani-
Het Impact Value Chain-model voegt vervolgens nog een
Resultaten hoeven niet lineair te zijn, zo kan een activiteit lei-
seerd en het aantal deelnemers dat daarop aanwezig was.
laatste stap toe, waarin beoordeeld wordt of resultaten en
den tot meerdere outputs en deze kunnen elk ook tot meerde-
effecten overeenkomen met oorspronkelijke doelstellingen.
re outcomes leiden. Impacteffecten kunnen maatschappelijke
Outcomes zijn de ultieme veranderingen die een organisatie
De informatie uit deze evaluatie en terugkoppeling kan
veranderingen zijn op bijvoorbeeld ecologische, sociale,
tot stand probeert te brengen in de wereld. Hierbij wordt
leiden tot een verbetering in toekomstige doelstellingen en
technologische, politieke en/of economische gebieden.
een stap verder gekeken dan alleen naar direct, concreet
activiteiten.
resultaat. Niet voor iedere organisatie zal dit noodzakelijk
Voorbeelden van waardeketens:
zijn, dit hangt ondermeer af van de gestelde doelen van
de organisatie. Voorbeelden van outcomes: verbetering
van de onderwijsprestaties van deelnemers aan de betreffende onderwijsactiviteit of verhoogde biodiversiteit in een
bepaald gebied.
Op lange termijn kan
verbeterde kwaliteit van
onderwijs leiden tot een
verbeterde positie van jonge
vrouwen. Een hogere
arbeidsparticipatie kan
leiden tot minder armoede.
Impact: de outcomes minus wat er sowieso aan veranderingen zou hebben plaatsgevonden. Bij impact gaat het
volgens het Impact Value Chain-model vooral om het isoleren
IMPACT
van dat deel van de outcomes waarop de unieke bijdrage
van de organisatie invloed heeft gehad. Het gaat over dat
gedeelte van de totale uitkomst dat is ontstaan als gevolg
van de activiteit van de organisatie, bovenop hetgeen
OUTCOMES
er zonder die activiteit zou zijn ontstaan (meer informatie
hierover in Hoofdstuk 2.7 en Hoofdstuk 3.3). Meer over
de mogelijke definities van impact volgt in de volgende
paragraaf.
OUTPUTS
ACTIVITEITEN
INPUTS
IMPACT
Verbeterde kwaliteit van het onderwijs
voor kinderen tussen X en Y jaar oud in
de regio Z, een verhoogd kennisniveau
van de schoolverlaters, verbeterde
kansen op voortgezet onderwijs of
hogere arbeidsparticipatie.
Aantal leraren dat is getraind,
aantal schoolboeken dat is
uitgedeeld of aantal gebouwde
schoolgebouwen.
Het geven van trainingen aan
basisschoolleraren, het uidelen
van schoolboeken, het bouwen
van schoolgebouwen in regio Z.
Geld, mensuren, kennis van opgeleide
vrijwilligers, gedoneerde schoolboeken,
bouwmaterialen.
OUTCOMES
OUTPUTS
Lagere maatschappelijke kosten in
verband met criminaliteit. Onbedoeld
negatief bijeffect van het investeren in
vaardigheden van ex-gedetineerden
kan echter ook zijn dat er sociaal
vaardiger criminelen ontstaan,
waardoor een andere criminaliteitsproblematiek ontstaat.
Toegenomen vaardigheden die kunnen
leiden tot een afname in criminaliteit en
recidive.
Het aantal ex-gedetineerden dat een
vaardighedentraining heeft gevolgd.
ACTIVITEITEN
INPUTS
Het organiseren van een
vaardighedentraining voor
ex-gedetineerden.
Locatie die ter beschikking is gesteld,
mensuren, trainingsmaterialen.
ACHTERGROND
| 17
1
2
3
4
5
6
7
8
9
10
1.3. Wat is impact?
Impact is een populair begrip geworden in de goededoelensector. Uit documentatie en praktijkervaringen van goededoelenorganisaties blijkt dat de term ‘impact’ op allerlei
manieren geïnterpreteerd wordt en kan worden, waarbij de
ene interpretatie niet per definitie beter is dan de andere.
Verbeterde kwaliteit van
leven voor mens en dier
in regio X.
IMPACT
OUTCOMES
OUTPUTS
ACTIVITEITEN
IMPACT
Verbeterde kwaliteit van
water, lucht en bodem in
regio X.
OUTCOMES
Toename aantal hectare
beschermd zeegebied in
regio X.
INPUTS
Het verbeterende leven en
maatschappelijke bijdragen
van de blinde persoon door
de blindengeleidehond.
OUTPUTS
ACTIVITEITEN
De verbeterde ervaring van
de blinde persoon door de
blindengeleidehond.
Het aantal getrainde
blindengeleidehonden.
INPUTS
Lobby bij de overheid om zeegebied
te beschermen, samenwerken met
andere natuurbeschermers en
lobbygroepen, petitie online
verspreiden, afbakening van
een kustgebieden.
Netwerken, mensuren, giften.
Fokken, verzorgen en trainen
van honden, cursus geven
aan gebruikers van
blindengeleidenhonden.
Giften, uren van trainers en
gastoudergezinnen,
materialen.
Het is opvallend dat goededoelenorganisaties, wetenschappers, financiers en andere partijen veel verschillende betekenissen geven aan impact. Ook worden dit begrip en synoniemen als ‘effect’ en ‘invloed’ op allerlei manieren gebruikt.
Het gebruik van verschillende definities van impact zorgt
voor verwarring bij het toepassen van (instrumenten voor)
resultaat- en impactmeting. Daarnaast ontstaan er variaties
als gevolg van verschillende wetenschapsgebieden zoals
bedrijfskundig, sociaal, economisch en strategisch (Maas en
Liket, 2010).
In de wetenschappelijke literatuur zijn grofweg twee
stromingen die ieder een eigen kijk hebben op definities van impact (White, 2009). Er is een stroming die
impact ziet als het hoogste niveau van de waardeketen.
In deze stroming wordt impact gezien als de duurzame
Het mag duidelijk zijn dat directe resultaten (outputs) vaak
gemakkelijk waarneembaar en meetbaar zijn, maar dat
voor het inzichtelijk maken van de verdere effecten op de
doelgroep (outcomes) en langetermijneffecten dan wel het
toewijzen van die effecten aan de activiteiten (impact) diepgaander onderzoek nodig is.
18 |
ACHTERGROND
Bedenk als goededoelenorganisatie of het vanuit de statutaire doelstellingen én de wensen van belanghebbenden wenselijk is om naast het meten van directe resultaten ook de verdere effecten en impact van die resultaten
te onderzoeken. Tot hoever wil en kan de organisatie
gaan in het meten van outputs, outcome en/of impact?
langetermijnveranderingen.
In lijn met deze stroming is de kijk op impact door organisaties zoals het Development Assistance Committee (DAC)
van de OECD. Het DAC definieert impact als de ‘positieve
en negatieve, primaire en secundaire langetermijneffecten
die het resultaat zijn van een interventie, direct of indirect,
1
2
3
4
5
6
7
8
9
10
bedoeld of onbedoeld’ (OECD-DAC, 2002: 24 vrij vertaald
doelgroep die zij wil bedienen). Een goededoelenorganisatie
uit het Engels).
kan bijvoorbeeld als doel hebben om wereldwijd malaria te
‘Interventie’ is een vrij brede term die betrekking kan hebben
bestrijden. Haar missie-impact is in dit geval de duurzame ver-
op een project, activiteit, programma of beleid.
mindering in malaria-infecties. Haar maatschappelijke impact
reikt echter verder en betreft ook zaken zoals de besparing
Liket en Maas (nog te verschijnen) maken een onderscheid
in maatschappelijke gezondheidskosten. Inzicht in de missie-
tussen missie-impact en maatschappelijke-impact. De eerste
impact van een goededoelenorganisatie is een maatstaf voor
vorm, missie-impact, betreft louter de impacteffecten die rela-
de effectiviteit van projecten en de organisatie. Inzicht in de
teren aan de missie van de organisatie. Daarentegen betreft
maatschappelijke impact van een goededoelenorganisatie is
de maatschappelijke impact alle impacteffecten, ongeacht
een maatstaf voor de effectiviteit van goededoelenorganisa-
de missie, wat dus ook negatieve en onbedoelde effecten
ties ten opzichte van de maatschappij, ongeacht hun missie.
meeneemt. Een voorbeeld ter verduidelijking. Iedere goede© Auke Herrema
doelenorganisatie maakt een keuze om zich te richten op
Een andere stroming die vooral in de laatste jaren veel
een bepaald maatschappelijk probleem en formuleert een
terrein heeft gewonnen, bijvoorbeeld bij de Wereldbank,
duidelijke afbakening van de maatschappelijke verandering
en die ook wordt gehanteerd bij de Inspectie Ontwikkelings-
die zij beoogt in haar missie (en in sommige gevallen de
samenwerking en Beleidsevaluatie (IOB) van het ministerie
Missie
Malaria
voorkomen
Maatschappelijke
Dilema’s en
Problemen
Input
fondsen,
tijd,
expertise
Activiteit
Uitdelen van
gratis
klamboes
Output
Aantal klamboes
uitgedeeld
Outcome
Δ klamboegebruik door de
doelgroep
Missie Impact
Δ infecties
Missie
Missie
Maatschappij
Missie Impact
Maatschappelijke
Impact
Δ Maatschappelijke
gezondheidskosten
Figuur 2: Waardeketen missie-impact en maatschappelijke impact (Liket en Maas, nog te verschijnen)
ACHTERGROND
| 19
1
2
3
4
5
6
7
8
9
10
van Buitenlandse Zaken, ziet impacteffecten als de verande-
het gezondheidsfonds op directe en indirecte gezondheids-
begin van dit proces zullen strategische plannen gemaakt
ring die tot stand is gebracht door de activiteit minus ‘wat er
kosten (bestaande uit ziekenhuiskosten, kosten gemaakt in de
worden om te bepalen waar middelen worden ingezet,
toch al aan veranderingen zou hebben plaatsgevonden’
andere schakels in de zorgketen en de kosten van extra man-
welke activiteiten zullen worden uitgevoerd en waar, voor
(Clark et al., 2004). Het verschil met de eerder beschreven
telzorg), het productiviteitsverlies, de kwaliteit van leven van
wie, waarom etc. Aan het einde van het proces dient dui-
stroming is dat met name het toewijzen van het effect aan
patiënten en de levensduur van patiënten (Maas et al., 2011).
delijk te worden of de beoogde doelstellingen zijn behaald.
een activiteit centraal staat. In essentie draait dit om het
De uitkomsten van dit onderzoek geven inzicht in de geschatte
Het gehele proces van organisatie-inrichting, processen
beantwoorden van de vraag wat de toegevoegde waarde
maatschappelijk impact van het gezondheidsfonds ten aanzien
bewaken, gegevens verzamelen en bijhouden tot en met
is van de activiteit, door nauwkeurig te bestuderen of de
van het herkennen en behandelen van beroertes, onder meer
het rapporteren en strategische doelen bijstellen, wordt ook
gevonden resultaten daadwerkelijk door de activiteit kwa-
uitgedrukt in het aantal euro’s dat de maatschappij bespaard
wel ‘monitoren en evalueren’ genoemd. Resultaat- en impact-
men. Dit wordt ook wel attributie genoemd. Meer hierover in
wordt door de activiteiten van deze goededoelenorganisatie.
meting zijn het deel van het evalueren waarbij onderzoek
hoofdstuk 2.7 en 3.3.
Dit alles met de kanttekening dat er vele partijen van invloed
wordt uitgevoerd naar de resultaten en interne en externe
zijn op dit thema en de resultaten niet volledig aan het gezond-
effecten van activiteiten met als doel inzicht te krijgen in
heidsfonds kunnen worden toegewezen.
hetgeen er is bereikt. Waarom een onderscheid tussen het
Niet alle impact is positief. Sommige goededoelenorganisaties hebben bijvoorbeeld gerapporteerd dat hun activiteiten
meten van ‘resultaat’ en ‘impact’? Omdat er een onder-
niet de gewenste uitkomsten hadden. Voorbeelden hiervan
Daarnaast spreekt bijvoorbeeld een klein cultuurfonds zich
scheid kan worden gemaakt tussen enerzijds onderzoek
zijn dat de mentale gesteldheid van de doelgroep is ver-
uit over zijn impact bij de aankoop van een aantal belang-
naar concrete, directe, meetbare resultaten en anderzijds
slechterd ondanks de voor hen georganiseerde activiteiten,
rijke historische kunstwerken, zonder daar een gedegen
de langetermijneffecten als gevolg van een activiteit – de
of dat de kennis en bewustwording bij de doelgroep over
onderzoek naar uit te voeren om deze impact concreet te
impact – op de doelgroep en maatschappij.
een bepaalde ziekte juist waren afgenomen ondanks de
maken. Het zal duidelijk zijn dat de context en lading van
Bij een meting kan onderscheid gemaakt worden tussen
gevoerde campagnes. Dit kan liggen aan (onbedoelde)
het woord impact anders is in deze twee voorbeelden.
onderzoek op het niveau van separate programma’s, pro-
bijeffecten of de invloed van externe factoren die roet in het
Wellicht is er in dit laatste voorbeeld eerder sprake van
jecten en activiteiten en onderzoek op het niveau van de
eten gooien. Impact gaat verder dan de specifieke doel-
directe resultaten (ook wel output genoemd) en is nog geen
gehele organisatie. Door verschillende soorten gegevens te
groep waarvoor de activiteit in beginsel is bedoeld en kijkt
inzicht gegeven in verdere effecten van de aankoop, zoals
verzamelen en deze te analyseren, kan worden aangetoond
ook naar de effecten op maatschappelijk niveau.
bijvoorbeeld het stimuleren van cultureel aanbod, en wat dit
wat de resultaten en het effect van de resultaten van een
betekent op maatschappelijk niveau (impact).
project of organisatie zijn geweest op de doelgroep, de
Een voorbeeld ter verduidelijking van de diverse interpretaties
maatschappij en de organisatie zelf en wat in de toekomst
van het woord impact in de praktijk van goededoelenorganisa-
1.4. Wat zijn resultaat- en impactmeting?
beter kan. In deze publicatie zullen verschillende stappen,
ties: een groot gezondheidsfonds heeft zijn impact laten meten
Een centrale vraag voor organisaties in het toepassen van
raamwerken en methoden worden geïntroduceerd die goe-
ten aanzien van het herkennen en behandelen van beroertes.
resultaat- en impactmeting is: “Wat willen we bereiken en
dedoelenorganisaties op weg kunnen helpen in het handen
Hiertoe is uitgebreid onderzoek verricht naar de effecten van
wat is onze strategie om ons doel te bereiken?” Aan het
en voeten geven aan resultaat- en impactmeting.
20 |
ACHTERGROND
1
2
3
4
5
6
7
8
9
10
1.5. Waarom resultaat- en impactmeting?
groeit het belang van transparantie en inzicht in wat goede
De beweegreden voor resultaat- en impactmeting is van
Men zou kunnen zeggen dat het meten van en rapporteren
doelen bereiken. Dit blijkt ook uit onderzoek in het Verenigd
belang voor de verdere opzet en invulling van de evaluatie.
over de resultaten en effecten van activiteiten voor goede-
Koninkrijk, waar goededoelenorganisaties die voornamelijk
Wanneer de nadruk meer ligt op verantwoording kan het
doelenorganisaties een strategische noodzaak is. Er kunnen
gefinancierd worden vanuit overheidssubsidies in toene-
zijn dat er meer harde cijfers en bewijzen gevraagd wor-
zowel interne als externe doelen mee behaald worden.
mende mate inzetten op het meten van resultaten en impact.
den, terwijl een evaluatie waarbij de nadruk ligt op leren
Op het interne vlak kunnen metingen leiden tot het verbete-
Goededoelenorganisaties die voornamelijk gefinancierd
wellicht meer oplevert als juist de verhalen achter de cijfers
ren van eigen prestaties op organisatie- en projectniveau en
worden door individuele donoren zijn veel minder extern
worden bestudeerd. Het is belangrijk om verantwoorden en
het verhogen van het kennisniveau over een specifiek thema
gedreven om impact te meten (Ní Ógáin et al., 2012). De
leren in goed evenwicht te laten zijn binnen de organisatie.
of gebied. De uitkomsten maken het voor organisaties moge-
huidige bezuinigingen op ontwikkelingshulp, bijvoorbeeld,
lijk beter onderbouwde keuzen te maken in activiteiten. Het
hebben grote gevolgen voor de budgetten van goededoelen-
uitvoeren van een gedegen meting helpt organisaties om
organisaties. Voorheen hadden veel ontwikkelingsorganisaties
de eigen meerwaarde aan de maatschappij te bepalen en
één belangrijke financier: de overheid. Nu halen deze orga-
preciezer vast te stellen waar de organisatie het verschil kan
nisaties hun geld bij andere donateurs, zoals de Verenigde
maken. Het helpt de sterke en zwakke punten te identifice-
Naties, internationale overheden, (vermogens)fondsen,
ren, meer inzicht te krijgen in wat werkt en wat niet en waar-
bedrijven en andere instellingen. Zowel de overheid als deze
om, en te leren hoe prestaties verbeterd kunnen worden.
‘nieuwe’ institutionele gevers vragen meer op het gebied van
Resultaat- en impactmeting zijn een manier om processen en
projectbeschrijvingen, rapportages, monitoring en controle.
1.6. Leeswijzer: tien stappen voor resultaat- en
activiteiten te verbeteren en efficiënter te maken.
Analyse op het gebied van resultaat en impact kan zowel
impactmeting
goededoelenorganisaties als institutionele gevers helpen om
In deze publicatie worden tien stappen voor resultaat- en
Op het externe vlak kunnen evaluaties leiden tot het verho-
beter te worden in wat ze doen, maar kan ook helpen om
impactmeting geïntroduceerd. De gedachte achter dit model
gen van het effect van activiteiten op de doelgroep en/of
deze alternatieve financieringsbronnen aan te boren.
is dat iedere organisatie elke stap kan doorlopen, maar
Bedenk van tevoren vanuit welke beweegreden de resultaat- en impactmeting worden uitgevoerd en hoe dit de
opzet beïnvloedt.
maatschappij. Goed onderbouwde resultaatmeting kan ook
dat de mate waarin een stap wordt uitgevoerd, van een-
leiden tot meer draagvlak bij en aandacht en vertrouwen van
voudig tot complex, afhangt van de grootte en complexiteit
institutionele gevers en individuele donateurs die het steeds
van de organisatie en de activiteit die wordt geëvalueerd.
belangrijker vinden om te weten wat er met hun donaties
Enkele van de stappen, zoals het formuleren van SMART-
gebeurt en of het goede doel transparant is (Midgley, 2012).
doelstellingen en het opstellen van prestatie-indicatoren,
Met name institutionele gevers, zoals financiers en subsidie-
Breng uw potentiële financieringsbronnen in kaart en
zijn onderdeel van de criteria van het CBF-Keur en CBF-
verstrekkers, vragen steeds meer naar inzicht in resultaten.
vergelijk welke verwachtingen zij hebben ten aanzien
Certificaat. Andere stappen in het hier gepresenteerde
Misschien is voor individuele donateurs het goede gevoel
van het inzichtelijk maken van uw impact.
model zijn niet verplicht, maar kunnen bijdragen aan de
wel het belangrijkst, maar ook binnen deze groep donateurs
verdere professionalisering van goededoelenorganisaties.
ACHTERGROND
| 21
1
2
3
4
5
6
7
8
9
10
STAP
Deze tien stappen zijn verdeeld in drie fasen: voorbereiden
(hoofdstuk 2), meten (hoofdstuk 3) en verantwoorden (hoofd-
Hoofdstuk II Voorbereiden
1
Keuze wat evalueren + wat wil ik bereiken (Theory of Change)
2
SMART-doelstellingen + prestatie-indicatoren
3
Nulmeting en betrekken belanghebbenden hierbij
4
Context en attributie: wat doen anderen en wat is mijn bijdrage
5
Meetmodel beschrijven
6
Meetinstrument kiezen
7
Gegevens verzamelen en analyseren
8
Evaluatie rapportage
9
Leren van evalueren
stuk 4). De hoofdstukken zijn ingedeeld in paragrafen. Vaak
vormen twee of meerdere paragrafen samen één stap uit het
model.
Stap 1:
paragraaf 2.1 en 2.2
Stap 2:
paragraaf 2.3 en 2.4
Stap 3:
paragraaf 2.5 en 2.6
Stap 4:
paragraaf 2.7
Stap 5:
paragraaf 2.8
Stap 6:
paragraaf 3.1
Stap 7:
paragraaf 3.2 t/m 3.5
Stap 8:
paragraaf 4.1
Stap 9:
paragraaf 4.2
Stap 10:
paragraaf 4.3 en 4.4
22 |
ACHTERGROND
Hoofdstuk III Meten
Hoofdstuk IV Verantwoorden
10
Communiceren van de bevindingen aan belanghebbenden
1
2
3
4
5
6
7
8
9
10
Hoofdstuk II Voorbereiden van resultaat- en impactmeting
STAP
Resultaat- en impactmeting beginnen met de basisvraag:
waarom wil ik impact meten en wat wil ik doen met de
Hoofdstuk II Voorbereiden
1
Keuze wat evalueren + wat wil ik bereiken (Theory of Change)
2
SMART-doelstellingen + prestatie-indicatoren
3
Nulmeting en betrekken belanghebbenden hierbij
4
Context en attributie: wat doen anderen en wat is mijn bijdrage
5
Meetmodel beschrijven
6
Meetinstrument kiezen
7
Gegevens verzamelen en analyseren
8
Evaluatie rapportage
9
Leren van evalueren
resultaten? Meten om het meten is zinloos. Ondanks dat het
niet altijd eenvoudig is om resultaten meetbaar te maken, is
dit geen reden om er niet aan te beginnen! Sterker nog: het
is voor iedereen binnen een organisatie zeer aantrekkelijk
om na te denken over het nut en de impact van de organisatie en het zichtbaar maken van dat nut en die impact.
Het dwingt een organisatie na te denken over de missie en
strategie en om concrete doelen te stellen.
In dit tweede hoofdstuk worden de eerste vijf stappen van
Hoofdstuk III Meten
resultaat- en impactmeting benoemd. Deze stappen zijn
gebaseerd op de ‘Quality at Entry’-onderdelen van de
Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie
van het ministerie van Buitenlandse Zaken (interview met
Hoofdstuk IV Verantwoorden
prof. dr. R. Ruben, 26 februari 2013) en de Handleiding
evalueren van NONIE (Leeuw en Vaessen, 2009).
1. Impact meten begint met het maken van de keuze of er
10
Communiceren van de bevindingen aan belanghebbenden
wordt geëvalueerd op project-, programma- of organisatieniveau (Paragraaf 2.1), gevolgd door het beschrijven
van het denkmodel hoe de beoogde veranderingen
tot stand gaan worden gebracht. Dit heet ook wel de
verandertheorie, veranderboom of ‘Theory of Change’
(paragraaf 2.2).
2. De tweede stap is het formuleren van SMART-doelstellingen (Paragraaf 2.3) en het benoemen van prestatieindicatoren (Paragraaf 2.4).
VOORBEREIDEN
| 23
1
2
3
4
5
6
7
8
9
10
3. De derde stap bestaat uit het bepalen van de begin-
tot het meten van de resultaten en impact van meerdere
Het is belangrijk om, voor dat met het project wordt aange-
situatie middels een nulmeting (Paragraaf 2.5) en het
en/of complexere projecten. Door metingen een integraal
vangen, de keuze te maken welk project zal worden geëva-
betrekken van belanghebbenden daarbij (Paragraaf
onderdeel uit te laten maken van projecten, activiteiten en
lueerd. Voor aanvang kan men namelijk nog eerst in kaart
2.6).
programma’s, kunnen tot slot uitspraken worden gedaan
brengen wat de doelstellingen precies zullen zijn, hoe deze
over de resultaten en impact van de gehele organisatie,
gemeten kunnen worden en wat de beginsituatie is voordat
alhoewel hier wel ook meer bij komt kijken.
het project nog enige invloed heeft gehad op de doelgroep
4. De vierde stap bestaat uit het omschrijven van de
context waarin de meting wordt verricht in vergelijking
tot anderen en het nadenken over welk aandeel van
of populatie.
de veranderingen aan de activiteiten zouden kunnen
worden toegeschreven (attributie) (Paragraaf 2.7).
5. De vijfde stap is het beschrijven van hoe de resultaten
Voorbeeld over meten op verschillende
en impact zullen worden gemeten in een meetmodel
niveaus
ning die geleverd moet worden voor de resultaat- en
(Paragraaf 2.8).
“Stichting Projecten Zuid-Afrika (SPZA) richt zich op kans-
impactmeting in verhouding moet staan tot die voor
arme kinderen en jongeren die opgroeien in townships
het project zelf en de hoogte van de financiële
2.1. Evalueren op project-, programma- of
en op boerderijen in Zuid-Afrika. SPZA wil deze kinderen
bijdrage.”
organisatieniveau?
en jongeren door beter onderwijs een kansrijke toekomst
Interview met Riekje de Vries, Stichting Projecten Zuid-
Het meten van resultaten en impact is een grote uitdaging.
bieden. De activiteiten van SPZA zijn verdeeld over drie
Afrika.
Des te meer programma’s, projecten en activiteiten een
programma’s:
organisatie heeft, des te complexer het meten van resultaten
•
Programma Buitenschoolse Opvang (BSO)
op strategisch organisatieniveau wordt. Activiteiten kunnen
•
Programma Beter Basisonderwijs
daarnaast uiteenlopen van eenvoudige initiatieven tot com-
•
Programma Studiefinanciering
plexe beleidsvraagstukken waar diverse belanghebbenden
Binnen deze programma’s worden diverse projecten van
bij zijn betrokken. Ook is het mogelijk om naast activiteiten
partnerorganisaties uit Zuid-Afrika ondersteund. SPZA
ten behoeve van de doelstelling, de resultaten van fondsen-
evalueert resultaten en impact op het niveau van afzon-
wervende of marketingactiviteiten te meten.
derlijke projecten en op het niveau van programma’s.
Daarvoor maakt SPZA gebruik van de informatie die
Zeker wanneer er niet zoveel middelen ter beschikking zijn,
Zuid-Afrikaanse partners aanleveren. Het meten van
is het van belang om te beginnen met een enkel project dat
impact op het niveau van de projecten kan met name
een niet te grote omvang en complexiteit kent. Pas wanneer
voor de partnerorganisaties administratief zeer belas-
de resultaten en impact van een enkel project of activiteit zijn
tend zijn. SPZA is zich ervan bewust dat de inspan-
gemeten en er voldoende middelen zijn, kan men overgaan
24 |
VOORBEREIDEN
Naschoolse opvang in Zwelihle (foto: SPZA)
1
2
3
4
5
6
7
8
9
10
Het is ook mogelijk om op organisatieniveau impact te meten.
nen zijn en of deze kunnen worden toegeschreven aan de
doelenorganisatie dan voor de andere. Met andere woor-
Hier komt echter meer bij kijken dan de optelsom van afzon-
organisatie (impact). Dit wordt ook wel Theory of Change
den: het specifieke niveau van een organisatie heeft invloed
derlijke projecten en programma’s. Organisaties hebben ook
genoemd of logisch model: een complex geheel van veron-
op welke aanpak van meten het meest geschikt of van toe-
andere effecten op hun omgeving, niet alleen op de doel-
derstellingen en verwachtingen hoe activiteiten kunnen lei-
passing is. Het is belangrijk om te meten op de manier die
groep. Denk bijvoorbeeld aan het verschaffen van werkgele-
den tot bepaalde resultaten en welke verdere effecten deze
past bij de organisatie en de context en om zo veel mogelijk
genheid en opleidingsplekken aan jongeren of de grootte van
weer kunnen hebben op de doelgroep en de maatschappij.
gebruik te maken van bestaande methodieken, maar ook te
de ecologische footprint als graadmeter voor milieu-impact.
Het betreft in feite een invulling van de impactwaardeketen.
zoeken naar maatwerk.
Meer informatie hierover vindt u op www.theoryofchange.org.
2.2. Theory of Change
Goededoelenorganisaties zullen veelal met hun activiteiten
Vaak is het lastig om effecten duidelijk toe te schrijven aan
een verandering (verbetering) of instandhouding nastreven
een specifieke activiteit, zeker op de lange termijn. Het is
op sociaal, ecologisch, politiek of ander gebied. Er zal ook
echter wel van belang een aannemelijke uitleg te formuleren
altijd een logica, een denkmodel, zitten achter de na te stre-
over hoe het project zou kunnen bijdragen aan het bereiken
ven verandering. Voordat wordt begonnen met het uitvoeren
van een (langetermijn)doelstelling en hoe aannemelijk kan
van een activiteit is het aan te raden om dit denkmodel uit te
worden gemaakt wat de bijdrage van de organisatie hier-
schrijven. Soms gebeurt dit ook al in (meerjaren)beleidsplan-
aan is geweest. Daarbij is het van belang om ook aandacht
nen. Het denkmodel beschrijft de expliciete en impliciete ver-
te besteden aan de invloed van andere partijen en ontwik-
onderstellingen over het project of de activiteit. Als een orga-
kelingen (externe factoren) op de te verwachte resultaten en
nisatie de resultaten, effecten en impact van haar projecten
impact.
en activiteiten wil bepalen, dient het eerst duidelijk zijn hoe
de effecten zijn te bereiken. Het denkmodel beschrijft met
Het meten van resultaten en impact kan in gradaties gaan.
Organiseer een brainstormsessie met uw personeel
welke middelen (inputs), activiteiten en resultaten (outputs) de
Zo zal een kleine organisatie die net begint met enkele
en/of belanghebbenden om per activiteit of project de
doelstelling van het project kan worden bereikt. Het model
projecten niet meteen uitgebreid investeren in een impactme-
verwachte inputs, outputs, outcomes en impact te beden-
is van doorslaggevende betekenis voor het bepalen en ana-
ting, maar eerst beginnen met het bepalen van de directe
ken. Laat iedereen ideeën op post-its schrijven en plak
lyseren van successen en uitdagingen of leerpunten. Zelfs
resultaten (output). En pas later, wanneer de organisatie is
deze op. Zo ontstaat een Theory of Change-schema.
als de prestaties in de eerste plaats worden gemeten op het
gegroeid en er meer budget is, ook aandacht gaan geven
Gebruik bijvoorbeeld ook informatie uit projectvoorstel-
outputniveau, is er behoefte aan een redenering (hypothese)
aan de verdere effecten (outcomes) of andere bijkomstige
len en andere beleidsdocumenten als input. Ook is van
die beschrijft welke effecten er kunnen zijn op de doelgroep
en/of blijvende effecten van haar activiteiten op de doel-
belang dat het gewenste niveau van resultaat- en impact-
(outcomes). En daarna wat de netto-effecten (positieve,
groep en maatschappij (impact). Daarnaast zal het ene
meting in het meetmodel wordt benoemd
negatieve, bedoelde, onbedoelde, directe en indirecte) kun-
instrument of aanpak meer geschikt zijn voor de ene goedeVOORBEREIDEN
| 25
1
2
3
4
5
6
7
8
9
10
2.3. SMART-doelstellingen
De tweede stap in het meten van resultaten en impact is het
vertalen van de missie, visie en strategie van de organisatie
in concrete, meetbare doelen.
Het doel van een project vormt de schakel tussen de directe
resultaten en effecten en de overkoepelende organisatiedoelen. Het doel van een project beschrijft de outcome van
een project: de positieve verandering die wordt verwacht
ten bate van de doelgroep (mensen, onderzoeken, flora,
fauna e.d.). De woorden “Het project zal bijdragen aan...”
worden hier vaak gebruikt. Het effect en de impact van
een project of activiteit kunnen alleen worden beoordeeld
en geverifieerd als duidelijk is welke geplande effecten van
het project voor ogen worden gehouden en als er meetbare
doelstellingen zijn geformuleerd.
De doelstelling beschrijft de uitkomst(en) van het project: de
beoogde en directe, korte- en middellangetermijneffecten op
de doelgroep. De doelstelling van het project moet binnen
de scope van het project liggen, zodat een organisatie de
effecten direct toe kan schrijven aan het project. Hiervoor is
het noodzakelijk dat in de doelstelling van het project ook
het beoogde effect voor de doelgroep is opgenomen. In de
Bron: www.theoryofchange.org
Bron: http://archives.frederatorblogs.com/nicktoons/
praktijk is het vaak niet zo eenvoudig de effecten van een
(Rechthebbenden kunnen zich melden bij het CBF.)
category/uncategorized/page/2/
project te onderscheiden van de directe resultaten. Goed
geformuleerde doelstellingen voor effect en impact van het
project zijn daarom van groot belang voor betekenisvolle
resultaat- en impactmeting.
26 |
VOORBEREIDEN
1
2
3
4
5
6
7
8
9
10
Goede voorbeelden van SMART-doelstellingen:
Om resultaten goed te kunnen vaststellen is het nodig
Sector gezondheid: het aantal geregistreerde patiënten met hart- en vaatziekten in 2013 in
SMART-doelstellingen te formuleren. De letters van SMART
Nederland terugdringen met 5%.
staan voor:
•Specifiek: het aantal geregistreerde patiënten met hart- en vaatziekten in 2013 in Nederland.
• Specifiek: is de doelstelling eenduidig?
• Meetbaar: onder welke (meetbare/observeerbare)
voorwaarden of vorm is het doel bereikt?
• Acceptabel: is deze acceptabel (wenselijk) genoeg
voor de doelgroep en/of de organisatie?
•Meetbaar: meting naar aanleiding van de registratie van patiënten met hart- en vaatziekten; minimaal -5% is de
streefwaarde.
•Acceptabel: alle betrokken partijen kunnen zich vinden in de doelstelling en willen hiermee aan de slag.
•Realistisch: met de inzet en middelen van de betrokken partijen is het mogelijk om de doelstelling te behalen.
•Tijdgebonden: de periode waarin de doelstelling bereikt moet worden, is duidelijk afgebakend (het jaar 2013).
• Realistisch: is het doel haalbaar?
• Tijdgebonden: wanneer of binnen welke tijdsperiode
dient het doel bereikt te zijn?
Sector natuur & milieu: Het terugdringen van de uitstoot van fijnstof door de Nederlandse
industrie met 25% tussen 2012 en 2015 zodat de luchtkwaliteit verbetert.
In plaats van ‘Acceptabel’ wordt ook vaak ‘Aanvaardbaar’,
•Specifiek: de uitstoot van fijnstof door de Nederlandse industrie tussen 2012 en 2015.
‘Ambitieus’ (bewerkstelligt het doel wel een echte veran-
•Meetbaar: meting van de uitstoot van fijnstof door de industrie.
dering?), of ‘Aanwijsbaar’ (wie wijs je aan die het doel
•Acceptabel: alle partijen zien het belang van de doelstelling in en deze past binnen het kader van de betreffende
nastreeft?) gebruikt. In plaats van ‘Realistisch’ wordt ook wel
‘Resultaatgericht’ gehanteerd.
Europese richtlijn.
•Realistisch: gezien de huidige technologische veranderingen op het gebied van luchtzuivering is het mogelijk om de
uitstoot van fijnstof terug te dringen.
•Tijdgebonden: de periode waarin de doelstelling bereikt moet worden, is duidelijk afgebakend (tussen 2012 en
2015).
Fondsenwerving: In 2013 5% meer inkomsten werven bij institutionele donateurs.
•Specifiek: inkomsten van institutionele donateurs.
•Meetbaar: meting van de toename in de inkomsten uit een specifieke bron, namelijk institutionele donateurs.
•Acceptabel: alle partijen zien het belang van de doelstelling in.
•Realistisch: gezien de beschikbare gelden bij institutionele fondsen en de nieuw aangestelde fondsenwerver zou het
mogelijk moeten zijn om de inkomsten uit deze bron in geringe mate te verhogen.
•Tijdgebonden: de periode waarin de doelstelling bereikt moet worden, is duidelijk afgebakend (het jaar 2013).
VOORBEREIDEN
| 27
1
2
3
4
5
6
7
8
9
10
Slechte voorbeelden van SMART-doelstellingen:
Sector natuur & milieu: het beschermen van natuurgebied de Veluwe.
Fondsenwerving: het werven van een zo
•Specifiek: nee. Het is wel duidelijk om welk gebied het gaat, maar niet om welke aspecten van het gebied, zoals de
groot mogelijke achterban dit jaar.
stand van bepaalde flora of fauna, de bodemkwaliteit, luchtkwaliteit of in hoeverre er afval in het gebied te vinden is.
De manier waarop uiting kan worden gegeven aan ‘beschermen’ wordt niet gespecificeerd.
•Meetbaar: nee. Het is niet duidelijk hoe kan worden gemeten dat de bescherming heeft plaatsgevonden en bescherming van wat precies.
•Acceptabel: ja. De betrokken partijen zullen het belang zien van de bescherming van dit natuurgebied, dat voor
zowel mens als natuur een belangrijke functie vervult.
•Realistisch: nee. Beschermen is een breed begrip en hier kan van alles onder vallen. Bovendien hebben veel partijen
belang bij de bescherming, op welke wijze dan ook, van dit gebied en dit maakt het niet realistisch om het doel uit te
voeren.
•Tijdgebonden: nee. Er is geen tijdsperiode genoemd.
•Specifiek: niet geheel. Alhoewel het duidelijk is
dat het gaat om de achterban van de organisatie,
is onduidelijk om welke doelgroep(en) het gaat.
Tevens is niet duidelijk wat de organisatie van de
achterban wil: een bepaalde hoeveelheid fondsen
werven, de vrijwillige inzet verhogen of maatschappelijk draagvlak creëren?
•Meetbaar: nee. Er wordt geen meetlat genoemd
waar de verhoging tegen kan worden afgezet en
gemeten.
•Acceptabel: ja. Dit is een belangrijk middel voor de
maatschappelijke verankering en financiering van
Sector welzijn: zoveel mogelijk mensen bewustmaken van het belang van cultureel erfgoed.
• Specifiek: nee. Er wordt geen specifieke groep mensen aangeduid, zoals ‘kinderen tussen 12 en 18 jaar’ of ‘alle
pensioengerechtigden’. Noch wordt aangeduid hoeveel mensen bereikt dienen te worden, bijvoorbeeld minimaal
25.000 kinderen op basisscholen of het geregistreerd museumbezoek 10% verhogen.
•Meetbaar: nee. Er wordt geen meetlat genoemd waar de verhoging tegen kan worden afgezet en gemeten.
•Acceptabel: ja. Het is aannemelijk dat veel partijen het belang van de doelstelling inzien.
goededoelenorganisaties en daarmee een belangrijk aspect van fondsenwerving.
•Realistisch: ja. Een zo groot mogelijk aantal mensen
kan nooit niet gehaald worden, want wat mogelijk
is, dat is mogelijk.
•Tijdgebonden: enigszins. Er is geen concrete tijds-
•Realistisch: ja. Zoveel mogelijk mensen kan nooit niet gehaald worden, want wat mogelijk is, dat is mogelijk.
periode genoemd, maar wel dat het het huidige
•Tijdgebonden: nee. Er is geen tijdsperiode genoemd.
jaar (van het jaarplan of iets dergelijks) betreft.
28 |
VOORBEREIDEN
1
2
3
4
5
6
7
8
9
10
Voor de ene soort activiteit zal het makkelijker zijn om
zal worden beschreven, is een combinatie van meetbare en
Voorbeelden van SMART-doelstellingen
SMART-doelstellingen te formuleren dan voor de andere. Zo
beschrijvende uitkomsten het meest informatief.
voor minder tastbare activiteiten:
zal de doelstelling van een activiteit als ‘het verlenen van
Een ander voorbeeld van een activiteit, waarbij het belang-
Voorlichting: het kennisniveau op het gebied van
noodhulp’ in vrij concrete (tastbare) bewoordingen te formu-
rijk is om SMART-doelstellingen te formuleren, is op het
ziekte X onder mensen tussen 45 en 65 jaar in
leren zijn, in de vorm van bijvoorbeeld ‘het aantal mensen
gebied van bewustwording, voorlichting, preventie en der-
Nederland vergroten met 25% op minimaal drie van
dat noodhulp zal ontvangen en welke noodhulp zij gaan
gelijke. Het ‘creëren van meer bewustwording’ klinkt heel
de tien aspecten van onze bewustwordingscampagne
ontvangen’. Aan de andere kant zal bijvoorbeeld het formu-
vaag en dit kan concreter worden geformuleerd als precies
in 2013, vergeleken met het kennisniveau in 2011.
leren van SMART-doelstellingen voor langetermijnonderzoek
wordt genoemd op welke gebied men bewustwording wil
naar een behandelmethode voor een ongrijpbare ziekte
creëren. Als men weet wat de beginsituatie was (het ken-
Preventie: het aantal geregistreerde gevallen van tand-
minder voor de hand liggend zijn. Met andere woorden, er
nisniveau voor aanvang van de voorlichtingsactiviteit), dan
erosie onder kinderen van 6 -12 jaar met 10% terug-
is voor goededoelenorganisaties een verschil tussen tastbare
kan ook worden aangegeven hoeveel procent meer kennis
dringen in 2013, vergeleken met het aantal in 2012.
en minder tastbare activiteiten. Dit wil echter niet zeggen
van een onderwerp de doelgroep beoogd wordt te hebben
dat het niet mogelijk of de moeite waard is om voor min-
na de activiteiten/campagne of hoeveel mensen dienen
Onderzoek: in de komende vijf jaar (2013-2018)
der tastbare activiteiten een heldere SMART-doelstelling te
te worden bereikt in diverse leeftijdscategorieën. Er zijn
minimaal drie (vervolg- of PhD-)onderzoeken naar
formuleren.
diverse onderzoeksmethoden om te onderzoeken of er een
ziekte Y financieren, op het gebied van het ontstaan
verandering is opgetreden in bijvoorbeeld het kennisniveau
en de sociale en emotionele aspecten van de ziekte
In het voorbeeld van onderzoek naar een behandelmethode
of gedrag van de doelgroep op een bepaald gebied, bij-
en de patiëntenomgang met de ziekte.
voor een bepaalde ziekte kan wellicht niet realistisch worden
voorbeeld door met vragenlijsten te werken. Meer informatie
ingeschat dat er bijvoorbeeld een nieuwe behandelmethode
over onderzoeksmethoden volgt in Hoofdstuk 3.
2.4. Prestatie-indicatoren
of direct toepasbare kennis over preventie uit het onderzoek
gaat komen, maar men kan wel subdoelen stellen om een
Met doelstellingen die SMART zijn, kan relatief objectief een
Een van de kernvragen van resultaat- en impactmeting is:
minimaal aantal publicaties te realiseren, een leerstoel op
oordeel vastgesteld worden door de prestaties te meten.
“Wat moeten we meten om te weten of we de doelstel-
te richten, een PhD-student af te laten studeren en/of om het
Als een doelstelling niet SMART is geformuleerd, is objectief
ling bereikt hebben?” Het is daarom nodig aan SMART-
kennisniveau van de onderzoekers op een bepaald gebied
managen op prestaties lastig. Er zal dan vertrouwd moeten
doelstellingen prestatie-indicatoren te koppelen. Een belang-
te verhogen. Dit zijn aspecten die in meetbare eenheden,
worden op het subjectieve gevoel van de uitvoerende orga-
rijk kenmerk van een prestatie-indicator is dat het informatie
zoals aantallen en percentages, uit te drukken zijn. Ook zou
nisatie ten aanzien van prestaties en effecten. Organisaties
bevat over de bron en de methode voor het verzamelen
een beschrijving van de beoogde langetermijndoelstellingen
kunnen bovendien leren door het formuleren van SMART-
van data omtrent resultaten. Dit zorgt ervoor dat de doelstel-
(zoals een nieuwe behandelmethode) met een update van
doelstellingen. Om als organisatie het werk te willen verbe-
ling meetbaar wordt. Prestatie-indicatoren zijn variabelen
de progressie en de uitdagingen hierbij complementair kun-
teren, is het belangrijk om te weten wat er te verbeteren valt
om prestaties van organisaties, beleid, programma’s,
nen zijn aan de meer tastbare doelstellingen. Zoals later
en daarvoor is eerlijke en betrouwbare informatie nodig.
projecten of activiteiten te analyseren. Aan de hand van
VOORBEREIDEN
| 29
1
2
3
4
5
6
7
8
9
10
(SMART-)doelstellingen kan een organisatie beoordelen of
Goede voorbeelden van
Een prestatie-indicator kan resultaat- en procesgericht zijn,
zij er in slaagt om de geplande strategie waar te maken.
prestatie-indicatoren:
zoals: het uitvoeren van een X-aantal onderzoeken in het
Met behulp van prestatie-indicatoren kan de organisatie
•% basisschoolkinderen dat een lespakket heeft
komende jaar (resultaatgericht) of de doorlooptijd van een
de voortgang van haar prestaties meten en beoordelen.
Goededoelenorganisaties kennen een aantal activiteiten
zoals voorlichting, fondsenwerving, en onderzoek. Prestatieindicatoren kunnen gekoppeld worden aan deze activiteiten.
Een prestatie-indicator is een meetbaar getal dat aangeeft
ontvangen
•Aantal ex-gedetineerden dat een opleiding heeft
afgerond
•Aantal minuten dat nodig is om medische voorzieningen te bereiken
subsidieaanvraag (procesgericht). Een prestatie-indicator kan
ook samengesteld zijn uit meerdere indicatoren, zoals het
uitvoeren van vijf wetenschappelijke onderzoeken over de
sociale en maatschappelijke opvang van dak- en thuislozen
gedurende de looptijd van het project. Een prestatie-indica-
of de doelstellingen worden behaald. Voorbeelden van
•Inkomsten in € uit een bepaalde inkomstenbron
tor kan zowel subjectief zijn, bijvoorbeeld de tevredenheid
prestatie-indicatoren zijn: een bedrag, een percentage, een
•Aantal bezoekers van een natuurgebied
van de bezoekers van de binnenstad over het winkelaan-
aantal of een tijdseenheid.
•% mensen in een bepaalde wijk dat een sportschool
bod, als objectief, bijvoorbeeld het aantal werkzame perso-
Het is belangrijk dat prestatie-indicatoren betrekking hebben
•Aantal vogels van een bepaalde soort per hectare
Het kan noodzakelijk zijn om een aantal prestatie-indicatoren
op degenen/datgene voor wie of wat het project bestemd
•Aantal nieuwe donateurs
voor een doelstelling te definiëren. In de praktijk worden hier-
is en om de prestatie-indicatoren op het juiste schaalniveau
•Aantal telefonische en schriftelijke
bij vaak kwantitatieve (uitgedrukt in getallen) en kwalitatieve
bezoekt
te formuleren. Dit dient het niveau te zijn waar de activiteit
nog invloed op heeft. Bijvoorbeeld, een natuurbeschermings-
informatieverzoeken
•Aantal artikelen gepubliceerd in relevante weten-
nen in een bepaalde sector.
(uitgedrukt in woorden, beschrijvend) prestatie-indicatoren
gecombineerd. Wanneer blijkt dat het verzamelen van gege-
project heeft ten doel om de biodiversiteit in een lokaal bos
schappelijke vakbladen naar aanleiding van
vens omtrent een prestatie-indicator moeilijk uitvoerbaar is,
te verhogen. Mogelijke indicatoren voor verhoogde biodi-
onderzoek
kan de indicator worden vervangen door een vereenvoudig-
versiteit zijn dan bijvoorbeeld het aantal bepaalde dier- of
de of kan overwogen worden voor het verzamelen van data
plantensoorten per hectare in dat specifieke stuk bos. Het is
dan van belang dat de prestatie-indicator betrekking heeft
De prestatie-indicator dient dan ook te zijn het uitvalpercen-
op de diersoorten in dat specifieke stuk bos en niet op het
tage meisjes op een bepaalde school en niet het uitvalper-
Slechte voorbeelden van
aantal van een bepaalde diersoort in de aangrenzende wei-
centage meisjes in het hele dorp of de regio.
prestatie-indicatoren:
landen, kwelders, provincie of nog wijdere omgeving. Een
•Leefomstandigheden op het platteland
tweede voorbeeld: Een ontwikkelingsorganisatie heeft ten
Er kan onderscheid worden gemaakt in een aantal typen
•Natuurgebruik ter recreatie
doel het verlagen van het uitvalpercentage van meisjes.
prestatie-indicatoren (Ahaus, 2005):
•Historische panden aankopen
• Resultaatindicatoren en procesindicatoren
•Meer mensen bewustmaken
• Enkelvoudige of samengestelde prestatie-indicatoren
•Zoveel mogelijk bijbels verstrekken
• Objectieve en subjectieve prestatie-indicatoren
30 |
VOORBEREIDEN
1
een beroep te doen op bestaande informatiebronnen zoals
2
3
4
5
6
7
8
9
Tabel 1: Voorbeeld van gebruik ‘doelstelling’ en ‘prestatie-indicator’
nationale statistieken of gegevens van partnerorganisaties.
Voorbeeld 1
Doelstelling
Prestatie-indicator
In de praktijk worden de termen ‘doelstelling’ en ‘prestatie-
Impact
In 2015 is de kindersterfte minder dan 15%
Kindersterfte (cijfer)
indicator’ vaak verschillend gedefinieerd en gebruikt. Ter illu-
Effect (Outcome)
90% van de huishoudens in land X heeft in
% van huishoudens in land X dat toegang
2015 toegang tot schoon drinkwater
heeft tot een waterput op minder dan 15
stratie zijn enkele voorbeelden weergegeven van de wijze
waarop onderscheid gemaakt kan worden tussen ‘doelstel-
minuten loopafstand
ling’ en ‘prestatie-indicator’ op het niveau van resultaten,
effecten en impact.
Idealiter komen de doelstellingen en prestatie-indicatoren
die worden benoemd samen in meerjarenbeleidsplannen
en jaarplannen. Een van de belangrijkste instrumenten van
het bestuur om de doelstelling van de instelling gericht na te
Resultaat (Output)
het beleidsplan een functie bij het nemen van verantwoor-
van de activiteiten, de effectiviteit daarvan en in voorkomende gevallen aangeeft waarom bepaalde activiteiten zijn
Aantal waterputten dat in gebruik is
Voorbeeld 2
Doelstelling
Prestatie-indicator
Impact
In 2015 is de algehele volksgezondheid in
Status volksgezondheid (Nationaal Kompas
Nederland verbeterd met 5%
Volksgezondheid, RIVM)
De structurele sportparticipatie in Nederland
% van de Nederlanders dat structureel sport
Effect (Outcome)
is in 2015 gestegen naar 75%
delijkheid door het bestuur. Toegevoegde waarde van een
meerjarenbeleidplan is dat het inzicht geeft in de continuïteit
Het creëren van 100 waterputten
Tabel 2: Voorbeeld van gebruik ‘doelstelling’ en ‘prestatie-indicator’
streven, is het vaststellen van het beleid. Door te verlangen
dat het beleid wordt vastgelegd in een beleidsplan krijgt
10
Resultaat (Output)
10% van de Nederlanders ouder dan 15
Aantal Nederlanders ouder dan 15 dat
jaar aan het sporten krijgen
in het betreffende jaar is begonnen met
sporten
gestaakt. Door de realisatie van het beleid te toetsen krijgt
men inzicht of de doelstellingen behaald zijn.
VOORBEREIDEN
| 31
1
2
3
4
5
6
7
8
9
10
2.5. Bepalen van de beginsituatie: de nulmeting
Het bepalen van de beginsituatie kan gedaan worden aan
De derde stap betreft het bepalen van de beginsituatie
de hand van een nulmeting. De techniek die gebruikt wordt
waarin de doelgroep of populatie zich bevindt. Dit aspect
bij nulmetingen kan variëren van oriënterend tot gevorderd
is van vitaal belang in resultaat- en impactmeting, want de
en vergevorderd. Dit kan een behoeftepeiling onder de doel-
beginsituatie geldt als referentiepunt van waaruit activiteiten
groep zijn, het verzamelen van basisgegevens over de doel-
worden toegepast en uitgevoerd. Door het bepalen van
groep of een omgevingsanalyse naar omstandigheden op
de beginsituatie wordt ook inzicht verkregen in de wijze
basis van informatie van derden of samenwerkingspartners.
waarop de activiteit kan worden aangepakt, welke middelen nodig zijn om de activiteit uit te voeren en wat de verwachtingen zijn. Op basis van de beginsituatie kan achteraf
“Heifer Nederland heeft een eigen format voor het
resultaten (gaan er bijvoorbeeld meer kinderen naar
beter worden bepaald welke veranderingen als gevolg van
meten van impact ontwikkeld waarin voor alle projec-
school of is de positie van vrouwen verbeterd?). Heifer
de activiteit hebben plaatsgevonden bij de doelgroep of in
ten standaard een baseline-onderzoek, een mid-term-
Nederland heeft het format dat zij gebruikt om impact
de maatschappij.
evaluatie en een end-term-evaluatie wordt uitgevoerd.
te meten ontwikkeld vanuit haar eigen kennis en erva-
Samen met partnerorganisaties ter plaatse en op basis
ring en heeft hierbij gebruik gemaakt van het Logframe
van (wetenschappelijke) kennis en ervaring wordt de
model.”
beginsituatie (baseline) voorafgaand aan het project
Interview met Rian Fokker van Heifer Nederland over
bepaald. Een mid-term-evaluatie wordt doorgaans
het bepalen van de beginsituatie.
intern uitgevoerd en de eindevaluatie (end-term-evaluatie) wordt doorgaans, zeker bij grote projecten, door
een externe partij ter plaatse uitgevoerd. Daarnaast
rapporteren de partnerorganisaties die verantwoordelijk zijn voor de uitvoering van de projecten structureel
aan Heifer Nederland. Iedere drie maanden krijgt
Heifer Nederland een financiële rapportage van
haar partnerorganisaties. Ieder half jaar volgt een
voortgangsrapport waarin staat welke activiteiten
zijn uitgevoerd, wat de huidige situatie is en wat de
© Auke Herrema
32 |
VOORBEREIDEN
uitdagingen zijn. Ieder jaar vullen partnerorganisaties
Send a Cow-project in Oeganda (foto: Heifer
het impactmeting-format in en rapporteren ze over de
Nederland)
1
2
3
4
5
6
7
8
9
10
De organisatie voert haar projecten en activiteiten uit met
2.6. Betrekken van belanghebbenden en
Belanghebbenden zijn individuen of organisaties die als
als doel een verandering ten opzichte van de beginsituatie,
doelgroep
gevolg van de activiteiten van de organisatie positief of
vóór aanvang van de activiteit, tot stand te brengen. Om te
In het ideale geval speelt het betrekken van de belangheb-
negatief beïnvloed worden of die invloed kunnen uitoefenen
bepalen of deze veranderingen hebben plaatsgevonden,
benden bij de projectcyclus een belangrijke rol; van de
op de organisatie. Denk hierbij bijvoorbeeld aan (potentiële)
wordt halverwege of na afloop van het project een eenme-
definitie van een strategie en het bepalen van de doelstel-
donateurs, werknemers, collectanten, patiënten, wetenschap-
ting uitgevoerd, ofwel een eerste resultaat- en impactmeting.
lingen, via de planning en uitvoering van activiteiten, tot en
pers, de doelgroep van de activiteit, de media, institutionele
Het is ook mogelijk om met regelmaat, bijvoorbeeld jaarlijks,
met de evaluatie van de resultaten en het toepassen van de
financiers en overheden, maar ook aan belanghebbenden
een meting uit te voeren of bijvoorbeeld één, twee en/of vijf
geleerde lessen. Het is daarom van belang om de belang-
die niet direct betrokken zijn bij of beïnvloed worden door
jaar na afloop van het project, om er achter te komen wat
hebbenden te identificeren, hun verwachtingen en infor-
de activiteiten, zoals dorpsbewoners die niet deelnemen
de blijvende effecten van het project zijn.
matiebehoefte te kennen en betrokkenheid te creëren. Ook
aan de activiteiten van de organisatie.
is het belangrijk om in kaart te brengen welke impacts als
Het is van groot belang dat een goededoelenorganisatie
waardevol worden gezien en wiens waarden als basis die-
duidelijk weet wie de belanghebbenden en/of doelgroep
nen om een oordeel te geven over de toegevoegde waarde
van de organisatie zijn voordat met een resultaat- en impact-
en kosten van een activiteit (Leeuw en Vaessen, 2009).
meting wordt gestart, zodat zij vanaf het begin kunnen wor-
Voor een goede vergelijkbaarheid zijn de aspecten
den betrokken bij de organisatie, uitvoering en evaluatie van
waarop een nulmeting wordt uitgevoerd gelijk aan de
de activiteiten.
aspecten waarop ook de (eind)evaluatie wordt uitge-
Een voorbeeld van een goededoelenorganisatie die
voerd. Bedenk daarom goed van tevoren hoe de te
actief in dialoog is gegaan met haar belanghebbenden,
verwachten resultaten kunnen worden gemeten en houdt
is Pink Ribbon. “Om de rol van Stichting Pink Ribbon voor
deze structuur vast.
de toekomst te bepalen zijn van januari tot april 2012
meer dan zestig gesprekken gevoerd met stakeholders,
waaronder borstkankerpatiënten, wetenschappers op het
gebied van oncologie, medewerkers van Nederlandse
kankerzorgcentra en verschillende patiëntenverenigingen. Dit om een goed beeld te krijgen van de visie van
belanghebbenden op Stichting Pink Ribbon. Ook wilden
we met deze gesprekken de huidige Nederlandse situatie
en trends op het gebied van borstkanker in kaart brengen
en de behoeften van de verschillende partijen inventariseren.” (Pink Ribbon, 2011: 6)
© Auke Herrema
VOORBEREIDEN
| 33
1
2
3
4
5
6
7
8
9
10
Er zijn diverse modellen om te bepalen wie de belangrijkste
2.7. Context en nagaan van attributie
bespaard worden. Als immers al bekend is dat bepaalde
(primaire) belanghebbenden zijn, bijvoorbeeld aan de hand
De vierde stap in de voorbereidende fase, het nadenken
activiteiten niet of minder goed werken of alleen onder
van hoeveel invloed zij op de organisatie kunnen uitoefenen
over de context van de meting en hoe aannemelijk zou
bepaalde voorwaarden of omstandigheden, kan dit een
(macht), of zij de organisatie legitimiteit geven om activitei-
kunnen worden gemaakt dat de impact daadwerkelijk het
waardevolle aanvulling zijn bij het voorbereiden en uitvoe-
ten uit te voeren (legitimacy) en hoe belangrijk het is gezien
gevolg is van de activiteiten, is voor veel goededoelenorga-
ren van activiteiten en evaluaties.
de timing en de aard van een claim op de organisatie om
nisaties wat minder voor de hand liggend.
aan de belanghebbenden aandacht te schenken (urgency)
Vóór het uitvoeren van een evaluatie is het raadzaam om na
Om na te gaan of veranderingen daadwerkelijk toe te schrij-
(Mitchell et al., 1997).
te gaan wat andere organisaties die vergelijkbare activitei-
ven zijn aan een activiteit van de organisatie (attributie) zijn
Daarnaast zijn er diverse manieren, methodieken en
ten uitvoeren al hebben gedaan en gemeten op dit gebied.
twee componenten van belang:
instrumenten die gebruikt kunnen worden voor het erbij
Er verschijnen steeds regelmatiger rapporten van studies in
betrekken van belanghebbenden en in het bijzonder de
(wetenschappelijke) vakbladen over de effecten van bepaal-
doelgroep. Het verzamelen van informatie met betrekking
de activiteiten (zie bijvoorbeeld Ministerie van Buitenlandse
tot de belanghebbenden/doelgroep kan zo simpel zijn
Zaken, 2011; Maas et al., 2011). Door gebruik te maken
(analyse van verschil tussen groepen).
als een deelnemer te bevragen, of zo complex als het
van informatie die al voorhanden is, kunnen tijd en kosten
Dit is weergegeven in de onderstaande figuur.
1. Vergelijking van de situatie vóór en nadat de activiteit
plaatsvindt (analyse van verschil in de tijd).
2. Vergelijking van de situatie met en zonder activiteit
organiseren en uitvoeren van een focusgroep. Een aantal
manieren om informatie te verzamelen zijn: via vragenlijsten
Doel
per post, e-mail, internet of telefoon; één-op-één interviews;
focusgroepen (ook wel groepsinterviews genoemd); bijeenkomsten en workshops; informatie uit registratie en dossiers
en participerende technieken volgens het concept van de
Participatory Rural Appraisal en/of Participatory Approach.
Deze en andere methoden zullen in het volgende deel worden toegelicht.
a
Met activiteit
c
Zonder activiteit
b
Tijd
Voor
Na
Figuur 3: Twee aspecten van impact meten: over de tijd en met of zonder de activiteit (gebaseerd op Leeuw en Vaessen,
2009)
34 |
VOORBEREIDEN
Doel
2Met activiteit
3
4
c
Zonder activiteit
5
6
7
8
9
10
b
De vergelijking voor en na de activiteit kan door de situatie
Ter verduidelijking volgen enkele voorbeelden van hoe de
vóór dat met het project is begonnen – gemeten met een nul-
resultaten voor de projectgroep en controlegroep zouden
meting (zie Hoofdstuk 2, paragraaf 5) – te vergelijken met
kunnen worden weergegeven.
de situatie na afloop van het project. Het vergelijken van de
a1
Voor
Tijd
Na
uitkomsten met of zonder activiteit doet men door dezelfde
Vergelijking voorafgaand en na afloop van het project
gegevens te verzamelen onder deelnemers van het project
Figuur 4 beschrijft hoe de doelgroep van een project of
(de projectgroep) en degenen die geen deel uit hebben
programma zich ontwikkelt, bijvoorbeeld van het begin tot
gemaakt van het project (de controlegroep). Dit wordt ook
het einde van het project of programma. Bijvoorbeeld: 70%
wel een counterfactual analyse genoemd. Het woord coun-
van de plattelandsbevolking in regio X woont aan het einde
terfactual betekent zoveel als ‘situatie zonder de activiteit’
van het project op 15 minuten loopafstand van drinkwater,
(Leeuw en Vaessen, 2009). In de voorbereidende fase is het
terwijl dit bij het begin van het project slechts 10% was.
daarom van belang om niet alleen te bepalen wat de projectgroep of doelgroep is, maar ook welke groep (mensen,
flora, fauna e.d.) een geschikte controlegroep zou kunnen
vormen. Een controlegroep hoeft zeker niet altijd een groep
mensen of dieren te zijn. Bij het bepalen van het effect op
de projectgroep kan een controlegroep bijvoorbeeld ook
Doelgroep
gevormd worden door uitkomsten van onderzoeken die niet
zijn gefinancierd door de goededoelenorganisatie die de
evaluatie uitvoert. Door de niet-gefinancierde onderzoeken
te volgen kan geobserveerd worden wat er gebeurt ‘als de
activiteit niet zou zijn uitgevoerd’. Worden dan dezelfde of
andere resultaten geboekt als bij de door de desbetreffende
goededoelenorganisatie gefinancierde (wetenschappelijke)
Start
Halverwege
Eind
Figuur 4: Ontwikkeling doelgroep (Stiftung ZEWO, 2011)
onderzoeken? Of vinden de niet-gefinancierde onderzoeken
wellicht niet plaats? En bij natuurbeschermingsprogramma’s
kan de controlegroep een vergelijkbaar niet-beschermd
natuurgebied of niet-schoongemaakt stuk strand zijn.
VOORBEREIDEN
| 35
Start
1
2
3
4
5
6
7
8
9
Halverwege
Eind
10
Vergelijking met controlegroep
In figuur 5 wordt een vergelijking gegeven van de situatie
van de doelgroep met de situatie van een controlegroep op
een bepaald moment in de tijd. Bijvoorbeeld: 90% van de
Doelgroep
Doelgroep
Controlegroep
Controlegroep
kinderen in regio X, die lijden aan diarree, heeft een succesvolle medische behandeling gekregen. In de controlegroep
in regio Y heeft slechts 60% van de kinderen een succesvolle
medische behandeling gekregen.
Start
Start
Halverwege
Halverwege
Eind
Eind
Figuur 5: Vergelijking ontwikkeling doelgroep en controlegroep (Stiftung ZEWO, 2011)
Vergelijking ontwikkelingen doelgroep en controlegroep
voorafgaand en na afloop
Figuur 6 vergelijkt de ontwikkeling van de doelgroep met
de ontwikkeling van de controlegroep voorafgaand en na
afloop van het project of programma. Bijvoorbeeld: 90%
van de kinderen in regio X, die lijden aan diarree, heeft
een succesvolle medische behandeling gekregen. Dit is
Doelgroep
Doelgroep
meer dan bij de start van het project. Maar de situatie
Controlegroep
Controlegroep
van de controlegroep laat over dezelfde periode een nog
grotere verbetering zien zonder dat hier een activiteit heeft
plaatsgevonden.
Start
Start
Halverwege
Halverwege
Eind
Eind
Figuur 6: Vergelijking ontwikkeling doelgroep en controlegroep voorafgaand en na afloop (Stiftung ZEWO, 2011)
36 |
VOORBEREIDEN
1
2
3
4
5
6
7
8
9
10
Een vergelijking met een controlegroep heeft alleen beteke-
niet altijd gebruik gemaakt kan worden van ‘zuivere’ con-
nis, en is daarom beter geschikt om een project te legitime-
trolegroepen. Werken met controlegroepen kan problemen
Besteed in de resultaat- en impactmeting aandacht
ren, zolang een geschikte controlegroep beschikbaar is of
opleveren wanneer de controlegroep de doelgroep is en
aan het vergelijken van overeenkomsten en verschillen,
kan worden gevormd, en zolang er geen ethische bezwaren
vice versa, wat wordt geïllustreerd door het onderstaande
bijvoorbeeld tussen projectgroep en controlegroep, tus-
zijn. Het gebruik van controlegroepen kan vooral raadzaam
voorbeeld.
sen nulmeting en eenmeting, tussen eigen resultaten en
die van een vergelijkbare organisatie of situatie en/of
zijn in gevallen waarin er een gebrek is aan gegevens over
de uitgangssituatie of deze alleen kunnen worden verkregen
Probeer de doelgroep zoveel mogelijk homogeen te hou-
tussen de vorige en huidige keer dat de activiteiten zijn
tegen hoge kosten.
den. Wanneer er sprake is van grote verschillen in de
uitgevoerd.
doelgroep, focus dan op subdoelgroepen. Door de groepen
In het ideale geval worden de deelnemers van een evaluatie
waarmee gewerkt wordt in de evaluatie zo homogeen
(of de populatie flora en fauna bij milieustudies), zowel de
mogelijk te houden, kan men beter bepalen of de effecten
2.8. Ontwikkelen van een meetmodel
projectgroep als de controlegroep, willekeurig geselecteerd
op de doelgroep daadwerkelijk toe te wijzen zijn aan de
De laatste stap in de voorbereiding van resultaat- en impact-
(dit heet ook wel ‘a-select’ of ‘random’), zodat de verdeling
activiteiten van de organisatie of dat andere, niet-geob-
meting is het ontwikkelen van een meetmodel. De kernvra-
van kenmerken van de populatie geen invloed heeft op de
serveerde verschillen tussen de doelgroep en de controle-
gen hierbij zijn: wat wordt gemeten en hoe? Het meetmodel
uitkomsten van het onderzoek. Bij het meten van effecten
groep een verklaring voor de gevonden uitkomsten vormen
geeft meer duidelijkheid in wat de organisatie wil meten,
van activiteiten van goededoelenorganisaties geldt dat er
(Webbink, 2011).
welke methode of welk instrument zij daarvoor wil gebruiken, of resultaat- en impactmeting haalbaar zijn en waarover
de organisatie wil communiceren. Door hier van tevoren
Voorbeeld van het werken met controle- en
informatie over in te winnen, is het beter mogelijk een goede
doelgroepen.
inschatting te maken van de middelen die nodig zijn om de
“In sommige projecten wordt in de baseline ook een
resultaat- en impactmeting uit te voeren (inzet van medewer-
nulmeting gedaan bij mensen die niet meedoen in het
kers, kosten, enzovoort). Een meetmodel kan zowel grafisch
project (controlegroep). Maar dat gebeurt niet in alle
als schriftelijk worden vormgegeven.
projecten. Het blijft lastig, want we hopen juist dat mensen in de omgeving ook bereikt worden met het project
Een belangrijk onderdeel van het meetmodel is het bepalen
en de initiatieven uit het project gaan overnemen, dus
of de gegevens die nodig zijn voor de evaluatie bereikbaar
de controlegroep wordt dan al snel de doelgroep.”
of beschikbaar zijn of hoe men hier aan kan komen. Zoals
Interview met Rian Fokker, Heifer Nederland
gezegd, kan gebruik worden gemaakt van bestaande
(foto: Ben Langdon)
gegevens, gegevens die anderen verzameld hebben en
van het zelf verzamelen van gegevens. Voor het verzamelen
VOORBEREIDEN
| 37
1
2
3
4
5
6
7
8
9
10
van gegevens zijn diverse methoden beschikbaar, zoals
kosten beheer en administratie, maar niet onder de kosten
interviews, focusgroepen, vragenlijsten en dossieronder-
voor fondsenwerving.
Verken tijdig wie de resultaat- en impactmeting gaat uit-
zoek. Meer informatie over onderzoeksmethoden vindt u in
Gemiddeld genomen wordt zo’n 0,5% -1% van het activi-
voeren. Zijn de benodigde tijd, geld en kennis voorhan-
Hoofdstuk 3, Paragraaf 2. U kunt uitschrijven welke metho-
teitenbudget gespendeerd aan evaluatie bij de wat grotere
den om zelf een meting uit te voeren of is hiervoor een
den van gegevens verzamelen zullen worden gebruikt en
ontwikkelingprojecten in grote landen, maar bij kleinere
externe partij en/of additionele financiering nodig?
hoe u de diverse bronnen (documenten, respondenten) kunt
programma’s zo’n 2% - 5% (OECD, 2007). Bij kleine pro-
bereiken. Het wordt aanbevolen om meerdere methoden van
jecten waar enkele tienduizenden euro’s aan budget is, lijkt
gegevens verzamelen te gebruiken binnen de resultaat- en
het niet logisch om 2% - 5% aan evaluatie te besteden, want
impactmeting, dit heet de mixed methods approach. Door
van zo’n klein bedrag kan nauwelijks een impactevaluatie
meerdere methoden te gebruiken om gegevens te verza-
uitgevoerd worden. Het is dan ook de vraag of voor zulke
melen, kunnen de uitkomsten elkaar bevestigen of uitsluitsel
lage bestedingen een uitgebreide resultaat- of impactmeting
geven in het geval van ontbrekende of moeilijk te interprete-
haalbaar of relevant is. Wel kunnen bij dergelijke financieel
ren gegevens (Leeuw en Vaessen, 2009). Bovendien leveren
kleinere projecten beschrijvingen worden gegeven van de
niet alle methoden en evaluaties dezelfde uitkomsten op.
verwachte en geobserveerde uitkomsten.
Als de activiteiten tot doel hebben om te experimenteren, is
Bepaal ook wanneer de gegevens dienen te worden verza-
het verdedigbaar dat hier een aanzienlijk deel, bijvoorbeeld
meld. Als inderdaad een nulmeting onder een projectgroep
wel tot een derde van het budget, aan evaluatie wordt
(en controlegroep) wordt uitgevoerd, moet dit gebeuren vóór
gespendeerd, maar indien de activiteiten worden uitgevoerd
aanvang van het project.
omdat de organisatie de (gefundeerde) verwachting heeft
Daarnaast dient zich de keuze aan welk meetinstrument
dat de activiteiten succesvol zullen zijn, dan hoeft er ook niet
wordt gehanteerd. In het volgende hoofdstuk worden diverse
veel te worden besteed aan evalueren. Denk dan aan zo’n
meetinstrumenten en methoden genoemd en toegelicht. Soms
1% - 2% voor de gehele organisatie. Het is dan ook aan
geven financiers aan welke methode moet worden gebruikt.
te bevelen om van tevoren te onderzoeken of er informatie
bekend is over te verwachten resultaten en impact van de
Het kan ook wenselijk zijn om te beschrijven of er additio-
uit te voeren activiteiten (interview met prof. dr. R. Ruben, 26
nele fondsen dienen te worden geworven voor de evaluatie
februari 2013).
en welke mogelijkheden en verwachtingen hiervoor zijn. Het
is niet ongebruikelijk dat een deel van het beschikbare budget gereserveerd wordt voor evaluatie. Dit valt dan meestal
onder de kosten voor de doelstelling of eventueel onder de
38 |
VOORBEREIDEN
1
2
3
4
5
6
7
8
9
10
Hoofdstuk III Meten van resultaten en impact
STAP
In dit deel wordt ingegaan op de tweede fase: het meten. In
deze fase vallen twee van de tien geïdentificeerde stappen.
Hoofdstuk II Voorbereiden
Resultaat- en impactmeting kunnen op verschillende manieren
1
Keuze wat evalueren + wat wil ik bereiken (Theory of Change)
2
SMART-doelstellingen + prestatie-indicatoren
3
Nulmeting en betrekken belanghebbenden hierbij
4
Context en attributie: wat doen anderen en wat is mijn bijdrage
5
Meetmodel beschrijven
6
Meetinstrument kiezen
7
Gegevens verzamelen en analyseren
8
Evaluatie rapportage
9
Leren van evalueren
worden geïmplementeerd en kunnen zowel door projectmanagers zelf (zelfevaluatie) als door onafhankelijke derden
(externe evaluatie) worden uitgevoerd. Men zou kunnen
zeggen dat zelfevaluatie met name geschikt is wanneer
resultaat- en impactmetingen worden uitgevoerd ten behoeve
van intern leren of wanneer de middelen van de organisatie
beperkt zijn. Zelfevaluatie is zeer geschikt voor het analyseren van processen en om na te gaan welke verbeteringen
Hoofdstuk III Meten
waar nodig zijn. Het verdient aanbeveling om de evaluatie
uit te laten voeren door een specifiek daarvoor aangewezen
evaluatiemanager of programmamanager die over de juiste
opleiding en kennis beschikt. Externe evaluaties zijn vooral
Hoofdstuk IV Verantwoorden
geschikt wanneer resultaat- en impactmetingen worden uitgevoerd teneinde een programma, project of activiteit van
een organisatie te legitimeren. Externe evaluatie kan ook
worden ingezet wanneer de kennis over meten en evalueren
10
Communiceren van de bevindingen aan belanghebbenden
binnen de organisatie beperkt is. Om onafhankelijkheid
te garanderen is het aan te bevelen om voor de evaluatie
van activiteiten ten behoeve van belanghebbenden een
onafhankelijke derde in te schakelen, zoals een consultant of
onderzoeksbureau.
Er is niet één specifieke manier waarop resultaat en impact
gemeten kunnen worden. Zoals in het eerste hoofdstuk al
is geconstateerd, is het zelfs maar de vraag of het mogelijk is om in alle situaties impact te meten, alleen al omdat
METEN
| 39
1
2
3
4
5
6
7
8
9
10
zoveel externe factoren van invloed zijn op het uiteindelijke
kan zijn voor een bepaald type organisatie kan de werk-
resultaat, dat het nauwelijks mogelijk lijkt resultaten toe te
wijze worden gebruikt en aangepast door andere typen
schrijven aan sec de activiteit van één instelling. Om een
organisaties. Een voorbeeld hiervan is de Social Return on
concrete basis aan te bieden volgen hieronder enkele veel-
Investment (SROI). Deze methode werd in eerste instantie ont-
gebruikte meetinstrumenten voor goededoelenorganisaties,
wikkeld voor non-profit organisaties maar wordt momenteel
die structuur en vorm kunnen geven aan resultaat- en impact-
in toenemende mate gebruikt door bedrijven.
- Outcome Mapping: doelgroep participeert bij
het meten van gedragsverandering.
- Theory Based Evaluation: toetsen van de Theory of Change en externe invloeden in
kaart brengen.
- Benchmarking: cijfermatige analyse van de meting. Als eerste wordt ingegaan op stap 6: welke instrumenten goededoelenorganisaties zouden kunnen gebruiken
In het Jubileumnummer van Vice Versa, vakblad over ontwik-
(Paragraaf 3.1). Daarna volgen meer praktische aspecten
kelingssamenwerking (jaargang 46, zomer 2012), worden
- Randomized Controlled Trial (RCT): statistisch van het meten, die samen stap 7 vormen, zoals welke
elf evaluatiemethoden omschreven die gebruikt worden bij
impact meten van grootschalige activiteiten met
onderzoeksmethoden er zijn (Paragraaf 3.2) en hoe onder-
het evalueren van ontwikkelingssamenwerkingsprojecten.
behulp van willekeurig geselecteerde controlegroepen.
zoeksgegevens geïnterpreteerd kunnen worden (Paragraaf
Deze worden hieronder kort genoemd, waarbij het centrale
3.3), waarbij aandacht is voor de invloed van externe fac-
uitgangspunt van de methoden wordt samengevat.
toren en de rol van correlatie en causaliteit. Er wordt ingegaan op hoe goededoelenorganisaties om kunnen gaan
verhalen verzamelen over de belangrijkste
veranderingen.
- Timeline Analysis: met verhalen een grafische
tijdslijn construeren van de ontwikkelingen.
- Social Return on Investment: monetaire
3.1. Meetinstrumenten
Er zijn talloze instrumenten voorhanden om de prestaties en
resultaten van een organisatie inzichtelijk te maken. Veel
impact meten van grootschalige activiteiten
met behulp van bewust geselecteerde controlegroepen.
(Paragraaf 3.4). Tot slot wordt kort ingegaan op de uitdagin(Paragraaf 3.5).
- Quasi-experimentele Methoden: statistisch - Most Significant Change Method:
met positieve, negatieve, bedoelde en onbedoelde effecten
gen die organisaties tegen kunnen komen in het meetproces
efficiëntie van organisaties en processen.
waarde toekennen aan resultaten.
- Participatory Assessment of Development (PADEV): met
Niet één lijst geeft een volledig overzicht en uitwerking van
de beschikbare meetinstrumenten, want er zijn tientallen
gedocumenteerde methoden en verwanten van methoden om
evaluaties uit te voeren. Organisaties ontwikkelen ook hun
eigen manieren en methoden. Alhoewel in deze publicatie
een aantal meetinstrumenten extra aandacht krijgt, is het
verhalen veranderingen, externe factoren en geenszins de bedoeling om goededoelenorganisaties hier-
van deze instrumenten komen uit de private sector, zoals de
causale verbanden in kaart brengen.
mee het idee te geven dat deze de beste zijn of om meetin-
Balanced ScoreCard, de Return On Investment (ROI) en rap-
- Logical Framework: lineair model in
strumenten voor te schrijven aan goededoelenorganisaties.
portage-instrumenten van private fondsen en internationale
een matrix voor plannen, bijsturen
organisaties. Er zijn diverse methoden ontwikkeld door en
en evalueren.
voor non-profit- of overheidsorganisaties. Andere methoden
zijn met name ontwikkeld voor, en worden gebruikt door,
bedrijven. Hoewel een methode aanvankelijk ontwikkeld
40 |
METEN
- Result Chain Analysis: terugredeneren wanneer
input, output, outcome en impact zijn behaald.
Maas (2009) en Maas en Liket (2010), onderzoekers verbonden aan het Erasmus Center for Strategic Philanthropy
aan de Erasmus Universiteit Rotterdam, hebben in hun
onderzoeken een dertigtal bekende methoden voor resul-
1
2
3
4
5
6
7
8
9
10
taatmeting bekeken, waarvan uiteindelijk bij acht sociale
Social Return on Investment is een methode om te begrijpen
Voorspellende SROI’s zijn vooral nuttig bij de planning van
of maatschappelijke impact wordt gemeten. Alle methoden
hoe bepaalde activiteiten meerwaarde kunnen genereren
een activiteit. Ze kunnen helpen bij het laten zien in welke
hebben verschillende sterke en zwakke punten en zijn beter
en hoe deze in een economische en/of monetaire waarde
mate een investering kan leiden tot een maximale impact.
of meer geschikt voor bepaalde doeleinden dan andere
omgezet kunnen worden. Net als Return on Investment
Deze SROI’s zijn ook nuttig voor het identificeren van wat
en afhankelijk van de groeifase van de organisatie. Vijf
(ROI) is het een manier om de waarde die gecreëerd is ten
er gemeten dient te worden zodra het project is gestart.
instrumenten, ontleend aan het werk van Maas (2009), die
opzichte van de initiële investering te schatten. Een institutio-
Binnen de methode van SROI gaat maatschappelijke
van toepassing zijn op de goededoelensector – de overige
nele financier kan een goededoelenorganisatie bijvoorbeeld
impact over een verandering die voor (een groep) mensen
modellen zijn specifiek ontwikkeld voor bedrijven – worden
vragen om de (maatschappelijke) waarde van een investe-
of het milieu gerealiseerd wordt. Uitgangspunt is dat er een
in de volgende paragrafen afzonderlijk beschreven. Hieraan
ring of schenking te kwantificeren.
probleem of gebrek is waarvoor een oplossing nodig is.
is het veelgebruikte Logical Framework toegevoegd:
In een ‘verandermodel’ of ‘logisch model’ wordt de relatie
• Social Return on Investment (Paragraaf 1.1)
SROI is in de kern gebaseerd op zeven principes (The SROI
tussen inputs, outputs en outcomes omschreven als: wat is
• Social Impact Assessment (Paragraaf 1.2)
Network, 2012):
het (sociale of milieu-) probleem, wat is de urgentie, wat is
• Public Value Scorecard (Paragraaf 1.3)
• Betrekken van belanghebbenden
de omvang, welke oplossing wordt geboden en met welk
• Participatory Impact Assessment (Paragraaf 1.4)
• Begrijpen wat er verandert vanuit het standpunt van
doel? Impact is de optelsom van verschillende resultaten en
• Base of the Pyramid Impact Assessment Framework
(Paragraaf 1.5)
• Logical Framework (Paragraaf 1.6)
belanghebbenden
effecten.
• Resultaten en effecten van activiteiten waarderen
Daarnaast betrekt de SROI de inbreng van belanghebben-
• Richten op relevante en significante zaken
den (stakeholders) bij de totstandkoming van de impact.
• Niet teveel (willen) claimen
De inbreng van stakeholders is bepalend voor de uitkomst
3.1.1. Social Return on Investment
• Transparantie over keuzen in de analyse
van een SROI-analyse. Door gesprekken te voeren met alle
Een populair instrument in de goededoelensector is Social
• Verifiëren van financiële aannamen en resultaten
stakeholders in een project en hun mening samen met hen te
Return on Investment (SROI), waarbij een financiële waarde
wordt toegekend aan de gemeten sociale effecten en
resultaten. Hoewel de term SROI al langer bestond in
vertalen in effecten, indicatoren en een financiële waarde,
De SROI kent twee verschillende toepassingen:
kosten-batenanalyses, werd een methodologie voor het
om de maatschappelijke waarde van de activiteiten te
berekenen van het sociale rendement op investeringen in het
meten op basis van feitelijke resultaten.
kader van sociaal ondernemen voor het eerst gedocumen-
maakt SROI impact zichtbaar.
• Evaluerend, waarbij de methode achteraf wordt ingezet
• Voorspellend, waarbij de methode vooraf wordt ingezet
teerd in 1996 door REDF (voorheen de Roberts Enterprise
om te voorspellen hoeveel maatschappelijke waarde kan
Development Fund), een filantropisch fonds dat langetermijn-
worden gecreëerd als de activiteiten worden uitgevoerd.
subsidies ter beschikking stelt aan sociale ondernemingen.
METEN
| 41
1
2
3
4
5
6
7
8
9
10
“Exodus heeft onderzocht of het geconstateerde posi-
Interview met Rien Timmer van Vereniging Exodus
•Waarde toekennen aan inputs.
tieve effect van projecten en activiteiten van Exodus
Nederland over de maatschappelijke waarde van
Hoe belangrijk vinden stakeholders dat de organisatie
op het algemene recidivecijfer vertaald kan worden in
goededoelenorganisaties.
haar activiteiten, projecten en programma’s uitvoert en
maatschappelijke kosten en baten. Exodus heeft twee
welke tegenprestatie willen zij leveren? Welke prioriteiten
keer een onderzoek voor een Exodushuis laten uitvoe-
stellen zij? Kortom, welke inputs zijn van cruciaal belang
ren door een extern onderzoeks- en adviesbureau, in
voor het realiseren van activiteiten en aan welke stakehol-
Amsterdam en Utrecht. Er zijn onderzoeken bekend over
ders zijn deze gekoppeld?
de maatschappelijke kosten van een gemiddelde recidi-
•Omschrijven van beoogde resultaten en effecten (outputs
vist. Wanneer je het positieve verschil in recidivefactor
en outcomes).
hiermee vermenigvuldigt, dit verrekent met de kosten van
Fase 3: Dataverzameling
een Exodushuis en het begeleidingsprogramma, en dit
•Bepalen van prestatie-indicatoren.
vermenigvuldigt met de jaarlijkse uitstroom, dan weet je
Door relevante prestatie-indicatoren te ontwikkelen en
globaal wat je op jaarbasis realiseert aan besparingen.
deze te implementeren binnen de organisatie, kan de
Dit levert voor de huizen in Amsterdam en Utrecht posi-
maatschappelijke waarde van programma’s, projecten en
tieve cijfers op, hoewel wel sterk uiteenlopend omdat de
activiteiten worden gemeten en gemonitord.
aannamen grotendeels de uitkomst bepalen.”
Battle of the Houses 2012 (foto: Exodus Nederland)
•Dataverzameling.
Het verzamelen van data (gegevens) op basis van de
door de organisatie bepaalde prestatie-indicatoren.
De SROI-methode bestaat uit zes fasen en diverse onderlig-
activiteiten. Een analyse van de stakeholders geeft inzicht in
gende stappen.
wie ze zijn, wat ze inbrengen, wat ze doen en wat zij er
Fase 1: Omvang en stakeholders
voor terug verwachten.
•Vaststellen van de omvang van de SROI-analyse.
Fase 2: Beoogde input, resultaten en effecten
Een SROI-analyse kan specifiek worden uitgevoerd op
•Ontwikkelen van een ‘Impact Map’ van beoogde input,
activiteit-, project- of programmaniveau of op een meer
generiek organisatieniveau.
•Identificeren van stakeholders en bepalen van de wijze
waarop stakeholders betrokken worden.
Stakeholders kunnen betrokkenen zijn (partijen die investe-
activiteiten, resultaten en effecten.
Centraal in de SROI-analyse staat de ‘Impact Map’.
Data kunnen verkregen worden uit bestaande of nieuwe
bronnen.
•Bepalen van effecten en de termijn waarop effecten waarneembaar kunnen zijn.
Op basis van verzamelde data bepalen wat de effecten
van de activiteiten zijn en het bepalen van de termijn
waarop de effecten (nog) waarneembaar kunnen zijn.
Deze geeft een beschrijving van de middelen (inputs) die
•Bepalen van de waarde van de effecten.
gebruikt worden voor het uitvoeren van activiteiten, het
Het toekennen van een monetaire waarde aan de effecten
resultaat (outputs) van deze activiteiten en het effect van
van activiteiten. Hiervoor worden financiële benaderingen
ren) en/of de doelgroep zijn (partijen die effecten ondervin-
deze activiteiten (outcomes) op de doelgroep en andere
gebruikt om een schatting te maken van de maatschap-
den) van de organisatie en haar programma’s, projecten en
stakeholders.
42 |
METEN
1
2
3
4
5
6
7
8
9
10
pelijke waarde van de activiteiten voor verschillende
verankeren van het analyseproces en de uitkomsten in beleid
van publieke of particuliere acties voor mensen en de manier
stakeholders.
en activiteiten van de organisatie.
waarop mensen leven, werken, spelen, zich tot elkaar verhou-
Fase 4: Impact bepalen
•Het bepalen en berekenen van impact, rekening houdend
met spontane effecten, attributie en uitval.
Het bepalen van de mate waarin de effecten toe te wij-
den, zich organiseren en deel uitmaken van de samenleving.”
Een SROI-rapport dient voorzien te zijn van veel meer
Sociale problemen ontstaan grotendeels door conflicten tus-
dan alleen de kwantitatieve resultaten en de kwantitatieve
sen economische ontwikkeling en het gebruik van natuurlijke
maatschappelijke waarde. In een SROI-rapport worden
hulpbronnen. Economische verliezen en sociale kosten van
zen zijn aan of geïsoleerd kunnen worden voor de inzet
activiteiten, besluiten en verwachte resultaten continu gedo-
aantasting van het milieu komen vaak lang nadat de eco-
van de organisatie en niet veroorzaakt worden door spon-
cumenteerd. Een goede registratie is dus essentieel om een
nomische voordelen van de ontwikkeling zijn gerealiseerd.
tane effecten. Dit is wat SROI bedoelt met de term impact.
succesvolle SROI-analyse uit te voeren.
Ontwikkelingsprojecten dragen bij aan economische ontwik-
Het bepalen van de impact is belangrijk omdat dit het
De SROI is toepasbaar voor een breed scala van gebrui-
keling en een betere leefomgeving, maar kunnen ook nega-
risico op overclaimen vermindert en het de activiteiten van
kers, zowel taal als toepassingsmethoden zijn gemakkelijk
tieve invloed hebben op de lokale bevolking. SIA helpt inzicht
de organisatie geloofwaardig maakt. Spontane effecten
te vervangen afhankelijk van de gebruiker. Meer informatie
te krijgen in (de mate van) deze gevolgen en veranderingen.
zijn effecten die zouden hebben plaatsgevonden indien
over de toepassing van de SROI-methode via de website
de activiteiten niet zouden zijn uitgevoerd. Door het meten
van Social Evaluator: www.socialevaluator.nl.
van al deze factoren kan bepaald worden wat de impact
SIA is expliciet ontwikkeld voor activiteiten van organisaties
in het kader van economische en sociale ontwikkeling in een
3.1.2. Social Impact Assessment (SIA)
internationale context en kan in verschillende situaties en voor
Fase 5: Social Return on Investment bepalen
Een zeer breed instrument om vele vormen van sociale,
verschillende doeleinden worden uitgevoerd. Er is daarom extra
In deze fase wordt de Social Return on Investment berekend
economische en ecologische impact in kaart te brengen is
aandacht voor een conventioneel begrip van deze methodiek.
op basis van de kwalitatieve en kwantitatieve informatie die
de Social Impact Assessment, welke uitgaat van dynamisch
In een internationale context spelen diverse overwegingen een
is verzameld. De SROI is de verhouding tussen de financiële
impactmanagement waarbij vanaf de beginfase van een
rol. De wet- en regelgevende context varieert, de culturele en
waarde van de investering en de financiële waarde van de
project- of beleidsplan rekening wordt gehouden met het
religieuze context varieert en de sociale en economische prio-
maatschappelijke kosten en baten. Hierbij wordt rekening
realiseren van impacts. Social Impact Assessment (SIA)
riteiten voor ontwikkeling variëren. Dit kan leiden tot moeilijkhe-
gehouden met verwachtingen, analyse van de gevoelig-
omvat het proces van analyseren, bewaken en beheren van
den bij het vaststellen en evalueren van effecten en impact.
heid van aannamen over effect en impact en eventuele
de bedoelde en onbedoelde, positieve en negatieve sociale
In SIA wordt een breed scala aan effecten meegenomen,
terugverdientijden.
gevolgen van geplande activiteiten en de sociale verande-
waaronder esthetische, archeologische, demografische,
Fase 6: Rapporteren en integreren
ringen die hierdoor zijn ontstaan.
institutionele, psychologische en toerisme-effecten, maar ook
van een activiteit is.
De laatste fase in de SROI-methode betreft de rapportage,
gevolgen voor de ontwikkeling van de gemeenschap, de
de verificatie van de rapportage en de communicatie rich-
De Inter-organisational Committee on Guidelines and
rechten van inheemse volkeren, toegang tot en eigendom
ting de doelgroep en andere belanghebbenden. Daarnaast
Principles for Social Assessment (1994) heeft sociale veran-
van grondstoffen, gezondheid, armoede, en economische,
wordt in deze fase aandacht besteed aan het toepassen en
deringen of sociale effecten gedefinieerd als de “gevolgen
politieke, fiscale en infrastructurele gevolgen. Sociale,
METEN
| 43
1
2
3
4
5
6
7
8
9
10
economische en ecologische effecten van activiteiten zijn
De SIA-methode is een proces om te waarborgen dat ont-
De afzonderlijke fasen van de SIA-methode zijn:
volgens SIA inherent en onlosmakelijk met elkaar verbonden.
wikkelingsactiviteiten (a) gebaseerd zijn op en rekening hou-
1. Bepalen van de omvang en de context van het project.
Verandering in het ene domein leiden automatisch tot ver-
den met relevante maatschappelijke issues, en (b) voorzien
2. Identificeren van stakeholders en het uitvoeren van een
anderingen in andere domeinen, waardoor rekening dient
in deelname van een breed scala aan belanghebbenden.
te worden gehouden met een hogere mate van impact en
De SIA-methode bestaat uit een aantal fasen die in onder-
cumulatieve of meervoudige impact (Vanclay, 2003).
staande figuur zijn weergegeven.
stakeholderanalyse.
3. Identificeren van sociale factoren (wat zijn de belangrijkste sociale issues?).
4. Analyseren van data en bepalen van doelstellingen en
prioriteiten.
Ensure
monitoring
with active
stakeholder
involvement
and modify it
1
5. Betrekken van stakeholders en ontwikkelen van het pro-
Analyse project context
2
7
ject.
Identify stakeholders
Perform stakeholder
analysis
6. Uitvoering van en deelname aan het project.
7. Monitoren van het project, betrekken van stakeholders
en bijsturen project.
Voor meer informatie over de Social Impact Assessment-
Social Assesment Process
3
Identify
social
factors/
variable
6
methode: Centre for Good Governance (2006)
3.1.3. Public Value Scorecard
De Public Value Scorecard is in 2003 ontwikkeld door
Robert Kaplan en is gebaseerd op het concept van de
Balanced Scorecard, toegespitst op non-profit organisaties.
Implement
mitigation
plan and
public
participation
Een aantal uitgangspunten van de Balanced Scorecard
5
4
Consult stakeholders and
Develop mitigative plans
Analyse data and
assess priorities
dient tevens als basis voor de Public Value Scorecard. Beide
instrumenten erkennen dat het meten van niet-financiële
resultaten en effecten belangrijk is, zoals ook het evalueren van het proces minstens zo belangrijk is als het meten
van uitkomsten en effecten. Het proces van meten en het
gekozen meetinstrument ondersteunen de onderliggende
Figuur 7: Social Assessment Process (Centre for Good Governance, 2006, gebaseerd op
Rietberg-McCracken en Narayan, 1998)
44 |
METEN
organisatiestrategie.
1
Drie belangrijke uitgangspunten voor goededoelenorganisa-
den, is het voor de instelling van belang dat deze doelen
ties zijn weergegeven in onderstaande figuur.
expliciet gemaakt worden om succesvol de strategie van
2
3
4
5
6
7
8
9
10
de organisatie te kunnen bepalen en te managen.
• Legitimacy and support: Publieke waarde versus financiële waarde en de rol van donoren. Goededoelenorganisaties ontvangen donaties van verschillende soorten
Legitimacy
& Support
donateurs, ook van donateurs die niet direct profiteren
van de activiteiten van de organisatie. Ze ontvangen
subsidies of worden ingehuurd door overheden om
Social
Mission
projecten en activiteiten ten behoeve van de samenleving te realiseren. Voor deze organisaties is de publieke
waarde van de activiteiten en de effecten ervan vermoedelijk belangrijker dan de financiële waarde. Het
belangrijkste verschil met bedrijven is dat de waarde
Organizational
Capabilities
die ze krijgen een maatschappelijke waarde is die
aansluit bij het doel van de organisatie, in plaats van
een particuliere financiële return die afkomstig is van de
verkoop van een product of dienst boven de kostprijs.
• Organizational capacities: Operationele capaciteit.
Heeft de organisatie voldoende mogelijkheden om de
Figuur 8: Uitgangspunten goededoelenorganisaties Public
gewenste doelen te bereiken? Wanneer goededoe-
Value Scorecard (Moore, 2003)
lenorganisaties proberen sociale effecten te bereiken,
hebben zij vaak hulp nodig van andere organisaties.
• Social Mission: Welke waarde wil de organisatie cre-
Ze zijn zelden groot genoeg om belangrijke maatschap-
ëren, welke doelstellingen wil de organisatie bereiken?
pelijke doelen helemaal zelf te bereiken en hebben dus
Bijvoorbeeld: het bieden van noodhulp aan mensen die
behoefte aan partners of coproducenten. Dit betekent
dit acuut nodig hebben, het verbeteren van de sociale
dat goededoelenorganisaties vaak belangrijke keuzen
omstandigheden van een bepaalde doelgroep of in een
dienen te maken over hoeveel middelen zij besteden
bepaalde regio. Hoewel deze doelstellingen niet altijd
aan zichzelf en hoeveel zij gebruiken voor het mobilise-
worden samengevat in of vertaald naar financiële waar-
ren van samenwerkingspartners.
METEN
| 45
1
2
3
4
5
6
7
8
9
10
Moore (2003) geeft tevens een schematische weergave van
3.1.4. Participatory Impact Assessment (PIA)
de organisatieprocessen (linker deel) en de waardeketen
Een instrument dat uitgaat van een actieve participatie
(rechter deel) van goededoelenorganisaties.
van de doelgroep bij evaluatie is de Participatory Impact
Assessment (PIA), ontwikkeld door het Feinstein International
Center. Dit instrument past de participatieve methodologie
Organization
Outputs
Partners and Co-Producers
king met de oorspronkelijke organisatiedoelstellingen. De
centrale vraag in deze aanpak is: “welk verschil maken
wij?” Het gaat hierbij niet alleen om het bepalen van de
Outcomes
Inputs
Client satisfaction
Activities
Processes
Procedures
Programs
toe in het analyseren van resultaten en effecten in vergelij-
impact op de leefomstandigheden, maar ook om het vormgeven van organisatieprocessen en hoe om te gaan met het
ontbreken van informatie over de beginsituatie.
De PIA-methode biedt niet alleen een handig hulpmiddel voor
het bepalen van de verandering die is opgetreden, maar ook
een manier voor het begrijpen waarom deze heeft plaatsgevonden. De PIA-methode biedt geen gedetailleerde stap-voorstapformule of set van instrumenten voor het uitvoeren van
effectbeoordelingen, maar beschrijft acht stadia van het proces
en geeft voorbeelden van hulpmiddelen die kunnen worden
toegepast in verschillende contexten.
Figuur 9: Organisatieprocessen Public Value Scorecard (Moore, 2003)
PIA is ontwikkeld om in tegenstelling tot traditionele resultaat- en
impactmethoden die in de humanitaire sector worden gebruikt,
Ook in dit model leiden middelen (inputs) tot directe resulta-
nadruk te leggen op echte impact gebaseerd op lokale uit-
ten (outputs) en wordt samen met partnerorganisaties bereikt
gangspunten en indicatoren. De PIA-methode is een uitbreiding
dat de activiteiten voor de doelgroep toegevoegde waarde
van de Participatory Rural Appraisal (PRA) en past participa-
hebben, welke ook weer verdere effecten (outcomes)
tieve instrumenten in combinatie met conventionele statistische
hebben.
benaderingen toe om de impact van humanitaire hulp en
Voor meer informatie over de Public Value Scorecard:
ontwikkelingsprojecten op de levens van mensen te meten. De
Moore, M.H. (2003)
aanpak benadrukt de betrokkenheid van de doelgroep en de
46 |
METEN
1
2
3
4
5
6
7
8
9
10
leden van de gemeenschap bij het beoordelen en meten van
zen aan het specifieke project of de organisatie, worden de
tijd heeft tot doel om ervoor te zorgen dat iedereen begrijpt
resultaten, effecten en impact. Het gaat hierbij om de positieve
numerieke scores met behulp van de PIA-methode gerang-
binnen welke kaders impact wordt beoogd.
en negatieve veranderingen die worden waargenomen.
schikt en vergeleken met andere factoren die van invloed
Fase 3: Identificeer prestatie-indicatoren voor het project.
zijn op de waargenomen veranderingen.
Het identificeren van indicatoren voor het meten van impact.
Fase 4: Methoden.
Drie kernvragen staan centraal:
• Welke veranderingen hebben in de lokale gemeenschap plaatsgevonden sinds de start van het project?
De acht fasen van de PIA-methode zijn in onderstaande
Het bepalen van de methode of methoden die gebruikt
figuur weergegeven.
worden om de impact van het project op de leefomstandig-
• Welke van deze veranderingen zijn toe te wijzen aan
het project, of zijn veroorzaakt door het project?
heden van mensen te meten.
Eight Stages of a Participatory Impact Assesment
• Welke verschillen hebben deze veranderingen gemaakt
in het leven van mensen in de lokale gemeenschap?
Fase 5: Steekproef.
Afhankelijk van de tijd en de middelen die beschikbaar zijn,
Stage 1:
Define the questions to be answered
wordt een keuze gemaakt voor de grootte van de steekproef
Stage 2:
Define the geographical and time limits of the project
op basis waarvan impact wordt gemeten.
methode als doel de daadwerkelijke effecten van een pro-
Stage 3:
Identify and prioritize locally-defined impact indicators
ject op het leven van mensen te meten. PIA meet naast de
Stage 4:
Decide wich methods to use, and test them
Stage 5:
Decide wich sampling method and sample size to use
groep ervaart als gevolg van een project, toe te wijzen zijn
Stage 6:
Assess project attribution
projectactiviteiten en welke veranderingen zouden hebben
aan de specifieke projectactiviteiten. Impact wordt gemeten
Stage 7:
Triangulate
plaatsgevonden ongeacht het project?
Stage 8:
Feedback and verify the results with the community
In tegenstelling tot traditionele methoden heeft de PIA-
resultaten van een project (welke diensten zijn geleverd met
welke input) in welke mate de veranderingen, die de doel-
op basis van kwalitatieve indicatoren zoals veranderingen
in status en welzijn of veranderingen in het niveau van
Fase 6: Beoordelen van projectattributie.
In elke gemeenschap of lokale omgeving waar een project
wordt uitgevoerd, zullen in de tijd veranderingen plaatsvinden. Welke veranderingen treden op als gevolg van het
project en kunnen toegeschreven worden aan de specifieke
Fase 7: Triangulatie.
Triangulatie is een cruciale fase in het meten van impact en
participatie door de bevolking gedurende het project. Het
Figuur 10: Fasen Participatory Impact Assessment-methode
gaat om het gebruik van andere informatiebronnen (eerdere
gebruik van participatieve rangschikking en scoringsmetho-
(Catley et al., 2007)
studies en rapporten, externe onderzoeken, enzovoort) voor
den vertaalt de kwalitatieve resultaten, vaak gebaseerd op
een vergelijking en controle van de resultaten van de partici-
meningen of percepties, naar numerieke scores.
Fase 1: Bepaal welke vragen beantwoording behoeven.
patieve methoden die zijn gebruikt.
Voor projecten in de humanitaire-hulpsector is het vaak lastig
Het definiëren van vragen voor het beoordelen van impact
Fase 8: Feedback en validatie.
de beginsituatie vast te stellen, met name wanneer het gaat
is vergelijkbaar met het definiëren van de doelstellingen van
Deze laatste fase betreft het rapporteren en communiceren
om noodhulp. Daarnaast kan het gebruik van een contro-
het project.
over de resultaten van deze PIA-analyse naar de lokale
legroep in deze setting vaak onpraktisch of zelfs onethisch
Fase 2: Bepaal de omvang van het project (ruimte en tijd).
gemeenschap.
zijn. Om te kunnen bepalen of veranderingen zijn toe te wij-
Het definiëren van de grenzen van het project in omvang en
METEN
| 47
1
2
3
4
5
6
7
8
9
10
Een voorbeeld van een participatieve methode die veel
wordt gebruikt in de ontwikkelingssamenwerking is ‘outcome
The World Economic Pyramid
mapping’. Deze methode is ontwikkeld door het Canadese
Individual annual income
(2005 USD in Purchasing Power Parity)
International Development Research Centre (IDRC) Ook
bij deze methode staat niet zozeer het meten centraal
Mature markets: > $20,000
als wel de gedragsverandering. Gedurende de looptijd
wordt de voortgang gemonitord en geven de deelnemers
0.5 billion
van het project zelf aan hoe ver zij in het proces zijn van
gedragsverandering.
2 billion
Emerging markets:
$3,260 to $20,000
Voor meer informatie over de Participatory Impact
Assessment-methode: sites.tufts.edu/feinstein/
Voor meer informatie over de outcome mapping-methode:
Survival markets:
<$3,260
4 billion
www.outcomemapping.ca.
3.1.5. Base of the Pyramid Impact Assessment
Framework
Het Base of the Pyramid Impact Assessment Framework is
ontwikkeld om impact te meten en uit te dragen, de organisatiestrategie vorm te geven en betere investeringsbeslissingen mogelijk te maken. De Base of the Pyramid, ook wel
Population
Most companies focus on mature and emerging markets, while
the huge market of 4 billion people living on less then $3,260
a year goes largely untapped.
World Resources Institute
Bottom of the Pyramid of BoP genoemd, is een economisch
model dat de wereldbevolking in drie welvaartsgroepen
verdeelt.
De top van de piramide vertegenwoordigt ongeveer een
half miljard mensen, die in grote welvaart leven, meestal in
de rijke landen waar de markten zich volledig hebben doorontwikkeld. Daaronder zit de groep van ongeveer twee miljard mensen met een inkomen tussen de 3.260 en 20.000
48 |
METEN
Figuur 11: The World Economic Pyramid (World Resources Institute, 2007)
1
dollar per jaar per hoofd. In de onderste groep, de bodem
van de piramide, zitten ongeveer vier miljard mensen met
een gemiddeld inkomen onder de 3.260 dollar per jaar.
Van deze groep is een kwart erg arm, met een inkomen
van twee dollar per dag of minder. Dit is de belangrijkste
doelgroep voor hulporganisaties. De resterende drie miljard
mensen hebben gemiddeld enkele tot negen dollar per dag
uit te geven. Dit is de BoP-markt. Deze mensen scharrelen
meestal hun kostje bij elkaar in de informele economie en
kleinschalige landbouw. Vaak leven ze van ‘hand tot mond’:
Business model of BoP venture
Strategic Analysis
Assess business model to understand who is ompacted
Use BoP Impact Assessment Framework to generate an in-depth
understanding of the povertyr alleviation implications of the venture
Identify most salient potential positive and negative impacts (based
on a assessment of magnitude and likelihood)
er is nauwelijks spaargeld, ze hebben geen bankrekening
en bezitten vaak niet de woning of de grond van hun huisje.
Het geld gaat naar de meest basale levensbehoeften.
2
3
4
5
6
7
8
9
10
Een BoP Impact Assessment begint met een
strategische analyse van alle te verwachten
positieve en negatieve effecten van het project
op de lokale belanghebbenden, de verwachte
omvang van deze effecten en de relatieve waarschijnlijkheid dat deze effecten zullen plaatsvinden. De strategische analyse biedt informatie om
de opzet van het project aan te scherpen of te
verbeteren en het project zodanig uit te voeren
dat de positieve effecten maximaal zijn en de
negatieve effecten beperkt.
Use findings to enhance
business model design
Use findings to design process
for tracking impact
De volgende fase betreft de prestatieanalyse.
Korte- en langetermijnprestatie-indicatoren worden
geformuleerd waarmee de meest opvallende
Het Base of the Pyramid Impact Assessment Framework of BoP
Impact Assessment Framework is ontwikkeld in 2007. Het doel
van het BoP Impact Assessment Framework is om te begrijpen
Performance analysis
Determine data collection methodology and data analysis strategy
wie wordt beïnvloed door (investerings-)projecten en -activiteiten en in welke mate. Het kader is ontwikkeld om investeringsbeslissingen in de BoP-markt te evalueren en de effecten van
deze beslissingen op armoedebestrijding te bepalen.
De methode gaat uit van de drie belangrijkste lokale stakeholders: (1) kopers, (2) verkopers en (3) lokale gemeenschappen, en drie factoren in armoedebestrijding: (1) welzijn, (2) economische capaciteit en (3) de wijze waarop
effecten gemeten kunnen worden en er wordt
een strategie bepaald voor de dataverzameling.
In deze strategie voor dataverzameling is zowel
aandacht voor het vaststellen van de doelgroep
Develop the data collection instrument invluding indicators for the
most salient impacts
Design and implement a field-based process for data collection
Evaluate the data collected
Use findings to enhance
business model design
Use findings to enhance
process for tracking impact
mensen en organisaties zich in een lokale gemeenschap tot
als voor een controlegroep met belanghebbenden
die niet worden bereikt met het project.
Het primaire doel van het BoP Impact
Assessment Framework is een gestandaardiseerd
instrument en proces voor continue evaluatie en
verbetering van investeringen en projecten die
bijdragen aan het bestrijden van armoede. Door
deze methode toe te passen worden zowel
elkaar verhouden.
investeringen (input) en resultaten (output) als
Figuur 12: BoP Impact Assessment-methode (London, 2008)
positieve en negatieve effecten op belanghebbenden (impact) systematisch vastgelegd. De
METEN
| 49
1
2
3
4
5
6
7
8
9
10
The logframe is a SUMMARY of the project, to answer the questions
methode heeft specifiek aandacht voor het erkennen van wat
WHY the project is being done, and WHAT IMPACT the project will have.
er fout is gegaan, wat de geleerde lessen zijn en de mogelijkheden voor verbetering.
Voor meer informatie over het Base of the Pyramid Impact
Assessment Framework: www.baseofthepyramid.nl.
this will contribute to
the goal.
3.1.6 Logical Framework
Hierarchy of Objectives
Verifiable Indicators
Means of Verification
Assumptions
Goal
Usually not necessary as
What record will be kept.
What must hold true for the
1
too general and hard to
Broad.
measure in limited time
What methods of data and
Project contributes to the
period.
information gathering will
What risks exist to not
be used?
achieving ultimate goal.
overall goal.
Het gebruik van zogenaamde Logical Frameworks is een
manier om de relatie zichtbaar te maken tussen de mid-
we anticipate the
delen die nodig zijn om projecten en programma’s uit te
purpose will result.
rationale to work.
Purpose
Explains the extent of the
Eg. baselines surveys,
What must hold true for the
1 (2 if necessary).
resuls at end-of-project.
government records,
purpose to result from the
voeren (inputs), de activiteiten die worden uitgevoerd, de
If the pupose is
The use/result/immediate
QQT: quality, quantity,
minutes of neetings,
outputs.
resultaten (outputs) en de effecten (outcomes/impact) die
achieved, then
impact of the project.
time.
trip reports, training
bereikt worden. De essentie van deze Logical Frameworks is
Include beneficiaries in
Used for evaluating the
evaluations.
de focus op de veronderstelde causale verbanden: dat als
statement.
project.
Outputs
Express the scope of the
1- 4
project.
remain valid for the activities to result in the outputs.
een bepaalde activiteit wordt ondernomen deze ook leidt
tot bepaalde resultaten (outputs), wat vervolgens leidt tot het
we produce the
outputs. If we
As above.
What conditions must
behalen van bepaalde effecten (outcomes) en uiteindelijk
produce the
What we produce.
How many? What type?
een bepaalde impact op de doelgroep.
outputs, then
What the management is
Use for monitoring the
responsible for archieving.
project.
Activities
Summary of Inputs
Conditions Precedent
1- 4 for each output.
Mention total budget
Agreements or inputs
What we actually do.
and inputs of various
necessary to begin project.
participants.
Policy or activity of other
Na de oorspronkelijke ontwikkeling van het Logical
Framework door onder andere Weiss, Wholey en anderen
in de jaren ’70 (zie Weiss, 1972), zijn veel verbeteringen
en variaties toegevoegd aan het basisconcept. Het meest
If we do the
activities, then
bekende en gebruikte Logical Framework is de Logical
Framework Analysis (Logframe).
agencies required.
The question of HOW the project should be implemented should be addressed in the NARRATIVE, ACTIVITY
SCHEDULE and BUDGET of the proposal.
Figuur 13: Logframe model (IDSS, 1999)
50 |
METEN
1
2
3
4
5
6
7
8
9
10
De basis van het Logframe-model is de waardeketen
3.1.7 Keuze welk meetinstrument
te verbinden en die proberen om de toegevoegde
(Hierachy of Objectives). De activiteiten die worden uitge-
Een belangrijke vraag die veel goededoelenorganisaties –
waarde van de activiteit te bewijzen ten opzichte van
voerd leiden tot bepaalde uitkomsten of resultaten (outputs).
en bedrijven en overheden – hebben, is welk meetinstrument
de beste alternatieve activiteit (vrij vertaald vanuit het
Deze resultaten dragen bij aan het realiseren van de
het meest geschikt is voor de organisatie en de voorwaar-
doelstelling (purpose). Het realiseren van de doelstelling
den die aan de evaluatie zijn gesteld. Sommige financiers
draagt vervolgens bij aan het bereiken van een algemeen
zullen voorschrijven welk meetinstrument dient te worden
sultaten en effecten naar een economische of monetaire
maatschappelijk effect (goal). De indicatoren (Verifiable
gehanteerd. Dit kan zijn om de vergelijkbaarheid van aan-
waarde.
Indicators) beschrijven hoe maatschappelijke effecten,
geleverde evaluaties te verhogen, systematisch evaluatiedata
doelstelling en resultaten worden bereikt in termen van kwan-
te verzamelen en/of een efficiënte beoordeling via een uni-
Deze drie categorieën meetinstrumenten vullen elkaar aan
titeit, kwaliteit, doelgroep, plaats en tijd. Ook worden de
form rapportageformat mogelijk te maken.
en hebben elkaar nodig. Men kan geen gebruik maken
middelen benoemd die nodig zijn om de activiteiten uit te
Resultaat- en impactmeting zijn een van de moeilijkste vor-
van gegevens van effectbeoordeling tenzij ze procesma-
voeren. De informatiebronnen (Means of Verification) geven
men van onderzoek omdat resultaten sterk beïnvloed worden
tig zijn uitgevoerd. Ook andere methoden zijn volledig
aan waar en op welke manier de gegevens gevonden kun-
door de context en de benadering die wordt gebruikt. De in
afhankelijk van gedegen processen voor dataverzameling,
nen worden die aangeven of de doelstellingen en resultaten
dit hoofdstuk beschreven meetinstrumenten voegen elk een
zoals veronderstellingen over de economische waarde
behaald zijn. Als er aan de randvoorwaarden voor het pro-
aparte dimensie toe aan het vormgeven en structureren van
van resultaten en andere externe gegevens. De meeste
ject is voldaan kunnen de activiteiten beginnen. Wanneer
resultaat- en impactmeting. Een indeling van meetinstrumen-
meetinstrumenten die in dit hoofdstuk zijn uitgewerkt zijn pro-
op de verschillende niveaus de condities (Assumptions) zijn
ten en/of methoden naar functie kan helpen bij het bepalen
cesmethoden. De Social Impact Assessment, de Participatory
vervuld, zullen activiteiten leiden tot resultaten en zullen deze
welke soort instrument(en) gebruikt kunnen worden. De
Impact Assessment, Base of the Pyramid Impact Assessment
resultaten bijdragen aan het realiseren van de doelstelling en
onderstaande onderverdeling komt van onderzoekers Clark
Framework en het Logical Framework zijn daarnaast even-
het bereiken van het algemeen maatschappelijke effect.
et al. (2004):
eens te kenmerken als impactmethoden. De Social Return on
• Procesmethoden zijn instrumenten en methoden die
Engels, Clark et al. 2004:8).
• Monetaire methoden zijn gericht op het vertalen van re-
Investment is een monetaire methode. Niet alle instrumenten
Het Logframe-model wordt nu wereldwijd gebruikt door vele
gericht zijn op het volgen van de efficiëntie en ef-
passen bij alle goededoelenorganisaties en het is daarom
overheidsinstellingen en NGO’s. Het is een verplicht kader
fectiviteit van resultaten, variabelen of indicatoren, die
belangrijk om inzicht te krijgen in de diverse instrumenten
voor organisaties die overheidsfinanciering ontvangen in
het management gebruikt om lopende operationele
alvorens de juiste te kiezen om toe te passen.
het kader van ontwikkelingssamenwerking in verschillende
processen bij te houden. Effecten (outcomes) kunnen ver-
landen, waaronder Australië, Canada, Nieuw-Zeeland en
volgens worden geëvalueerd door de mate waarin ze
Een andere manier om te bepalen welk meetinstrument het
de Europese Unie.
correleren (statistisch verband houden) met de gewenste
meest geschikt is voor een organisatie kan zijn door te kijken
maatschappelijke resultaten.
naar welke aspecten van de in Hoofdstuk 2 beschreven vijf
• Impactmethoden zijn instrumenten die meetbare resulta-
stappen worden meegenomen in de meetinstrumenten.
ten (outputs) en effecten (outcomes) met elkaar proberen
METEN
| 51
1
2
3
4
5
6
7
8
9
10
Tabel 3: Kenmerken van meetinstrumenten
Stap 1:
Stap 2:
Stap 3:
Stap 4:
Stap 5:
Theory of Change
SMART/
Beginsituatie
Context/Attributie
Meetmodel
indicatoren
SROI
+++
+++
+
+++
++
SIA
+++
++
++
+++
+
PVS
++
+++
+
+
++
PIA
+++
+++
++
+++
+++
BoP
++
+++
+
+
+++
Logframe
+++
+++
+++
++
+++
Er is geen ‘beste’ meetinstrument voorhanden. Alleen
door ‘trial and error’ en experimenteren kan een goededoelenorganisatie ondervinden welk model wel of
niet werkt of kan een eigen weg worden gevonden.
Beargumenteer altijd waarom voor een bepaalde methode wordt gekozen of waarom eventueel wordt gestopt
met het toepassen van een methode.
Op basis van de kenmerken in de tabel lijkt de Participatory
oorsprong vinden bij en van toepassing zijn op de ontwik-
3.2. Kwalitatieve en kwantitatieve
Impact Assessment (PIA) het hoogst te scoren op de kenmer-
kelingssamenwerking. Elementen uit deze modellen kunnen
onderzoeksmethoden
ken van de vijf stappen die een organisatie dient te door-
ook toepasbaar zijn op organisaties in de gezondheids-,
Stap zeven betreft het verzamelen en analyseren van gege-
lopen alvorens te beginnen met resultaat- en impactmeting.
welzijns- of milieusector. Daarnaast valt op dat in de meet-
vens. Deze stap valt uiteen in vier paragrafen (3.2. tot en
Echter, zoals beschreven is deze methode met name geschikt
instrumenten wel de logische stappen staan beschreven
met 3.5.).
voor voortgangs- en evaluatieonderzoek onder doelgroepen
die een organisatie dient te doorlopen, maar dat de daad-
Nadat doelstellingen en prestatie-indicatoren zijn geformu-
die kunnen participeren in het onderzoek. Een milieuorgani-
werkelijke meting en rapportage daarover ook nog andere
leerd, een nulmeting van de beginsituatie is gedaan, een
satie die zich richt op het behoud van flora en fauna heeft
methodieken, vaardigheden en inspanningen vergen. Daar
meetinstrument is gekozen om de resultaat- en impactmeting
hier weinig aan. De tabel met de kenmerken van de diverse
wordt in de volgende paragrafen op ingegaan.
vorm te geven en het project is uitgevoerd, kunnen gegevens
meetinstrumenten kan ook gebruikt worden om andere meet-
worden verzameld over de resultaten en eventuele verdere
instrumenten en modellen te beoordelen op geschiktheid.
effecten en impact van het project (of programma). We
Nogmaals, het is niet de bedoeling om de in deze para-
spreken van evaluatie als een manier om te begrijpen wat er
graaf beschreven meetinstrumenten voor te schrijven of
veranderd is door activiteiten van de organisatie. Die veran-
aan te bevelen. Zij dienen eerder ter illustratie van wat er
dering kan worden gemeten aan de hand van de gekozen
aan modellen voorhanden is. Het valt op dat de meeste
prestatie-indicatoren, welke de inhoudelijke leidraad vor-
meetinstrumenten die in deze paragraaf zijn besproken hun
men voor de meting. Bij meten wordt al gauw in getallen
52 |
METEN
1
2
3
4
5
6
7
8
9
10
gedacht, maar het meten van resultaat en impact beperkt
voor de mate waarin het project heeft bijgedragen aan een
Ook het analyseren van informatie uit registratie en dossiers
zich hier niet toe. De gegevens die gebruikt worden in een
verandering.
kan cijfermatige gegevens opleveren. Daarnaast kunnen
evaluatie kunnen zowel kwalitatief als kwantitatief van aard
Speciaal voor ontwikkelingsprojecten vormen participatieve
observaties, van bijvoorbeeld een vogeltelling, kwantitatieve
zijn of een combinatie van beide.
methoden of instrumenten voor resultaat- en impactme-
gegevens opleveren. Ook kan gebruik worden gemaakt
ting, zoals de Participatory Impact Assessment (PIA) en
van (internationale) ranglijsten of indexen, zoals de Human
Kwalitatief onderzoek is verbaal, beoordelend en opinië-
Participatory Rural Appraisal een alternatieve en complemen-
Development Index, rekentechnieken zoals Daly Adjusted Life
rend, waarbij het begrijpen van de belevingswereld van de
taire aanpak. Deze methoden richten zich spelenderwijs op
Years (DALYS) en andere cijfermatige bronnen om resultaten
onderzochten in een bepaalde situatie centraal staat. De
het bevragen van de doelgroep op de veranderingen die
te meten en tegen af te zetten.
uitkomsten van kwantitatief onderzoek zijn getallen, zoals
zich hebben voorgedaan, welke dit zijn en door welk pro-
aantallen, scores, percentages, tijdreeksen of geldbedragen.
ject deze veranderingen zijn ontstaan. Technieken die hiervoor gebruikt kunnen worden zijn bijvoorbeeld gebaseerd
Typisch kwalitatieve methoden van onderzoek zijn het
op sport en spel, theater en drama-opdrachten, visualisaties,
verzamelen van verhalen (storytelling) middels informele
het maken van collages en dergelijke.
gesprekken, visitaties en observaties met individuele deelnemers of met groepen deelnemers. Dit kan in de vorm van
Kwalitatieve data kunnen veel informatie opleveren, soms
interviews of bijeenkomsten, workshops en focusgroepen. Bij
zelfs zoveel dat het lastig is structuur en prioriteiten aan te
focusgroepen worden groepen van zo’n maximaal 10-15
brengen in de veelheid aan informatie. Bijvoorbeeld: het
deelnemers uitgenodigd om te praten over het project en
gegeven dat honderd mensen gebruik hebben gemaakt van
welke veranderingen de deelnemers hebben waargenomen.
een dienst vertelt alleen een deel van het verhaal en is te
Vaak gaat dit aan de hand van enkele vragen, die structuur
beperkt om te kunnen bepalen of deze dienst effect heeft
geven aan het gesprek, maar dit kan ook ongestructureerd
gehad op deze mensen, de kwaliteit.
plaatsvinden door de deelnemers volledige ruimte te geven
zelf hun verhaal te vertellen. Het is tevens mogelijk om de
Typisch kwantitatieve onderzoeksmethoden zijn het zelf afne-
deelnemers een kwantitatieve waarde, zoals een score of
men of laten invullen van vragenlijsten en enquêtes. Het gaat
cijfer, te laten geven aan bijvoorbeeld hun welzijnsniveau
hierbij om vragen die niet zozeer open van aard zijn, als
of mate van (positieve of negatieve) verandering op een
wel gesloten en gericht op aantallen. Bijvoorbeeld hoe groot
bepaald thema. Hierdoor kunnen de verhalen omgezet wor-
de veestapel voor en na het project is, hoe hoog het inko-
den in kwantitatieve waarden, die vervolgens weer geana-
men is, hoeveel hectare landbouwgrond wordt bebouwd of
lyseerd kunnen worden, zoals bijvoorbeeld het percentage
wat het kennisniveau op een schaal van 1-10 is over een
deelnemers dat een verandering heeft ervaren of een score
bepaald onderwerp.
•Bedenk of u simpele of complexere onderzoeksmethoden wilt gebruiken. Dit hangt onder andere af van de
omvang en complexiteit van de te evalueren activiteit,
beschikbare middelen (tijd, geld, kennis) en welke
mogelijkheden er zijn om gegevens te verzamelen.
•Gebruik een combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden, zodat de resultaten hieruit
elkaar kunnen bevestigen en verklaren.
•Laat de geformuleerde SMART-doelstellingen en
prestatie-indicatoren terugkomen in de evaluatievragen, zodat datgene dat wordt gemeten aansluit bij de
gestelde doelen.
METEN
| 53
1
2
3
4
5
6
7
8
9
10
Het is van belang om te realiseren dat de kwaliteit van
inzicht geven in de verhalen achter cijfers die tevoorschijn
uitkomsten van een evaluatie mede wordt bepaald door de
komen na analyse van de vragenlijsten en enquêtes.
kwaliteit van de verzamelde gegevens, oftewel ‘garbage in
is garbage out’.
Veel organisaties vinden het lastig om de impact te meten
voor grote thema’s als het bevorderen van homorechten,
Het spectrum van onderzoeksmethoden kent gradaties, vari-
voorlichting over HIV/AIDS of het creëren van persvrijheid
ërend van een vragenlijst als evaluatie voor bezoekers van
in een land. In dit geval is het, zeker voor kleine organisa-
een lotgenotendag tot het organiseren van focusgroepen en
ties, aan te raden om dergelijke grote thema’s te reduceren
verder. Het één is niet beter of slechter dan het ander.
tot afgebakende, SMART-geformuleerde doelstellingen en
Verder kunnen kwantitatieve gegevens worden gebruikt ter
ook een kleine, afgebakende doelgroep te willen bereiken,
bevestiging van hetgeen door deelnemers is gezegd in bij-
bijvoorbeeld alleen de mensen in een bepaald dorp, of
voorbeeld interviews en bijeenkomsten. Aan de andere kant
zelfs daar binnen weer een kleiner geheel zoals een school,
kunnen de kwantitatieve gegevens van deelnemers meer
bedrijf of stuk landbouwgrond. Dat maakt het ook mogelijk
•Hou de evaluatie zo klein en eenvoudig mogelijk.
Verzamel gericht gegevens, want te veel gegevens is
ook niet goed.
•Maak zoveel mogelijk gebruik van gegevens die al
voorhanden zijn, bijvoorbeeld uit registraties. Dit
bespaart kosten en tijd.
•Voor het opstellen van effectieve, beknopte vragenlijsten en antwoordcategorieën zijn handleidingen voorhanden. Het is aan te raden hier meer over te lezen,
zodat de juiste vragen kunnen worden geformuleerd.
Via websites als www.surveymonkey.com,
www.survey123.nl en www.thesistools.com kunnen
gratis in beperkte oplage online vragenlijsten worden
gemaakt en verspreid.
•Een interview kan ongestructureerd, semi-gestructureerd of gestructureerd zijn. Soms kan het juist de
Tabel 4: Kwalitatieve en kwantitatieve onderzoeksmethoden
Kwalitatieve onderzoeksmethoden
Kwantitatieve onderzoeksmethoden
Storytelling
Vragenlijsten per post, e-mail, internet of telefoon
Bijeenkomsten en workshops
Door de onderzoeker afgenomen enquêtes
Informele gesprekken
Informatie uit registratie
Visitaties
Informatie uit dossiers en documenten
Observaties, beschrijvend
Observaties, tellend
Eén-op-één interviews, gestructureerd of semi-gestructureerd
Vertalen van verhalen naar scores, cijfers, percentages
Focusgroepen
Indexen, ranglijsten
Participatieve methoden
54 |
METEN
nodige informatie opleveren door de geïnterviewde
zelf een verhaal te laten vertellen en daarbij te sturen
met slechts enkele hoofdvragen. Als zeer specifieke
informatie nodig is, werken gerichte vragen beter.
•Een attentie of beloning vooraf kan helpen om meer
mensen bereid te vinden om mee te werken, bijvoorbeeld in de vorm van een uitnodiging voor een evenement, voedsel of (gesponsorde) korting.
1
om de veranderingen op het thema waar de organisatie
• Komt de verandering door het project of door andere
2
3
4
5
6
7
8
9
10
opmerking hierbij is dat de term significant alleen gebruikt
zich mee bezighoudt, te meten. Dan kan gemakkelijker aan
oorzaken, zoals economische vooruitgang, invloed van
mag worden na het evalueren van een voorspelling (hypo-
de doelgroep gevraagd worden wat zij vinden dat hun situ-
de overheid of het werk van andere organisaties?
these) over de beoogde uitkomsten. Na het overstappen
atie is (nulmeting), wat de organisatie voor hen kan beteke-
• Waren er ook minder goede gevolgen van het project?
nen, welke effecten en veranderingen voor hen wenselijk en
op een andere activiteit mag men niet achteraf concluderen
dat die andere activiteit significant betere resultaten geeft
realistisch zijn (Theory of Change) en hoe hun situatie na de
3.3. Interpreteren en analyseren van de
dan de eerste activiteit. Significantie kan worden berekend
uitvoering van het project is veranderd (resultaat- en impact-
gegevens
met behulp van het programma SPSS. De nauwkeurigheid
meting). Het stellen van de juiste vragen is hierbij cruciaal.
Een belangrijke stap in het doen van metingen is het inter-
van een statistisch significant resultaat wordt uitgedrukt in
Idealiter zijn de onderwerpen en indicatoren waarover vra-
preteren en analyseren van de verzamelde gegevens, zowel
een p-waarde, een getal tussen 0 en 1. Als deze p-waarde
gen worden gesteld in de nulmeting dezelfde als die in de
kwantitatief als kwalitatief. Vaak zal voor de verwerking van
0,05 of minder bedraagt, dan kan worden gesteld dat de
resultaat- en impactmeting. Zo kan de situatie voor en na het
kwantitatieve gegevens databasesoftware worden gebruikt,
kans dat het gevonden verschil of samenhang op toevallig-
uitvoeren van het project goed worden vergeleken.
zoals Excel of voor gevorderden een programma als SPSS.
heden berust, minder dan 5% is. Dit betekent dat met 95%
Bij de verwerking van kwalitatieve gegevens verdient het
zekerheid kan worden gesteld dat de activiteiten van een
Voorbeelden van vragen die kunnen worden gesteld als
aanbeveling om deze in te delen in categorieën, bijvoor-
goededoelenorganisatie een bepaald effect hebben gehad.
onderdeel van een impactmeting:
beeld per onderzoeksvraag of thema.
Het gaat echter te ver voor deze publicatie om dieper in te
• Bent u tevreden met het nieuwe [schooltje, klimrek, fiets-
gaan op dergelijke statistische kennis.
pad door de duinen, etc.] en waarom wel/niet? Kunt
Het proces van data-analyse is een ingewikkeld proces, dat
u een rapportcijfer geven van 1 tot 10 hoe tevreden u
dient te worden uitgevoerd door iemand die bekend is met
bent over [naam project]?
het construeren van verhaallijnen, grafieken en tabellen en
• Wat zijn de belangrijkste veranderingen die het project
het analyseren van gegevens. Het simpel optellen van scores
of een gemiddelde score uitrekenen is niet zo veelzeggend.
Bedenk voordat een vragenlijst wordt gemaakt hoe de
Veel interessanter is om te kijken welke verschillen er bestaan
gegevens zullen worden verwerkt en of de eventueel
relatie met de overheid, uw kennis van onderwerp X,
tussen groepen (van verschillende leeftijden, sekse, geloofs-
benodigde software beschikbaar is.
de positie van vrouwen in je dorp, uw inkomen, de
overtuiging, geografisch gebied of ras/soort in het geval van
veiligheid op straat, etc.] is veranderd na afloop van
flora en fauna) en wat de samenhang tussen gegevens is.
het project vergeleken met voor de start van het project?
Het meest interessant is om te bekijken of de gevonden
tot stand heeft gebracht?
• Kunt u aangeven op een schaal van 1 tot 10 hoe [de
• Hoeveel [opbrengst, oogst, kuddedieren, uitval van
verschillen en effecten statistisch significant zijn. Significant
schoolkinderen, kennis over ziekte X op de volgende
wil zeggen dat er sprake is van een waargenomen resultaat
zes deelgebieden etc.] was er in het jaar voordat het
of effect dat niet door toeval is ontstaan, maar door iets
project startte en hoeveel [...] was dat na het project?
anders (bijvoorbeeld de activiteiten van de organisatie). Een
METEN
| 55
1
2
3
4
5
6
7
8
9
10
3.3.1. Attributie en externe factoren
in één rekenkundig model te vatten. Het meest van belang
alleen al te beschrijven welke externe factoren en partijen
Bij het analyseren en interpreteren van onderzoeksgegevens
lijkt te zijn dat organisaties zo goed mogelijk op voor hen
ook invloed hebben gehad op de doelgroep en de uitkom-
is het van belang dat goededoelenorganisaties zich ervan
passende wijze laten zien wat ze bereikt hebben met hun
sten van de activiteiten, kan al een beter en eerlijker beeld
bewust zijn dat wellicht niet alle resultaten direct het gevolg
investeringen en welk effect ze daarbij hebben gehad op de
gecreëerd worden van de bijdragen van de goededoelenor-
zijn van hun activiteiten. Met andere woorden: dat resultaten
doelgroep, de maatschappij en de eigen organisatie. Door
ganisatie aan de doelgroep dan wel maatschappij.
niet altijd geclaimd kunnen worden als effect van een specifieke activiteit. Het toewijzen (attributie) van effecten op de
doelgroep – op korte of lange termijn – aan de organisatie
Voorbeeld van invloed externe factoren:
Het bleek uit de interviews dat een grote kudde status geeft
kan erg lastig zijn. Er zijn namelijk vaak externe factoren van
impactmeting door The Nature Conservancy naar
aan de bezitter. Een project, ook al duurt het meerdere
invloed op het resultaat. Hierbij valt te denken aan sociale,
een natuurbeschermings- en ontwikkelingsproject in de
jaren, kan dergelijke tradities niet altijd doorbreken.”
politieke, economische en technologische veranderingen,
Gobiwoestijn van Mongolië.
Esther Ten Hoorn, masterthesis VU Amsterdam (Ten
oorlogen en ecologische invloeden (zoals droogte of over-
“De doelen die het project onder meer beoogde, waren
Hoorn, 2010).
stroming). Dit zijn factoren waarop de organisatie veelal
om de herders alternatieve bronnen van inkomsten te bie-
geen directe invloed heeft. Daarnaast is vaak een groot
den zodat zij minder afhankelijk werden van hun kudde,
aantal andere organisaties in dezelfde sector of in hetzelfde
en de kuddegrootte van de nomadische herders te verklei-
gebied werkzaam, waardoor resultaten überhaupt lastig te
nen, waardoor het schaarse woestijngras niet verder zou
claimen zijn als resultaat van sec de activiteit van de betref-
verdorren en er minder verwoestijning zou optreden. Uit de
fende organisatie. Hoe breder de bijeffecten en hoe meer
evaluatie van het project bleek dat de graslanden rondom
externe factoren de doelgroep beïnvloeden, hoe complexer
de projectgebieden in slechte staat waren en dat de
het meten van prestaties en de attributie wordt.
gemiddelde kuddegrootte niet was afgenomen. Men zou
hieruit de conclusie kunnen trekken dat de slechte conditie
Ieder goed doel en iedere activiteit dient geplaatst te wor-
van het gras kwam door overbegrazing. Na statistische
den in een grotere maatschappelijke context waarbij diverse
analyse bleek dat de overbegrazing slechts gedeeltelijk de
factoren een rol spelen. Hierdoor kunnen resultaten worden
oorzaak was en dat het verdorren van het gras met name
beïnvloed en worden de effecten van de werkzaamheden
werd veroorzaakt door de extreme winterse kou en droog-
van de organisatie niet juist gemeten. Het is wellicht nog te
te die het land geteisterd hadden. Ondanks de bijeenkom-
ingewikkeld om te bepalen wat het effect van een activiteit
sten met herders om hen uit te leggen dat zij omwille van
van de organisatie is geweest op de doelgroep in situaties
hun natuurlijk leefgebied beter minder dieren konden hou-
Landbouwproject in de Gobiwoestijn, Mongolië
waarin externe effecten een rol spelen. Het meten van
den, was de gemiddelde kuddegrootte niet afgenomen.
(foto: Esther Ten Hoorn)
impact van de gehele organisatie is wellicht te complex om
56 |
METEN
1
2
3
4
5
6
7
8
9
10
3.3.2. Correlatie en causaliteit
verwerkingsprogramma. Dit zal te ver gaan voor goededoe-
Om er zeker van te zijn dat de veranderingen komen
lenorganisaties die aan het begin staan van resultaat- en
Wat te doen als de onderzoeksresultaten onduidelijk of
door de ontplooide activiteiten en niet door iets anders of
impactmeting. Zij gebruiken veelal geen statistische verwer-
niet overtuigend zijn? Presenteer de onderzoeksresul-
door toeval zijn ontstaan, is het raadzaam om dit verder
kingsprogramma’s maar beschrijven hun resultaten in verha-
taten dan op een neutrale manier en geef aan dat er
te onderzoeken. Voor veel goededoelenorganisaties blijft
len en beelden ondersteund door een beperkte hoeveelheid
geen eenduidige conclusies kunnen worden getrokken
het tonen van de uitkomsten van een evaluatie wellicht bij
cijfermatige gegevens. Organisaties die daarvoor de midde-
op basis van de verzamelde gegevens. Laat de lezer
een overzicht van de verzamelde resultaten in grafieken,
len en kennis beschikbaar hebben, kunnen met behulp van
zelf conclusies trekken uit de gepresenteerde verhalen,
tabellen en verhalen, zonder analyse of interpretatie. Zoals
een statistische analyse de samenhang tussen hun activiteiten
grafieken, foto’s, film en dergelijke. Als het vermoeden
een beschrijving bij hoeveel procent van de doelgroep een
en de resultaten, effecten en impact nog beter onderbou-
bestaat dat de onduidelijkheid komt door de wijze van
verandering heeft plaatsgevonden naar aanleiding van de
wen. Enkel het vaststellen dat er een samenhang is, zegt niet
gegevensverzameling, analyse van de gegevens of
ontplooide activiteiten. Als men een stap verder wil en kan
altijd evenveel, want het is veel interessanter om de samen-
organisatorische zaken, zoals een personeelswisseling,
gaan, kan ook worden onderzocht of tussen de resultaten en
hang te verklaren. Wellicht zijn er ook andere factoren die
beschrijf dan in het evaluatierapport hoe dit in de toe-
effecten van activiteiten en andere (omgevings)factoren die
invloed hebben op de doelgroep of worden de gevonden
komst beter kan. (EvaluativeThinking, 2013.)
van invloed kunnen zijn op de doelgroep een statistisch ver-
resultaten ook nog door andere factoren veroorzaakt.
band kan worden gemeten. Het verband tussen deze twee
aspecten (variabelen) wordt ook wel correlatie genoemd in
de statistiek. Correlatie geeft lineaire samenhang aan, met
andere woorden: of een vermeerdering of vermindering
van de ene variabele een constante verandering van een
andere variabele met zich meebrengt. Er kan bijvoorbeeld
samenhang zijn tussen etnische afkomst van kinderen en een
achterstand op school. Of er kan een verband zijn tussen het
aantal vogels dat wordt geteld in een bepaald gebied en
de aanwezigheid van snelwegen.
Door een statistische analyse uit te voeren kan een betrouwbaarder inzicht worden gegeven in de ontplooide activiteiten en oorzaken voor effecten. Het vaststellen of er sprake is
van correlatie (statistisch gemeten verband) tussen twee variabelen kan worden gedaan met behulp van een statistisch
METEN
| 57
1
2
3
4
5
6
7
8
9
10
Voorbeeld van het aantonen van
tieel. Het verschil neemt bovendien positief toe naar-
Voorbeeld van verschil correlatie en
samenhang
mate de begeleiding intensiever is en langer duurt.
causaliteit
“Vereniging Exodus Nederland heeft vanaf 2002
Hiermee zou je de effecten dus toe kunnen wijzen aan
Is er een oorzakelijk verband tussen het risico op
onderzoek uitgevoerd naar waar de begeleidings-
programma’s en activiteiten van Exodus.
dementie en weinig sporten? Dit heeft vaak genoeg in
aanpak van Exodus toe leidt. Het eerste onderzoek
Daarnaast kijken we ook naar nieuwe onderzoeken
de krant gestaan met koppen als “Sporten doet risico
gaf een positief beeld. Het algemene beeld is dat
om effect en impact nog meer te kunnen staven.
op dementie verminderen”. Maar het zou ook kunnen
ca. 70% van de mensen na zes jaar recidiveert en
Zo vermoeden we bijvoorbeeld dat er een link zit
dat beginnende dementie ervoor zorgt dat men wei-
terugkeert in detentie. Van de mensen die door Exodus
tussen een lager recidivecijfer en de thema’s die in
nig sport. Of dat een externe factor van invloed is op
zijn begeleid en positief uitstromen, recidiveert minder
begeleidingsprogramma van Exodus aan de orde
dementie. Zo gaat ongezond leven (roken, veel alco-
dan 50%. Een significant verschil. Er was wel kri-
komen, zoals zingeving. Maar dit is wel lastig ‘hard’
hol drinken, vet eten) vaak samen met weinig sporten
tiek op het onderzoek, vooral met betrekking tot de
te maken. In hoeverre kun je zeggen dat het feit dat je
en bovendien is dit een risicofactor voor dementie.
gebruikte definities en de tijdshorizon, en het feit dat
het hebt over zingeving leidt tot minder recidive?”
In dit voorbeeld kan wellicht wel sprake zijn van
we niet hetzelfde meetinstrument als de rijksoverheid
Interview met Rien Timmer, Vereniging Exodus
een statistisch verband (correlatie) tussen sporten en
hebben gebruikt. In de loop der tijd is de maatschap-
Nederland.
dementie, maar geen oorzakelijk verband (causaliteit)
pelijke aanvaarding van wat Exodus doet echter wel
dat sporten leidt tot minder dementie.
toegenomen. Dat heeft ertoe geleid dat het tweede
onderzoek in 2010 gebruik heeft gemaakt van hetzelfde meetinstrument als in het eerdere onderzoek
Het wil niet zeggen dat als er een verband lijkt te bestaan
van de rijksoverheid. Dit meetinstrument kijkt naar per-
tussen twee zaken, dat het een wordt veroorzaakt door of
soonskenmerken. Daarmee kun je objectiever vaststel-
het gevolg is van het ander. Oorzakelijkheid wordt in de sta-
len of de recidivefactor van een groep met dezelfde
tistiek ook wel causaliteit genoemd. Niet alle waargenomen
persoonskenmerken in een Exodusprogramma lager
(significante) correlaties rechtvaardigen de conclusie dat er
of hoger is dan de recidivefactor van een groep met
een causaal verband zou zijn tussen de betrokken variabe-
dezelfde persoonskenmerken die dit programma niet
len. Wees daarom altijd voorzichtig met het claimen van
heeft gevolgd. Rekening houdend met de persoons-
verbanden en oorzakelijkheid.
kenmerken, zien we dat het verschil met het algemene
recidivecijfer minder groot is maar nog steeds substan-
58 |
METEN
Exodus League 2010 (foto: Exodus Nederland)
1
Uit het voorgaande voorbeeld blijkt dat het wel degelijk
van goededoelenorganisaties en de mogelijke effecten van
mogelijk is om verbanden (correlatie) aan te tonen tussen
die activiteiten voor de doelgroep gaan voor de meeste
bepaalde aspecten (variabelen). Aan de andere kant is het
goededoelenorganisaties veel te ver.
2
3
4
5
6
7
8
9
10
erg lastig om causaliteit aan te tonen en het is ook de vraag
of dit van goededoelenorganisaties te verwachten is. Dit
komt onder meer doordat vaak externe factoren of ‘storende
factoren’ optreden tussen oorzaak en het beweerde effect.
Voorbeeld over de grenzen van het aanto-
Storende factoren zijn bijvoorbeeld tussentijdse gebeur-
nen van impact
tenissen of ontwikkelingen bij belanghebbenden en de
“Er zit natuurlijk een risico aan een deel van het onder-
omgeving. Zo heeft de Wetenschappelijke Raad voor het
zoek dat we doen, zoals onderzoek naar het verband
Regeringsbeleid uit een evaluatie van Nederlandse ontwik-
tussen recidive en zingeving. Dit verband bleek moei-
kelingshulp gevonden dat de geboden hulp weliswaar op
lijk aan te tonen. Een organisatie kan dan het risico
projectniveau succesvol is, maar “dat er geen simpel cau-
lopen om de eigen doelstelling onderuit te halen als
saal schema bestaat dat het mogelijk maakt goed te begrij-
de resultaten niet gemeten kunnen worden. Dit geldt
pen wat het precieze effect van activiteiten is. Ontwikkeling,
ook voor het effect van vrijwilligerswerk op de doel-
opgevat als versnelde modernisering, is een uiterst inge-
groep. We hebben in onderzoeken ook gezien dat
wikkeld fenomeen. Het heeft te maken met een complexe
de inzet van vrijwilligers naast betaalde medewerkers
interactie tussen de economische infrastructuur, de kwaliteit
als positief wordt gezien door bewoners en een
van de overheid, het functioneren van het politieke systeem
motiverende factor is. Het is echter een illusie om te
en de wijze waarop sociale verbanden vorm krijgen. Het
zeggen dat de inzet van mevrouw Jansen bij gedeti-
lukt soms, en dan meestal pas achteraf, om delen van die
neerde X één op één tot minder recidive heeft geleid.
complexiteit in kaart te brengen, maar dat levert geen mooie
We voelen aan dat er ergens een relatie is maar dat
causale modellen op” (WRR, 2010: 109). Daarnaast con-
is moeilijk meetbaar te maken. We slaan denk ik
cludeerde de WRR dat de diverse landen die ontwikkelings-
wel door in het meetbaar maken van alles. Het is de
hulp hadden ontvangen, niet altijd vergelijkbaar waren en
vraag of de kosten en baten van het meten met elkaar
dat levert, naast de aanwezigheid van externe factoren, ook
in verhouding staan.”
meetproblemen op. Dergelijke uitgebreide evaluaties, die
Interview met Rien Timmer, Vereniging Exodus Nederland.
Woonkamer Exodushuis (foto: Exodus Nederland)
oorzaak-gevolg proberen aan te tonen tussen de activiteiten
METEN
| 59
1
2
3
4
5
6
7
8
9
10
3.4. Positieve en negatieve, bedoelde en onbe-
gehouden met de hoogte van de stijging of daling van het
van onze ouders.” Deze reactie leidde tot veel verbazing bij
doelde effecten
inkomen en er verondersteld wordt dat de verandering toe te
de initiatiefnemers en de financiers van het project. Daarom
De meeste methoden en instrumenten zijn alleen gericht
wijzen is aan de activiteit. In andere gevallen kan het min-
wordt nu samen met de ouders en de kinderen gepraat om
op het meten van de positieve en bedoelde (of verwachte)
der voor de hand liggend zijn om de positieve en negatieve
te zoeken naar een acceptabele situatie voor iedereen.
resultaten ten behoeve van de doelgroep. Dit gebeurt vooral
effecten bij elkaar op te tellen en zo tot een netto-effect te
wanneer goededoelenorganisaties zich alleen richten op
komen. Dan kunnen de positieve en negatieve effecten wor-
het behalen van organisatorische doelen of doelstellingen.
den beschreven aan de hand van voorbeelden.
Hierbij wordt geen rekening gehouden met onverwachte
veranderingen, positief of negatief. Echter, positieve en
Onbedoelde of onverwachte uitkomsten kunnen zoals
negatieve uitkomsten en bedoelde en onbedoelde resultaten
gezegd ook negatief zijn. Een onbedoelde verandering
en effecten zijn allemaal relevant om de maatschappelijke
vindt bijvoorbeeld plaats wanneer de activiteit van de orga-
waarde van een programma, project of activiteit te kunnen
nisatie er voor zorgt dat het probleem dat diende te worden
bepalen. Onbedoelde of onverwachte uitkomsten kunnen
aangepakt zich verplaatst. Zo kan bijvoorbeeld een focus
positief zijn en in sommige gevallen zelfs belangrijker voor
op het verminderen van criminaliteit in wijk X er voor zorgen
de doelgroep dan de beoogde resultaten (zie voorbeeld).
dat de criminaliteit zich verplaatst naar de aangrenzende
Impactmeting onderscheidt zich juist van directe resultaten
wijk Y. In dit geval zijn dus ook de bewoners van wijk Y een
en outcomes door het langetermijneffect van alle positieve,
belangrijke doelgroep van de organisatie waar rekening
negatieve, directe, indirecte, bedoelde en onbedoelde
mee moet worden gehouden. En het kan ook betekenen dat
effecten of doordat deze effecten zijn toe te wijzen aan de
de organisatie het hoe, wat en waarom van haar activiteiten
activiteit (attributie). Soms is het mogelijk om de negatieve
opnieuw moet vaststellen.
effecten op te tellen bij de positieve effecten en tot een
© Auke Herrema
netto-effect te komen. Bijvoorbeeld als vijftig deelnemers aan
Een ander voorbeeld is van een klein particulier initiatief
een microkredietprogramma er in inkomsten op vooruit zijn
dat hoorde van de ouders in een Afrikaans dorp dat het zo
Juist de negatieve uitkomsten geven goededoelenorganisaties
gegaan, dertig dezelfde inkomsten hebben als vóór het pro-
vervelend was dat hun kinderen enkele kilometers moesten
informatie over wat er nog niet helemaal goed is gegaan
gramma en twintig deelnemers erop achteruit zijn gegaan
lopen van en naar school. Daarop is een school gebouwd
en wat beter kan. Daarom kan het goed zijn om negatieve
omdat de buurman de lening niet heeft afbetaald aan de
in het dorp zelf. Toen aan de kinderen werd gevraagd of
uitkomsten van evaluaties niet te negeren, maar deze in elk
groep, dan kun je simpel gezegd stellen dat het netto-effect
ze blij waren met de nieuwe school antwoordden bijna
geval intern te analyseren en er lering uit te trekken. Het kan
positief is geweest voor dertig deelnemers (50 minus 20).
alle kinderen: “Nee, want toen we nog een paar kilometer
ook voordelen opleveren om belanghebbenden te laten zien
Uiteraard is het in de praktijk complexer dat deze reken-
moesten lopen, konden we lekker spelen onderweg en nu
wat er nog verbeterd kan worden en hoe lastig het kan zijn
som, omdat in dit voorbeeld onder andere geen rekening is
komen we eerder thuis en moeten we allerlei klussen doen
om de beoogde resultaten te bereiken. Het inzicht geven in
60 |
METEN
1
2
3
4
5
6
7
8
9
10
Voorbeeld van onbedoelde effecten: impact-
zij zich bezighielden met de verwerking van dierlijke pro-
De les die geleerd is, is dat het project zeer waardevolle
meting door The Nature Conservancy van een GTZ-
ducten en het verbouwen van groenten.
bijdragen heeft geleverd aan de doelgroep, maar dat dit
natuurbeschermings- en ontwikkelingsproject in de
Naast de focusgroepen zijn in dezelfde nomadische
niet zozeer was op het gebied van de doelstelling, name-
Gobiwoestijn van Mongolië.
gemeenschap ook vragenlijsten afgenomen bij een groter
lijk het verhogen van inkomsten, maar eerder op allerlei
“Tijdens een uitgebreide impactmeting in Mongolië
aantal deelnemers. Vragen die zijn gesteld, betreffen onder
andere gebieden op het sociale vlak.”
werd aan lokale nomadische herders gevraagd,
meer hoeveel de inkomsten bedroegen voor en na het
Esther Ten Hoorn, masterthesis VU Amsterdam (Ten Hoorn,
tijdens focusgroep bijeenkomsten met 10 verschil-
project en uit welke bronnen de inkomsten bestonden (ver-
2010; Hess et al., 2010)
lende groepen, of de deelnemers van het project
koop van diverse soorten levende dieren, vlees, huiden en
meer inkomsten hadden na afloop van het project. De
kasjmier, verkoop van groenten, illegaal mijnwerken, etc.).
deelnemers gingen uitgebreid in op de verschillende
Deze vragen zijn ook gesteld aan nomaden die rondom de
technieken die zij hadden geleerd om dierlijke produc-
projectgroepen verbleven, maar die geen deel uitmaakten
ten te verwerken, hoe ze geleerd hadden gewassen
van het project, de controlegroepen. Na statistische analy-
te verbouwen en dat ze nu beter samenwerkten bij het
se van de antwoorden bleek dat er nauwelijks significante
verbouwen van diervoer, zodat hun kuddes een gro-
verschillen in inkomsten waren tussen de projectgroepen en
tere overlevingskans hadden in het zware woestijnkli-
de controlegroepen. Weliswaar hadden de projectgroe-
maat. Men gaf aan dat de verkoop van dierlijke pro-
pen meer diverse inkomstenbronnen, doordat zij binnen
ducten en verbouwde gewassen voor extra inkomsten
het project bepaalde vaardigheden hadden geleerd voor
zorgden, dat de samenwerking tussen de nomaden
verwerken van dierlijke producten en het verbouwen van
onderling en met de lokale overheid verbeterd was
gewassen, maar de extra inkomsten hieruit waren zeer
en dat met name de vrouwen een betere positie in de
klein vergeleken met de traditionele inkomsten van noma-
gemeenschap hadden gekregen, omdat met name
den, namelijk de verkoop van vlees, huiden en kasjmier.
Focusgroepgesprek in Mongolië (foto: Esther Ten Hoorn)
METEN
| 61
1
2
3
4
5
6
7
8
9
10
negatieve uitkomsten of bijeffecten kan ervoor zorgen dat
3.5. Uitdagingen bij het meten van resultaten
duidelijker wordt in welk complex speelveld de goededoe-
en impact
antwoord is om mensen die onder de doelgroep vielen
lenorganisatie zich bevindt en welke factoren van invloed
Ondanks de vele instrumenten en adviezen die voorhanden
maar die toch om de een of andere reden niet bij het
zijn op het slagen van de activiteiten en de verdere effecten
zijn om resultaten en impact te meten, blijft het een uitdaging
project betrokken zijn geweest, de controlegroep, toch
ervan. Door hierover een realistisch beeld te creëren, kun-
om het evaluatieproces op te zetten en uit te voeren. Er komt
te betrekken (lastig te vallen) bij het evaluatieonderzoek.
nen belanghebbenden een sympathieker en betrouwbaarder
namelijk nog veel meer bij kijken. Iedere organisatie die
beeld krijgen van de goededoelenorganisatie. Dit zal niet
met resultaat- en impactmeting aan de slag gaat, zal tegen
Veel goededoelenorganisaties zullen zich na het lezen van
altijd het geval zijn, mede afhankelijk van hoe de uitkomsten
bepaalde zaken aanlopen. Men zou kunnen stellen dat goe-
dit hoofdstuk nog steeds afvragen hoe ze de stappen kunnen
worden gepresenteerd (zie Hoofdstuk 4).
dedoelenorganisaties onder meer worden geconfronteerd
zetten van prestatie-indicatoren en meetmodellen naar een
met de volgende drie soorten problemen bij het meten van
concreet rapport met alle resultaten en effecten. De goede-
hun impact (gebaseerd op Poortvliet et al., 2012):
doelenorganisatie kan het evaluatieproces zelf voorbereiden
• Praktische uitdagingen rond de doelstellingen en
• Ethische uitdagingen rond de vraag in hoeverre het ver-
door het opstellen van doelstellingen e.d. en een cultuur
activiteiten van de organisatie: het verzamelen van
van evalueren en leren te creëren. Het evalueren zelf is een
Bij negatieve effecten of het niet hebben behaald van
gegevens, het aantal mensen dat bereikt wordt met de
vakgebied op zich dat een organisatie niet simpelweg kan
de gestelde doelen is het belangrijk om goed uit te leg-
activiteiten, het meten van verbeteringen in ‘zachte en
uitvoeren door een stappenplan of checklist te doorlopen,
gen wat deze resultaten precies betekenen en redenen te
indirecte uitkomsten’ en het ontwikkelen van een cultuur
er zijn tot op bepaalde hoogte toch ook (onderzoeks)vaar-
geven waarom deze negatieve resultaten zijn behaald.
van meting binnen een organisatie.
digheden voor nodig om gegevens op een solide manier te
Beschrijf daarbij concrete plannen hoe het de volgende
• Systematische uitdagingen die voortkomen uit de focus
keer beter kan. Het heeft weinig zin om ieder negatief
van goededoelenorganisaties op één specifiek werkge-
resultaat te ‘compenseren’ met een positief resultaat.
bied of (deel)sector wanneer zij denken over het meten
Negatieve resultaten kunnen ook komen door miscom-
van resultaat en impact ten behoeve van donateurs.
municaties of slechte organisatie; in dat geval hoef je de
Zowel bij institutionele donoren, goededoelenorganisa-
negatieve resultaten niet extern te communiceren, maar
ties intern als in de samenwerking tussen goededoelen-
moet je ze wel intern analyseren. (EvaluativeThinking,
organisaties ontbreekt duidelijkheid en consistentie rond
2013.)
de wijze waarop resultaat- en impactmeting uitgevoerd
en in rapportages gecommuniceerd moeten worden.
62 |
METEN
vergaren en analyseren en gedegen conclusies te trekken.
1
2
3
4
5
6
7
8
9
10
Hoofdstuk IV Verantwoording en leren van resultaat- en impactmeting
STAP
In dit vierde hoofdstuk wordt de derde fase beschreven, die
van verantwoording. De derde fase bestaat uit drie stappen,
Hoofdstuk II Voorbereiden
die worden beschreven in vier paragrafen.
Twee belangrijke redenen voor goededoelenorganisaties
om te evalueren zijn (1) het afleggen van verantwoording
1
Keuze wat evalueren + wat wil ik bereiken (Theory of Change)
2
SMART-doelstellingen + prestatie-indicatoren
3
Nulmeting en betrekken belanghebbenden hierbij
4
Context en attributie: wat doen anderen en wat is mijn bijdrage
5
Meetmodel beschrijven
6
Meetinstrument kiezen
7
Gegevens verzamelen en analyseren
8
Evaluatie rapportage
9
Leren van evalueren
aan belanghebbenden en (2) het leren van ervaringen. Dit
zijn twee kanten van dezelfde evaluatiemedaille. In toenemende mate kiezen goededoelenorganisaties ervoor om hun
belanghebbenden te informeren over en betrekken bij de
uitkomsten van evaluaties. In dit vierde hoofdstuk zal worden
ingegaan op verschillende mogelijkheden voor rapportage
Hoofdstuk III Meten
(Paragraaf 4.1) en hoe de goededoelenorganisatie kan
leren van de uitkomsten van de resultaat- en impactmeting
(Paragraaf 4.2). Ook de externe communicatie van de uitkomsten van de evaluatie met belanghebbenden (Paragraaf
Hoofdstuk IV Verantwoorden
4.3) en specifiek met donateurs (Paragraaf 4.4) wordt in dit
deel verder toegelicht.
10
Communiceren van de bevindingen aan belanghebbenden
VERANTWOORDEN
| 63
1
2
3
4
5
6
7
8
9
10
4.1. Rapporteren van evaluatie-uitkomsten
Een evaluatierapportage kan het beste een combinatie zijn
onderzocht. In een aantal rapportages wordt gesproken over
Stap acht is het rapporteren van de bevindingen van de
van zowel beschrijvende (kwalitatieve) informatie als cijfer-
de behaalde impact. De interpretatie van het begrip impact is
resultaat- en impactmeting. Nadat de evaluatie is uitgevoerd
matig gemeten (kwantitatieve) gegevens. Aan de ene kant
echter in de rapportages niet eenduidig.
en de uitkomsten bekend zijn, komt de vraag op wat kan
kunnen anekdotes, foto’s en verhalen van de doelgroep,
Specifiek voor evaluaties die zijn uitgevoerd met behulp van
worden gedaan met alle bevindingen. Wat is de beleidsre-
vrijwilligers, lokale projectmanagers en dergelijke worden
de SROI-methode is het van belang om in de rapportage
levantie van de bevindingen? Dit hangt af van de betrokken-
bevestigd of ondersteund door cijfers. Aan de andere kant
niet te veel waarde te hechten aan de monetaire waarde
heid van de beleidsmakers bij de evaluaties maar ook van
kunnen de cijfermatige resultaten worden toegelicht of ver-
die eruit is gekomen, dus hoeveel euro’s iedere euro ople-
de aard van de bevindingen. Sommige bevindingen zullen
klaard door anekdotes en verhalen.
vert. Een beschrijving van hoe de behaalde veranderingen
meer procesgeoriënteerd zijn en inzicht geven in hoe activi-
“Wanneer wij op organisatieniveau over
impact rapporteren dan doen we dat
nu voornamelijk anekdotisch. We geven
de resultaten en cijfers en larderen dat
vervolgens met persoonlijke verhalen.”
(Rian Fokker, Heifer Nederland)
tot stand zijn gekomen en beschrijvingen van participanten
te houden met een aantal aspecten. Als de resultaat- en
Het is belangrijk om in de eindrapportage aandacht te
relevantie en betrouwbaarheid van de resultaten besproken.
impactmeting zijn uitgevoerd door de goededoelenorgani-
geven aan de vraag in hoeverre de vooraf bedachte Theory
Conclusies dienen te worden gemotiveerd en aanbevelingen
satie zelf, dan kunnen de uitkomsten geïntegreerd worden
of Change in de praktijk is waargemaakt, met verwijzing
kunnen bijvoorbeeld gericht zijn op de resultaten, het beleid
in het algemene rapportagesysteem van de organisatie. Als
naar de van tevoren opgestelde doelstellingen en prestatie-
van de organisatie en haar belanghebbenden. Om maat-
de resultaat- en impactmeting zijn uitgevoerd door externe
indicatoren. Afhankelijk van hoeveel ervaring de goededoe-
schappelijk draagvlak te creëren kan belanghebbenden de
deskundigen, dan zullen zij in het algemeen de uitkomsten
lenorganisatie heeft met resultaat- en impactmeting, kan een
mogelijkheid worden geboden opmerkingen te maken over
rapporteren in een schriftelijk verslag of presentatie. De uit-
evaluatierapportage meer of minder uitgebreid zijn wat betreft
de bevindingen, de conclusies en de aanbevelingen.
komsten van een externe analyse kunnen eveneens worden
de beschreven resultaten (outputs) en verdere analyse naar
Goededoelenorganisaties hebben zelf de keus om de
opgenomen in het algemene rapportagesysteem van de
effecten van de resultaten (outcomes) en impact. Uit toetsingen
bevindingen van een evaluatie te rapporteren, zowel als het
organisatie.
van de jaarverslaggeving door het CBF ontstaat het beeld dat
gaat om verwachte of onverwachte, positieve en negatieve
teiten en interne processen beter of efficiënter georganiseerd
kunnen worden. Andere bevindingen zullen iets zeggen over
de effectiviteit van de activiteiten, welke directe resultaten
zijn behaald en/of welke effecten de resultaten verder hebben gehad. Het is van groot belang om alle uitkomsten van
een evaluatie goed te documenteren en hierbij rekening
zeggen veel meer dan enkel die monetaire ratio (Nicholls et
al., 2009).
Het kenmerk van een goed rapport is dat het antwoord
geeft op de belangrijkste vragen op een duidelijke, feitelijke
en begrijpelijke wijze. In een goed rapport wordt het evaluatieproces volledig transparant beschreven en worden de
de meeste goededoelenorganisaties overwegend rapporteren
bevindingen. Het is belangrijk om in een rapportage vol-
Er is geen eenduidige manier om te rapporteren over evalu-
over directe resultaten (outputs). Een klein deel van de instel-
doende informatie te geven over hoe het evaluatieonderzoek
aties. Veel evaluatierapporten vormen de samenvoeging van
lingen rapporteert daarnaast over de vermoedelijke effecten
is uitgevoerd:
deelstudies. Deze kunnen samen de eindrapportage vormen.
(outcomes) van hun activiteiten. Een zeer beperkt aantal instel-
• Wat – De centrale evaluatievraagstelling
lingen heeft de vermoedelijke effecten ook daadwerkelijk
• Waarom – Het doel van de evaluatie
64 |
VERANTWOORDEN
1
• Wie – Informatiebronnen voor de evaluatie, de meet-
3
4
5
6
7
8
9
10
de achtergrond van de evaluatie achterwege te laten,
eenheid (aantal hectares, mensen etc. die mee hebben
indien dergelijke informatie wel voor intern gebruik
gedaan met de evaluatie) en indien van toepassing de
ergens wordt opgeslagen. Op de verantwoording over
respons (hoeveel mensen percentueel gezien bereid
resultaat- en impactmeting naar verschillende typen dona-
waren mee te werken aan de evaluatie)
teurs wordt later in dit hoofdstuk ingegaan (zie paragraaf
• Hoe – De onderzoeksmethoden die zijn gebruikt om
2
4.4).
data te verzamelen
• Waar – De locatie waar de data voor de evaluatie zijn
verzameld
• Wanneer – De tijdsperiode waarin de data verzameld
zijn.
Voorbeeld van een opzet van een evaluatierapport (gebaseerd op Stiftung ZEWO, 2011):
I. Samenvatting
Bij het opstellen van een rapportage is het tevens van belang
II.Uitgangspunten
om, naast de essentiële gegevens over de organisatie en haar
i.Doel en doelstelling van de evaluatie
projecten, informatie op te nemen die aansluit bij de behoefte
ii.Omvang van de evaluatie
van potentiële lezers. Zo is het aan de ene kant handig om
iii.Belangrijkste evaluatie- of onderzoeksvragen
inzicht te hebben in hoe kritisch de lezer van het rapport zal
iv.Context van de evaluatie
zijn. Indien het rapport ook wordt gelezen door zeer kritische
v.Wie heeft de evaluatie uitgevoerd (intern of
mensen of lezers met zeer specifieke gedetailleerde kennis
extern)
over het betreffende onderwerp, dan is het aan te bevelen
III.Aanpak
om meer details in het rapport op te nemen. Bijvoorbeeld, als
i. Welke methode is gebruikt
er een onderzoek onder de doelgroep heeft plaatsgevonden
ii.Welke informatiebronnen zijn geraadpleegd
waarbij de deelnemers een vragenlijst hebben ingevuld, voeg
iii.Wat is de kwaliteit van de onderzoeksgegevens
dan informatie toe over hoe de deelnemers voor het onderzoek
iv.Welke belanghebbenden zijn geconsulteerd
geselecteerd zijn, hoeveel mensen aan de activiteit hebben
IV.Uitkomsten
deelgenomen en hoeveel van hen hebben deelgenomen aan
i.Uitkomsten per evaluatie- of onderzoeksvraag.
de evaluatie. Aan de andere kant, als de bevindingen van een
Wat zijn de uitkomsten van de evaluatie en hoe
evaluatie aan het algemeen publiek worden gepresenteerd,
zijn de uitkomsten van invloed op de organisatie
bijvoorbeeld via de website of nieuwsbrief, dan kan het juist
en de manier waarop zij werkt.
de leesbaarheid ten goede komen om bepaalde details over
VERANTWOORDEN
| 65
1
2
3
4
5
6
7
8
9
10
Voorbeeld van een externe rapportage:
Van de gasten van Resto VanHarte beoordeelt 96 procent
Resto VanHarte voerde het laatste kwartaal van 2010
de sfeer als goed tot zeer goed. De ontvangst wordt door
bezoek aan Resto VanHarte minder eenzaam te
een klanttevredenheidonderzoek uit onder 808 gasten op
97 procent van de Restogasten als goed tot zeer goed
voelen.
23 locaties van Resto VanHarte. Het onderzoek levert de
beoordeeld. De bediening in de Resto’s wordt door 98 pro-
volgende conclusies op:
cent van de gasten als goed tot zeer goed beoordeeld. 99
De grote tevredenheid van de gasten leidt ertoe dat
•51 procent van de bezoekers zegt zich door het
procent van de Restogasten vindt dat het personeel goed tot
97 procent van de bezoekers Resto VanHarte bij
Profiel gasten
zeer goed met de gasten omgaat. De hoge waardering van
anderen zou willen aanbevelen.
Meer vrouwen dan mannen bezoeken Resto VanHarte:
Resto VanHarte door de gasten blijkt uit de frequentie van hun
Bron: www.restovanharte.nl, geraadpleegd 29 januari
van de bezoekers is 71 procent vrouw en 29 procent
bezoek: het merendeel van de gasten (bijna 80 procent) eet
2013.
man. De gemiddelde leeftijd van de bezoeker ligt hoog:
een of twee keer per week bij Resto VanHarte.
tussen de 55 en 65 jaar. 73 procent van de bezoekers
van Resto VanHarte is alleenstaand en woont alleen. 63
Resultaat van bezoek
procent van de gasten komt via vrienden of bekenden in
Het frequente bezoek aan Resto VanHarte leidt tot een stevi-
contact met Resto VanHarte.
ger sociaal netwerk van de gasten:
•
Veel waardering voor Resto VanHarte
Uit de enquête blijkt dat de Restogasten zowel de sfeer
•
binnen het Resto als de geleverde maaltijd als zeer goed
beoordelen. De samenstelling van de maaltijden wordt
93 procent van de gasten zegt contact te hebben met
Zet een goed verhaal neer, in duidelijke taal, dat voor
andere gasten;
een breed publiek aantrekkelijk is om te lezen en te zien.
69 procent van de gasten zegt nieuwe vrienden
gemaakt te hebben bij Resto VanHarte;
•
33 procent van de bezoekers zegt wel eens activiteiten
door 94 procent van de gasten als goed tot zeer goed
te ondernemen met nieuwe vrienden en kennissen uit
beoordeeld. 97 procent van de gasten geeft aan dat er
het netwerk van Resto VanHarte;
voldoende rekening wordt gehouden met smaak en/of
•
wensen ten aanzien van een bepaalde allergie/dieet. 91
procent van de gasten vindt de prijs van de maaltijd goed,
•
3 procent te duur en 5 procent te goedkoop. De bereikbaarheid en toegankelijkheid van de Resto’s wordt ook als
goed tot zeer goed beoordeeld.
66 |
VERANTWOORDEN
57 procent zegt door Resto VanHarte in contact te
komen met andere culturen;
86 procent zegt door Resto VanHarte in contact te
komen met mensen van verschillende leeftijden;
•
61 procent van de ondervraagden zegt door het
bezoek aan Resto VanHarte vaker de deur uit te komen;
1
2
3
4
5
6
7
8
9
10
4.2. Leren van evalueren
Door het gebruik van resultaat- en impactmeting kunnen goe-
projecten. Door het verankeren van resultaat- en impactme-
Stap negen gaat over het leren van de uitkomsten van de
dedoelenorganisaties activiteiten zowel sturen in de richting
ting in het gehele organisatieproces kan sneller een ‘vinger
resultaat- en impactmeting. Naast de verantwoording aan
van effecten en impact, als legitimeren voor de doelgroep,
op de succes- en pijnpunten’ van programma’s, projecten en
bijvoorbeeld financiers kan een andere waardevolle doel-
donateurs of samenwerkingspartners en zich zo onderschei-
activiteiten van de organisatie worden gelegd. Daardoor is
stelling van evalueren ook zijn om te leren wat wel en wat
den van anderen. Het evalueren van resultaten en effecten
de organisatie beter in staat te leren en te innoveren.
minder goed werkt in de praktijk. Evalueren heeft nog meer
geeft inzicht in de mate waarin doelen en (SMART-)doelstel-
toegevoegde waarde wanneer er iets wordt gedaan met
lingen zijn gehaald, welke doelstellingen (nog) niet zijn
Goed gebruik van evaluaties geeft goededoelenorganisaties
de uitkomsten. Deze laatste stap – het leren van evalueren
gehaald en welke resultaten langetermijneffecten hebben
de mogelijkheid efficiëntere en effectievere keuzen te maken
– wordt vaak overgeslagen in evaluatietrajecten, terwijl het
en/of toe te wijzen zijn aan de organisatie (impact). Hierbij
voor toekomstige en duurzame activiteiten.
leren van evaluaties juist kan helpen om te komen tot een
kan dus ook aandacht zijn voor het benoemen van minder
betere of vernieuwde uitvoering van activiteiten en projecten
goed geslaagde aspecten van projecten en programma’s.
in de toekomst.
Het is zeer leerzaam om zo zorgvuldig mogelijk te rapporte-
“Conclusies uit eerdere onderzoeken
hebben wel geleid tot aanpassingen in de
aanpak van Exodus, bijvoorbeeld bij de
registratie van bewoners.”
ren over de dingen die minder goed zijn gegaan en wat er
met deze negatieve resultaten wordt gedaan, zodat hierop
kan worden voortgebouwd in toekomstige projecten.
(Rien Timmer, Vereniging Exodus Nederland)
De uitkomsten van resultaat- en impactmeting zijn tevens een
De bevindingen vormen een goede basis om niet alleen acti-
goede basis voor het volgende jaarplan en meerjarenbe-
viteiten en projecten, maar ook organisatieprocessen en de
leidsplan, zodat er op consistente wijze voortgebouwd kan
strategische richting van de organisatie te verbeteren en te
worden op de eerder behaalde resultaten en de terugkop-
vernieuwen (ZonMw-website).
peling met doelen en beleid helder wordt vastgelegd. Het
kan zijn dat zich lastige vraagstukken opwerpen bij het
“De lessen voor de toekomst qua interne
organisatie liggen met name op het gebied
van taken, bevoegdheden en verantwoordelijkheden in interne communicatie.”
interpreteren van de bevindingen en dat er pijnlijke beslis-
(Resto VanHarte-website)
activiteit B en C? Of wat als activiteit A twee jaar achter
© Paul Mattessich, et al. 2007. Information Gold Mine:
singen worden genomen om de organisatieactiviteiten te
verbeteren. Wat, bijvoorbeeld, als blijkt dat activiteit A het
meest effectief is geweest? Dient dan te worden gestopt met
elkaar niet gemeten effectief is geweest? Dient activiteit A
Innovative Uses of Evaluation. Fieldstone Alliance, an imprint
Goededoelenorganisaties kunnen het gebruik van de uitkom-
dan te worden beëindigd? Zo kwam een gezondheidsfonds
of Turner Publishing Company: Nashville, Tennessee. Used
sten van evaluaties het beste vanaf het begin integreren in het
er na de evaluatie van een voorlichtingscampagne achter
with permission.
organisatieproces en bij de ontwikkeling en uitvoering van
dat het kennisniveau van de doelgroep lager was ná de
VERANTWOORDEN
| 67
1
2
3
4
5
6
7
8
9
10
campagne (die als doel had om de kennis over ziekte X te
evalueren kan vorm krijgen door brainstormsessies, discussie-
door belanghebbenden, waardoor deze zich verzetten
vergroten). Dit leidt aan de ene kant tot de vraag of de cam-
bijeenkomsten of workshops met medewerkers en belangheb-
tegen het implementeren van de uitkomsten.
pagne beter op een andere manier had kunnen worden uit-
benden van de organisatie te organiseren. Betrokken partijen
gevoerd, aan de andere kant kan het zijn dat omgevingsfac-
kunnen in deze bijeenkomsten samen bespreken wat goed
Om het leren van evalueren succesvol te laten zijn, is het
toren een grotere invloed hebben gehad op de doelgroep
ging, waar problemen zijn ontstaan en wat redenen voor
belangrijk dat de uitkomsten van de resultaat- en impactme-
dan welke campagne dan ook zou kunnen hebben. Voor
succes en falen waren en oplossingen en verbeteringen aan-
ting terug worden gekoppeld aan alle betrokken partijen en
een weloverwogen beleidsbeslissing is een gedegen inzicht
dragen (Stiftung ZEWO, 2011). Meer informatie over leren
belanghebbenden. Hierdoor zal draagvlak ontstaan voor
in alle facetten van de uitkomsten van een meting dan ook
van evalueren vindt u bijvoorbeeld in Kusters et al. (2011).
de uitkomsten van het onderzoek en de impact op de doel-
relevant. Daarentegen hoeven niet alle beleidsbeslissingen
groep en de maatschappij (Stiftung ZEWO, 2011).
rationeel te zijn, zeker in de goededoelensector. Zo stelde
Evaluaties worden onder meer uitgevoerd ter verantwoor-
De Development Assistance Committee (DAC) van de OECD
bijvoorbeeld de Gates Foundation zich ten doel om polio de
ding naar financiers en besluitvormers. Het is daarom
heeft begin jaren ’90 een aantal algemene beginselen en
wereld uit te krijgen. Naar verhouding zijn de kosten om de
logisch dat de uitkomsten van een evaluatie tegemoetkomen
principes voor evaluatie vastgelegd. De DAC definieert eva-
laatste poliopatiënten te genezen en de ziekte uit te bannen
aan de informatiebehoeften van deze financiers en besluit-
luatie als de systematische en objectieve beoordeling van
veel hoger dan het helpen van de eerdere groepen polio-
vormers, en dat de evaluatie een terugkoppeling geeft over
het ontwerp, de uitvoering en de resultaten van een lopend
patiënten. Toch werd voor deze doelstelling gekozen en niet
de effectiviteit van activiteiten. Meestal is dit echter niet het
of beëindigd project, programma of beleid. De principes
voor één die naar verhouding hogere opbrengsten en lagere
geval. Veel evaluatierapporten eindigen op een kastplank
werden verfijnd tot vijf criteria die op grote schaal worden
kosten heeft.
zonder dat er nog iemand naar omkijkt. Redenen hiervoor
gebruikt bij de evaluatie van initiatieven voor ontwikkelings-
kunnen zijn dat:
samenwerking. De vijf criteria hebben betrekking op de rele-
Evaluaties kunnen spontaan, ongepland en ongestructureerd
• Er geen antwoord wordt gegeven op de belangrijkste
plaatsvinden. De waarde van deze evaluaties is veelal
vragen van besluitvormers, beleidsmedewerkers, pro-
beperkt omdat het leren is overgelaten aan het toeval. Leren
grammamanagers of financiers.
van evalueren kan veel effectiever door het goed voor te
bereiden, te structureren en te richten op een bepaald doel.
Door daar anderen bij te betrekken kan het leren effectiever
plaatsvinden. Hierbij is het van belang om te weten wie binnen de organisatie alleen kennis willen nemen van de uitkomsten, bij wie het nodig is om bewustwording te creëren van
bepaalde uitkomsten en eventueel gedragsverandering en
welke personen daadwerkelijk actie dienen te ondernemen
naar aanleiding van de resultaat- en impactmeting. Leren van
68 |
VERANTWOORDEN
• De resultaten en aard van het evaluatieonderzoek op
vantie, effectiviteit, efficiëntie, impact en duurzaamheid van
initiatieven (OECD-DAC, 2010).
• Relevantie
zodanige wijze worden gecommuniceerd dat de lezer
het niet echt goed begrijpt.
• De evaluatierapportage is opgesteld zonder dat duidelijk was wie het zou gaan lezen.
tutionele of individuele donor).
• Effectiviteit
• De timing van het evaluatierapport niet overeenkomt met
de timing van politieke of interne besluitvorming.
• De uitkomsten van de evaluatie zodanig zijn beschreven
dat deze als een (te) grote uitdaging worden gezien
Relevantie is de mate waarin de activiteit geschikt is
voor de doelgroep, de ontvanger en de financier (insti-
Effectiviteit is de mate waarin met de betreffende activiteit de beoogde doelstellingen worden bereikt.
• Efficiëntie
Efficiëntie is de mate waarin kwantitatieve en kwalitatieve resultaten (outputs) worden behaald in relatie tot
1
2
3
4
5
6
7
8
9
10
de inputs die nodig zijn geweest voor de betreffende
Voorbeeld Heifer Nederland
4.3. Communiceren met belanghebbenden
activiteit. Het is een economische term die gebruikt
“Op projectniveau meten we resultaten, effecten en
Stap tien betreft het communiceren van de uitkomsten van de
wordt om te bepalen hoe met beperkte middelen het
impact en formuleren we de lessons learned. We
resultaat- en impactmeting. Een aantal goededoelenorgani-
grootste gewenste resultaat bereikt kan worden. Dit
delen deze lessen met de betreffende partner en
saties heeft wel enige ervaring met het meten van resultaten
vereist meestal het vergelijken van alternatieve benade-
gebruiken de resultaten en effecten voor het formuleren
en impact maar communiceert hier vaak nog niet extern
ringen voor het bereiken van de betreffende resultaten
van vervolgprojecten. We verzamelen de geleerde
over. Meestal zijn wel anekdotes en beelden te zien, bijvoor-
(outputs) om te zien of de meest efficiënte benadering is
lessen ook centraal om er als organisatie van te leren
beeld op de websites of in de jaarverslaggeving, waarin
gehanteerd.
en ze in andere programma’s toe te passen. Zo kun-
nog weinig aandacht is voor het meten van impact. De mate
• Impact
nen partners ook van elkaar leren.”
waarin goededoelenorganisaties aandacht besteden aan
Interview met Rian Fokker, Heifer Nederland
resultaat- en impactmeting hangt ook af van de betreffende
Impact is de positieve en negatieve verandering
die door een activiteit, direct of indirect, bedoeld of
sector en activiteit (Ebrahim and Kasturi Rangan, 2010). Het
onbedoeld, is ontstaan. Het gaat om de belangrijkste
lijkt er op dat rapportage- en evaluatie-eisen vanuit de over-
gevolgen en effecten van de activiteit op de lokale
heid en andere financiers invloed hebben op de mate van
sociale, economische, ecologische en andere ontwikke-
resultaatmeting en hoe vergevorderd organisaties hierin zijn.
lingsindicatoren. Om impact te bepalen worden zowel
Goededoelenorganisaties dienen zelf de afweging te
de gewenste als ongewenste resultaten meegenomen
maken of en op welke wijze over de resultaten van impact
en wordt rekening gehouden met zowel positieve als
wordt gecommuniceerd. De communicatie van veel goede-
negatieve effecten van externe factoren.
doelenorganisaties is voornamelijk gericht op (potentiële)
• Duurzaamheid
donateurs. Communicatie over resultaat- en impactmeting is
In dit model is sprake van duurzaamheid wanneer de
daarentegen vooral gericht op de doelgroep en de eigen
activiteit langetermijneffecten heeft. Zijn de effecten op
organisatie. Veel goededoelenorganisaties houden de uit-
lange termijn blijvend, ook wanneer omstandigheden,
Voorzitter met koe (foto: Heifer Nederland)
komsten van hun evaluaties liever intern. Echter, door exter-
zoals bijvoorbeeld financiering door institutionele en
nen inzicht te geven in de uitkomsten van evaluaties, kunnen
individuele donors, veranderen?
dezen beter geïnformeerde keuzen maken. Daarnaast zou
het communiceren van uitkomsten bij kunnen dragen aan het
Goededoelenorganisaties kunnen deze vijf principes gebrui-
verzamelen van ‘bewijs’ welke activiteiten beter of minder
ken om te bepalen of de resultaat- en impactmeting relevant
goed werken, waardoor binnen de sector betere keuzen
zijn geweest, of deze informatie hebben gegeven over effec-
gemaakt kunnen worden in welke activiteiten te investeren
tiviteit en efficiëntie, of daadwerkelijk impact is gemeten en
en kunnen besparingen gerealiseerd worden. Daarnaast
of de activiteit langetermijneffecten heeft gehad.
kunnen de uitkomsten van evaluaties een goede aanvulling
VERANTWOORDEN
| 69
1
2
3
4
5
6
7
8
9
10
zijn in het afleggen van verantwoording over bestedingen,
over resultaten en impact aan de informatiebehoefte van
Communicatie over resultaten en impact kan op talloze
resultaten en effecten van activiteiten en projecten aan
belanghebbenden worden aangepast.
manieren plaatsvinden, verschillende doelen dienen en op
belanghebbenden. Dit kunnen belanghebbenden binnen de
verschillende belanghebbenden gericht zijn. Communicatie
eigen organisatie zijn, zoals medewerkers en directie, of
van de resultaten hoeft zich niet te beperken tot het publi-
belanghebbenden buiten de organisatie, zoals donateurs,
Goededoelenorganisaties kunnen zichzelf in ieder
ceren van een rapport. Communicatie over resultaat en
de overheid en de doelgroep. Door de opgedane kennis en
geval een aantal vragen stellen alvorens te com-
impact kan bijvoorbeeld ook aan de hand van casestudy’s,
ervaring vast te leggen in geleerde lessen, goede voorbeel-
municeren over resultaten, effecten en impact met
verhalen, evaluatieverslagen, videofilmpjes of presentaties.
den en toegepaste methoden en instrumenten en hierover
belanghebbenden:
Er zijn diverse manieren voor het verspreiden van resultaten,
te communiceren, maken goededoelenorganisaties zicht-
•
Wat is het doel van de communicatie?
effecten en impact van activiteiten naar belanghebbenden.
baar wat ze hebben gedaan en wat ze hebben geleerd.
•
Wie zijn de belanghebbenden?
Voorbeelden zijn: (evaluatie)rapporten, jaarverslagen,
Een veelgehoorde reactie is dat inzicht in resultaat- en
•
Wat zijn de belangrijkste boodschappen van
nieuwsbrieven, vergaderingen, seminars, conferenties, via
impactmeting kan leiden tot een betere keuze door externe
de evaluatie? En welke belanghebbende moet
de website of via e-mail. Afhankelijk van op wie de infor-
belanghebbenden.
wat weten?
matie gericht is en waar de informatie toe dient, kunnen
Hoe kunnen de belanghebbenden het best wor-
verschillende manieren van communiceren worden gebruikt.
den bereikt?
Het gecombineerd of gelijktijdig inzetten van verschillende
Wat is de informatiebehoefte van de
communicatie-instrumenten kan een organisatie helpen om
belanghebbenden?
sneller en effectiever haar communicatiedoelstellingen te
Hoe gaat de organisatie om met het delen van
bereiken. De informatie die gecommuniceerd wordt, zou in
gevoelige of negatieve resultaten?
ieder geval volledig, te begrijpen, accuraat en toegankelijk
•
Belanghebbenden kunnen diverse individuen of organisaties of groepen van individuen en organisaties zijn,
•
zoals institutionele en individuele donateurs, beneficianten,
beleidsmakers, medewerkers, het bestuur van de goededoe-
•
lenorganisatie, samenwerkingspartners en het brede publiek.
Belanghebbenden kunnen behoefte hebben aan informatie
moeten zijn.
met betrekking tot de resultaten van het programma, het
project of de activiteit, de impact van de activiteiten op
de doelgroep en de maatschappij of informatie over de
besteding van fondsen. Daarnaast kunnen ze geïnteresseerd
Betrek financiers en andere belangrijke belanghebben-
zijn in de relatie van de activiteiten met andere projecten
den bij het bepalen van het gewenste evaluatieniveau:
of programma’s van de goededoelenorganisatie en andere
zijn directe resultaten (outputs) voldoende of is het wen-
organisaties. Waar vullen projecten, programma’s en orga-
selijk en haalbaar om ook outcomes en/of impact te
nisaties elkaar aan en waar overlappen ze? Afhankelijk van
meten?
het type belanghebbende kunnen communicatie-uitingen
70 |
VERANTWOORDEN
1
2
3
4
5
6
7
8
9
10
Voorbeeld over communiceren met
Programmaverslagen en impactdossier staan op onze
impactmeting van minder belang zijn voor vergroting van het
belanghebbenden
website en zijn voor iedereen toegankelijk. Deelname
vertrouwen. In deze groep ontstaat erosie van het vertrou-
“Belanghebbenden zoals individuele donateurs en
aan de Transparantprijs en de Trouw Goede Doelen
wen vooral door irritatie over meer ‘commerciële’ werkwij-
vermogensfondsen vragen vooral om inzicht in het
Monitor past in ons beleid van transparantie en leren-
zen, minder aansluiting bij verwachtingen van de donateurs
resultaat van projecten. Speciaal voor hen maken
de organisatie.
en de incidenten in de goededoelensector. Investering in
we verslagen per programma waarin we onder
Interview Riekje de Vries, Stichting Projecten Zuid-Afrika.
impactmeting vervangt niet de noodzaak om daarnaast te
andere ingaan op input, output en outcome. In die
werken aan zaken als een beter incidentmanagement en
verslagen verwijzen we ook naar ons ‘impactdossier’
aansluiten bij de wensen van donateurs om vertrouwen terug
dat we regelmatig actualiseren. In dat impactdos-
te winnen.
sier lichten we toe welke methoden we gebruiken.
Niet alle donateurs zijn gelijk. Het traditionele geven kan
Aan de hand van citaten geven we inzicht in de
gekenmerkt worden doordat het geefgedrag vooral geba-
bereikte resultaten, met speciale focus op doelgroep
seerd is op emotie en dat de persoonlijke, directe contacten
en maatschappij. We citeren uitspraken van staf
met de goededoelenorganisatie relatief laag zijn. Mede
en medewerkers van organisaties en scholen, van
door de ontkerkelijking en opkomst van modernere vormen
kinderen en jongeren en van hun ouders. We zijn
van het steunen van goede doelen onder jongeren zal het
er trots op dat de Transparantprijs onze wijze van
impactmeting al enkele jaren noemt als best practice.
aantal traditionele gevers verder afnemen en zal het nieuwe
McGregor Waldorfschool (foto: SPZA)
geven toenemen.
Bij het nieuwe geven kunnen drie typen donateurs onderscheiden worden. Dit zijn de betrokken donateur, de sturen-
4.4. Communiceren met donateurs*
de donateur en de calculerende donateur. De communicatie
Het vertrouwen van het publiek in maatschappelijke institu-
inzicht en tot betere keuzen door de donateurs. Meten is
over de resultaten en impact zal mede afhankelijk zijn van
ties staat onder druk. Ook het vertrouwen in goededoelen-
weten, nietwaar? En weten is een randvoorwaarde voor ver-
het type donateur. Hieronder wordt voor deze drie nieuwe
organisaties is de laatste jaren gedaald. Tot dusver heeft
trouwen. Een veelgehoorde kritiek op deze denkwijze is dat
typen donateurs aangegeven welke communicatievraag-
deze daling nog niet geleid tot een sterke vermindering
impactmeting kan leiden tot lastendruk en dat niet bewezen
stukken met betrekking tot resultaat- en impactmeting zullen
van het door de goededoelenorganisaties ontvangen
is dat impactmeting daadwerkelijk leidt tot verhoging van
ontstaan.
donatievolume.
het publieksvertrouwen of de inkomsten uit donaties.
Een veelgehoorde reactie om het dalende publieksvertrouwen terug te winnen is het beter inzichtelijk maken van de
Het traditionele geven kenmerkt zich door het geven van-
impact van goededoelenorganisaties. De onderliggende
uit het hart met veelal een basishouding gebaseerd op:
gedachte is dat het meten van de impact zal leiden tot beter
“Doe goed en zie niet om”. Voor de traditionele gevers zal
*Gebaseerd op de tekst van het Verslag Fondsenwerving 2010 (CBF, 2011).
VERANTWOORDEN
| 71
3
4
5
6
7
8
9
10
Lage betrokkenheid
Hoge betrokkenheid
Geven vanuit de ratio
2
De Calculerende
Donateur
Kern is de tegenprestatie
met eigenbelang
De Sturende Donateur
Kern is de wil om
invloed uit te oefenen
Geven vanuit het hart
1
De Traditionele
Donateur
Kern is gelegen in doe
goed en zie niet om
De Betrokken
Donateur
Kern is het delen van
inspiratie
gericht op kwalitatieve informatie en op het benadrukken
Goededoelenorganisaties dienen de afweging te maken
van de zingeving van het geven aan het goede doel.
of en op welke wijze over de resultaten en impact wordt
gecommuniceerd. Afhankelijk van de soort belangheb-
De calculerende donateur: Beloon me
benden dienen communicatie-uitingen over de resultaten en
Voor calculerende donateurs geldt vooral de vraag: “What’s
impact te worden aangepast. Verantwoorden over resultaat
in it for me?” De calculerende donateur stelt zich op als
en impact kan bijvoorbeeld aan de hand van casestudy’s,
consument en benadert de goededoelenorganisatie als
verhalen of evaluatieverslagen, welke kunnen worden geuit
marktpartij. Al speelt emotie wel een rol, de ratio is bij de
via de website, sociale media, nieuwsbrief of in het jaarver-
calculerende donateur belangrijker dan bij het traditionele
slag. Elke goededoelenorganisatie dient transparant te zijn
geven vanuit het hart. Voor calculerende donateurs is de rati-
over de bestedingen. Gezien de complexiteit van het meten
onele binding met de goededoelenorganisaties belangrijk
van resultaten en impact is het belangrijk dat goededoelen-
en deze groep zoekt vooral naar concrete prestaties waar
organisaties hier op voor hen passende wijze aan werken.
ze iets aan hebben. De communicatie is vooral gericht op
kwantitatieve informatie en het benadrukken wat de toegevoegde waarde is voor de donateurs.
De sturende donateur: Betrek me
Figuur 14: Communicatievraagstukken resultaat- en impact-
Sturende donateurs geven vanuit een verlichte ratio. De
meting typen donateur (CBF, 2011)
betrokkenheid bij de goededoelenorganisatie is relatief
hoog en een belangrijke kernvraag is: “What’s in it for soci-
De betrokken donateur: Inspireer me
ety?” Deze donateurs willen meedenken met de wijze waar-
Betrokken donateurs hebben een positiefkritische blik op hun
op het geefgeld wordt besteed en de gift wordt niet altijd
favoriete goededoelenorganisaties. Het oude paradigma
ongebonden gegeven, maar gaat vergezeld van allerlei
“Doe goed en zie niet om” is veranderd in “Doe goed en
voorwaarden. Soms is er sprake van actieve betrokkenheid
doe het de volgende keer beter”. De betrokken donateurs
bij de uitvoering van het project.
zijn graag bereid om feedback te geven aan de goededoe-
Voor deze groep donateurs is resultaat- en impactmeting
lenorganisatie. Sociale media zijn hiervoor een geschikt mid-
het meest relevant. Deze donateurs verwachten sociale
del. Voor betrokken donateurs is de emotionele binding met
resultaten en zijn bereid te coproduceren bij resultaat- en
hun favoriete goededoelenorganisatie belangrijk en deze
impactmetingen.
groep zoekt vooral inspiratie. De communicatie is vooral
72 |
VERANTWOORDEN
1
2
3
4
5
6
7
8
9
10
Hoofdstuk V Discussie en aanbevelingen
Het laatste hoofdstuk van deze publicatie over resultaat- en
impactmeting vooral erg ingewikkeld is en wellicht minder
uitkomsten zullen waarschijnlijk diverse personen betrokken
impactmeting voor goededoelenorganisaties betreft een
haalbaar is voor beginnende of kleinere goededoelenorga-
zijn. Om deze personen te ondersteunen, motiveren en in
behandeling van de verschillende gradaties in het meten van
nisaties. Weliswaar hebben organisaties met een minder
dezelfde richting te bewegen, is het van groot belang dat
resultaten en impact (Paragraaf 5.1) en aanbevelingen voor
omvangrijk budget een extra uitdaging in het meten van hun
resultaat- en impactmeting een geaccepteerd en breed
het toepassen van resultaat- en impactmeting in de praktijk
resultaten, toch kunnen ook zij aan de slag gaan met dit
gedragen aspect van de werkzaamheden wordt of blijft. Het
en de rol die verschillende partijen hierbij hebben (Paragraaf
onderwerp. Bijvoorbeeld, door te beginnen met het gestruc-
evalueren van en rapporteren over resultaten en effecten kan
5.2). Tot slot volgt in de laatste paragraaf een toelichting op
tureerd formuleren van doelstellingen, prestatie-indicatoren,
leiden tot het verbeteren van de eigen activiteiten en pro-
het perspectief van het CBF op resultaat- en impactmeting
verwachte resultaten en de mogelijke effecten daarvan. En
jecten. Dit kan alleen als er binnen de organisatie een struc-
(Paragraaf 5.3).
door het geleidelijk verzamelen van (verhalende en gemeten)
tuur is die het mogelijk maakt om continu en gestructureerd
gegevens over de directe resultaten en de effecten daarvan
activiteiten en projecten te evalueren, te leren van deze
5.1. Gradaties van resultaat- en impactmeting
op de doelgroep. Er is niet één enkele methode voor resul-
evaluaties en vervolgens activiteiten en projecten te verbete-
Veel goededoelenorganisaties vinden het moeilijk resultaat
taat- en impactmeting. Elke goededoelenorganisatie zal een
ren. Aandacht voor resultaat- en impactmeting kan daarom
en impact te meten en evaluaties uit te voeren. Een uitgebrei-
methode of aanpak ontwikkelen die past bij de eigen orga-
het beste vanaf het begin in activiteiten en projecten worden
de evaluatie kan tijdrovend en kostbaar zijn en niet iedere
nisatie en de specifieke context van de organisatie.
meegenomen. Daarnaast zouden organisaties vaker ook de
organisatie zal hiervoor de middelen of de kennis hebben.
negatieve uitkomsten van een evaluatie kunnen laten zien.
Daarnaast bestaat wellicht niet voor iedere organisatie de
5.2. Aanbevelingen
Voor het zelfstandig uitvoeren van resultaat- en impactmeting
noodzaak om een uitgebreide impactmeting te doen. Zoals
Het CBF wil graag enkele aanbevelingen meegeven aan
zijn voldoende kennis en middelen belangrijke voorwaar-
eerder opgemerkt, kunnen beginnende of kleinere goede-
diverse partijen die zich in de goededoelensector bezig-
den. Door de beschikbare kennis op dit gebied te veranke-
doelenorganisaties prima uit de voeten met een eenvoudige
houden met resultaat- en impactmeting, zoals de goede-
ren, kan die kennis in de organisatie behouden blijven en
vorm van resultaatmeting om te laten zien wat hun toege-
doelenorganisaties zelf, wetenschappers en financiers en
verdwijnt deze niet bij een wisseling van personeelsleden,
voegde waarde is. Een organisatie die begint met resultaat-
sectororganen.
iets wat geregeld aan de orde is in de goededoelensector.
en impactmeting zal in eerste instantie vooral gebruikmaken
Met name op het gebied van kennisvergroting en -uitwis-
van vragenlijsten of bijeenkomsten met belanghebbenden.
Aanbeveling 1: Veranker resultaat- en impactmeting in de
seling ziet het CBF ook een rol weggelegd voor de weten-
Pas wanneer een organisatie meer bedreven is in het uitvoe-
organisatiecultuur
schap en brancheorganisaties.
ren van resultaat- en impactmeting of hiervoor de kennis en
Het zal uit deze publicatie duidelijk zijn geworden dat het
de middelen heeft, kan bijvoorbeeld ook gebruik worden
voorbereiden, implementeren en uitwerken van resultaat- en
Aanbeveling 2: Maak budget vrij voor resultaat- en
gemaakt van focusgroepen en statistische analyses naar cor-
impactmeting inspanningen vraagt van diverse afdelingen
impactmeting
relatie en causaliteit.
en personen binnen de organisatie: vanaf het opstellen van
Naast voldoende kennis zijn met name ook de (financiële)
De indruk die na het lezen van deze publicatie kan zijn
doelstellingen en prestatie-indicatoren tot het doordenken
middelen noodzakelijk om resultaat- en impactmeting te kun-
ontstaan, is dat het opzetten en uitvoeren van resultaat- en
van een meetmodel en het organisatiebreed leren van de
nen (laten) uitvoeren. Dit kan op meerdere manieren. Vanuit
DISCUSSIE
| 73
1
2
3
4
5
6
7
8
9
10
de goededoelenorganisaties zelf kan expliciet budget en
atierapporten, checklists, tips en modellen. Aan de andere
tijd vrij worden gemaakt voor resultaat- en impactmeting.
kant richten de meer wetenschappelijke publicaties zich met
Voorbeeld over samenwerken en leren
Zij kunnen ook additionele fondsen werven door in een
name op de complexe aspecten van evaluaties, zoals het
van elkaar
projectvoorstel of begroting ruimte hiervoor op te nemen.
definiëren van begrippenkaders, methodieken en statistische
“We willen de kennis over transparantie en resultaat-
Daarnaast is ook een belangrijke rol weggelegd voor institu-
discussies. Het toepassen van de huidige, door de weten-
en impactmeting graag delen met andere organisa-
tionele financiers en vermogensverschaffers door financiering
schap ontwikkelde, methoden en instrumenten voor resultaat-
ties, zowel in Nederland als in Zuid-Afrika. Bij ons
mogelijk te maken voor resultaat- en impactmeting, bijvoor-
en impactmeting lijkt voor beginnende en kleine organisaties
tienjarig bestaan hebben we een symposium georga-
beeld als opzichzelfstaande aanvraag of als onderdeel van
vaak een enorme opgave. Zo kan het zijn dat de weten-
niseerd voor collega-particuliere initiatieven die net als
een project- of activiteitenaanvraag. Ook zouden institutio-
schap voorschrijft dat evaluatieonderzoek onder zowel de
wij actief zijn in Zuid-Afrika. Dat bleek zo’n succes dat
nele financiers en vermogensverschaffers aan aanvragers
projectgroep als een controlegroep dient te worden uitge-
we sindsdien jaarlijks een netwerkbijeenkomst orga-
een heldere leidraad kunnen verschaffen hoe zij in hun
voerd. Maar wat als de organisatie geen tijd of financiering
niseren waar netwerken, delen en van elkaar leren
projectaanvraag aandacht kunnen schenken aan aspecten
heeft voor deze mogelijkheid? Of als er geen kennis en
centraal staan. Daarnaast zijn we moderator van de
van resultaat- en impactmeting, zoals het bepalen van de uit-
ervaring kan worden ingekocht en evaluaties niet kunnen
Netwerkgroep Zuid-Afrika op LinkedIn waar ook ken-
gangssituatie, het formuleren van doelstellingen en prestatie-
worden uitbesteed? Houden de mogelijkheden dan op? Er
nis en informatie wordt gedeeld.”
indicatoren voorafgaand aan het project en het meten van
lijkt een behoefte te zijn aan wetenschappelijk gefundeerde,
Interview met Riekje de Vries, Stichting Projecten
resultaten, effecten en impact, gedurende en na afloop van
maar praktisch toepasbare kaders en instrumenten waar ook
Zuid-Afrika
het project. Institutionele financiers en vermogensverschaffers
kleine en beginnende organisaties mee kunnen werken. Ook
kennen ieder een eigen verantwoordingsformat. Dit is lastig
een casuïstiekgerichte wetenschappelijke analyse van de
voor goededoelenorganisaties die vaak met meerdere finan-
ervaringen van goededoelenorganisaties met resultaat- en
ciers te maken hebben. Een gezamenlijk initiatief van finan-
impactmeting zou waardevolle inzichten kunnen geven aan
ciers of een eenduidiger verantwoordingsformat zou hier een
goededoelenorganisaties en andere partijen in de goede-
positieve bijdrage aan kunnen leveren.
doelensector. Zo kan bijvoorbeeld ook onderzocht worden
welke activiteiten het meest effectief zijn in welke sectoren
Aanbeveling 3: Zet ook eenvoudige instrumenten en best
(milieu, ontwikkelingssamenwerking, welzijn, gezondheid)
practices op de onderzoeksagenda
en of deze ook in andere sectoren zouden kunnen werken,
In de zoektocht naar methodieken en ervaringen met resul-
wat succesfactoren en valkuilen zijn.
taat- en impactmetingen door goededoelenorganisaties,
zien veel (beginnende en kleine) goededoelenorganisaties
Aanbeveling 4: Leer van elkaars ervaringen en werk samen
door de bomen het bos niet meer. Aan de ene kant is er een
Ondanks de uitdagingen waarmee goededoelenorganisa-
overvloed aan informatie beschikbaar in de vorm van evalu-
ties worden geconfronteerd, zijn er vele en goede voor-
74 |
DISCUSSIE
Netwerkdag (foto: SPZA)
1
2
3
4
5
6
7
8
9
10
beelden waar organisaties van kunnen leren. Bijna alle
5.3. CBF-perspectief
Als toezichthouder handhaaft het CBF het criterium dat fond-
goededoelenorganisaties proberen hun impact en invloed
Het doel van deze publicatie is om een bijdrage te leve-
senwervende goededoelenorganisaties verantwoording af
echter geïsoleerd van elkaar te meten. Zij praten zelden
ren aan de verdere professionalisering van resultaat- en
dienen te leggen over hoe de fondsen zijn besteed. En ver-
met collega-organisaties over de uitdagingen waarmee zij
impactmeting en organisaties te helpen bij het nadenken,
antwoorde keuzen vragen deskundigheid en inzicht. Er dient
worden geconfronteerd. De gehanteerde benaderingen en
ontwikkelen en implementeren hiervan teneinde bestedingen
daarentegen ook erkend te worden dat de wetenschap niet
expertise worden nauwelijks gedeeld.
nog beter te kunnen verantwoorden. Het CBF heeft deze
op alle vragen een antwoord heeft en dat goededoelenor-
uitgave en de in 2012 verschenen folder ‘Bouwstenen voor
ganisaties die grote inspanningen leveren om hun resultaten
Toch is resultaat- en impactmeting een gebied waarin goe-
Resultaat- en Impactmeting’ tevens gerealiseerd om instru-
en impact te meten en dit methodisch goed willen doen ook
dedoelenorganisaties succesvol kunnen samenwerken en
menten te bieden die keurmerkhouders kunnen gebruiken bij
te maken hebben met vele factoren die niet te overzien of te
van elkaar kunnen leren. Organisaties die werkzaam zijn in
de verantwoording over de bestedingen. Een vereiste van
beïnvloeden zijn. Dit dient onze sector ook te accepteren.
dezelfde sectoren hebben vaak een soortgelijke aanpak en
het CBF-Keur. Tevens tracht het CBF hiermee tegemoet te
Het CBF wenst alle instellingen veel succes bij het verder ont-
overeenkomstige doelstellingen, wat betekent dat de proces-
komen aan de wens van, met name institutionele, donateurs
wikkelen en uitvoeren van resultaat- en impactmeting.
sen en instrumenten die ze nodig hebben voor het meten
om de rapportage over impact verder te ontwikkelen binnen
van resultaten en impact dezelfde zullen zijn. Samenwerking
de goededoelensector. Vanuit de ervaringen bij het beoorde-
kan leiden tot het ontwikkelen van een gedeeld kader om
len van keurmerkhouders acht het CBF het nodig dat er meer
de belangrijkste resultaten en impact te meten. Ook de bran-
helderheid ontstaat over de gebruikte begrippen en kaders
cheorganisaties kunnen hierin een belangrijke rol spelen.
die vaak de revue passeren.
Zij kunnen informatie geven aan of trainingen organiseren
Alhoewel evaluaties een belangrijk onderdeel uitmaken van
voor goededoelenorganisaties. Brancheorganisaties hebben
het CBF-Keur en CBF-Certificaat voor kleine goededoelenor-
daarnaast een rol als het gaat om het communiceren over
ganisaties, zal het CBF op dit aspect van impact vooralsnog
uitkomsten van resultaat- en impactmeting. In samenwer-
geen vergaande inhoudelijke eisen stellen aan goededoelen-
king met de media kunnen brancheorganisaties donateurs
organisaties die het CBF-Keur of CBF-Certificaat toegekend
voorlichten en dilemma’s met betrekking tot resultaat- en
hebben gekregen. Het is wel een vereiste dat er procesma-
impactmeting voor goededoelenorganisaties laten zien. Er
tig aan het meten van resultaten en impact gewerkt wordt en
is een genuanceerde vorm van communicatie nodig. De
dat men laat blijken hoe men dat doet. Organisaties blijven
achtergronden van resultaat- en impactmeting en de resulta-
vrij in de manier waarop zij invulling geven aan evaluaties
ten en effecten van de organisatie zijn immers minstens zo
binnen hun processen en activiteiten en de mate waarin zij
belangrijk als de cijfers.
hierin investeren en er extern over communiceren.
DISCUSSIE
| 75
1
76 |
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
Visies en ervaringen uit de sector
Wilde Ganzen
actie-opbrengst een premie van 55% toe. De totale som
Iedere aanvraag van Project Eigenaren en Particuliere
wordt door Wilde Ganzen overgemaakt aan de Project
Initiatieven is voor Wilde Ganzen een ‘nulmeting’. Deze
Wat doet Wilde Ganzen?
Eigenaar in het buitenland. Behalve deze financiële bijdrage
geeft informatie over de situatie van de doelgroep vooraf-
Wilde Ganzen (WG) is specialist op het gebied van con-
biedt Wilde Ganzen ook advies en capaciteitsversterking.
gaand aan het project. Hierbij wordt onder andere gekeken
crete projecten in ontwikkelingslanden. Wij stellen mensen
‘Resultaatmeting’, transparantie en heldere communicatie
naar de context- en probleemanalyse, concrete benodigd-
in staat om initiatieven ter bestrijding van armoede zelf uit
naar donateurs en het publiek toe zijn essentieel. Toch moe-
heden, geplande activiteiten, de hoeveelheid begunstigden,
te voeren. Het gaat om kleinschalige en lokale projecten:
ten er, gegeven dat de projecten een gemiddelde begroting
welke Millenniumdoelen zullen worden bereikt en hoe het
investeringen in basisvoorzieningen om bijvoorbeeld onder-
hebben van minder dan € 40.000, realistische verwachtin-
project duurzaam kan worden voortgezet. Na afloop van
wijs en gezondheidszorg te verbeteren of om schoon drink-
gen worden gesteld aan resultatenrapportages. Ook moet
het project kan gemeten worden welke verbeteringen zijn
water beschikbaar te stellen. In 2012 bedroeg het totale
bedacht worden dat zowel de realisering van het project
gerealiseerd ten opzichte van de beginsituatie.
volume aan Wilde Ganzen-financieringen € 11 miljoen,
als het verzamelen van de informatie erover het product zijn
verdeeld over 321 projecten, waarvan meer dan de helft
van veel vrijwilligerswerk van zowel de PE als PI. Zonder dit
Na realisatie van het project, stuurt de PE Wilde Ganzen
plaatsvonden in Afrika.
vrijwilligerswerk zou ons werk niet kunnen bestaan.
een financieel en inhoudelijk verslag dat volgens een vast-
Wij hanteren een bijzondere formule, doordat wij samen-
Resultaat- en impactmeting bij Wilde Ganzen
interne beoordeling en goedkeuring door een projectmede-
werken met Particuliere Initiatieven (PI) in Nederland. Dit zijn
Wilde Ganzen zet in op toenemende transparantie en hel-
werker wordt het dossier afgesloten. De projectmedewerker
lokale Nederlandse stichtingen, verenigingen, serviceclubs,
dere communicatie van projectresultaten. In het voorjaar van
vergelijkt de verwachte bijdrage aan de realisatie van de
kerken of migrantenorganisaties die projecten indienen.
2013 gaan wij hierover op de website rapporteren, met
Millenniumdoelen met de gerealiseerde resultaten.
Deze projecten worden uitgevoerd en geleid door lokale
een korte schets plus enkele foto’s van wat er gerealiseerd
organisaties in ontwikkelingslanden, zoals scholen, klinieken,
is. Nu al koppelen wij projectresultaten terug in de kwartaal-
Volgens het Impact Value Change Model ligt de focus van
vrouwengroepen of dorpsgemeenschappen, die wij als de
magazines. Daarnaast heeft Wilde Ganzen begin 2013
de Wilde Ganzen-resultaatmeting voornamelijk op het
Project Eigenaren beschouwen. Het zwaartepunt ligt dus
CIDIN, een wetenschappelijk onderzoeksinstituut, gecontrac-
niveau van inputs, activiteiten en outputs. Kortom, wat is er
in het buitenland, waar de Project Eigenaren (PE) het beste
teerd om een onafhankelijk onderzoek in vier ontwikkelings-
gedaan en wat is er feitelijk gerealiseerd. Op korte termijn is
weten wat prioriteit heeft en wat voor hen haalbaar is.
landen te verrichten naar de duurzaamheid van afgeronde
er minder zicht op de outcomes: de langeretermijneffecten.
Een PE geeft aan dat er dringend behoefte is aan bepaalde
projecten. Dit onderzoek zal Wilde Ganzen meer inzicht
Wilde Ganzen maakt de aanname dat succesvolle realisatie
investeringen (bijvoorbeeld een uitbreiding van de school-
geven in de voorwaarden die ex ante vervuld moeten zijn
van de outputs, zoals het bouwen van een extra klaslokaal,
gebouwen of medische apparatuur voor de kliniek) en stelt
om de kans op duurzame impact van projectinvesteringen te
met hoge waarschijnlijkheid zal bijdragen aan de outcome
hiertoe samen met het PI een plan op. Als Wilde Ganzen
vergroten. Daarbij leert het ons aan welke capaciteitsverster-
dat de leerlingen hierdoor betere schoolprestaties halen.
het plan goedkeurt, gaat het PI in Nederland middels lokale
king Project Eigenaren behoefte hebben. De resultaten van
Hopelijk is de langetermijnimpact dat zij later beter in hun
acties geld werven. Wilde Ganzen voegt aan de totale
dit onderzoek worden in 2014 verwacht.
gesteld stramien geschreven is, met een aantal foto’s. Na de
VISIES
| 77
1
2
3
4
5
6
7
8
9
10
levensonderhoud zullen kunnen voorzien. Het nieuwe CIDIN-
sultants ingeschakeld. Ook deze informatie gebruiken wij in
Wilde Ganzen
impactonderzoek zal ons hierover meer inzichten verschaffen.
de resultaatmetingen.
Heuvellaan 36
1217 JN Hilversum
Tot slot
Telefoon: 035 – 625 10 30
In een klimaat waarin ontwikkelingssamenwerking herhaal-
[email protected]
delijk in twijfel wordt getrokken en waarin donateurs kritische
www.wildeganzen.nl
vragen stellen, is goed omgaan met de vraag naar resultaaten impactmetingen voor goededoelenorganisaties van groot
belang. Daarom moet het adequaat verzamelen, bewerken
en communiceren van informatie over de positieve (en minder
positieve) effecten van hun werk deel uitmaken van hun core
business. Maar realiteitszin en bescheidenheid is wel geboden: de prijs voor het verkrijgen van deze informatie moet in
verhouding staan tot de waarde van het project. En, zoals
de CBF-studie zeer terecht opmerkt, de ‘achterban’ van goededoelenorganisaties is zeer divers en de resultateninformatie
Waterproject in India (foto: Wilde Ganzen)
moet dus doelgroepspecifiek worden aangeboden.
Goededoelenorganisaties, groot en klein, zouden er zeer
Monitoren en resultaatmeting in de praktijk is altijd effectie-
mee geholpen zijn als er een consensus zou komen over
ver dan alleen op papier. Daarom reizen Wilde Ganzen-
wat nog redelijk is, en wat niet meer, met betrekking tot de
projectmedewerkers af naar een bewust gekozen selectie
informatie over resultaten en de kosten om die te meten en te
van projecten. Deze ‘live’ observaties en impressies worden
communiceren. Het CBF zou een voortrekkersrol kunnen spe-
breed gedeeld in verslagen. Het doel is om de PE en PI
len bij het bereiken van een dergelijke consensus. Hierdoor
advies, ondersteuning en expertise op positieve en con-
zouden goededoelenorganisaties een beter antwoord kun-
structieve manier aan te bieden. Ook hiervoor werkt Wilde
nen hebben op de steeds verdergaande vraag om resultaten
Ganzen zeer nauw samen met Particuliere Initiatieven. PI’s
in detail te etaleren.
bezoeken ‘hun’ projecten veel regelmatiger. Zij kunnen
hierdoor veel waardevolle informatie verzamelen voor de
Fabio Poelhekke
resultaat- en impactmeting. Waar nodig worden lokale con-
Senior beleidsmedewerker
78 |
VISIES
1
2
3
4
5
6
7
8
9
10
Erasmus Centre for Strategic Philanthropy
organisaties, de omgeving, en sociale systemen en institu-
mee men de resultaten kan interpreteren. Dit is een afweging
Erasmus Universiteit Rotterdam
ties). Output-effecten zijn de diensten en producten (dit kun-
die iedere organisatie maakt, afhankelijk van het doel van
nen ook lobbyactiviteiten of campagnes zijn) die je verleent,
de impactevaluatie in samenwerking met haar stakeholders
zoals bijlessen geven op school voor achterstandsjongeren.
en dit zal per project verschillen.
Outcome-effecten zijn de directe maatschappelijke waarden
Impact is de maatschappelijke waarde die je creëert. Door
die het resultaat zijn van jouw projecten, zoals verbeterde
“Impact evalueren kan alleen op lange termijn en donateurs
te focussen op impact kun je meer verschil maken. Op
testresultaten op school. Impact is de maatschappelijke
willen na 1, 2 of 3 jaar resultaten zien.” De tijdspanne van
impact focussen betekent dat je nadenkt over de impact
waarde die je creëert, zoals een verbeterd zelfbeeld of eco-
een impactevaluatie hangt af van de termijn waarop de maat-
die je wilt hebben en hoe je deze het beste kunt bereiken.
nomische groei, waar je het perspectief van de organisatie
schappelijke waarde zich manifesteert. Dit kan op zeer lange
Vervolgens verzamel je informatie over de daadwerkelijke
inruilt om te kijken naar je resultaten vanuit het perspectief
termijn zijn, bijvoorbeeld als het doel van een project is om
impact die je bereikt. Deze informatie gebruik je om van
van de maatschappij.
economische groei te bevorderen. In deze gevallen kunnen
te leren, wat er goed werkte en wat er beter kan, en om
korte- of middellangetermijnindicatoren gebruikt worden
dit te communiceren naar stakeholders zoals je donateurs.
Er zijn in de goededoelensector veel mythes over impact en
om de bedoelde impact te benaderen. Een aantal goede
Impact gaat dus over monitoren en evalueren, maar gaat
het evalueren van impact. Het evalueren van impact vergt een
plekken voor inspiratie zijn: wikivois.org, iris.thegiin.org en
ook verder dan dat: het is een mindset in de organisatie,
heuse verschuiving van de manier van werken in de sector,
urban.org/center/cnp/projects/outcomeindicators.cfm.
en de basis van strategisch denken over het goede dat je
waar het oordeel over de waarde van een organisatie of
wilt doen. Je kunt de daadwerkelijk behaalde impact echter
project verplaatst van intentie naar resultaat. Deze mythes
“Impact evalueren geeft vaak teleurstellende resultaten.
alleen vaststellen met een evaluatie.
hebben een negatief effect op de houding van goededoe-
Maatschappelijke waarde creëren is niet gemakkelijk. Er
Veel goededoelenorganisaties begrijpen dat het belangrijk
lenorganisaties (en hun donateurs) ten aanzien van impact
zijn succesverhalen zoals de rol van goededoelenorganisa-
is om impact te evalueren en zijn op zoek naar manieren
en het evalueren van impact. ECSP zet zich daarom in om
ties in de strijd tegen polio, maar het nauwkeurig evalueren
om dit te doen. Dit is niet makkelijk: er is veel verwarring
deze mythes te ontmaskeren en te ontkrachten. Een aantal
van de impact laat vaak ook zien dat de logica achter de
over wat impact nou precies betekent, hoe het anders is dan
voorbeelden:
manier waarop een project zou leiden tot de gewenste
outcome- of outputeffecten, en er zijn normatieve debatten
impact niet klopt. De doelgroep gebruikt de muggennetten
over de methoden of zelfs indicatoren waarmee de impact
“Impact evalueren is duur.” Het ECSP adviseert dat middelen
niet, het gefinancierde onderzoek zou zonder filantropisch
geëvalueerd zou moeten worden.
voor impactevaluatie worden gereserveerd aan de start van
geld ook uitgevoerd zijn of de private sector had bij afwe-
projecten. In sommige gevallen is een impactevaluatie niet
zigheid van de goededoelensector het internet toch wel
Het ECSP definieert impact als de maatschappelijke waarde
nodig, omdat er al voldoende evaluaties zijn gedaan naar
beschikbaar gemaakt. Goededoelenorganisaties zijn vaak
die je creëert. Deze maatschappelijke waarde kan zich
de impact van een project. De kosten van een impactevalu-
bang om gestraft te worden door donateurs voor teleurstel-
manifesteren op verschillende dimensies (sociaal, econo-
atie hangen af van de keuzen die gemaakt worden t.a.v. de
lende resultaten. Daarnaast kampen vermogensfondsen en
misch en milieu) en op verschillende niveaus (mensen en
informatie die men mee wil nemen en de zekerheid waar-
subsidieverstrekkers in hun eigen organisaties met dezelfde
VISIES
| 79
1
2
3
4
5
6
7
8
9
10
teleurstellingen van negatieve resultaten. Het ECSP draagt
schap om praktisch waardevolle antwoorden te formuleren
verschillende waardevolle opleidingsprogramma’s, van
bij aan de benodigde cultuurverschuiving, waar impacteva-
op de urgente vragen rondom impact, zoals:
discussieavonden, masterclasses en summer schools tot meer-
luaties en negatieve resultaten omarmd worden als kansen
• Wanneer is een impactevaluatie waardevol?
om te leren en verbeteren. Het ECSP benadrukt daarom het
• Hoe weten we wat we moeten evalueren?
belang voor impactevaluaties om verder te gaan dan de
• Welke methodologie moeten we gebruiken om te
vraag ‘wat is onze impact?’ naar de vraag ‘hoe vergoten
wij onze impact?’. Deze benadering helpt organisaties door
evalueren?
daagse opleidingen.
Kellie Liket, PhD student
Karen Maas, Assistant Professor
• Hoe interpreteren we onze resultaten?
ECSP
een verbetervraag centraal te stellen bij impactevaluaties.
ECSP doet onderzoek, geeft opleidingen en is betrokken bij
Het ECSP is zowel als onderzoekend, uitvoerend, advise-
Burgemeester Oudlaan 50
projecten op dit gebied, zodat organisaties kunnen leren
rend en onderwijzend orgaan bezig met impactevaluatie.
H-Gebouw, kamer H10-34
van resultaten en deze op de juiste manier naar stakeholders
Het ECSP voert met regelmaat impactmetingen uit voor
Postbus 1738 NL
kunnen communiceren.
instellingen en organisaties. Daarnaast stelt het ECSP zich
3000 DR Rotterdam
ook op als adviseur door impactgerelateerde vragen van
Telefoon: 010 - 408 13 45
“Alleen van kwantitatieve effecten kan impact geëvalueerd
organisaties te beantwoorden. Hierbij kijken we naar het
[email protected]
worden.” In principe is alles te evalueren. De ware uitda-
concept van impact, evaluatiemethodieken, resultaten en
www.erim.eur.nl/research/centres/strategic-philanthropy
ging van het evalueren ligt in het duidelijk definiëren van
andere gerelateerde thema’s. Ook houdt het ECSP zich
wat de toegevoegde maatschappelijke waarde is. In vele
bezig met de rol van impactinformatie op het niveau van
gevallen is het gemakkelijker om impacteffecten met een
het filantropische eco-systeem en draagt zij proactief bij
monetaire waarde zoals economische groei of belasting-
aan het verbeteren van de beschikbare informatie over de
besparing te evalueren omdat hiervoor al voldoende data
impact van projecten of organisaties. Een voorbeeld is de
voorhanden zijn en deze niet meer verzameld hoeven te
Performance Prediction Scan (PPS) die het ECSP ontwikkelde
worden. Er zijn echter talloze instrumenten zoals vragenlijs-
voor de Kennisbank Filantropie. De PPS is een set van cri-
ten en gevalideerde indicatoren om kwalitatieve effecten,
teria waarvan we weten dat zij bijdragen aan de potentie
zoals gezondheid, geluk en eenzaamheid, te kunnen
van organisaties om goed te presteren. ECSP onderzoekt
evalueren.
niet alleen vraagstukken die betrekking hebben op impact.
Er wordt ook aandacht besteed aan vraagstukken op gebie-
Het ECSP is een onafhankelijk onderzoeks- en kenniscen-
den zoals governance, bedrijfsvoering, opschaling, etc. De
trum. Dit betekent dat het ECSP opereert zonder winstoog-
onderwijsactiviteiten van het ECSP richten zich vooral op
merk of promotie van specifieke services, producten of
professionals die de ambitie hebben om in hun werkzame
methodologieën. Het ECSP gebruikt kennis uit de weten-
leven maatschappelijke waarde te leveren. ECSP biedt hen
80 |
VISIES
1
2
3
4
5
6
7
8
9
10
Samenwerkende GezondheidsFondsen /
de begintoestand en de eindtoestand te vergelijken kun je
De problemen met het meten van impact worden algemeen
Hersenstichting
uitspraken doen over de impact. Hier komt al een levens-
erkend. Bij de Hersenstichting richten we ons bij het bepalen
groot probleem om de hoek kijken, nl. dat je voor het bepa-
van de impact vooral op het effect van onze interventies
len van impact eigenlijk jezelf moet ‘wegdenken’.
voor de diverse doelgroepen. Een van de manieren waarop
je deze impact kan bepalen, is het bevragen van de doel-
Impact bepalen is grote uitdaging
Activiteiten leiden tot impact en dus kun je stellen dat elk
groepen naar ervaringen in de huidige toestand vergeleken
goed doel impact heeft. Maar het gaat natuurlijk vooral om
met die van vroeger.
de beoogde impact, impact in het verlengde van je doelstelling, je missie. Donateurs steunen jouw organisatie immers
Hersenstichting Nederland, onze missie en strategie
De goede dingen doen
niet omdat je voor een stuk werkgelegenheid zorgt, wat wel
Hersenstichting Nederland wil de hersenen beter begrijpen
Als goede doelen voeren we allerlei activiteiten uit ten
degelijk impact heeft. Ze steunen je omdat ze ervan uitgaan
om hersenaandoeningen te helpen voorkomen en genezen.
behoeve van onze doelgroep. We leggen onze ziel en
dat jouw activiteiten het effect hebben, dat ze de situatie
zaligheid erin! Waar we misschien te weinig over nadenken
van je doelgroep verbeteren.
1. Wij stimuleren en financieren continu hersenonderzoek
activiteiten waar we zo naarstig aan werken uiteindelijk bij
Impact aantonen
2. We stellen nieuwe inzichten uit onderzoek op een be-
aan een betere wereld voor onze doelgroep en dus voor
Er is een groot verschil tussen impact hebben en impact aanto-
grijpelijke en praktisch toepasbare manier beschikbaar
iedereen? Een belangrijke vraag, want uiteindelijk is dit
nen. Hoe meer andere partijen zich met soortgelijke activiteiten
via brede voorlichtingsactiviteiten.
onze diepste drijfveer en de reden waarom onze donateurs
bezighouden, hoe lastiger vast te stellen is wat de specifieke
ons steunen. Maar ook een vraag waarop het niet eenvou-
bijdrage van jouw interventies en activiteiten is op de beoogde
dig is een goed antwoord te geven.
eindtoestand. Dit geldt voor veel goede doelen, en zeker ook
is of we daarmee ook de goede dingen doen. Dragen de
met vooraf vastgelegde doelen en programma’s.
voor GezondheidsFondsen die onder andere door middel
3. Wij gaan samenwerkingsverbanden aan met andere
relevante partijen om zo kennis te kunnen delen en de
beschikbare financiële middelen gezamenlijk in te zetten.
4. Wij zijn zo de schakel tussen de hersenwetenschap,
Het verschil maken
van wetenschappelijk onderzoek een ziekte willen oplossen.
donateurs en individuele personen voor het gezond
Impact aantonen is het verschil inzichtelijk maken tussen de
Wereldwijd worden duizenden onderzoeken uitgevoerd die
functioneren van onze hersenen en kwaliteit van leven.
toestand die bestaat mét en zonder de interventies van het
allemaal een steentje hieraan bijdragen. De bijdrage van het
goede doel. Onder impact wordt dan verstaan de bedoelde
onderzoek door jouw organisatie is lastig vast te stellen.
en onbedoelde effecten van die interventies voor de doel-
5. Onze fondsenwervende activiteiten zijn er op gericht
om financiële middelen te verwerven om de strategie uit
te voeren en de missie te volbrengen.
groep en de samenleving als geheel. Er is een begintoe-
Bij monocausale en lineaire activiteiten is de impact veel
stand (een probleem), dit leidt tot weer een interventie met
eenvoudiger vast te stellen. De NS is monopolist op het
Successen in kaart brengen
bepaalde activiteiten, hetgeen weer leidt tot een nieuwe
belangrijkste spoornetwerk in Nederland. Valt de NS uit,
In 2011 hebben we onze successen van de afgelopen
eindtoestand. Er is iets veranderd door de interventie! Door
dan is de impact hiervan redelijk gemakkelijk vast te stellen.
jaren in kaart gebracht. We hebben gekeken naar vordeVISIES
| 81
1
2
3
4
5
6
7
8
9
10
ringen in de wetenschap en naar (verbeterde) behandelin-
effecten gehaald worden. Het verband tussen de indicatoren
1. Wat was de looptijd van het gesubsidieerde onderzoek
gen van patiënten die we specifiek op ons conto kunnen
en impact berust op een aantal aannamen.
schrijven. We hebben daar een apart project van gemaakt,
Elk kwartaal wordt de status quo van deze indicatoren verza-
waarbij o.a. gesproken is met de diverse belanghebben-
meld. Overigens bevat de BS ook indicatoren die slechts een-
spin off opgeleverd? Hierbij is gekeken naar de publi-
den. Uit het project kwamen vele resultaten, maar uiteindelijk
maal of tweemaal per jaar kunnen worden vastgesteld.
caties[1], patenten, vervolgsubsidies en/of voortzetting
hebben we drie belangrijke effecten van ons werk kunnen
In 2012 hebben we geëxperimenteerd met deze vorm van
onderzoekslijn, en carrièrestappen van de onderzoeker
identificeren. Resultaten uit wetenschappelijk onderzoek die
sturing. In 2013 hebben we de diverse indicatoren van de
(hoogleraarschap) en zijn medewerkers (promoties).
de behandeling van de patiënten belangrijk verbeterden en
BS nog weer eens onder de loep genomen en deze opnieuw
waar we echt het verschil maakten.
samengesteld. In principe moet dit fine-tunen elk jaar gebeuren.
van start- tot eindrapportagedatum?
2.Wat heeft de gesubsidieerde studie uiteindelijk aan
Publicaties zijn de voornaamste uitkomstparameter van
de spin off, omdat in het wetenschappelijke veld het aan-
De BS 2013 omvat 16 indicatoren, verdeeld over verschil-
tal, de kwaliteit en impact van publicaties de norm zijn.
lende rubrieken en gericht op diverse stakeholders.
Wetenschappers worden hierop afgerekend en daarnaast
zijn publicaties ook een belangrijk medium voor de versprei-
Impactstudie onderzoeksactiviteiten
ding van de kennis.
Uit de BS volgen metingen die indicaties geven van impact.
De publicaties zijn aan de hand van nadere parameters ver-
Op het terrein van het onderzoek dat de Hersenstichting laat
der geanalyseerd. Daarbij gaat het om zaken als het aantal
uitvoeren hebben we eind 2012 een impactstudie afgerond
publicaties en de impact van een publicatie aan de hand
van de zogenaamde kleine subsidies. Dit zijn bijdragen
van ‘Web of Science, Journal Citation Reports’.
voor onderzoek en studie naar specifieke aspecten van de
hersenen of hersenaandoeningen.
Resultaatmetingen
Op het terrein van de voorlichting die we geven, meten
Hersenonderzoek autisme (foto: Hersenstichting)
In de impactstudie waren alle wetenschappelijke onderzoe-
we verschillende elementen van de tevredenheid van de
ken en studies betrokken die de Hersenstichting mogelijk
gebruiker:
maakte en die in respectievelijk 2011, 2009 en 2007 zijn
1. De informatie die we aanbieden via onze website.
Balanced Scorecard
afgerond. De evaluatie is uitgevoerd op basis van de infor-
Verder is een belangrijke ontwikkeling dat we medio 2012
matie uit de eindrapportages en een schriftelijke enquête met
2. De tevredenheid over de patiëntenvoorlichting.
een Balanced Scorecard (BS) hebben samengesteld. De
aanvullende vragen.
3. De tevredenheid over het schriftelijke materiaal
BS is een strategisch hulpmiddel voor de besturing van de
(Bron: onderzoek Hersenstichting)
Hersenstichting. Het is een set indicatoren, kengetallen, die
Voor de bepaling van de Impact is gekeken naar de vol-
er in hun onderlinge samenhang toe leiden dat de beoogde
gende twee primaire vraagstellingen:
82 |
VISIES
Bruikbaarheid, begrijpelijkheid, informatiewaarde.
[1] Dit is een indicator voor de BS.
1
•Het effect van onze interventies op de samenleving als
2
3
4
5
6
7
8
9
10
Centre for International Development Issues
geheel krijgen we niet scherp in kaart. Wij zijn (voor-
(CIDIN)
lopig) tevreden met zicht op onze impact voor onze
Radboud Universiteit Nijmegen
stakeholders!
Peter Schoof
Directeur Hersenstichting Nederland
Samenwerkende GezondheidsFondsen (SGF)
Hersenonderzoek malapractice (foto: Hersenstichting)
Stationsplein 127 (3e etage)
Resultaat- en impactmeting van projecten in ontwikkelings-
3818 LE Amersfoort
landen is al jaren een kernactiviteit van CIDIN. Centraal in
Telefoon: 06 – 844 791 50
ons impactonderzoek staat Participatory Impact Assessment
[email protected]
(PIA), zoals beschreven in paragraaf 2.4 van dit boek. Een
www.gezondheidsfondsen.nl
gelijknamig pilotproject loopt al sinds 2007 met Cordaid.
Het gaat hierbij om continue metingen na toezending van
Daarin evalueren we op huishoudniveau de activiteiten
Hersenstichting
van zes Cordaid-partners in Peru, Ghana en India. Een
Koediefstraat 5
steekproef van de doelgroep wordt over een periode van
Ook onze donateurs worden als een belangrijke groep
2511 CG Den Haag
vijf jaar gevolgd en vergeleken met een steekproef uit een –
stakeholders beschouwd en dus is ook hun mening over en
Postbus 191
samen met de partnerorganisatie gekozen – controlegroep.
ervaringen met de Hersenstichting van belang. Van tijd tot
2501 CD Den Haag
Onder beide groepen is een nulmeting en een eindmeting
tijd meten we de Nettopromotorscore van de donateurstevre-
Telefoon: 070 - 360 48 16
verricht om attributie van effecten (wat is veroorzaakt door
denheid. Uit het laatste onderzoek (december 2012) kwam
[email protected]
wat?) mogelijk te maken. Daarnaast gaan we – meestal
een NPS van 32,7[2] als resultaat op tafel.
www.hersenstichting.nl
via groepsdiscussies – met de leden van doelgroepen in
de verstrekte informatie.
gesprek over de onderwerpen waar het project zich op richt.
Conclusie
Dat levert de nodige informatie op over de context waarin
•Om impact te kunnen meten moet je indicatoren vaststellen
het project zich afspeelt, maar ook over de manier waarop
die berusten op redelijke aannamen.
•Door de indicatoren regelmatig te meten kun je aannemelijke uitspraken doen over de impact voor je stakeholders.
[2] 0=goed, >50=excellent
lokale belanghebbenden naar het project kijken. Deze kwalitatieve component biedt tevens de mogelijkheid om de door
de organisatie gehanteerde ‘theory of change’ van het project tegen het licht te houden: hoe en waarop denkt de orgaVISIES
| 83
1
2
3
4
5
6
7
8
9
10
nisatie verandering tot stand te brengen en wat zijn de visies
behorende tot de laagste kaste nauwelijks profiteerden van
gevallen te zien. Uit groepsdiscussies bleek dat de gelijktij-
van de doelgroep en andere belanghebbenden daarop?
een project waarin een boerencoöperatie was opgezet,
dige introductie van een ziektekostenverzekering door de
ondanks het feit dat de ledenlijst een redelijke afspiegeling
overheid de behandeling van malaria nog toegankelijker
In onze impactstudies besteden we veel aandacht aan het
van de lokale kastestructuur vormde. Lagekasteleden werden
maakte, waardoor gezinnen minder geneigd waren om pre-
opsporen van onbedoelde effecten, hetzij in positieve hetzij
echter systematisch buiten de informatiestroom gehouden, of
ventieve maatregelen te nemen, zoals het gebruik van een
in negatieve zin, en trachten we een inschatting te maken
hielden zich bewust afzijdig omdat zij dergelijke praktijken
klamboe. Dit ongewenste neveneffect heeft de betreffende
van de duurzaamheid van de gerealiseerde resultaten. Is in
verwachtten. Zodoende waren ze niet op de hoogte van
organisatie aangespoord om preventiecampagnes en voor-
de doelgroep een wezenlijke mentaliteitsverandering opge-
nieuwe landbouwmethoden en afzetmogelijkheden voor
lichtingsactiviteiten te intensiveren om zo de perverse prikkels
treden waardoor effecten onomkeerbaar zijn, of bestaat het
hun producten. Dit was niet voorzien door de betreffende
van betere behandelende zorg te neutraliseren.
gevaar dat bij beëindiging van het project de doelgroep weer
organisatie. Ze waren toch immers lid van de coöperatie?
terugkeert naar ‘business as usual’? Centraal in onze aanpak
De impactanalyse leidde hiermee tot het besef dat ‘village
Naast de voordelen van PIA, die vooral liggen in het leer-
staat ook kennisoverdracht. Dit bereiken we door lokale pro-
politics’, oftewel de politiek en de machtsverhoudingen op
potentieel en de kritische reflectie op de eigen ‘theory of
jectuitvoerders nauw bij de impactmeting te betrekken (bijvoor-
dorpsniveau, ten onrechte waren veronachtzaamd.
change’, is er ook een beperking te noemen. Zo is het niet
beeld door samen intensief op zoek te gaan naar de juiste
eenvoudig om effecten van verschillende projecten, of verge-
indicatoren om succes aan af te lezen) en de uitkomsten van
lijkbare projecten in verschillende landen, bij elkaar ‘op te
de impactanalyse op laagdrempelige wijze terug te koppelen
tellen’ en zo richting donateurs of sponsoren een overall-indi-
naar de doelgroep. Verder betrekken wij ook lokale onderzoe-
catie van ‘value for money’ te geven. De unieke context per
kers bij onze evaluaties, vanwege hun kennis van de lokale
projectlocatie wreekt zich hier. De methode is veeleer geschikt
situatie, cultuur en talen, maar ook om lokaal evaluatiecapaci-
om de effectiviteit van innovatieve projecten te toetsen (voor
teit op te bouwen en onze kennis daarvan over te dragen.
eventuele opschaling) en om op basis van uitgevoerde activiteiten ideeën voor vervolgprojecten te genereren.
CIDIN heeft de sterke overtuiging dat de kwaliteit en relevantie van impactmeting verhoogd kunnen worden door kwan-
Hoewel CIDIN ook onderzoek verricht naar de impact van
titatieve en kwalitatieve methoden op een slimme manier te
grootschalige interventies, zoals het Millennium Village
combineren, zoals het gebruik van de nulmeting voor de iden-
Project in Kenia, een programma in Bangladesh dat op
tificatie van de juiste informanten voor interviews en groeps-
(foto: CIDIN)
discussies. Een dergelijke ‘mixed methods’-benadering helpt
zoek is naar de meest effectieve manier om kindhuwelijken
tegen te gaan, en de effecten van certificering van koffie
om te begrijpen welke omgevingsfactoren van invloed zijn
Een ander voorbeeld betreft het opzetten van rurale gezond-
op boereninkomens, bestaat onze expertise voornamelijk in
op het succes van een project, zodat de interventiestrategie
heidscentra in Ghana. Dit leidde tot verbeterde toegang
effectmeting van kleinschaligere projecten uitgevoerd door
daarop kan worden aangepast. Zo bleek in India dat boeren
tot zorg, maar gaf niet de verwachte afname in malaria-
verschillende typen maatschappelijke organisaties. Goede
84 |
VISIES
1
relaties en onderzoekservaring met gevestigde ontwikke-
1%CLUB / AmLab
lingsorganisaties, en in toenemende mate ook ‘corporate
2
3
4
5
6
7
8
9
10
Om dit mogelijk te maken is 1%CLUB op zoek gegaan naar
samenwerkingspartners die binnen AmLab als snel gevonden
foundations’ en particuliere initiatieven, zijn hiervan de
achtergrond. Momenteel voert CIDIN impactanalyses uit
waren. En met deze nieuwe partners zijn ook de ambities
groter geworden. Deze makkelijke en toegankelijke manier
voor Agriterra in Burundi, The Hunger Project in Benin en
Open Impact- en Resultaatmeting
van impact- en resultaatmeting moet niet alleen mogelijk
Solidaridad in Ethiopië, Kenia en Oeganda.
Sinds 2008 zijn er via het platform van 1%CLUB 400
zijn voor kleinschalige ontwikkelingsprojecten maar zou juist
kleinschalige ontwikkelingsprojecten succesvol van start
omarmd moeten worden door de gehele ontwikkelingssector.
Selectie van CIDIN-impactstudies:
gegaan. Projecten van mensen met slimme ideeën uit ontwik-
Debebe, Z.Y., Kempen, L. van & Hoop, T.J. de (2012). “A
kelingslanden die via crowdfunding en crowdsourcing hun
AmLab staat voor een nieuwe manier van Impact- en
perverse ‘net’ effect? Health insurance and ex-ante moral
idee werkelijkheid willen laten worden. Crowdfunding en
Resultaatmeting. Het gaat een stap verder dan accountability
hazard in Ghana.” Social Science & Medicine, 75(1),
crowdsourcing kan alleen succesvol zijn als vervolgens het
en transparantie. Het gaat over een paradigmaverandering
138-147.
resultaat van deze projecten gedeeld wordt met de mensen
van top down naar bottom up, van wisdom of the experts
Hoop, T. de, Kempen, L. van, Eerdewijk, A. van & Linssen,
die het project ondersteund hebben. Het tonen van resul-
naar wisdom of the crowd, van verantwoording naar samen-
R. “Women’s autonomy and subjective well-being in India:
taten is dus voor deze kleinschalige projecten van cruciaal
werking en leren en van transparantie naar open. Van open
how village norms shape the impact of self-help groups.”
belang.
datasets naar een open inclusief model van samenwerking
Verschijnt binnenkort in Feminist Economics.
Maar we weten ook dat het aantonen van resultaat en het
waarbij de eindgebruikers centraal staan.
Wanjala, B. & Muradian R. “Can Big Push interventions
meten van impact vanuit een kleinschalig project niet makke-
take small-scale farmers out of poverty? Insights from the
lijk is. Voor een goede impactmeting is kennis en capaciteit
Sauri Millennium Village in Kenya.” Verschijnt binnenkort
op het gebied van evaluatie nodig. Iets dat vaak ontbreekt
in World Development.
bij deze projecten. Daarnaast worden de data vaak op
zulke verschillende manieren verzameld, dat een vergelijking
Luuk van Kempen en Lau Schulpen
tussen deze verschillende kleine projecten niet mogelijk is.
Researchers/Lecturers
Samenwerking is hierbij van groot belang.
CIDIN
Een goede reden voor 1%CLUB om op zoek te gaan naar
Thomas van Aquinostraat 4
een nieuwe manier van monitoring en evalutie voor kleinscha-
6525 GD Nijmegen
lige projecten. Met de inzet van nieuwe technologieën als
Telefoon: 024 - 361 30 58
SMS en smart phones wordt het een stuk gemakkelijker om
[email protected]
data te verzamelen en zichtbaar te maken en kan evalueren
www.ru.nl/cidin
gemakkelijk geïntegreerd worden in de dagelijkse praktijk.
(foto: 1%Club)
VISIES
| 85
1
2
3
4
5
6
7
8
9
10
Het zal het werk van goededoelenorganisaties tot een pro-
efficiënter, effectiever te werken, meer open en transparant
ces maken dat minder een interventie in het onbekende is en
te zijn en de crowd erbij te betrekken.
meer een beter onderbouwd pad naar inclusieve duurzame
ontwikkeling. Waarbij ruimte is om fouten te maken. Waarbij
Marianne Gybels
snelle 360-graden-feedbackloops leiden tot permanent bijstel-
Manager Program development
len van de uitgezette koers. Fail fast. Learn Fast. Ook worden
de interventies die tot een positieve sociale ontwikkeling
1% CLUB
hebben geleid op deze manier zichtbaarder en traceer-
‘s Gravenhekje 1a
baarder. En last but not least: efficiency, herhaalbaarheid en
1011 TG Amsterdam
schaalbaarheid zullen toenemen. Resultaat- en impactmeting
Telefoon: 020 – 715 89 80
zijn hierbij geen bijzaak meer maar structureel onderdeel van
[email protected]
iedere organisatie en daarbij van cruciaal belang.
www.1procentclub.nl
Partners AmLab:
We hebben hiervoor een methode en set van tools ontwikkeld die ‘real time reporting’ mogelijk maken. We maken het
(foto: 1%Club)
mogelijk om met behulp van simpele tools als SMS, video,
Akvo: www.akvo.org
blogs en interviews via smart phones projecten in beeld te
De uitgangspunten zijn simpel. Het moet vanuit de gebrui-
brengen en te monitoren. Deze monitoring is rechtstreeks
kers gedragen worden, het moet meerdere invalshoeken
zichtbaar op de online-omgeving van het project waardoor
belichten, het moet een gesprek zijn waarbij de focus ligt
er een constante stroom van persoonlijke rapportage van de
op mensen en niet op instituties. Daarnaast gaat het niet
eindgebruikers zichtbaar is. Deze rapportages samen zor-
om controle maar om vertrouwen van mensen onderling en
gen ervoor dat er een impactmeting per project kan worden
is leren de belangrijkste doelstelling. Het belangrijkste uit-
gedaan.
gangspunt: het is een open systeem. Iedereen kan input leveren en van elkaars ervaringen leren. Open source software
Op het moment dat deze manier van monitoring en evalu-
die open data verzamelt. Dat is volgens AmLab de toekomst
atie wordt gecombineerd met de beschikbare open data
van impact- en resultaatmeting.
is het mogelijk om van micro- tot macroniveau zichtbaar te
maken wat het effect van de goededoelenorganisatie is.
AmLab (kort voor Amsterdam Lab) bestaat uit Akvo, Text to
En het geeft de mogelijkheid om projecten te vergelijken op
Change en 1%CLUB. AmLab ontwikkelt gezamenlijk inno-
regionaal, nationaal en internationaal niveau.
vatieve tools for Social Change die het mogelijk maken om
86 |
VISIES
TTC: www.texttochange.org
1
2
3
4
5
6
7
8
9
10
Partos – Branchevereniging voor Internationale
allianties. Zo moet er – in tegenstelling tot voorgaande jaren
openen van data over de bijdrage aan, de voortgang op
Samenwerking
– een nulmeting plaatsvinden om de situatie voorafgaand
en de resultaten van Internationale Samenwerking. Partos
aan een interventie in kaart te brengen. Ook dienen uitkom-
bevordert transparantie in overeenstemming met de IATI-
sten bij doelgroepen vergeleken te worden met uitkomsten
standaarden, vanuit de overtuiging dat open (lees: machine-
bij controle- of referentiegroepen. De resultaten van de evalu-
leesbare en vrij toegankelijke) data een belangrijke bijdrage
aties worden eind 2014/begin 2015 bekend gemaakt.
kunnen leveren aan de effectiviteit van Internationale samen-
Partos is de branchevereniging voor Internationale samen-
werking. Tijdens de jaarlijkse kennis- en netwerkbijeenkomst
werking in Nederland. De vereniging behartigt de belangen
Bevorderen van kwaliteit
Partos Plaza, wordt de ‘Briljante Mislukkingen Award’
van 120 Nederlandse particuliere ontwikkelingsorganisaties
Door de relatie met effectiviteit en doelmatigheid is orga-
uitgereikt. Een ‘Briljante Mislukking’ is een goed voorbereid
die actief zijn op terreinen als armoedebestrijding, humani-
nisatiekwaliteit een belangrijk aandachtspunt van Partos.
project dat anders is gelopen dan gepland en waarvan
taire hulpverlening, mensenrechten en duurzame ontwikke-
De ISO 9001 is een norm die kwaliteitseisen stelt aan het
vervolgens door de organisatie is geleerd. Het doel van het
ling. De overkoepelende doelstelling van Partos is om de
kwaliteitsmanagementsysteem van een organisatie. Partos
uitreiken van deze prijs is het lerend vermogen, de innovatie-
effectiviteit van de aangesloten lidorganisaties te ondersteu-
heeft een sectorspecifieke toepassing van de ISO 9001
kracht en de transparantie in de sector bevorderen.
nen. Hiertoe bevordert Partos onder andere kennis, kwaliteit
ontwikkeld. Deze sectorspecifieke toepassing (‘de Partos
en transparantie van lidorganisaties.
9001’) houdt rekening met de specifieke omstandigheden
van Internationale Samenwerking. Leden worden actief gesti-
Bevorderen van kennis
muleerd om de Partos 9001 te implementeren. Daarnaast
Goede planning, monitoring en evaluatie (PME) zijn cru-
committeren Partos-lidorganisaties zich aan de Partos-
ciaal om programmaresultaten te bereiken, inzichtelijk te
gedragscode. Deze code geeft algemeen geldende waar-
maken en hiervan te leren. Partos draagt actief bij aan de
den weer die door Partosleden worden onderschreven als
professionalisering van lidorganisaties op dit gebied door
basis voor hun handelen. Voor alles wat in deze code staat
PME-cursussen aan te bieden in samenwerking met derden.
beschreven, geldt dat het is geformuleerd vanuit het belang
Daarnaast organiseert Partos informatie- en uitwisselingsbij-
van effectieve Internationale Samenwerking. Zo schrijft de
eenkomsten over strategisch belangrijke thema’s en bevordert
Gedragscode voor dat lidorganisaties de kwaliteit van hun
het gezamenlijk leren van onderzoek. Zo is Partos nauw
organisatie regelmatig extern laten toetsen.
betrokken bij de gezamenlijke MFS-II-evaluaties waaraan
Partos Plaza (foto: Rebke Klokke)
meer dan zestig ontwikkelingsorganisaties (georganiseerd
Bevorderen van transparantie
in negentien allianties) deelnemen. De gezamenlijke MFS-
Op verschillende manieren bevordert Partos transparantie
Resultaat- en impactmeting
II-evaluaties zijn een direct gevolg van de eisen die het
van de lidorganisaties. Het International Aid Transparency
Partos bevordert het strategisch inrichten van de organisatie
ministerie van Buitenlandse Zaken heeft gesteld aan MFS-II-
Initiative (IATI) hanteert internationale standaarden voor het
en organisatieprocessen bij leden om een positief effect op
VISIES
| 87
1
2
3
4
5
6
7
8
9
10
de doelgroep te maximaliseren. Ondersteuning bij resultaat-
vormen voor de administratieve lastendruk die gepaard gaat
Centre for Development Innovation
en impactmeting is hier een belangrijk – maar zeker niet het
met rapportage- en verantwoordingsvoorschriften.
Wageningen University and Research centre
enige – onderdeel van. Inzicht in resultaten is van belang
voor verantwoordingsdoeleinden. Partos vindt het minstens
Mirjam Locadi
even belangrijk dat dit inzicht actief benut wordt om als
Evaluation Manager
organisatie van te leren en om nieuw beleid te ontwikkelen,
Het Centre for Development Innovation (CDI) is een van
zowel op het niveau van de organisatie als op het niveau
Partos
de onderzoeksinstituten van Wageningen UR (University &
van de sector.
Ellermanstraat 18B
Research centre). Het heeft als doelstelling innovatie en leren
1099 BX Amsterdam
te bevorderen. Belangrijk hierbij is aandacht voor de context
Telefoon: 020 – 320 99 01
van veranderings- en leerprocessen. Als het gaat om duur-
[email protected]
zame sociaal-economische ontwikkeling is deze doorgaans
www.partos.nl
complex.
Aanbevelingen
• Zorg dat binnen de organisatie een structuur en de
benodigde capaciteit zijn die het mogelijk maken
programma’s en beleid gestructureerd te monitoren en
evalueren, van evaluaties te leren en vervolgens pro-
CDI heeft een ‘Managing for Impact’ (M4I)-aanpak ont-
gramma’s en beleid te verbeteren.
worpen die uitdrukking geeft hieraan. De benadering is
• Betrek partnerorganisaties en doelgroepen actief bij het
gebaseerd op jarenlange en internationale ervaring met het
plannen, monitoren, evalueren en leren op basis van
verlenen van technisch advies in planning, monitoring en
resultaten.
evaluatie aan Nederlandse en internationale ontwikkelings-
• Maak gebruik van beschikbare kennis en draag bij
en goededoelenorganisaties die werkzaam zijn in diverse
aan het leren op sectorniveau. Wees transparant over
sectoren. De M4I-aanpak is een holistische aanpak om
resultaten, ook als deze tegenvallen.
meer impact te bereiken. Centraal staat een nauwe verbinding van strategische en operationele planningsprocessen,
Toekomstvisie
gevoed door monitoring- en evaluatieprocessen. Hierbij
Open data op basis van de IATI-standaarden maken het
wordt uitdrukkelijk aandacht besteed aan het betrekken van
aggregeren, vergelijken, koppelen en traceren van gege-
de verschillende actoren in deze processen en het stimuleren
vens mogelijk, waardoor op termijn inzicht ontstaat in alle
van leren, zowel over een project of programma als over de
geldstromen en de voortgang en resultaten van Internationale
context waarin deze zich bevindt. Daarnaast is het doorden-
Samenwerking. Partos verwacht dat de ontwikkelingen rond-
ken van de capaciteiten en condities die hiervoor nodig zijn
om open data (zoals datajournalistiek, datavisualisaties en
van belang.
de ontwikkeling van apps) op termijn een alternatief zullen
88 |
VISIES
1
2
3
4
5
6
7
8
9
10
Naast kennisontwikkeling en technische ondersteuning, traint
genoemd worden, maar zeker niet minder belangrijk zijn,
Om het gebruik van evaluaties te bevorderen moeten eva-
CDI elk jaar een groot aantal PME-managers, evaluatoren
richten zich op bijvoorbeeld het ontwikkelen van een lerende
luatoren stakeholders betrekken in het evaluatieproces. Dit
en PME-gebruikers van overheden, NGO’s en ontwikke-
organisatie, capaciteitsontwikkeling van partners in de
bevordert ook het leerproces. CDI ondersteunt daarom het
lingsorganisaties in Afrika, Azië, Latijns Amerika en Europa.
interventie of het bevorderen van democratische besluitvor-
gebruik van participatieve en leergerichte methoden en
De vraag naar capaciteitsopbouw op het gebied van PME
ming. De Nederlandse goededoelenorganisaties zouden
beveelt dit ook goede doelen aan. Tip 3: Bevorder partici-
neemt toe. Er is een internationale cursus ‘Participatory
meer aandacht mogen geven aan de verscheidene redenen
patie en leren in resultaatmeting door betrokkenen.
Planning, Monitoring and Evaluation – Managing for
voor en functies van evaluaties; naast de huidige focus op
Impact’ (op dit moment bijna negentig deelnemers) die
verantwoording aan donoren, zouden ze het leren van
Het is ook belangrijk dat resultaatmeting aansluit bij de
jaarlijks plaatsvindt in Wageningen. Daarnaast wordt deze
resultaatmeting sterker kunnen bevorderen om zo niet alleen
context; behoeften, belemmeringen en gelegenheden in de
cursus ook in het Frans gegeven in Burkina Faso. CDI geeft
operationele maar ook strategische besluiten te ondersteunen
organisatie en interventie behoeven aandacht. Er is geen
ook op-maat-gemaakte trainingen en ondersteunt verder
en daarmee meer impact te bereiken.
gouden standaard en een one-size-fits-all-oplossing is niet
organisatieprocessen die als doel hebben PME-processen te
mogelijk. Het design van resultaatmeting moet afgestemd
verbeteren, bijvoorbeeld door het helpen ontwikkelen van
Aanbevelingen
worden op het doel ervan en de specifieke omstandigheden
(participatieve) M&E-systemen. Verder organiseert CDI ook
De M4I-aanpak van CDI gaat ervan uit dat resultaatme-
moeten in acht worden genomen. Tip 4: Sta open voor ver-
internationale ‘M&E on the edge’-conferenties die jaarlijks
tingen utilisation-focused zouden moeten zijn. Dit betekent
schillende evaluatiebenaderingen en -methoden en kies een
een platform bieden voor ‘hot debates’ in innovatie van
dat bijvoorbeeld evaluaties worden gedaan voor en met
aanpak die past bij de specifieke situatie.
PME. Daarnaast heeft CDI een resource portal op het vlak
de eindgebruikers van de evaluatie zodat de kans op het
van managing for impact en specifiek PME-gerelateerde
strategisch gebruik van de evaluatie geoptimaliseerd wordt
Toekomstvisie
issues: www.managingforimpact.org.
en ook bevindingen gevonden kunnen worden die zinvol
Het CDI is van mening dat goededoelenorganisaties en hun
zijn voor een verscheidenheid aan actoren (en bijvoorbeeld
partners baat zouden hebben bij:
Resultaat- en impactmeting
niet alleen de financier). Tip 1: Identificeer de belangrijkste
Bijna elke organisatie doet op de een of andere manier aan
eindgebruikers en word het eens over het gebruik van de
gericht, maar ook op deelname van en leren door be-
resultaat- en impactmeting om de investeringen die het doet
resultaatmetingen.
trokkenen en zo strategische besluitvorming bevordert;
te kunnen verantwoorden en haar activiteiten te verbeteren.
-
-
Het belang van resultaatmeting is over het algemeen geac-
Overeenstemming over doel en gebruik van resultaatmeting
cepteerd. Er zijn echter verschillende redenen voor het doen
vereist dat de organisaties bereid zijn met hun donoren te
van resultaatmetingen. De meest gangbare zijn: bijsturen
praten over het doel en gebruik van resultaatmeting. Daarin
tijdens implementatie, (meestal opwaartse) verantwoording
zien wij een grote uitdaging voor de goededoelenorganisa-
afleggen over behaalde resultaten, strategieontwikkeling
ties. Tip 2: Praat met donoren over het gebruik en doel van
en beïnvloeden van beleid. Redenen die minder vaak
resultaatmeting.
resultaatmeting die niet slechts op verantwoording is
participatie door betrokkenen in design, implementatie
en gebruik van resultaatmeting;
-
het aangaan van een dialoog met donoren over de
doelen van resultaatmeting en de manier waarop dit
gebeurt;
-
open communicatie van resultaatmetingen zodat de
mogelijkheid om ervan te leren beter wordt benut. Er
VISIES
| 89
1
2
3
4
5
6
7
8
9
10
bestaan reeds interessante platforms voor het delen van
NCDO
data waarvan organisaties gebruik kunnen maken.
De focus van onze evaluatie-activiteiten ligt op het meten
van effectiviteit van een interventie: gaan deelnemers aan
een interventie zich anders gedragen? Weten zij meer over
Verwijzing naar publicatie
een mondiaal probleem? Is hun houding ten aanzien van
CDI’s Managing for Impact resource portal:
mensen die leven in ontwikkelingslanden veranderd? NCDO
www.managingforimpact.org.
richt zich daarmee met name op het niveau van de impact
Making Evaluations Matter: A practical guide for Evaluators.
van een interventie op de doelgroep(en).
2011. Written by Cecile Kusters, Simone van Vugt, Seerp
Wigboldus, Bob Williams, and Jim Woodhill.
Wat is NCDO?
NCDO is het Nederlandse kennis- en adviescentrum voor
mondiaal burgerschap. NCDO onderzoekt, traint en stimu-
Evalueren is maatwerk!
• NCDO kiest bij het ontwerp van evaluatiestudies voor
ir. Cecile Kusters
leert de meningsvorming over mondiale thema’s door publi-
maatwerk. De interventie staat hierbij centraal. Maat-
Docent en Participatory Planning, Monitoring and Evaluation
caties te verzorgen en de discussie op gang te brengen.
werk betreft niet alleen de onderzoeksmethoden, maar
(PPME) Expert
NCDO werkt daarbij samen met overheid en politiek, maat-
ook de onderzoeksinstrumenten. De beschrijving van de
schappelijke organisaties, bedrijfsleven en wetenschap.
resultaten van de evaluatie dienen aan te sluiten bij de
Centre for Development Innovation
behoefte van de klant en/of de subsidiënt.
Wageningen University and Research centre
Evalueren: Onderzoek, Advies & Kennisoverdracht
Lawickse Allee 11, gebouw 425
Het evaluatieonderzoek en -advies van NCDO richt zich op
6701 AN Wageningen
interventies die op allerlei manieren beogen mondiaal burger-
Postbus 88
schap onder Nederlanders te bevorderen. Denk hierbij bijvoor-
6700 AB Wageningen
beeld aan evaluaties van lesprogramma’s, debattenreeksen,
kwalitatieve onderzoeksmethoden. De klant en de
Telefoon: 0317 – 486 800
tentoonstellingen, uitwisselingsprogramma’s of serious games.
onderzoeksvraag staan centraal bij de keuze van de
[email protected]
www.wageningenur.nl
worden van de interventie.
• NCDO gebruikt in haar evaluaties kwantitatieve en
• NCDO vindt het belangrijk dat evalueren niet alleen
begeeft zich op drie velden wat betreft evalueren. NCDO
ingezet wordt om te verantwoorden, maar juist ook om
voert zelf evaluatie-onderzoek uit (al dan niet in opdracht
te leren hoe de interventie verbeterd kan worden
ties die actief zijn op dit terrein hoe te evalueren. NCDO
deelt kennis via bijeenkomsten en publicaties van onderzoeksrapporten zodat deze kennis door andere organisaties
kan worden gebruikt.
VISIES
interventie. Het evaluatie onderzoek kan niet los gezien
methoden.
NCDO onderzoekt, adviseert en deelt kennis. NCDO
van derden). NCDO adviseert maatschappelijke organisa-
90 |
• NCDO ziet evaluatie als integraal onderdeel van de
• NCDO evalueert efficiënt en houdt in belangrijke mate
rekening met de kosten van de evaluatie en tijdsinvestering van de partner.
• NCDO vergelijkt. NCDO heeft een vragenlijst ontwikkeld waarmee de mate van mondiaal burgerschap kan
1
worden gemeten. Items uit deze vragenlijst zijn al in
uitgebreide mix van kwalitatieve en kwantitatieve onder-
tal van evaluatiestudies van interventies die zich richten
zoeksmethoden. Denk hierbij aan desk research, outcome
op het versterken van het mondiaal burgerschap in
mapping, most significant change, vragenlijstonderzoek en
Nederland ingezet/gebruikt. Hiermee creëert NCDO
diepte-interviews. Naast de bestudering van effecten neemt
de mogelijkheid om interventies onderling te vergelijken
in deze evaluatie ook het leren van de deelnemende organi-
en kennis met elkaar te delen.
saties een belangrijke plaats in.
2
3
4
5
6
7
8
9
10
• NCDO maakt al haar evaluaties openbaar. Alle evaluaties die NCDO uitvoert worden vrijgegeven op haar
Kijk op onze website voor meer evaluaties:
website.
www.ncdo.nl/effectstudies en voor een online-toolkit evalueren:
www.ncdo.nl/toolkit-evalueren
NCDO evalueert!
Hieronder treft u twee voorbeelden van evaluaties van
Marije van Gent & Christine Carabain
NCDO aan.
Senior Onderzoekers
Habbo goes tweede kamer.
NCDO
Deze studie is een klassieke kwantitatieve evaluatiestudie
Mauritskade 63
naar de effecten van de online-campagne ‘Habbo goes
1092 AD Amsterdam
tweede kamer’ van Coolpolitics. Op basis van vergelijkin-
Postbus 94020
gen van voor- en nametingen met interventie- en controle-
1090 GA Amsterdam
groep worden uitspraken gedaan over de effecten van de
Telefoon: 020 - 568 87 55
campagne op onder andere de kennis over politiek van de
[email protected]
deelnemers.
www.ncdo.nl
E-motive (leren van het Zuiden)
NCDO evalueert in het kader van een EU-subsidie
een aantal Zuid-Noord-expertise-uitwisselingen van het
E-motiveprogramma van Oxfam Novib. Uitspraken over
de effecten op de manier waarop deelnemers en andere
stakeholders over mensen uit het Zuiden denken ten gevolge
van deze uitwisselingen, worden gedaan op basis van een
VISIES
| 91
1
2
3
4
5
6
7
8
9
10
Begrippenkader
Accountability – Het afleggen van rekenschap en verant-
CBF-Certificaat – Het CBF-Certificaat voor kleine goede
Efficiëntie – Het verkrijgen van het grootst mogelijke effect of
woording over bestedingen en resultaten.
doelen is het keurmerk van het Centraal Bureau Fondsen-
resultaat in verhouding tot de middelen.
werving (CBF) voor de kleinere goededoelenorganisaties.
Attributie – Het aantonen dat de effecten en impact op de
Effect – Het gevolg van de activiteiten en resultaten op de
doelgroep en maatschappij het gevolg zijn van de ontplooi-
Controlegroep – Een groep (bijvoorbeeld mensen, onder-
de activiteiten.
zoeken, locaties, flora of fauna) die geen onderdeel heeft
doelgroep, organisatie of maatschappij.
uitgemaakt van de ontplooide activiteit.
Effectiviteit – Het bereiken van het gewenste resultaat.
Correlatie – In de statistiek spreekt men van correlatie als er
Evalueren – Systematisch verzamelen, interpreteren en pre-
(lineaire) samenhang blijkt te zijn tussen twee variabelen of
senteren van informatie teneinde de waarde van een activi-
twee metingen.
teit, project of programma te bepalen.
of negatief beïnvloed worden of die invloed kunnen uitoefe-
Counterfactual analysis – analyse van wat er ook zou heb-
Externe factoren – Factoren die van invloed zijn op het resul-
nen op de organisatie.
ben plaatsgevonden als de activiteit niet zou zijn uitgevoerd,
taat, zoals politieke, sociale, economische, ecologische of
om erachter te komen wat de impact van de activiteiten is
technologische veranderingen.
Beginsituatie – De situatie waarin de doelgroep of populatie
zich bevindt voorafgaand aan de activiteit of het project.
Belanghebbenden/stakeholders – Individuen of organisaties
die als gevolg van de activiteiten van de organisatie positief
Bijeffecten – Onbedoelde effecten van activiteiten, projecten
geweest. Dit kan worden gedaan door de evaluatie ook uit
en programma’s van de organisatie.
te voeren bij een controlegroep.
Causaliteit – Causaliteit verwijst naar de veronderstelling
Doelstelling – Een op korte of middellange termijn nage-
of theorie dat gebeurtenissen plaatsvinden als gevolg van
streefde situatie.
Focusgroepen – Groepen die discussiëren over een vooraf
bepaald onderwerp om ervaringen uit te wisselen, beleid te
maken of de mening van gebruikers te leren kennen.
GRI-richtlijnen – Internationale richtlijnen op het gebied van
bepaalde andere gebeurtenissen die daaraan vooraf
gegaan zijn; een oorzaak gaat vooraf aan een gevolg.
Duurzaamheid – Bestendigheid met het oog op de toe-
Men spreekt in dergelijke gevallen van een causaal verband
komst. Aansluiten op behoeften van het heden zonder het
tussen twee gebeurtenissen.
vermogen van toekomstige generaties om in hun eigen
Impact – Stroming 1: Het totaal van langetermijneffecten
behoeften te voorzien in gevaar te brengen.
– positieve, negatieve, bedoelde en onbedoelde, directe en
CBF-Keur – Het CBF-Keur voor goede doelen is het keurmerk
duurzaamheidsverslaglegging.
indirecte – van activiteiten, projecten of programma’s op de
van het Centraal Bureau Fondsenwerving (CBF) voor de
Eén-meting – Een tussentijdse of eindmeting om te kunnen
doelgroep en de maatschappij.
grote landelijk fondsenwervende instellingen (goededoelen-
bepalen of er veranderingen hebben plaatsgevonden ten
Stroming 2: de effecten (outcomes) op de doelgroep en
organisaties) in Nederland.
opzichte van de beginsituatie (nulmeting).
maatschappij als gevolg van de activiteit. In andere woorden: de outcomes minus ‘wat er toch al gebeurd zou zijn’.
92 |
BEGRIPPEN
1
2
3
4
5
6
7
8
9
10
Impactmethoden – Instrumenten die meetbare resultaten
Kwantitatief onderzoek – Onderzoek naar feiten. Een
Output – De meetbare directe resultaten als gevolg van de
(outputs) en effecten (outcomes) met elkaar proberen te
enquête of bevraging van de doelgroep of een steekproef
ontplooide activiteiten.
verbinden en die proberen om de toegevoegde waarde
van de doelgroep op basis van een vragenlijst met gesloten
van de activiteit te bewijzen ten opzichte van de beste alter-
en veelal cijfermatige (meerkeuze)vragen.
natieve activiteit (vrij vertaald vanuit het Engels, Clark et al.
2004:8).
Participatieve methoden – Instrumenten en methoden waarin
belanghebbenden van de activiteit of het project actief
Logisch model – Een (grafisch) model dat de relatie zicht-
betrokken worden bij de uitvoering en het evalueren van de
baar maakt tussen de middelen die nodig zijn om activitei-
resultaten.
Input – Alle middelen (geld, materiaal, kennis, netwerken
ten, projecten en programma’s uit te voeren, de activiteiten
en uren) die een organisatie inzet om de doelstellingen te
die worden uitgevoerd, de resultaten en de effecten die
Prestatie-indicatoren – Variabelen om prestaties van organi-
realiseren.
bereikt worden. Zie tevens Theory of Change.
saties, beleid, programma’s, projecten of activiteiten te analyseren. Met behulp van prestatie-indicatoren kan een orga-
Institutionele gevers/donateurs/donoren – Financiers en
Maatschappelijke waarde – De blijvende toegevoegde
subsidieverstrekkers zoals overheden, fondsen of andere
waarde of effecten van de activiteit, het project of program-
instellingen die fondsen verstrekken middels het verlenen van
ma voor de gehele maatschappij.
Private donateur – Individuele of particuliere donateur.
nisatie de mate van haar prestaties meten en beoordelen.
een opdracht.
Meetmodel – Een meetmodel beschrijft de expliciete en
Procesmethoden – Instrumenten en methoden die gericht
Interventiestrategieën – Het geheel van activiteiten die
impliciete veronderstellingen over het project of de activiteit.
zijn op het volgen van de efficiëntie en effectiviteit van resul-
goededoelenorganisaties aanwenden om doelstellingen
Het beschrijft met welke middelen, interventies en resultaten
taten, variabelen of indicatoren van lopende operationele
te realiseren. Bijvoorbeeld: fondsenwerving, voorlichting,
de doelstelling van het project kan worden bereikt.
processen.
Monetaire methoden – Instrumenten of methoden die gericht
Publieksvertrouwen – Het vertrouwen van het Nederlandse
Kosten-batenanalyse – Vergelijking van de verwachte totale
zijn op het vertalen van resultaten en effecten naar een eco-
publiek in de goededoelensector. Factoren die van invloed
kosten van een project met de geschatte totale opbrengsten
nomische of monetaire waarde.
kunnen zijn op het publieksvertrouwen zijn extern toezicht,
belangenbehartiging.
om rationeel over het project te kunnen beslissen.
Kwalitatief onderzoek – Onderzoek naar meningen.
CBF-Keur, transparantie, professionaliteit, zichtbaarheid,
Nulmeting – Een meting waarbij de uitkomsten als uitgangs-
publieksbenadering, toewijding, omvang, incidenten en
punt worden genomen voor later onderzoek.
consumentenvertrouwen.
Outcome – De effecten van de directe resultaten op de
Register Goede Doelen – Het Register goede doelen is de
doelgroep.
database op de website van het CBF waar donateurs gratis
Onderzoek waarbij het begrijpen van de belevingswereld
van de onderzochten in een bepaalde situatie centraal staat.
informatie kunnen raadplegen over goededoeleninstellingen.
BEGRIPPEN
| 93
1
2
3
4
5
6
7
8
9
10
Jaarcijfers, grafieken over bestedingen, jaarverslagen en
Storytelling – Het meten van resultaten en impact volgens
worden beoordeeld, waar mogelijk op grond van vooraf
informatie over de doelstelling, het werkterrein, vrijwilligers,
een narratieve methode waarin deelnemers verhalen met
opgestelde normen of eisen.
bestuursleden en directies kunnen via eenvoudige zoekfunc-
elkaar en de organisatie delen over de activiteit.
Waardeketen – Een keten van opeenvolgende (deel)activitei-
ties worden opgezocht op www.cbf.nl.
Theory of Change – ook wel logisch model, verandertheorie
ten waarbij in elke schakel waardetoevoeging plaatsvindt.
Relevantie – Relevant is datgene wat belangrijk is. Bij een
of veranderboom genoemd. Een denkmodel dat beschrijft
Hierbij wordt verondersteld dat de gehele keten van activi-
bepaald onderwerp vormt datgene wat relevant is de essen-
welke middelen (inputs) nodig zijn om de beoogde activitei-
teiten meer toegevoegde waarde heeft dan de som van de
tie van het betreffende onderwerp.
ten uit te voeren, welke direct meetbare resultaten (outputs)
afzonderlijke (deel)activiteiten.
deze activiteiten zullen opleveren, welke effecten (outcomes)
Resultaat- en impactmeting – Het deel van evalueren, waar-
de resultaten verwacht worden te hebben op de doelgroep
bij (statistisch) onderzoek wordt uitgevoerd naar de resultaten
en wat de langetermijnnetto-effecten op doelgroep en maat-
en interne en externe effecten van programma’s, projecten
schappij (impact) zouden kunnen zijn als gevolg van de
en activiteiten van organisaties met als doel inzicht te krijgen
activiteit.
in hetgeen er is bereikt.
Transparantie – Het op een duidelijke wijze inzicht geven
Significant – Een waargenomen resultaat of effect dat niet
in strategie, (beleids)beslissingen, procedures, resultaten en
door toeval is ontstaan, maar door iets anders (bijvoorbeeld
effecten van de organisatie. Dit kan zijn actieve (het openlijk
de activiteiten van de organisatie).
communiceren van de gang van zaken) of passieve transparantie (het geven van openheid van zaken naar aanleiding
SMART-doelstellingen – Doelstellingen van het project die
van vragen van buitenaf).
specifiek, meetbaar, acceptabel, realistisch en tijdgebonden
Verandermodel – Een model waarmee gericht en systema-
zijn.
tisch wordt gestreefd naar (organisatie)verandering.
Stakeholders Zie Belanghebbenden.
Verantwoording – Het afleggen van rekenschap en verantStatistiek – Het verzamelen, bewerken en interpreteren van
woording over bestedingen en resultaten.
cijfermatige gegevens.
Visitatie – Een ter plaatse te verrichten onderzoek waarbij
de omstandigheden waaronder en de wijze waarop activiteiten worden uitgevoerd en de resultaten van de activiteiten
94 |
BEGRIPPEN
1
2
3
4
5
6
7
8
9
10
Trefwoordenregister belangrijkste vindplaatsen
Accountability15,91
Kwantitatief onderzoek
53,93
Attributie
5,6,20,34,47,56,60,83,92
Logisch model
25,41,93,94
Beginsituatie
6,29,32,46,77,92
Maatschappelijke waarde
41,42,45,60,79,93
Belanghebbenden
6,8,9,15,24,33,34,41,44,60,62,64,69,72,73,82,83,92
Meetmodel
6,25,37,93
Bijeffecten20,56,62,92
Monetaire methoden
51,93
Causaliteit
40,57,58,59,73,92
Nulmeting
6,32,37,55,77,92,93
CBF-Keur
3,4,21,75,92,93,99
Outcome
6,16-19,25,26,31,40,42,46,50,60,77,79,92,93
CBF-Certificaat
21,75,92,99
Output
6,16-20,25,31,40,42,46,50,68,77,79,93
Controlegroep
6,14,35,36,47,49,62,74,83,91,92
Participatieve methoden
47,53,54,93
Correlatie
40,57,58,59,73,92
Prestatie-indicatoren
6,21,29-31,42,47,49,62,93
Counterfactual analysis
6,92
Private donateur
93
Doelstelling
6,8,13,16,25,26,30,31,44-47,51,60,62,64,67,73,92
Procesmethoden51,93
Duurzaamheid68,69,84,92
Publieksvertrouwen
15,71,93
Eén-meting92
Register Goede Doelen
3,93
Efficiëntie51,68,69,92
Relevantie64,68,84,94
Effect
5,6,13,15,16,18,20,25,26,31,34,37,41,43,46,49,50,53,
Resultaat- en impactmeting3,6,15,20,21,23,26,29,32,38,39,53,55,62,64,67,69,72,
Effectiviteit
13,15,19,31,51,64,68,69,84,87,90,92
Significant
40,55,58,94
Evalueren
3,8,14,20,23,24,40,41,44,62,63,67,73,79,83,85,90,92
SMART-doelstellingen
23, 26-29,94
Externe factoren
20,25,40,56,59,69
Statistiek
57,58,94
Focusgroepen
6,8,34,38,53,54,61,73,92
56,60,62,92
73,75,77,83,86,87,89,94
Storytelling
53,54,94
GRI-richtlijnen15,92
Theory of Change
23,25,40,83,84,94
Impact3,5,6,15-18,25,31,34,41-43,46,48,50,54,59,62,64,68,
Transparantie
3,13,15,41,74,85,87,93,94
69,79,81,84,88,90,92
Verandermodel41,94
Impactmethoden46,51,93
Verantwoording
Input6,16-19,25,40,41,42,46,50,93
Visitatie53,54,94
Institutionele gevers
Waardeketen6,16-19,25,46,51,94
21,93
3,8,13,15,21,63,68,70,75,85,89,94
Interventiestrategieën93
Kosten-batenanalyse41,93
Kwalitatief onderzoek
53,93
TREFWOORDEN
| 95
1
2
3
4
5
6
7
8
9
10
Literatuurlijst
Ahaus, C.T.B. (2005). Praktijkboek Procesmanagement
EvaluativeThinking, bulletin 6: Using Evaluation
Korten, D.C. (1990) Getting to the 21st Century – Voluntary
Balanced Scorecard & INK- managementmodel. 3e druk.
Findings, http://www.evaluativethinking.org/docs/
Action and the Global Agenda. West Hartford: Kumarian
Kluwer.
EvaluativeThinking.bulletin.6.pdf, geraadpleegd 7 februari
Press.
2013.
Carman, J.G. (2007). Evaluation practice among com-
Kusters, C.S.L. et al. (2011). Making evaluations matter:
munity-based organizations: Research into the reality. In:
Gates Foundation, Annual Letter 2013. http://annualletter.
A practical guide for evaluators. Wageningen: Centre for
American Journal of Evaluation, (28), pp. 60-75.
gatesfoundation.org/pdf/2013_AL_English.pdf, geraad-
Development Innovation, Wageningen University & Research
pleegd 7 februari 2013
centre.
Participatory Impact Assessment: A guide for practitioners.
Guba, E. & Lincoln, Y. (1989). Fourth Generation
Leeuw, F. & Vaessen, J. (2009). Impact Evaluations and
Medford: Feinstein International Center, Tufts University.
Evaluation. Newbury Park, C.A.: Sage.
Development. NONIE Guidance on Impact Evaluation.
Centraal Bureau Fondsenwerving (2011). Verslag
Hess, S. Boucher, T., Dabrovskyy, A. & Ten Hoorn, E.M.
Fondsenwerving 2010. Amsterdam: CBF.
(2010). Evaluating the effectiveness of community-based
Liket, K.C. & Maas, K.E.H. (nog te verschijnen).
conservation in Mongolia’s Gobi Desert. A report to The
Philanthropic Impact, In: Proefschrift Liket, K.C., Hoofdstuk
Nature Conservancy.
2, nog te publiceren (artikel kan opgevraagd worden bij de
Catley, A., Burns, J., Abebe, D., & Suji, O. (2007).
Washington: NONIE.
Centre for Good Governance (2006). A Comprehensive
Guide for Social Impact Assessment. Gebaseerd op
Rietbergen-McCracken, J. & Narayan, D. (1998. Partici-
auteurs, Liket, K.C. [email protected], Maas, K.E.H.,
IDSS (1999). An Introduction to the Logframe Approach.
[email protected])
Washington DC: The World Bank.
Inter-organisational Committee on Guidelines and Principles
London, T. (2008). The Base of the Pyramid Impact
for Social Assessment (1994). Guidelines and Principles
Assessment Framework: Understanding and Enhancing
Clark, C., Rosenzweig, W., Long, D., & Olsen, S. (2004).
for Social Impact Assessment. Prepared by the Inter-
Value Creation. William Davidson Institute/Stephen M. Ross
Double Bottom Line Project Report: Assessing Social Impact
organizational Committee on Guidelines and Principles for
School of Business at the University of Michigan.
in Double Bottom Line Ventures. In: Methods Catalog. New
Social Impact Assessment.
pation and Social Assessment: Tools and Techniques.
York: Rockefeller Foundation.
Maas, K.E.H. (2009). Corporate Social Performance. From
Kolodinsky, J., Stewart, C., & Bullard, A. (2006). Measuring
Output Measurement to Impact Measurement. Rotterdam:
Ebrahim, A., & Kasturi Rangan, V. (2010). The Limits of
economic and social impacts of membership in a community
Erasmus University.
Nonprofit Impact: A Contingency Framework for Measuring
development financial institution. In: Journal of Family and
Social Performance. Working Paper 10-099, Harvard
Economic Issues, 27(1), pp. 27-47.
Business School.
96 |
LITERATUUR
1
2
3
4
5
6
7
8
9
10
Maas, K.E.H., en Liket, K.C. (2010). Talk the Walk.
NBA (2012). Goed Doel, Goed Verhaal. Publieke manage-
Swanborn, P.G. (2007). Evalueren. Het Ontwerpen,
Measuring the Impact of Strategic Philanthropy. In: Journal of
mentletter voor de Goededoelensector. Amsterdam: NBA
Begeleiden en Evalueren van Interventies: Een Methodische
Business Ethics, 100, pp. 445-464.
Basis voor Evaluatie-Onderzoek. Amsterdam: Boom Lemma.
Nicholls, J., Lawlor, E., Neitzert, E., & Goodspeed, T.
Maas, K.E.H., Jansen, P., Pothof, S., & Rehorst, T. (2011).
(2009). A Guide to Social Return on Investment. The SROI
Maatschappelijke Impact van de Nederlandse Hartstichting.
Network and Cabinet Office.
Casus Beroerte 2000 – 2005. Rotterdam: Erasmus School
of Economics and Erasmus Centre for Strategic Philanthropy.
Midgley, L. (2012). Wat is jouw impact? Presentatie tijdens
Ten Hoorn, E.M. (2010). Modern Nomads in the Land
Ní Ógáin, E., Lumley, T., & Pritchard, D. (2012). Making
of the Dinosaurs. A case study of grassland management
an Impact: Impact measurement among charities and social
and poverty reduction among nomadic herders in the Gobi
enterprises in the UK. New Philanthropy Capital.
Desert of Mongolia. Master’s thesis. VU Amsterdam, IVM,
de Transparantprijs Workshopmiddag 2012. Amsterdam:
PWC.
The SROI Network (2012). The Seven Principles of SROI.
Environment and Resource Management.
OECD-DAC (2002). Glossary of Key Terms in Evaluation
and Results Based Management.
Ministerie van Buitenlandse zaken (2011). Evaluation mat-
Vanclay, F. (2003). International Principles for Social Impact
Assessment. In: Impact Assessment and Project Appraisal,
ters: Policy review of the Dutch contribution to basic educa-
OECD (2007). OECD Framework for the Evaluation of SME
tion 1999-2009. IOB Evaluation.
and Entrepreneurship Policies and Programmes.
21(1), pp. 5-11.
Webbink, H.D. (2011). Van Evidentie naar Impact. Oratie
Mitchell R.K., Bradley R. Agle & Wood, Donna J. (1997).
OECD-DAC (2010). DAC Quality Standards for
uitgesproken op 11 februari 2011. Erasmus University
Toward a Theory of Stakeholder Identification and Salience:
Development Evaluation. DAC Guidelines and Reference
Rotterdam.
Defining the Principle of Who and What Really Counts. The
Series.
Academy of Management Review, Vol. 22, No. 4, pp.
853-886.
Weiss, C.H. (1972). Evaluation Research. Methods for
Pink Ribbon (2011). Jaarverslag 2011-2012.
Assessing Program Effectiveness. New Jersey: Prentice-Hall,
Inc., Englewood Cliffs.
Moore, M.H. (2003). The Public Value Scorecard: A
Poortvliet, M. van, Keen, S., & Pritchard, D. (2012).
Rejoinder and an Alternative to “Strategic Performance
Measuring together. Impact measurement in the NEETs sec-
Wetenschappelijke Raad voor het Regeringsbeleid (WRR)
Measurement and Management in Non-Profit Organizations”
tor. New Philanthropy Capital.
(2010). Minder pretentie, meer ambitie. Ontwikkelingshulp
by Robert Kaplan. Working Paper, No. 18. Harvard: The
die verschil maakt. Amsterdam: Amsterdam University Press.
Hauser Center for Nonprofit Organizations, The Kennedy
Stiftung ZEWO (2011). Outcomes and Impact Assessment
White, H. (2009). Some reflections on current debates in
School of Government, Harvard University.
in International Development. Zewo Guidelines for Projects
impact evaluation. Working Paper 1. International Initiative
and Programmes. Zürich: Stiftung ZEWO.
for Impact Evaluation, New Delhi (www.3ieimpact.org).
LITERATUUR
| 97
1
2
3
4
5
6
7
8
9
10
World Resources Institute (2007). The World Economic
Pyramid. In: Hammond, A., Kramer, W.J., Tran, J., Katz, R.,
and Walker, C. (2007). The Next 4 Billion: Market Size
and Business Strategy at the Base of the Pyramid, World
Resources Institute.
WWAV (2013). Het Nederlandse Donateurspanel. Meting
maart 2013.
Internetbronnen, geraadpleegd in de periode van oktober 2012 tot en met maart 2013:
http://www.zonmw.nl/nl/themas/thema-detail/implementatie/monitoren-en-evalueren
http://sites.tufts.edu/feinstein/2008/participatory-impact-assessment
https://www.bja.gov/evaluation/guide/documents/chapter_5_nij_guide.htm
http://www.hks.harvard.edu/hauser/PDF_XLS/workingpapers/workingpaper_18.pdf
http://www.theoryofchange.org
http://unpan1.un.org/intradoc/groups/public/documents/cgg/unpan026197.pdf
http://www.socialevaluator.nl/ip/uploads/tblDownload/SROI%20Guide.pdf
http://www.baseofthepyramid.nl
http://www.outcomemapping.ca
http://www.surveymonkey.com
http://www.survey123.nl
http://www.thesistools.com
http://www.restovanharte.nl/over-van-harte/resultaten-en-jaarverslag/405-landelijke-vergelijking-klanttevredenheid-enquetes-2010
98 |
LITERATUUR
1
2
3
4
5
6
7
8
9
10
Colofon
Deze publicatie is in co-auteurschap geschreven door
Overname van teksten uit deze uitgave is toegestaan, mits
drs. E.M. Ten Hoorn (senior controller CBF) en drs. W.M.
de bron wordt vermeld. U kunt de volgende verwijzing
Stubbe, CSR Academy, in opdracht en onder verantwoorde-
gebruiken:
lijkheid van het Centraal Bureau Fondsenwerving (CBF).
Ten Hoorn, E.M. en Stubbe, W.M. (2013). Resultaat- en
Het CBF verricht beoordelingen in het kader van:
• het CBF-Keur, bestemd voor fondsenwervende instellingen die langer dan drie jaar als zodanig actief zijn en
voor kansspelbegunstigde organisaties;
Impactmeting voor goede doelen. Op weg naar beter
• het CBF-Certificaat voor kleine goede doelen, bestemd
CBFCSR Academy
evalueren, meten en verantwoorden van bestedingen.
voor instellingen waarvan de som der baten niet groter
Anthony Fokkerweg 1 Aert van Nesstraat 25 A1
Amsterdam: Centraal Bureau Fondsenwerving (CBF).
is dan € 500.000 per jaar of voor kansspelbegunstig-
1059 CM Amsterdam
3012 CA Rotterdam
020 - 417 00 03
010 - 297 40 20
de instellingen die niet meer dan € 500.000 per jaar
Aan de totstandkoming van deze uitgave is de uiterste zorg
www.cbf.nl www.csr-academy.com
besteed. Voor informatie die onvolledig of onjuist is opgeno-
[email protected] [email protected]
men, alsmede voor de gevolgen van activiteiten die worden
KvK 41198566
ondernomen op basis van deze brochure, aanvaardt de
KvK 24300043
redactie geen aansprakelijkheid.
verantwoorden van een kansspelvergunninghouder;
• de Verklaring van geen bezwaar, bedoeld voor startende instellingen.
Bestelling van een exemplaar van Resultaat- en Impactmeting
voor goede doelen kan door overmaking van € 20 op ING
De Stichting Centraal Bureau Fondsenwerving (CBF) is een
Bank 11 75 34 van het CBF te Amsterdam onder vermel-
door de Raad voor Accreditatie erkende instelling met certi-
ding van naam, adres en woonplaats.
ficerende bevoegdheid (registratienummer C130). Het CBF
voldoet aan de accreditatiecriteria voor certificatie-instellin-
ISBN/EAN: 978-90-73916-22-7
gen voor productcertificatie zoals vastgelegd in EN 45011
© 2013 Stichting Centraal Bureau Fondsenwerving (CBF)
en ISO/IEC Guide 65.
Het CBF beoordeelt fondsenwervende instellingen en kansspelbegunstigde organisaties. Bij de beoordeling wordt
gebruik gemaakt van criteria opgenomen in het Reglement
CBF-Keur of in het Reglement CBF-Certificaat voor kleine
goede doelen. Aan beoordeelde instellingen die voldoen
aan de keurmerkcriteria wordt een keurmerk afgegeven, het
CBF-Keur. Aan beoordeelde instellingen die voldoen aan de
certificaatcriteria wordt een certificaat afgegeven, het CBFCertificaat voor kleine goede doelen.
COLOFON
| 99
1
100 |
2
3
4
5
6
7
8
9
10
Vlinderend geefgeld
Schenkt het beste uit onszelf
Effect van vertrouwen