10-stappenplan voor een Impact Analyse

Impactmeting:een10stappenplan
Stap1:Deprobleemanalyse
De eerste stap in een impactmeting omvat het formuleren van de zogenaamde
‘probleemanalyse’welketotstandkomtdoorantwoordtegevenopdevolgendevijf
vragendieal(deels)zijntoegespitstopdescope(organisatie,project,interventie)van
hetonderzoek:
a) Watishetmaatschappelijkeprobleem?Watisdehuidigeongewenste
situatie?
b) Watisdeurgentieomditprobleemaantepakken?Envoorwie
(stakeholders)?Wiezouwelkegevolgenondervindenalsernietsaanhet
probleemwordtgedaan?
c) Watisdeomvangvanditprobleem?Hoeveelmensenhebbenhiermeete
maken?Zijnersubdoelgroepenteonderscheiden?
d) Welkeoplossingishiervoorontwikkeld?
e) Watzijndemaatschappelijkedoelen(ofweldeverwachte‘outcomes’)?
Stap2:Vaststellenvandestakeholders
Vervolgens dient te worden besloten welke ‘stakeholders’ er in de analyse worden
opgenomen. Stakeholders zijn alle organisaties en personen waarop het beleid,
programma/project of organisatie/onderneming een effect heeft. Om te bepalen
welke stakeholders dienen te worden opgenomen in de analyse wordt er uitgegaan
vanhetzogenaamde‘materialiteitsprincipe’datafkomstigisuithetboekhouden.
In boekhoudkundige termen is iets ‘materieel’ als het de potentie heeft de
keuzesvaneenstakeholderofbijvoorbeelddelezervaneenrapportdebeïnvloeden.
Hetbetreftinformatiedat,wanneerhetwordtweggelatenuitdeanalyse,eenonjuist
ofonvolledigbeeldgeeftvandeactiviteitendiewordengeanalyseerd.Hettoepassen
vanhetmaterialiteitsprincipebijhetvaststellenvandekey-stakeholderszorgtervoor
dat de relevante stakeholders in de analyse worden opgenomen, terwijl personen of
organisaties die nauwelijks relevante en significante veranderingen ondervinden
erbuiten worden gelaten. Let er hierbij op dat stakeholders die relevante negatieve
effecten ondervinden of veroorzaken ook in de analyse moeten worden opgenomen
omtevoorkomendatertenonrechteeentepositiefbeeldwordtgeschetst.
Stap3:Vaststellenvandegeleverdeinputperstakeholder
Nu duidelijk is geworden wie de key-stakeholders zijn, is het tijd om voor al deze
stakeholdersvasttestellenofzeeeninputleveren,enzoja:welke.Opdezemanier
wordtduidelijkwelkebijdrageiederestakeholderlevert.Inputszijnallebijdragenvan
stakeholders en kunnen zowel financieel als niet-financieel van aard zijn. Per
stakeholderdoorloopjedevolgendestappendoor:
1. Stelvastofeenbepaaldestakeholdereeninputlevertofniet.
2. Benoemvoorelkestakeholderdieeeninputlevertwelkeinputdatdanprecies
is en bepaal of het om een financiële of niet-financiële input gaat. Bij een
2
financiëleinputkanerwordengedachtaaneensubsidieofeeninkoopbedrag,
terwijl een tijdsinvestering (het aantal uren), geleverde kennis, materialen, et
ceteravoorbeeldenzijnvanniet-financiëleinput.
3. Alseenlaatstestapkanereenwaardewordentoegekendaanelkeinput:
a. De waarde van financiële input, zeker als het om een eenmalige
financiëlebijdragegaat,isoverhetalgemeeneenvoudigvasttestellen.
Onthoud hierbij wel dat het belangrijk is om de kosten die worden
gemaaktomdeinputtelevereninhettotaalbedragdienenteworden
meegenomen.
b. Bepaal of er een financiële waarde moet worden toegekend aan een
niet-financiële input, onder andere op basis van professionele
afwegingen.
Eenaantalbelangrijkeopmerkingen:
- Let erop dat alle inputs die worden geregistreerd ook daadwerkelijk worden
gebruikt.Metanderewoorden:isofwasdeinputnoodzakelijkomdeopdracht
uittekunnenvoeren?
- Let erop dat de opdracht niet afhankelijk is van bijdragen van elders uit de
organisatiewaarmeegeenrekeningisgehouden.
- Leteropdatinputnietdubbelwordtgeteld!
Stap4:Definiërenvandeactiviteitenperstakeholder
In de volgende stap wordt voor iedere stakeholder in kaart gebracht wat er precies
wordt gedaan met de geleverde input: de activiteiten. Dit is bijvoorbeeld een
product/dienst, programma, een interventie, et cetera. Het is belangrijk om duidelijk
temakenwelkeactiviteitenervooriederestakeholdervolgenuitdegeleverdeinput,
aangezien deze activiteiten bepalen welke effecten er voor iedere stakeholder
uiteindelijkzullenoptreden.
Stap5:Vaststellenvandeoutputsperstakeholder
Het vaststellen van de outputs per stakeholder volgt op het in kaart brengen van de
activiteiten. Outputs omvatten alle korte termijnresultaten van de ontplooide
activiteitenenzijninfeiteeenkwantitatievesamenvattingvandezeactiviteiten.Alsde
activiteit bijvoorbeeld het leveren van producten/diensten betreft, zou het aantal
productieafsprakendatdaaruitvoortkomteenmogelijkeoutputkunnenzijn.
Stap6:Vaststellenvandeeffecten(outcomes)perstakeholder
Een van de belangrijkste onderdelen van een impact analyse betreft het vaststellen
van de ‘outcomes’: alle veranderingen die, als gevolg van de activiteiten, op de
(middel)langetermijnoptredenvoordeindeanalyseopgenomenstakeholders.Hetis
3
essentieel om er hierbij rekening te houden dat het gaat om alle relevante effecten,
ongeachtofdezepositief,negatief,bedoeldofonbedoeldzijn.Omdittekunnendoen
ishetvanbelangomdeopgetredenveranderingentebekijkenvanuithetperspectief
vandestakeholder.
Het in kaart brengen van (mogelijke) effecten per stakeholder kan effectief
worden gedaan door stakeholders simpelweg te vragen welke veranderingen zich
hebbenvoorgedaan(ofnaarverwachtinggaanvoordoen).
Vaakstaaneffectennietopzichzelf,maarkomendezevoorineenzogenaamde‘keten
van gebeurtenissen’. Dat wil zeggen: gebeurtenis X leidt tot gebeurtenis Y, die weer
leidt tot gebeurtenis Z. Het is belangrijk om voor iedere stakeholder een keten van
gebeurtenissen te maken, zodat inzichtelijk wordt hoe een activiteit tot een bepaald
effect leidt. Zo’n keten kan vaak erg lang worden door een groot aantal
opeenvolgendeeffecten.Bijiedereffectdientuzichaftevragenofdezenogwelistoe
teschrijvenaandeactiviteiten.Opbasisdaarvankandanwordenbepaaldwelkeffect
er gemeten gaat worden in de analyse: effect 2, effect 3, of wellicht alleen het
eindeffect?Houdhierbijingedachtedatuhetveroorzakenvaneeneffectalleenkunt
claimenalsudatookdaadwerkelijkkuntmeten.
Eenvoordeelvanhetwerkenmeteffectenketensisdathethelpttevoorkomen
dateffectendubbelwordengemeten.Iniedereeffectenketenmagnamelijkmaaréén
effectindeanalysewordenopgenomen.
Stap7:Vaststellenvandegemaakteimpactvooriederestakeholder
Nu de effecten zijn vastgesteld, rest de vraag welk aandeel van de veranderingen
daadwerkelijk door de activiteiten is veroorzaakt. Doorgaan zijn niet alle effecten
voledigtoeteschrijvenaandeorganisatiewaarwordtingekocht.Hetcorrigerenvan
andereelementendiehierineenrolspelengebeurtdoormiddelvaneenzogenaamde
‘impactclaim’diealsvolgtisopgebouwd:
- ‘Deadweight’: het deel van een ‘outcome’ dat sowieso zou hebben
plaatsgevonden,zelfsalsdeactiviteitniethadplaatsgevonden.Hoehogerhet
‘deadweight’ percentage is, hoe kleiner het aandeel van de activiteit in het
opgetredeneffect.
- ‘Displacement’: in hoeverre heeft het effect andere effecten vervangen? Het
gaathierbijmogelijkomeenverplaatsingvanhetprobleem.
- Attributie:hetdeelvandeverandering(de‘outcome’)datisveroorzaaktdoor
anderepersonenoforganisaties.Hierbijgaatheteromdatuzichervanbewust
bentdatdeactiviteitmogelijknietdeenigeisdieeenbepaaldeffectteweeg
brengt.
- ‘Drop-off’: het deel van een effect dat in de toekomst wordt beïnvloed door
anderefactoren,waardoorheteffectindeloopdertijdafneemt.
Aanelkvandezeelementenkaneenpercentagewordengekoppelddatcorrigeertin
hoeverre effecten toe te schrijven zijn aan het beleid, programma/project of
organisatie.
4
Dezepercentageskunnenopverschillendemanierenwordenverzameld,namelijk:
- Doorhetinzettenvaneencontrolegroep.
- Doorhettevragenaandestakeholders:“Inhoeverreheeftdezeactiviteitertoe
bijgedragendateffectxisbereikt–0%,25%,50%,75%of100%?”;“Welke
anderepartijenofgebeurtenissenhebbenhieraanbijgedragen?”
- Dooreenaannametedoenopbasisvananderepartijenengebeurtenissendie
plaatsgaanvindenofhebbengevonden.Indienueenprognosemaaktkuntu
vervolgensgaanmonitorenofdezeaannamecorrectwas.
Inplaatsvangebruiktemakenvan‘deadweight’,‘displacement’,attributieen‘dropoff’omuwimpactclaimtebepalen,kanerookvoorwordengekozenoméén
percentagetehanterenvoordetotaleimpactclaim.
Stap8:Bepalenvanindicatorenomeffectentemeten
Bij het uitvoeren van een impactmeting is het belangrijk te weten in hoeverre
bepaalde effecten zijn opgetreden. Dit wordt gedaan door gebruik te maken van
indicatoren, die aangeven of een effect is opgetreden en hoe groot dat effect was.
Indicatoren bevatten dan ook vaak woorden als ‘minder’, ‘meer’, ‘hoger’ of ‘lager’.
Vooriedere‘outcome’dienenereenofmeerdereindicatorentewordenopgestelddie
geschikt zijn om verandering te meten. Deze indicatoren kunnen zowel objectief
(afname van het aantal bijstandsuitkeringen) als subjectief (sterker gevoel van
eigenwaarde)zijn.Waarmogelijkwordtdevoorkeurgegevenaanhetcombinerenvan
beidesoortenindicatoren,zodatereenzocompleetmogelijkbeeldontstaat.Houder
bijhetvaststellenvandeindicatorenallereerstrekeningmeedatzemeetbaarmoeten
zijn.Alleendanzijnzeimmersbruikbaar.Bovendienmoetenzetemetenzijnbinnen
degesteldtijdvoorhetonderzoekenmetdebeschikbaremiddelen.
Stap9:Waarderen(optioneel)
Het uitdrukken van effecten in een geldwaarde is een optionele stap van een
impactmeting. Afgezet tegen de ‘input’ (die ook in een geldwaarde uitgedrukt kan
worden)leidtdittoteenkwantitatievemaatstafombijvoorbeeldhetmaatschappelijk
rendementzichtbaartemaken.Maarhoekunneneffectenineengeldwaardeworden
uitgedrukt?
Erzijngrofwegtweeverschillendesoortenmethodsteonderscheiden:
1. Effectendieleidentoteenkostenbesparing,zoals:
– Uitkeringenbespaard
– Lagerekostendoorminderaanrakingmetjustitie
– Zorgkostenbespaard
5
2. Effectendieleidentoteenbeleefdewaarde,zoals:
– Meerzelfvertrouwen
– Zelfredzaamheid
– Sociaalnetwerkopgebouwd
Beide groepen waarderingsmethoden omvatten diverse specifieke methoden die
afhankelijk van het type effect kunnen worden toegepast. Met behulp daarvan kan
uiteindelijkeenwaardeaande‘outcomes’wordentoegekend.Echter,erkanworden
beslotenomaanbepaaldeeffectengeenfinanciëlewaardetoetekennen.
Stap10:Implementatie:monitoring,evaluatieenrapportage
De laatste stap is de implementatie van een impact analyse waarin keuzes gemaakt
wordentenaanzienvan:
• Monitoring
o Bijwelkestakeholderswordtdataverzameld?
o Op welke manier wordt bij deze stakeholders data verzameld (via een
onlineenqueteinSinzer,interviews,focusgroepen,etc.)
o Steekproefomvang en samenstelling: bij hoeveel en welke personen
wordtdataverzameld?
o Wat is de meetfrequentie: 4 wekelijks, maandelijks, per kwartaal, half
jaar/jaar?
o Regie:wiegaatdemetinguitvoeren?
• Evaluatie
o Wieanalyseertderesulten?
o Hoewordenderesultatenbeoordeeld?
o Watzijndeconsequenties?
• Rapportage
o Watisdedoelstellingvanderapportage?
o Wieisdelezervanhetrapport?
o Wat betekent de informatie (data analyse)? En wat zijn de
consequenties?
o Watishetgewenstevormgevingenpresentatie?
Inhetuiteindelijkerapportwordennietalleenderesultatenvermeld,maarspeeltook
het proces een belangrijke rol. Hierin wordt verantwoord welke keuzes er zijn
gemaakt,enwaarom.Ditdraagtbijaandetransparantievandeanalyse.
6
7