Impact van Goede Doelen Organisaties 13 december 2010 Dr. Karen Maas Inzicht in Impact • Er wordt heel veel over gesproken, zowel in bedrijfsleven als bij overheden, NGO’s en GDO’s. • Veel discussie: nut en noodzaak • Hoe weet je wat je bereikt hebt? – De goede dingen doen • Effectiviteit: – waarde propositie (wat wil je bereiken?) – veranderingstheorie (hoe kun je dat bereiken?) – De dingen goed doen • Efficiency: – welke activiteit, op welke manier, wanneer Wat is impact? Impact is de waarde die een goede doelen organisatie (GDO) creëert voor haar doelgroep (Emerson et al., 2000). 1. 2. 3. Som van totale impact op de maatschappij: bedoelde en onbedoelde positieve en negatieve effecten Maatschappelijke impact ten opzicht van een benchmark ‘what would have happened anyway’ Impact zoals deze ervaren wordt door de doelgroep en andere geraakten, per definitie dus participatief, waarbij het perspectief wordt verlegd van de organisatie naar deze groepen Van input tot impact Input Wat erin gaat: Activiteiten Wat er wordt gedaan: Output Resultaten – direct Outcome Resultaten – middelen lange termijn Impact Resultaten – LT blijvende effecten: •Geld •Materiaal •Kennis •Uren •Basis benodigdheden geleverd zoals voeding behandeling en onderdak •Capacity building •Constructie van infrastructuur •Politieke dialoog •Mensen gevoed, behandeld of behuisd •Mensen getraind of opgeleid •Wegen gebouwd •Goederen getransporteerd naar de markt en verkocht •Notities en rapporten geschreven •Coalities gesloten en netwerken opgebouwd •Verbeterde levenscondities, gezondheid, etc. •Hogere inkomsten •Versterkte politieke stem •Afname armoede •Verandering in politieke situatie en regels •Verbeterde rechtspositie en politieke macht •Fundamentele verandering in maatschappelijke normen en verhoudingen Impactmeting Beperking van bestaand onderzoek & praktijk: 1. Weinig informatie over waarom je impact zou meten 2. Weinig informatie op wat je met de resultaten kunt 3. Focus op input & output in plaats van impact 4. Focus op organisatie in plaats van op de maatschappij 5. Focus op wat te meten in plaats van hoe te meten Vragen bij meten: 1. Waarom meten? 2. Wat wil ik meten? Als je besluit outcome of impact te meten: 1. Is er impact (direct, indirect, positief, negatief, bedoeld, onbedoeld)? 2. Causaliteit (draagt de activiteit bij aan impact)? 3. Attributie (komt de verandering door jouw bijdrage)? Waarom meten? 1. Legitimiteit 2. Verantwoording afleggen: 1. Upwards naar donatoren/funders 2. Downwards naar doelgroep 3. Intern 3. Besluitvorming 4. De lerende organisatie Strategie ontwikkeling Wat wil ik meten? - Ongericht Uitgaven Behalen doelstellingen Audit Behalen missie Outcome Impact Data verzameling: meer en moeilijker Hoe kun je impact meten? 1. Is er impact (direct, indirect, positief, negatief, bedoeld, onbedoeld)? 2. Causaliteit (draagt de activiteit bij aan impact)? 3. Attributie (komt de verandering door jouw bijdrage)? • Zoveel mogelijk objectiveren van subjectieve resultaten a. Reconstructie met data en statistieken b. Voorspellend - O.b.v. ervaring, expert knowledge of literatuur c. Evaluatie Perceptiestudie d. Voor en Na-meting (causaliteit vaststellen) e. Controle groep (attributie vaststellen) Randomized Control Trial (RCT) Wanneer gebruik je wat? Complex Systeem resultaten Verandering in maatschappelijke normen en beleid (over rechten en vrijheden, goed bestuur en efficiënte markten) Meet output en invloed (intermediaire outcomes) Eenvoudig Veranderingstheorie Institutionele resultaten Meet outcomes en impact Niche resultaten Geïntegreerde resultaten O.a. basisvoorzieningen en noodhulp, voedselbanken, crisis centra’s Meet input, activiteiten en outputs Economische ontwikkeling, landelijke ontwikkeling, beheer natuurlijke hulpbronnen, ontwikkeling samenwerking Dienstverlening (in gezondheid, onderwijs, werk), inentings campagnes, complexe hulpdiensten Meet outputs, outcomes en soms impacts Gericht Complex Operationele strategie Ebrahim & Rangan, 2010 Wat kun je met de resultaten? • Let op: Meten is een middel om inzicht te krijgen en geen doel op zich • Gaan voor de grootste impact? • Accepteren lage of LT impact? • Opstellen mix? • Het meetproces levert al veel informatie op. Conclusie • Meten van impact geeft meerwaarde • Geen generieke methode kan gebruikt worden door alle organisaties • Verschillende methoden voor verschillende doelstellingen Discussie • Impact meten is geldverspilling • Donateurs zijn niet geinteresseerd in impact • RCT’s zijn onethisch