Kwalitatieve vormen van evaluatieonderzoek

Aspecten van
evaluatieonderzoek
Erik Snel
Afdeling Sociologie
Erasmus Universiteit Rotterdam
Inhoud
• Wat is evaluatieonderzoek?
• Aspecten van evaluatieonderzoek
• Evaluatieonderzoek en bewijskracht
Wat is evaluatieonderzoek?
• Evaluatie = iets op waarde schatten (geld, een
beleidsprogramma of interventie)
• Evaluatieonderzoek = wetenschappelijk
onderzoek met het oog op het beoordelen van
inhoud, processen en/of effecten van beleid of
specifieke interventies
• Basisvraag: wat werkt en wat niet? Maar ook
andere vragen zijn van belang!!
Waarom evaluatieonderzoek?
• Voor opdrachtgevers/financiers van beleid (“de
belastingbetaler”): is het geld goed besteed?
• Voor professionals/uitvoerders van beleid: doen
we het goed? Kan het beter?
• Voor clienten/gebruikers: krijg ik optimale zorg
of voorzieningen?
• Evaluatieonderzoek als
bedreiging?
Centrale vragen in evaluatieonderzoek
• Relevantie (relevance): interventie gericht op
bestaande behoefte c.q. politieke doelen?
• Plausibiliteit (plausible): bewijs dat interventie kan
werken? (beschikbaar onderzoek)
• Efficiency (efficiency): interventie op tijd en niet te
duur?
• Effektiviteit (effectiveness): verwachte producten
(outputs) en beoogd resultaat (outcomes) bereikt?
• Effect (impact): verbeterde situatie als gevolg van
interventie?
• Duurzaamheid (sustainability): blijft beoogd effect
ook op langere termijn bestaan?
Aspecten van evaluatieonderzoek
Aspecten van evaluatieonderzoek
effectevaluatie
Procesevaluatie
Resources
activities
Initial
outcomes
outputs
Intermediate
outcomes
Long term
outcomes
Time
• Procesevaluatie: onderzoek naar verloop en organisatie van
programma : worden beoogde beleidsproducten (“outputs) bereikt?
• Effectevaluatie: onderzoek naar effecten van een programma:
worden beoogde doelen (“outcomes”) bereikt?
Externe invloeden
• Causaliteitsvraag als basisvraag van evaluatieonderzoek
• Waargenomen effect daadwerkelijk gevolg van
beleid of van andere factoren/ontwikkelingen in
de omgeving van beleid?
• Klassiek voorbeeld: leidde het “zero tolerance”beleid van burgemeester Guliani (NYC) tot
minder criminaliteit?
Bewijskracht
Omschrijving
Causaal
Alles plus
controlegroep
Soorten onderzoek
Kwalificatie
Experimenteel
onderzoek (RCT)
------------------------Quasi-experimenteel
Beschrijving,
onderzoek
interventietheorie
------------------------plus effectmeting
Effectmeting
(klanttevredenheid)
Klanttevredenheidsonderzoek
4 Werkzaam
(effectief)
Theoretisch
Beschrijving plus
geloofwaardige
interventietheorie
(mechanismen)
Meta-analyse
Literatuurstudie
(“review”)
2. Veelbelovend
Descriptief
Beschrijving van
interventie (doelgroep, middel,
uitkomst) en
context
Descriptief
onderzoek
Documentenanalyse
Interviews
1. Potentieel
Indicatief
3. Doeltreffend
“Moraal van het verhaal”
Evaluatieonderzoek in maten en soorten,
ieder met eigen vooronderstellingen en
een bepaalde “bewijskracht”