PowerPoint-presentatie

Workshop
Evaluatieonderzoek
‘Evalueren’
De waarde van iets beoordelen
‘Evaluatieonderzoek’
Waarde beoordeling op basis van onderzoek
of systematisch vastgelegde gegevens
Frits Harinck
Erica de Bruïne
Warm draaien
• Als iemand aanbiedt gratis een
evaluatieonderzoek voor jou te verrichten, bij
jouw instelling of afdeling, welke situatie zou
je kiezen welke vraag laat je hem
beantwoorden?
• ……………………………………
Geschiedenis; evaluatie op de 7e dag
And God saw everything that He made. 'Behold,' God said, 'it's
very good'. And the evening and the morning were the sixth day.
And on the seventh day God rested from all His work.
His archangel came then, asking: ‘God, how do you know that
what you have created is 'very good'? What are your criteria? On
what data do you base your judgement? Aren't you a little close
to the situation to make a fair and unbiased evaluation?’
God thought about these questions all that day and His
rest was greatly disturbed. On the eight day God said,
'Lucifer, go to hell.'
Thus was evaluation born in a blaze of glory.
Patton (1981; 17)
Geschiedenis, evaluatie in het oude China; 615 AC
China was niets voor niets bekend voor dit relatief democratische
examensysteem om door selectie de beste en meest kundige
ambtenaren te selecteren en ook de meest efficiënte regering van
alle oude beschavingen in de wereld. Zo kon een relatief arme
boerenzoon door dit systeem toch opklimmen tot een invloedrijke
ambtenaar of zelfs
gouverneur van een
provincie. Dit was in
het feodale Europa
vrijwel onbestaande.
Met dank aan de
invloed van Confucius
"in onderwijs mag er
geen onderscheid zijn
in (sociale) klassen...."
Evaluation research; 1948
• Zijn onze wetenschappelijk gefundeerde
treatments wel bruikbaar voor de
maatschappij? Zijn ze effectief?
• Wetenschappelijk aantonen oorzaak gevolg
relatie
• In een lege context (laboratorium)
• Wetenschapper is eigenaar
• Werkt geprogrammeerde instructie?
Programma-evaluatie; 1960
• Werken treatments ook in de natuurlijke praktijk.
Aangeklede interventies, in real life, in een unieke
context: programma’s
• Programma:Een programma is een
samenhangend stelsel van activiteiten (
interventies, behandelingen, organisatie,
mankracht, expertise), waarmee men bepaalde
diensten wil verlenen of bepaalde effecten /
doelen wil bereiken
• Treatment simpel, programma complex.
Programma evaluatie; summatief
Wat zijn programma’s waard?
• Worden doelen bereikt?
• Zo ja, ligt het wel aan het programma? (effect)
• Hebben de klanten er baat bij? (tevredenheid
met opbrengst)
Summatief evalueren bouwt op
• Summatief evaluaren is meestal niet beslist via
één onderzoek.
• Meerdere onderzoeken leven steeds meer en
hardere ondersteuning (of niet).
• Zo bestijg je de effect ladder (van Yperen en
Veerman, 2008).
Programma-evaluatie formatief
Hoe kan een programma waardevoller gemaakt
worden?
• Wat zijn zwakke plekken, succespunten
volgens de klanten?
• Wat zijn zwakke plekken, succespunten
volgens de medewerkers?
Wat is het grootste succesnummer in de
programma-evaluatie? Jullie doen het allemaal.
Programma-evaluatie; belangrijke
kenmerken
•
•
•
•
•
•
Onderzoeken en handelen onderscheiden
Gericht op beoordelen én verbeteren
Multimethod, multiperspectives,
Veel aandacht voor stakeholder involvement
Al vroeg quality standards (1980)
Belangrijk in evidence based,
kwaliteitsverbetering
F. Harinck
Moderne ontwikkelingen
• Evaluerend handelen (Anita Blonk)
• Praktijkgestuurd onderzoek, effectladder (van
Yperen, Veerman).
• Centraal staat complexe interventie theorie
(kenmerken van clienten, van context, van
plan en activiteiten, en van uitkomsten)
• Voortdurende gegevensverzameling
ondersteunt en verfijnt die theorie;
Zelf aan de slag I.
• Vorm kleine groepjes, raadpleeg leestafel (de
PO’s)
• Overleg met elkaar. Welke PO’s stimuleren je,
verbinden zich met eigen ervaringen? Hoe?
• Zie je ook valkuilen in deze manier van
onderzoeken? Welke?
• Wat vond je het mooiste PO? Waarom?
Noteer reacties op post-its
Zelf aan de slag II
• Wissel van groepje.
• Bekijk opnieuw de PO’s, nu uitsluitend lettend
op instrumenten.
• Wat vormen voor jouw waardevolle
instrumenten? Waar zit dat in?
• Gebruik desgewenst de checklist instrumenten
ter gedachtenbepaling (achterin handout).
Conclusies weer op post its
Plenair
• Wat betekent voor jullie programmaevaluatie? Heeft het waarde? Wat zijn
valkuilen?
• Vraagt programma-evaluatie om aangepast
begeleiden?
• Een instrument is met name waardevol als
……………………..