Het Ministerie van VWS voert al sinds 1987 een actief en

Hoe meten we of de juiste snaar
geraakt is?
Handleiding voor de evaluatie van projecten
voorlichtingsbeleid herdenking WOII
Ministerie van VWS
december 2007
1
INHOUDSOPGAVE
blz.
1. Inleiding
3
2. Het belang van effectmeting
4
3. Een overzicht van de belangrijkste begrippen
5
4. Het formuleren van doelstellingen
7
5. De omvang van de evaluatie-inspanning
9
6. Het niveau van de effectmeting
9
7. Technieken om informatie te verzamelen
11
8. Het tijdstip van evaluatie
14
9. Het trekken van een steekproef
15
Bijlage
Bijlage
Bijlage
Bijlage
Bijlage
Bijlage
Bijlage
1:
2:
3:
4:
5:
6:
7:
Tips voor het organiseren van groepsgesprekken
Tips voor het afnemen van face-to-face interviews
Tips voor het afnemen van telefonische interviews
Tips voor het ontwerpen van een vragenlijst
Voorbeeld vragenlijstje leerlingen
Format voor een test
Tips voor het uitvoeren van observaties.
2
1. Inleiding
Het Ministerie van VWS voert al sinds 1987 een actief en systematisch beleid op het gebied
van voorlichting over de Tweede Wereldoorlog. Aanleiding voor het
(jeugd)voorlichtingsbeleid is het gegeven dat de overgrote meerderheid van de bevolking na
de Tweede Wereldoorlog geboren is en dat dus nog slechts een klein deel ervan de oorlog
werkelijk heeft meegemaakt. Alle oorlogs- en verzetsmusea en herinneringscentra in
Nederland kunnen vanaf 1998 in aanmerking komen voor een projectsubsidie voor
voorlichtingsactiviteiten. Na overleg met het veld is in 2005 de beleidsnotitie ‘Raak de juiste
snaar’ geschreven. Daarin werd een herziening van het (jeugd)voorlichtingsbeleid
aangekondigd. Zo kwam er meer nadruk te liggen op continuïteit en werd meer aansluiting
gezocht bij de discussies over burgerschapsvorming, grondrechten en nationale identiteit.
Ook zal er stringenter worden gewerkt aan monitoren, kwaliteitszorg en het meten van
effecten. Over dit laatste onderwerp, het meten van effecten, gaat deze handleiding.
Effectmeting van projecten wordt om verschillende redenen steeds belangrijker. Ten eerste
wordt de laatste jaren vanuit de overheid, daartoe gestimuleerd door de Tweede Kamer en
de Algemene Rekenkamer, kritischer gekeken naar de uitvoering en uiteindelijke
opbrengsten van allerlei door de overheid (mede-)gefinancierde projecten. Dat geldt ook
voor de voorlichtingsactiviteiten over de Tweede wereldoorlog. Ten tweede
is het belang van evaluatie en effectmeting bij de overheid en non-profit organisaties in het
algemeen groter dan in de profitsector. In de private sector vormen de gegevens over de
werking van de markt (hoeveel klanten kopen welke producten op welk tijdstip?) de
belangrijkste informatiebron voor de beoordeling van de resultaten. Bij de overheid en in
non-profit organisaties ontbeert men meestal zo’n marktmechanisme, omdat er geen
kostendekkende tarieven (kunnen) worden gevraagd en het om ‘merit goods’ gaat (d.w.z.
producten of diensten die de overheid waardevol vindt, ongeacht of burgers er om vragen).
Daarom is specifieke effectmeting bij deze organisaties essentieel. Ten derde denken we dat
effectmeting ook belangrijk is voor de instelling zelf en voor de personen die
verantwoordelijk zijn voor de uitvoering van een project. Iedereen wil immers graag weten
of alle inspanningen ook het gewenste resultaat hebben opgeleverd.
In deze handleiding wordt uitgelegd welke eisen het Ministerie van VWS concreet stelt aan
het meten van effecten van de voorlichtingsactiviteiten. Ook worden praktische suggesties
gedaan hoe effecten zodanig in kaart kunnen worden gebracht, dat dit realistisch en
uitvoerbaar is voor de instellingen die de voorlichtingsactiviteiten ontplooien. De handleiding
is bedoeld voor oorlogs- en verzetsmusea, herinneringscentra en andere organisaties in
Nederland die bij het Ministerie van VWS subsidie aanvragen voor voorlichtingsactiviteiten
over de Tweede Wereldoorlog.
In paragraaf 2 worden eerst nog eens de eisen die het Ministerie van VWS stelt aan de
effectmeting op een rijtje gezet. In paragraaf 3 wordt een overzicht gegeven van de
belangrijkste begrippen op het gebied van evaluatie en effectmeting. Paragraaf 4 gaat in op
het formuleren van meetbare en realistische doelstellingen. Paragraaf 5 is gewijd aan de
verhouding tussen de omvang van het project en de omvang van de evaluatie-inspanningen,
terwijl paragraaf 6 handelt over het niveau waarop een effectmeting kan worden uitgevoerd.
In paragraaf 7 en 8 wordt informatie gegeven over de verschillende technieken om te
evalueren en effecten te meten, en het tijdstip van evaluatie. Paragraaf 9 beschrijft tenslotte
onder welke voorwaarden een steekproef kan worden getrokken en hoe dat in zijn werk
gaat.
3
In de bijlagen staan tips voor degenen die zelf met de effectmeting aan de slag gaan. De
bijlagen handelen over het organiseren van groepsgesprekken (bijlage 1), het afnemen van
diepte-interviews (bijlage 2), het afnemen van telefonische interviews (bijlage 3), het
opstellen van een eenvoudige vragenlijst (bijlage 4) en het uitvoeren van observaties
(bijlage 7). Ook treft men in de bijlagen een voorbeeld aan van een vragenlijstje voor de
leerlingen (bijlage 5) en een format voor een test (bijlage 6).
2. Het belang van effectmeting
In de beleidsnotitie ‘Raak de juiste snaar’, Voorlichtingsbeleid herdenking WOII in de periode
2006 tot en met 2010, oktober 2005, wordt het volgende over evaluatie en effectmeting
geschreven:
-
Er is bij traceerbare groepen altijd sprake van een nulmeting en van een afsluitende evaluatie
(cijfermatig en kwalitatief).
Bij projecten die langer dan 1 jaar duren is er daarnaast lopende het project ook sprake van
een tussentijdse evaluatie en tussentijdse producten. Cijfers met betrekking tot de frequentie
van activiteiten, realistische schatting en realisatie van het bereik beoogde doelgroep(en)
maken hier in ieder geval deel van uit.
In de subsidieregeling zoals die op 27 april 2006 werd gepubliceerd, is de eis van een
nulmeting bij traceerbare groepen niet nog eens opgenomen. Artikel 18 bevat de volgende
bepaling over de tussentijdse evaluatie van projecten die langer dan 1 jaar duren:
-
De ontvanger van een projectsubsidie stelt indien het project langer dan één jaar duurt
tussentijds een evaluatie op en produceert ook tussentijdse producten. De evaluatie geeft
inzicht in de aard, duur en omvang van de in het kader van de subsidiëring verrichte
activiteiten. Cijfers met betrekking tot de frequentie van activiteiten, de realistische schatting
van het (beoogde) bereik en het feitelijk gerealiseerde bereik van de beoogde doelgroep(en)
maken hier in ieder geval deel van uit. De tussentijdse evaluatie vergelijkt de verrichte
activiteiten met de in het projectplan voorgenomen activiteiten in de periode vanaf de start
van het project tot het moment van evaluatie.
In bijlage 1 bij de subsidieregeling, behorend bij artikel 11, eerste lid, is een formulier
bijgevoegd voor de aanvraag van een projectsubsidie. Dit formulier bevat enkele vragen die
relevant zijn voor evaluatie en effectmeting:
-
-
-
Vraag 13 Doelgroep(en)
a. Jongeren, leeftijd ….
b. Leerlingen schooltype: PO, VMBO, Havo/Vwo
c. Docenten, schooltype: PO, VMBO, Havo/Vwo
d. Lerarenopleiding: basisonderwijs, VO, universitair
e. Opvoeders.
Vraag 15 Concreet geformuleerde meetbare, sociaal-educatieve doelstelling(en) van het
project: …….
Vraag 22 Voorziet het project bij traceerbare groepen in een nulmeting en een afsluitende
evaluatie?
Traceerbare groep(en) Ja/ nee
Indien ja, nl…..
Nulmeting
Ja/ nee
Zo ja, a.u.b. het voorstel voor de meting van de beginsituatie (nulmeting) bij deze
subsidieaanvraag voegen.
Afsluitende evaluatie (cijfermatig en kwalitatief) Ja/ nee
Zo ja, a.u.b. het voorstel voor de afsluitende evaluatie bij deze subsidieaanvraag voegen.
Vraag 23 Meerjarig project
Tussentijdse evaluatie van het meerjarig project gepland in … (jaar & maand)
A.u.b. het voorstel voor de tussentijdse evaluatie bij deze subsidieaanvraag voegen.
4
In de toelichting bij het formulier wordt in aanvulling op deze vragen vermeld:
-
Onder traceerbare groepen worden georganiseerde groepen verstaan die gemakkelijk te
identificeren en te (her)vinden zijn, bijv. schoolklassen.
Onder nulmeting wordt verstaan, meting van de beginsituatie van het kennis- en/of
bewustzijnsniveau van de doelgroep(en). De afsluitende evaluatie maakt duidelijk of en zo ja,
in hoeverre hierin op grond van de bezochte en/of uitgevoerde activiteiten wijzigingen zijn te
constateren.
3. Een overzicht van de belangrijkste begrippen
Evaluatie van een project kan op diverse manieren geschieden:
 voordat men aan een project begint (ex-ante evaluatie);
 tijdens het project (ex-durante evaluatie);
 na afloop van het project (ex-post evaluatie).
In deze handleiding ligt het accent op de evaluatie voor de start van het project en de
evaluatie na afloop van het project. Het Ministerie van VWS vraagt voortaan bij meerjarige
projecten op jaarbasis een voortgangsrapportage (zie 8).
Naast deze vormen van incidentele evaluatie bestaan er ook methoden van permanente
evaluatie, waarbij men van het begin tot het eind van een project (of meestal enkele
projecten) een aantal kengetallen meet om het verloop te volgen (‘monitoring’).
Van elk project kan in alle fasen geëvalueerd worden:
 het proces
 het product.
Bij het evalueren van het proces kijkt men naar de wijze waarop het project verloopt of (bij
evaluatie achteraf) is verlopen: hoe wordt er samengewerkt, bijvoorbeeld tussen school en
instelling?, treden er onverwachte knelpunten op?, wordt de planning gehaald?, enzovoorts.
Bij het evalueren van het product kijkt men naar de inhoudelijke resultaten van het project:
 de mate waarin de doelstellingen worden of zijn bereikt;
 de mate waarin allerlei andere (neven)effecten bedoeld of onbedoeld zijn
gerealiseerd.
Het ex-post evalueren van het product wordt effectmeting genoemd.
Bij inhoudelijke opbrengsten van een project wordt vaak een onderscheid gemaakt in:
Prestaties, dat wil zeggen kwantitatieve, gemakkelijk meetbare opbrengsten (output) van
een project, vaak op het niveau van activiteiten (bijvoorbeeld aantallen bezoekers, aantallen
boekjes, aantallen scholen, e.d.);
Resultaten, dat wil zeggen indicatoren die inzicht geven in de uitkomsten van het project en
bij benadering aangeven of het maatschappelijke doel wordt behaald (bijvoorbeeld het
percentage deelnemers dat vindt dat een activiteit een bepaald effect heeft gehad);
Maatschappelijke effecten, dat wil zeggen de uiteindelijke effecten (of outcomes) van het
project in de maatschappij (bijvoorbeeld de mate waarin deelnemers na afloop anders zijn
gaan handelen of denken).
5
Een voorbeeld om het verschil tussen prestaties, resultaten en maatschappelijke effecten duidelijk te
maken. Stel het Ministerie van VWS organiseert een cursus voor medewerkers van herinneringscentra
en verzetsmusea om te leren hoe voorlichtingsactiviteiten te evalueren. Prestaties zijn dan de
kwantitatieve opbrengsten van de cursus als het aantal deelnemers, het aantal dagdelen dat de
cursus heeft geduurd, het aantal deelnemers dat alle onderdelen heeft bijgewoond enzovoorts.
Resultaat is bijvoorbeeld het percentage deelnemers dat (direct na afloop of beter: na een half jaar)
aangeeft, dat de cursus hen heeft geholpen de voorlichtingsactiviteiten beter te evalueren.
Maatschappelijk effect is bijvoorbeeld (na enkele jaren) de uitkomst van een objectieve toets van een
onafhankelijke commissie waarin aan de hand van documenten wordt geanalyseerd of en in welke
mate de evaluatie en effectmeting van de voorlichtingsactiviteiten inderdaad is verbeterd.
Maatschappelijke effecten kunnen pas na verloop van tijd gemeten worden en het causale
verband met de projectinspanning is dan vaak moeilijk aan te tonen, te meer omdat de
meeste maatschappelijke effecten pas optreden na een reeks van impulsen en niet na één
kortstondige activiteit (in het bovenstaande voorbeeld: àls er al na enkele jaren kan worden
geconcludeerd dat de evaluatie en effectmeting van de voorlichtingsactiviteiten is verbeterd,
dan blijft het moeilijk vast te stellen of dit een direct gevolg is van de cursus of misschien –
ook - van allerlei andere factoren).
Prestaties zijn gemakkelijk te meten, maar hebben als nadeel dat er alleen antwoord wordt
gegeven op de vraag welke activiteiten in welke omvang zijn uitgevoerd, zonder te weten of
deze activiteiten ook het beoogde doel hebben bereikt.
Resultaten zijn indicatoren die in feite een tussenweg vormen tussen prestaties (goed te
meten maar nauwelijks inzicht gevend in de effecten) en maatschappelijke effecten (inzicht
gevend in de effecten op langere termijn, maar moeilijk te meten). Resultaten kunnen soms
objectief worden vastgesteld door middel van testen, registratie van gedrag, observatie
enzovoorts; anders kunnen ze subjectief worden gemeten, dat wil zeggen dat aan
betrokkenen wordt gevraagd of zij denken dat de beoogde doelen of effecten zijn bereikt of
zullen worden bereikt.
Een voorbeeld om het verschil tussen objectieve en subjectieve indicatoren duidelijk te maken. De
vele Veiligheidsmonitoren die op grote schaal in Nederland beschikbaar zijn, bevatten voor een deel
objectieve indicatoren als: aantal aangiftes in een bepaalde wijk of gemeente, aantal inbraken
enzovoorts. Voor een ander deel bestaan de monitoren uit subjectieve indicatoren: antwoorden
(uitgedrukt in percentages) op vragen (gesteld in telefonische interviews of schriftelijke vragenlijsten)
als: Voelt u zich wel eens onveilig in de wijk waar u woont? en Zijn er specifieke plekken in de stad
waar u ’s avonds liever niet komt? De gegevens van de objectieve en subjectieve indicatoren vormen
samen een beeld van de veiligheid in een wijk.
In paragraaf 6 wordt nader ingegaan op de technieken om prestaties en resultaten te
meten.
6
4. Het formuleren van doelstellingen
Prestaties (output), resultaten en maatschappelijke effecten (outcomes) kan men (deels)
afleiden van de doelstellingen van een project. Naast de algemene doelstellingen is het
noodzakelijk een aantal operationele doelstellingen te formuleren. Uit deze operationele
doelstellingen kunnen dan de beoogde prestaties en resultaten worden afgeleid.
Om prestaties en resultaten meetbaar te maken, dienen doelstellingen bij voorkeur te
voldoen aan de zgn. SMART-criteria:
- Specifiek
- Meetbaar
- Aansprekend
- Realistisch
- Tijdsgebonden.
Hoe meer ‘SMART’ de doelstellingen zijn geformuleerd, hoe makkelijker het later is om de
effecten te meten.
De criteria Specifiek en Meetbaar duiden op de eis, dat een doel zo concreet mogelijk wordt
geformuleerd, zodanig dat het straks eenvoudig is om te meten òf en in welke mate het
doel is bereikt. Ook het criterium Tijdsgebondenheid heeft te maken met de eis om zo
concreet mogelijk te zijn: alleen als in de doelformulering duidelijk wordt aangegeven
wanneer het doel wordt bereikt is het mogelijk om later een uitspraak te kunnen doen over
de vraag of het doel al dan niet (tijdig) verwezenlijkt is.
Een concreet doel herkent men aan de formulering. Niet-concrete doelen bevatten namelijk
vaak ‘iteratieve’ formuleringen (iteratief betekent dat het zich herhaalt en nooit eindigt)
zoals ‘het bevorderen van’, ‘het streven naar’ of ‘het bestrijden van’ en zijn daardoor
nauwelijks meetbaar.
‘Het bevorderen van het begrip van jongeren voor de betekenis van 4 en 5 mei voor de Nederlandse
samenleving’ is geen concreet maar een iteratief geformuleerd doel; het voldoet niet aan de eisen
van Specifiek, Meetbaar en Tijdsgebonden.
‘Na het bezoeken van de tentoonstelling kan de jonge bezoeker minimaal drie vormen van verzet
noemen’ voldoet wel aan de SMART-criteria.
‘Het verbeteren van de evaluatie van de voorlichtingsactiviteiten’ is als doel ook te iteratief
geformuleerd om te kunnen meten of het doel bereikt is. ‘Drie maanden na afloop van de cursus
geeft minimaal de helft van de deelnemers aan, dat de cursus hen heeft geholpen de
voorlichtingsactiviteiten beter te evalueren’ is zo SMART geformuleerd, dat het niet moeilijk meer is te
bedenken hoe dit doel gemeten kan worden.
7
De criteria Aansprekend en Realistisch vormen in feite een tegenstelling, waartussen een
balans moet worden gevonden. Aan de ene kant moet het doel zo ver weg liggen dat het
mensen (ook de subsidiegever!) aanspreekt en inspireert, aan de andere kant moet het doel
zo realistisch zijn dat het ook uiteindelijk haalbaar is om dit als resultaat van het project te
bereiken.
‘De jonge bezoeker wordt verdraagzamer naar andere (sub)culturen’ is een zeer aansprekende
doelstelling, maar waarschijnlijk weinig realistisch als het gaat om een eenmalig bezoek aan een
tentoonstelling gedurende twee uur, zelfs inclusief de voorbereiding en een nabespreking in de klas.
‘Na afloop kan de scholier zich een voorstelling maken van de angst die gezaaid werd door terreur en
vervolging’ is heel wat realistischer.
‘De (jonge) bezoeker wordt een maatschappelijk betrokken burger’ is eveneens een prachtige
doelstelling, maar volstrekt onrealistisch als het gaat om een programma van enkele uren. ‘De
bezoeker kan aan de hand van een voorbeeld een relatie leggen tussen racisme in de Tweede
Wereldoorlog en hedendaags racisme’ is al een stuk realistischer.
Resultaten kunnen worden afgeleid van operationele doelstellingen, die zich bevinden
binnen het invloedsdomein van het project. Probeer ten behoeve van de evaluatie en
effectmeting daarom (naast een of enkele algemene doelstellingen, die het kader van het
project vormen) vooral realistische doelstellingen (SMART) te formuleren, waarvan mag
worden verondersteld dat deze inderdaad door deelname aan het project kunnen worden
bereikt en die ook goed te meten zijn.
Voor veel (jeugd)voorlichtingsprojecten kan men operationele doelstellingen formuleren op
drie niveaus:
- Het niveau van de leerlingen;
- Het niveau van de docenten;
- Het niveau van de scholen.
Een voorbeeld van deze drie niveaus. Wanneer men een tentoonstelling of project over democratie
organiseert voor het voortgezet onderwijs kan een doel op het niveau van de leerlingen zijn: ‘Na
afloop kan driekwart van de leerlingen het begrip ‘respect’ illustreren door middel van twee
voorbeelden’.
Een doel op het niveau van de leerkrachten kan zijn: ‘Minstens de helft van de leerkrachten geeft na
afloop aan, dat het bezoek aan de tentoonstelling hen heeft geholpen om het begrip ‘democratie’ in
de klas bespreekbaar te maken’.
Een doel op het niveau van de scholen kan zijn: ‘Met de tentoonstelling worden het komende
schooljaar minimaal 50 scholen bereikt, waarvan 25 scholen voor vmbo’.
In paragraaf 6 gaan we nader in op de effectmeting op deze drie niveaus. Eerst gaan we in
op de omvang van de evaluatie-inspanningen.
8
5. De omvang van de evaluatie-inspanning
Een veel gehanteerde vuistregel is dat hooguit 10% van het budget voor een project wordt
besteed aan evaluatie. Wij onderschrijven in deze handleiding deze vuistregel. Immers, het
allergrootste deel van een projectsubsidie moet worden besteed aan de inhoud (en daarmee
het welslagen) van het project en niet aan zaken (zoals onderzoek en evaluatie) die niet tot
de kern van het project behoren.
Aangezien het Ministerie van VWS als eis stelt, dat er zowel voor een nulmeting als een
nameting wordt uitgevoerd, gaan we er in deze handleiding van uit dat ca. 10% van het
budget van een project wordt uitgegeven aan de voormeting (incl. eventueel
behoeftenonderzoek, nulmeting bij de doelgroep e.d.) en de nameting (effectmeting)
tezamen.
Het percentage van 10% geeft meteen aan, dat het Ministerie van VWS van grotere projecten een
‘zwaardere’ evaluatie verwacht dan van kleinere projecten; deze kunnen met een ‘lichtere’ vorm van
evaluatie volstaan. Bij een project van €150.000,- kunt u volgens deze vuistregel maximaal €15.000,uittrekken voor de evaluatie. Voor dat geld kunt u de evaluatie, indien gewenst, uitbesteden aan een
extern bureau. Bij een subsidie van €5.000,- heeft u €500,- ter beschikking; daarvoor kunt u alleen
op zeer bescheiden wijze een voor- en nameting doen, bijvoorbeeld met behulp van een kleine
vragenlijst of enkele telefonische interviews zowel bij het begin als na afloop van het project.
Uiteraard zijn er in de praktijk uitzonderingen op deze regel. Zo kan het voor een pilot of
proefproject noodzakelijk zijn een groter deel van het budget te reserveren voor een
grondige evaluatie, voordat wordt besloten de pilot te continueren en te verbreden.
Het Ministerie van VWS hanteert de vuistregel van ca. 10% bij aanvragen
projectsubsidie voorlichtingsbeleid WO II. Wanneer een project meerdere financiers
kent, heeft de vuistregel van 10% uitsluitend betrekking op de subsidie die door het
Ministerie van VWS wordt verstrekt. Met de 10% van het door VWS verstrekte bedrag kan
de effectmeting worden uitgevoerd van dat deel van het project dat door VWS wordt
gefinancierd.
6. Het niveau van de effectmeting
Om de effecten van uw project te meten vormen de operationele doelstellingen op de in
paragraaf 4 genoemde drie niveaus het uitgangspunt:
- De doelstellingen op het niveau van de leerling;
- De doelstellingen op het niveau van de leerkrachten;
- De doelstellingen op het niveau van de scholen.
Leerlingen
Als u (operationele) doelstellingen heeft geformuleerd op het niveau van de leerlingen dan
dienen bij de eindevaluatie ook de effecten op het niveau van de leerlingen te worden
gemeten. Dat hoeft zeker niet altijd bij alle leerlingen die aan een project deelnemen; bij
grote deelnemersaantallen kan een steekproef toereikend zijn. In paragraaf 9 wordt
aangegeven hoe groot de steekproef moet zijn.
Wanneer u effecten van uw project bij de leerlingen in kaart wilt brengen, dan kunt u dat op
twee manieren doen:
9
a. Direct bij de leerlingen;
b. Indirect, via de leerkrachten.
Het gaat er dus om dat u direct bij de leerlingen of indirect via de leerkrachten probeert een
indicatie te krijgen van de mate waarin uw doelstellingen op leerlingenniveau zijn bereikt.
Een directe meting op het niveau van de leerlingen kan subjectief door het afnemen van een
korte vragenlijst (waarin naar hun mening wordt gevraagd over het project, de effecten op
hen enzovoorts) of objectief door het afnemen van een test of toets (zie volgende
paragraaf).
Bij een indirecte meting op het niveau van de leerlingen wordt de leerkracht/ docent
gevraagd een inschatting te geven van het effect van een project op de leerlingen.
Het Ministerie van VWS gaat er van uit, dat bij doelstellingen op leerlingenniveau gekozen
wordt voor een meting bij de leerlingen. Waar dat mogelijk is heeft een objectieve meting
bij de leerlingen natuurlijk de voorkeur. Dat zal vooral het geval zijn bij doelstellingen die
betrekking hebben op kennis. Met behulp van enkele testvragen kan heel goed voor en na
een project worden gemeten hoe het met de kennis van de leerlingen over een bepaald
onderwerp was gesteld en of deze kennis na afloop van het project is toegenomen.
Als het gaat om minder makkelijk meetbare doelstellingen die betrekking hebben op zaken
als ‘inzicht’ en ‘attitude’, kan vaak beter een nameting op het niveau van de leerkrachten
plaatsvinden. Zij zijn immers elke dag met de groep scholieren bezig en kunnen daardoor
goed beoordelen of bijvoorbeeld na afloop van het bezoek leerlingen nog veel met elkaar
over het onderwerp hebben gesproken en of zij tijdens deze gesprekken nog bepaalde
inzichten naar voren hebben gebracht die zij hebben opgedaan tijdens het project.
Een voorbeeld. U organiseert een project over de Jodenvervolging. Aan de leerlingen kunnen – als
onderdeel van het project of de voorbereiding op school – enkele vragen worden voorgelegd om hun
kennis over het onderwerp te meten. Na afloop van het project kunnen dezelfde vragen worden
gesteld. Aanvullend op de korte test bij de leerlingen kunnen aan de docenten/ leerkrachten door
middel van interviews of korte vragenlijsten vragen worden voorgelegd als: ‘Denkt u dat de leerlingen
als gevolg van het project inzicht hebben gekregen in het voorkomen van discriminatie en racisme in
hun eigen leefomgeving’. Of er kunnen stellingen worden voorgelegd: ‘Na het bezoeken van de
tentoonstellingen hebben de leerlingen in de klas nog veel over het onderwerp gesproken’ en ‘Tijdens
de gesprekken die leerlingen later in de klas voerden over discriminatie, gaven zij blijk van inzichten
die zij tijdens het project hadden opgedaan’.
Leerkrachten
De meeste doelstellingen op het niveau van de leerkrachten zullen het beste subjectief
kunnen worden gemeten door middel van een vragenlijstje of, nog beter, een (telefonisch)
interview. U kunt aan de leerkrachten dan vragen voorleggen als (afhankelijk van de
doelstellingen die u op het niveau van de leerkrachten heeft geformuleerd): ‘Heeft het
bezoek u geholpen om het onderwerp in uw klas bespreekbaar te maken?’ of ‘Gaat u uw
collega-leerkrachten stimuleren om met hun klas ook een bezoek aan de tentoonstelling te
brengen?’. Of u kunt met stellingen werken, bijvoorbeeld: ‘De tentoonstelling sloot goed aan
bij de geschiedenismethode die we in de klas gebruiken’ of ‘Ik ben zo tevreden over het
project, dat ik van plan ben dit voortaan in mijn jaarprogramma op te nemen.’ Of: ‘Ik heb
mijn collega-leerkrachten geadviseerd met hun klas ook een bezoek aan de tentoonstelling
te brengen’.
10
Scholen
De doelstellingen op het niveau van de scholen zullen doorgaans meer kwantitatief van aard
zijn en door eenvoudige ‘prestatiegetallen’ kunnen worden gemeten (aantallen scholen,
spreiding over onderwijstypen, spreiding over regio’s, vakken enzovoorts). Als uw
doelstelling bijvoorbeeld is om het komende schooljaar met het project minstens 20 scholen
uit de stad en 40 scholen uit de regio te bereiken, dan kan dit door u in een eenvoudig
administratief systeem worden bijgehouden (waarschijnlijk doen de meeste instellingen dit
al). Dat geldt ook voor de registratie van het schooltype (vwo, havo, vmbo, enzovoorts;
regulier vs. speciaal onderwijs) en dergelijke.
7. Technieken om informatie te verzamelen
Evalueren bestaat in feite uit twee elementen:
- Het verzamelen van informatie
- Het geven van een waardering aan deze informatie.
Er zijn
a.
b.
c.
d.
e.
f.
globaal zes manieren om informatie te verzamelen:
Het houden van groepsgesprekken
Het afnemen van face-to-face interviews;
Het afnemen van telefonische interviews;
Het afnemen van een schriftelijke vragenlijst;
Het afnemen van een test of toets;
Het systematisch observeren.
Groepsgesprekken
Aan groepsgesprekken nemen doorgaans zo'n acht tot tien mensen deel. Groepsgesprekken
hebben het voordeel dat mensen elkaar op ideeën kunnen brengen en op elkaars suggesties
kunnen voortborduren. Ook kunnen verschillende opvattingen met elkaar worden
geconfronteerd en besproken. Nadeel is dat een of enkele deelnemers de rest van de groep
kunnen beïnvloeden. Dat kan bijvoorbeeld bij leerlingen een probleem zijn. Wanneer men
meerdere groepsgesprekken belegt, is het goed om de groepen zo 'homogeen' mogelijk te
maken, dus vooral groepen te maken van mensen die iets gemeenschappelijks hebben
(bijvoorbeeld: schooldirecteuren, leerkrachten, ouders enzovoorts). Groepsgesprekken
worden eerder bij ex-ante evaluatie (dus aan het begin van een project) gebruikt dan bij expost evaluatie. In bijlage 1 staat een aantal praktische tips over het leiden van een
groepsgesprek.
Face-to-face interviews
Face-to-face interviews, dat wil zeggen interviews waarbij men in een direct contact met
één persoon (of twee personen) spreekt, zijn meestal makkelijk te organiseren (het is
makkelijker om met één persoon een afspraak te maken, dan met acht tegelijk) en kunnen
het voordeel hebben dat mensen zich 'veiliger' voelen en meer voor hun eigen mening
durven uit te komen. Vooral in het onderwijs blijken de meeste leerkrachten of
schooldirecteuren altijd wel bereid een gesprek vooraf of na afloop van het project te
voeren, zeker als het interview plaatsvindt op de school, op een tijdstip dat past bij het
lesprogramma (bijvoorbeeld ’s middags na half vier). In bijlage 2 staan enkele tips voor het
afnemen van face-to-face interviews.
11
Telefonische interviews
Telefonische interviews hebben het voordeel, dat grotere aantallen mensen (of instellingen)
in de evaluatie kunnen worden betrokken. Nadeel is dat er minder diepgaand kan worden
doorgevraagd naar de redenen waarom iemand iets vindt of beweert.
Aan telefonische enquêtes wordt – zo blijkt in de praktijk - veel beter meegewerkt dan aan
schriftelijke vragenlijsten, althans wanneer het gaat om mensen waarmee reeds een relatie
is opgebouwd of wanneer het duidelijk is dat beantwoording van de vragen ook in het
belang van de persoon zelf is. In bijlage 3 staan een aantal tips voor het afnemen van
telefonische interviews.
Schriftelijke vragenlijst
Ook voor een schriftelijke vragenlijst geldt, dat dit een manier is om grotere aantallen
mensen in de meting te betrekken. Voordeel van een schriftelijke vragenlijst boven een
telefonisch interview is, dat mensen wat langer kunnen nadenken over hun antwoord en de
antwoorden anoniem zijn. Nadeel van een schriftelijke vragenlijst kan in de praktijk zijn, dat
(zeker bij onderzoek in scholen) een groot aantal de vragenlijst niet invult. Bij een respons
van bijvoorbeeld 40% weet men nooit hoe de andere 60% over het project denkt; misschien
hebben ze de vragenlijst niet ingevuld vanwege hun grote onvrede of misschien juist
vanwege hun grote tevredenheid. In bijlage 4 staan enkele tips voor het opstellen van een
eenvoudig vragenlijstje. In bijlage 5 staat een voorbeeld van een vragenlijstje voor
leerlingen.
De laatste jaren wordt steeds meer met digitale in plaats van schriftelijke enquêtes of testen
gewerkt. Daarbij zijn twee varianten mogelijk:
1. Op een (apart deel van een) website wordt een vragenlijst of test geplaatst.
Betrokkenen ontvangen een mail, met een ‘link’ naar de website. Als zij deze link
aanklikken, kunnen zij meteen de vragenlijst invullen.
2. Betrokkenen krijgen een mail met de vragenlijst als bijlage. Zij kunnen deze vragenlijst
invullen en terugmailen.
Digitale enquêtes of tests hebben het voordeel dat het snel werkt en dat de verwerking
nauwelijks tijd kost. Variant 1 is veruit de handigste variant, maar het plaatsen van een
vragenlijst op een website kost geld. Variant 2 is veel goedkoper, maar heeft als nadeel dat
zich in de praktijk technische problemen kunnen voordoen, bijvoorbeeld dat mensen de
bijlage niet kunnen openen.
Tests
Er zijn voor zover bekend geen algemene tests beschikbaar om kennis of attitude te meten
als het gaat om aan de Tweede Wereldoorlog gerelateerde onderwerpen. Wilt u objectief
kennis of attitude meten op het niveau van de leerlingen, dan zal er dus een (bescheiden)
test moeten worden ontwikkeld in het kader van uw project. Een test kan bijvoorbeeld
enkele stellingen bevatten over het onderwerp. Door de test of toets aan het begin en na
afloop van het project af te nemen en het verschil tussen de antwoorden te analyseren kan
een indicatie worden verkregen of het doel is bereikt. Doorgaans kan men vooral
kennisvragen goed testen op het niveau van de leerlingen.
Bij voorkeur vormen de test- of toetsvragen een onderdeel van het project of de
tentoonstelling zelf, zodat de leerlingen de toets niet ervaren als een aparte ‘overhoring’
maar als logisch onderdeel van het bezoek.
In bijlage 6 is een kort voorbeeld van een test opgenomen.
12
Observeren
Tot slot kan informatie worden verzameld door het systematisch observeren, bijvoorbeeld
van de leerlingen tijdens een les of rondleiding. Voor systematische observatie maakt men
gebruik van scoreformulieren waarop wordt geregistreerd hoe leerlingen op een bepaald
onderdeel reageren, hoe lang zij stil staan voor een foto, hoeveel minuten zij met een
interactief onderdeel werken enzovoorts. Het voordeel van observeren is dat het een
eenvoudige methode is en tamelijk objectief, omdat alleen maar wordt waargenomen (m.n.
leerlingen van oudere leeftijd kunnen in een vragenlijst of test bewust verkeerde
antwoorden geven). Een beperking is dat men vaak toch interviews of een vragenlijst nodig
heeft om te weten te komen wat de motieven waren om een bepaald gedrag te vertonen
(waarom bleven jullie bij dat ene paneel enkele minuten staan en bij dat andere veel
korter?). Ook is observatie niet een geëigende techniek om uitkomsten van een voor- en
nameting met elkaar te vergelijken.
In bijlage 7 staan enkele tips voor het uitvoeren van een observatie.
De evaluatiemethoden verschillen natuurlijk ook qua tijdsbeslag.
Het afnemen van face-to-face interviews is het meest tijdrovend. Trek voor een gesprek een uur uit;
inclusief reistijd en het maken van een kort verslag komt een gesprek dus al gauw uit op drie uur.
Een evaluatie met tien gesprekken kost inclusief voorbereiding (opstellen checklist met vragen,
maken van afspraken), interviews en rapportage al gauw op zo’n 50 à 60 uur.
Trek voor één groepsgesprek minimaal 10 uur uit: 4 uur voorbereiding (het opstellen van een
draaiboek voor het gesprek, uitnodigingen verzenden), 2 uur gesprek en 4 uur uitwerken van het
gesprek in een rapportage.
Een schriftelijke vragenlijst kost 4 uur om op te stellen en nog 4 uur om uit te testen en bij te stellen.
Afhankelijk van het aantal vragenlijsten dat wordt verzonden kost verzending en vervolgens invoeren
van de gegevens enkele dagen van een secretariaatsmedewerker. Hoe meer ‘open vragen’ hoe langer
de verwerking duurt. Een schriftelijke enquête kost dus, inclusief analyse van de resultaten en
rapportage, minimaal zo’n 25 uur van een stafmedewerker en 16 tot 40 uur van een
secretariaatsmedewerker.
Telefonische interviews duren doorgaans zo’n 15 minuten. Maar inclusief het maken van een afspraak
(vooral in het onderwijs zijn mensen vaak moeilijk te pakken te krijgen) en het uitwerken van een
kort verslag moet toch minimaal 1,5 uur uitgetrokken worden per telefonisch interview. Een evaluatie
met 15 telefonische gesprekken, inclusief het schrijven van een rapportage bedraagt zo’n 30 uur.
Informatie waarderen
Het geven van een waardering aan de informatie kan vervolgens op verschillende manieren:
- Door vergelijking in de tijd;
- Door vergelijking met anderen (andere groepen, organisaties, projecten enz.);
- Door vergelijking met een bepaalde maatstaf.
De meest voor de hand liggende is in dit geval vergelijking van de informatie met de
operationele doelen die u had geformuleerd. Bijvoorbeeld: het operationele, SMART
geformuleerde doel was dat minimaal 50% van de scholieren na afloop van het bezoek aan
de tentoonstelling over verzet tijdens de Tweede Wereldoorlog drie vormen van verzet kon
noemen. Uit de informatie blijkt dat 62% van de scholieren dit kan. We mogen dus de
conclusie trekken dat op dit punt het beoogde effect is bereikt.
13
8. Het tijdstip van evaluatie
Naast de keuze van de meest geëigende manier van informatie verzamelen, moet er ook
gekozen worden voor het tijdstip van de evaluatie. Voor het Ministerie van VWS zijn de
volgende momenten van belang:
a. De beginsituatie voordat de uitvoering van het project begint. Er is een simpel
format voor de beschrijving van de beginsituatie, dat samen met de
subsidieaanvraag moet worden ingediend. In het format geeft u aan wat u wilt
bereiken (kwantitatief en kwalitatief) en op welke wijze u dat gaat meten (vooraf en
achteraf).
b. De eindsituatie na afloop van het project. Ook voor de beschrijving van de
eindsituatie is er een simpel format, met vragen die teruggrijpen op de beginsituatie
en de doelen.
c. Voor meerjarige projecten vraagt VWS voortaan tussentijds op jaarbasis een
voortgangsrapportage. De voortgangsrapportage vindt plaats telkens nadat (weer)
een periode van 12 maanden is verstreken en heeft op die voorgaande 12 maanden
betrekking (dus na 12 maanden, na 24 maanden etc.). De tussentijdse evaluatie
vindt plaats door het invullen van een vast format voor de voortgangsrapportage. In
dit format kunt u onder andere aangeven:
o Of u afgezet tegen de voormeting uw doelstellingen op het niveau van de
leerlingen, de leerkrachten of de scholen heeft aangepast of nader
geoperationaliseerd;
o Of u in staat bent geweest de planning te volgen die in het projectvoorstel
was opgenomen (zo nee, wat de redenen daarvoor waren);
o Wat de belangrijkste leerpunten tot nu toe van het project zijn;
o Welke vervolgstappen u het komende jaar denkt te gaan zetten.
Deze vorm van tussentijdse evaluatie geeft u de ruimte om uw doelstellingen bij te
stellen en nader in te vullen op grond van de ex-ante evaluatie. Immers, in de
praktijk is het lastig om in een projectvoorstel al concrete doelstellingen te
formuleren, zonder de uitkomsten te weten van de voormeting bij de scholen,
docenten en/of leerlingen. Uitgangspunt is voor VWS dat het alleen door
voortschrijdend inzicht echt noodzakelijke bijstellingen zijn die ertoe leiden dat het in
essentie gelijkblijvend project goed verloopt. Het spreekt voor zich dat er aan het
einde niet opeens sprake kan zijn van een geheel ander project dan waarvoor VWS
middelen beschikbaar heeft gesteld. Er wordt vanuit gegaan dat vooraf goed over
het project is nagedacht en dat bijstellingen dus binnen zekere marges blijven.
De formats treft u – evenals deze handleiding – aan op de website van het
Ministerie van VWS onder ‘Tweede Wereldoorlog’, subkopje ‘Voorlichting
aan jongeren’.
14
9. Het trekken van een steekproef
Bij evaluatieonderzoeken is het gebruikelijk om met steekproeven te werken, wanneer het
aantal onderzoeksobjecten (leerlingen, leerkrachten, scholen) meer dan 200 bedraagt. Veel
instellingen werken met grotere aantallen leerlingen (soms 5.000 leerlingen of meer) en
zelfs wel met grotere aantallen leerkrachten. Een steekproef is dan geëigend. Een goede
steekproef bespaart veel onnodig werk en tijd en kan ervoor zorgen dat het deel van het
budget (en de menskracht) dat aan evaluatie wordt besteed conform de vuistregel van
ca. 10% uit paragraaf 5 is.
Er is geen vaste regel hoe groot een steekproef moet zijn. Het hangt er namelijk van af, hoe
gedetailleerd u de uitkomsten wilt hebben. Als u alleen wilt weten hoe 'de' leerling over het
project denkt, heeft u minder leerlingen in de steekproef nodig, dan als u wilt weten of er
tussen jongens en meisjes opvallende verschillen zijn, of tussen havo/vwo en vmbo.
Onderzoekers gebruiken meestal de formule z= √pxq:n. P is het percentage in de steekproef dat
voldoet aan een bepaald kenmerk. Q is 100-p. N is de steekproefomvang. Z is de mate van
betrouwbaarheid. Wanneer naar een betrouwbaarheid van 95% wordt nagestreefd (het meest
gebruikelijke percentage dat in onderzoeken wordt gehanteerd), wordt voor z het cijfer 1,96 ingevuld.
Bij een betrouwbaarheid van 90% wordt voor z 1,65 ingevuld.
Om u ingewikkeld rekenwerk te besparen, volgt hier een tabelletje voor de indicatie van uw
steekproef onder een groep van leerlingen voor betrouwbare resultaten:
Omvang groep
Indicatie omvang steekproef
< 100 leerlingen
alle leerlingen
tot 200 leerlingen
100
tot 400 leerlingen
150
tot 1000 leerlingen
200
> 1000 leerlingen
275
Belangrijker dan de omvang van de steekproef is overigens de wijze waarop de steekproef
wordt getrokken. Onbetrouwbaarheid van resultaten wordt meestal niet veroorzaakt door de
omvang van de steekproef, maar door een niet goed getrokken steekproef. Zorg daarom dat
de steekproef zo wordt getrokken, dat deze representatief is voor de hele groep.
15
U kunt een steekproef als volgt trekken:
a. Ad-random, als een loterijtrekking: U trekt uit een hoeveelheid kaartjes of iets
dergelijks het benodigde aantal kaartjes (er bestaan ook computerprogramma's om
willekeurig namen of adressen uit een bestand te pikken).
b. Systematisch: Uit een adressenbestand op alfabet van bijvoorbeeld 1.000 personen
neemt u telkens de tiende persoon, zodat een willekeurige groep van 100 ontstaat.
c. Trapsgewijs: Als u wilt dat de steekproef goed gespreid is, bijvoorbeeld over alle
regio's, of over alle schooltypen of over jongens en meisjes, dan kunt u de
steekproef ook trapsgewijs laten verlopen. U maakt eerst een indeling (bijvoorbeeld
in regio's) en trekt dan per categorie hetzelfde aantal mensen (bijvoorbeeld 25 per
regio, ongeacht of het een grote of kleine regio is).
Uiteraard bent u bij een voor- of nameting die niet op uw instelling maar op de school wordt
afgenomen, afhankelijk van de medewerking van de leerkracht. U kunt een leerkracht nu
eenmaal niet dwingen om medewerking te verlenen aan een meting. In de praktijk betekent
dit (zeker bij het trapsgewijs trekken van de steekproef) dat u de klas/ groep vervangt door
een klas/ groep met hetzelfde profiel, bijvoorbeeld afkomstig uit dezelfde gemeente, of
hetzelfde schooltype of iets dergelijks.
16
Bijlage 1:
Tips voor het organiseren van groepsgesprekken
Wanneer u besluit tot groepsgesprekken, dan komen de volgende tips wellicht van pas:
1.
Het is niet noodzakelijk maar wel handig met zijn tweeën een gesprek te organiseren
en te leiden. De een kan dan als gespreksleider optreden, de ander als verslaglegger
en eventueel tweede gespreksleider. Als u samen als gespreksleiders optreedt, moet u
wel duidelijke afspraken maken over de rolverdeling. Bijvoorbeeld: de eerste
gespreksleider bepaalt de lijn van het gesprek en neemt de beslissingen om een
volgend onderwerp te behandelen, de tweede mag ook vragen stellen, maar altijd in
de lijn van het gesprek (dus geen compleet nieuwe onderwerpen of invalshoeken
kiezen).
2.
Als gespreksleider zet u aan het begin van de bijeenkomst duidelijk uiteen wat het doel
van het gesprek is en wat u met de gegevens zult gaan doen. Ook geeft u aan hoe
lang het gesprek zal gaan duren en of er een pauze is voorzien. Door deze introductie
weten de deelnemers wat hen te wachten staat en wat er van hen wordt verwacht.
3.
Bij de toelichting op het doel en het programma kunt u ook zichzelf introduceren en
aangeven op welke manier u uw rol als gespreksleider zult invullen. Anders gezegd: u
geeft aan wat de deelnemers van u kunnen verwachten (het gesprek in goede banen
leiden, er op toezien dat iedereen aan de discussie kan deelnemen, samenvattingen
etc.).
4.
Na de toelichting kunt u aan de deelnemers vragen zichzelf even voor te stellen.
Wanneer bij deze introductie deelnemers te lang uitweiden of al over het onderwerp
beginnen te praten, kap dit dan vriendelijk doch beslist af (bijvoorbeeld: "het lijkt me
goed als u die ervaring dadelijk in de discussie inbrengt"). Juist in het begin van het
gesprek is het noodzakelijk uw rol als gespreksleider duidelijk te maken. De andere
deelnemers zullen u er achteraf dankbaar voor zijn.
5.
Tijdens het gesprek zult u regelmatig vragen stellen. Het stellen van vragen is een
vaardigheid die dikwijls wordt onderschat. Let er op dat de vragen duidelijk, eenduidig
en niet te moeilijk geformuleerd zijn. Neem een korte pauze in acht na het stellen van
een vraag, deelnemers moeten de gelegenheid hebben over de vraag na te denken.
6.
Stimuleer dat deelnemers op elkaar reageren. Geef - indien nodig - aan waar
meningen overeenkomen, dan wel verschillen.
7.
Laat iedereen zoveel mogelijk aan bod komen. Let op dat niet één of enkele
deelnemers het gesprek domineren. Sommige deelnemers zullen alleen aan het
gesprek deelnemen als je hen daartoe uitdrukkelijk uitnodigt, andere deelnemers zult u
juist wat moeten afremmen. Een deelnemer die weinig inbreng heeft, kunt u gerust
soms even gericht een vraag stellen.
17
8.
Vat de discussie regelmatig samen. Samenvattingen hebben diverse functies.
Samenvattingen kunnen, voor jezelf maar vooral ook voor de deelnemers, de discussie
helpen structureren ("ik heb tot nu toe drie resultaten gehoord van dit project,
namelijk..."). Samenvattingen geven deelnemers vaak ook het gevoel dat ze 'begrepen'
zijn (ze zullen daarom kritisch luisteren of het door hen genoemde punt ook in de
samenvatting terugkomt). Samenvattingen zijn voor uzelf ook een handige controle of
u het zelf allemaal goed begrepen hebt. Met samenvattingen kunt u de discussie
soepel een nieuwe richting geven ("Ik heb tot nu toe de volgende nadelen van het
project gehoord, namelijk……, laten we nu eens kijken of er ook voordelen zijn").
Met samenvattingen kunt u de discussie in een breder kader plaatsten ("Ik begrijp dat
de rode draad in alle opmerkingen is dat...."). Met samenvattingen kunt u negatieve
reacties herformuleren in een positieve richting.
9.
Probeer hoofd- en bijzaken te onderscheiden, let er op dat de hoofdlijn wordt
vastgehouden in de discussie. U hebt als gespreksleider een belangrijke rol in het
terugleiden van persoonlijke voorbeelden of ervaringen naar het thema dat besproken
wordt. Probeer dit op 'vloeiende wijze' te doen, dus liever niet expliciet ("ho, ho, nu
dwalen we wel erg af"), maar juist meer impliciet ("ik begrijp dat u met dit voorbeeld
wilt aangeven, dat volgens u ...").
10.
Wees in uw interventies als gespreksleider consequent. Als u vraagt om een korte
reactie van iemand, sta dan niet toe dat die persoon toch een lang verhaal afsteekt.
Bent u één keer te coulant in het gesprek, dan zullen de andere deelnemers van u
verwachten dat zij ook coulant zullen worden behandeld tijdens het gesprek.
11.
U kunt soms gerust het gesprek gedurende enkele minuten 'laten lopen', bijvoorbeeld
wanneer zich een interessante discussie ontspint tussen de deelnemers. Neem daarna
weer de touwtjes in handen door een samenvatting van de meningen te geven of door
het stellen van een algemener geformuleerde vraag.
12.
Breng nooit uw eigen mening in het gesprek, ook al moet u daarvoor op uw lippen
bijten. Deelnemers reageren altijd heel snel op de mening van de gespreksleider,
waardoor u zich als gespreksleider soms genoodzaakt kunt zien uw mening te
verdedigen. U verliest daardoor snel aan gezag als gespreksleider. Laat daarom steeds
de groep het werk doen (bijvoorbeeld door de andere deelnemers te vragen: "Denkt u
daar ook zo over?").
13.
In de praktijk blijkt soms dat deelnemers vaak concrete, feitelijke vragen willen stellen
tijdens het gesprek. Soms kunnen die vragen heel storend werken, want u staat als
gespreksleider voor een dilemma: niet beantwoorden geeft een zwakke indruk, wel
beantwoorden betekent dat u afdwaalt naar een heel ander thema. Een tip voor het
voorkomen van dergelijke situaties is het aankondigen van een 'vragenkwartiertje' na
afloop van het gesprek. U kunt dan alle concrete vragen verschuiven naar dit
'vragenkwartiertje'.
14.
De belangrijkste tip is: blijf vooral u zelf. Niemand verwacht van u, dat u als
gespreksleider een tweede Paul Witteman of Matthijs van Nieuwkerk bent.
18
Bijlage 2:
Tips voor het afnemen van face-to-face interviews
Wanneer u face-to-face interviews gaat afnemen, is het belangrijk het volgende in de gaten
te houden.
1.
Stel voor u aan de interviews begint een lijstje op van gesprekspunten: onderwerpen
en vragen die in elk geval tijdens het interview aan de orde moeten komen. De
gesprekspunten hoeven niet in een bepaalde volgorde aan de orde te komen, zo lang
ze maar op enig tijdstip ter sprake komen.
2.
Zorg dat u als interviewer deze gesprekspunten uit uw hoofd kent en houd voor u zelf
bij of alle onderwerpen tijdens het gesprek aan bod komen.
3.
Begin het interview altijd met een korte introductie, waarin u uitlegt waarom het
interview wordt afgenomen, en wat er met de resultaten gaat gebeuren. Vergeet ook
niet uit te leggen waarom juist deze persoon is uitgekozen voor een interview.
4.
Zorg dat u een aantal argumenten paraat hebt om mensen te overtuigen aan het
onderzoek mee te doen.
5.
Een kwalitatief interview gaat als volgt. De interviewer brengt met een bepaalde vraag
het gesprek op gang. Zolang de geïnterviewde doorspreekt over relevante
onderwerpen, laat u de ondervraagde uitspreken. U stelt alleen 'peilingsvragen' om de
achtergronden van het meegedeelde te onderzoeken, brengt het gesprek weer op het
onderwerp terug als de ondervraagde te veel uitweidt en zoekt steeds naar het juiste
moment om de ondervraagde zo ongemerkt mogelijk over te doen gaan op
onderwerpen, die voor het interview van belang zijn.
6.
Voor
a.
b.
c.
d.
7.
Stel bij doorvragen alleen neutrale peilingsvragen. Voorbeelden van peilingsvragen
zijn: hoezo? hoe bedoelt u dat? waarom? hoe staat u daar zelf tegenover? kunt u daar
iets meer over vertellen? kunt u een voorbeeld geven?
8.
Vaak wordt bij interviews gebruik gemaakt van de 'trechtertechniek': eerst wordt het
onderwerp algemeen besproken, dan langzaam naar het eigenlijke, meer specifieke
onderwerp.
9.
Noteer tijdens het interview minimaal belangrijke steekwoorden en werk deze zo snel
mogelijk na het interview uit. Het gebruik van een cassetterecorder of digitale
‘voicetracer’ kan nuttig zijn, maar werkt vaak belemmerend op de openheid van de
geïnterviewde. Bovendien is het uitwerken van bandopnamen zeer tijdrovend.
elk interview gelden vier principes:
Suggereer nooit een antwoord.
Verbaas u nooit zichtbaar over een antwoord.
Breng de eigen opvattingen nooit tot uitdrukking voor of tijdens het interview.
Confronteer de geïnterviewde nooit rechtstreeks met schijnbare
tegenstrijdigheden in zijn/ haar informatie.
19
Bijlage 3:
Tips voor het afnemen van telefonische interviews
Hieronder volgen een paar tips als u telefonische interviews afneemt of laat afnemen.
1.
Begin bij elk telefoongesprek met dezelfde introductie. Hoe meer elk begin van het
gesprek op elkaar lijkt, des te beter zijn straks de antwoorden met elkaar te vergelijken.
Vertel in de introductie altijd hoe lang (of beter: hoe kort) het interview gaat duren en
wat er met de resultaten gaat gebeuren (dat motiveert mensen om mee te doen).
2.
Overtuig u ervan, dat u de goede gesprekspartner te pakken hebt, dat wil zeggen
iemand die aan de vooraf vastgestelde kenmerken voldoet.
3.
Wanneer iemand weigert, vraag dan beleefd naar de reden en bespreek of er toch nog
een mogelijkheid is om de enquête af te nemen. Is dat niet zo, leg je er dan bij neer en
dring niet verder aan. Een discussie over de argumenten van iemand om te weigeren,
heeft meestal slechts een averechtse uitwerking.
4.
Wanneer de gesprekspartner slechts korte antwoorden geeft, probeer dan door te
vragen. Forceer dat nooit en houd de aanvullende vragen neutraal. Neutrale vragen zijn
bijvoorbeeld: "Hoe bedoelt u dat?", "Kunt u dat nader toelichten?", "Hoe staat u daar
zelf tegenover?" of "Kunt u daar iets meer over vertellen?". Soms kan het handig zijn bij
korte antwoorden om het antwoord te herhalen en dan een stilte te laten vallen ("dus u
zegt dat u ontevreden bent over het huidige aanbod?"). Leg nooit een antwoord in
iemands mond.
5.
Het samenvatten van een antwoord is altijd handig. Ten eerste kunt u daarmee checken
of u het antwoord goed begrepen hebt. Ten tweede hebben mensen daardoor vaak het
gevoel dat ze serieus genomen worden.
6.
Noteer de antwoorden tijdens het gesprek of onmiddellijk daarna op een
standaardformulier, waarop de vragen al zijn voorgedrukt. Vul het formulier altijd in,
voordat u met het volgende gesprek begint.
7.
En natuurlijk het belangrijkste: blijf vriendelijk en opgewekt, laat zelfs de vervelendste
reactie (en die zult u vast krijgen) niet uw goede humeur verpesten.
20
Bijlage 4:
Tips voor het ontwerpen van een vragenlijst
Het maken van een goede vragenlijst is een hele kunst. Daarom is het zeer aan te bevelen,
om eerst een proefversie van de vragenlijst te maken en deze uit te testen bij enkele
mensen, bijvoorbeeld een paar collega's. U komt dan snel op het spoor van bijvoorbeeld
onduidelijkheden in de vraagstelling, ontbrekende antwoordcategorieën en dergelijke.
Bij het formuleren van vragen moet u zich steeds in de positie van de beantwoorder (de
respondent) verplaatsen en bedenken welke antwoorden hij of zij zou kunnen geven. Zorg
ervoor dat:
de vragen voor één uitleg vatbaar zijn;
de vragen begrijpelijk zijn geformuleerd;
de vragen niet suggestief zijn.
Er zijn twee typen vragen:
open vragen
gesloten vragen.
Bij open vragen krijgen de respondenten geen antwoordmogelijkheden aangereikt. Ze
mogen alles zelf invullen. Bij gesloten vragen is dit wel het geval en kan de respondent
kiezen uit de voorgelegde antwoorden.
Open vragen hebben het voordeel dat men veel meer informatie krijgt, ook bijvoorbeeld
antwoorden die men zelf niet had kunnen verzinnen. Bij een grote hoeveelheid
respondenten is echter het nadeel, dat u alle antwoorden moet gaan of laten verwerken. U
moet dan achteraf toch weer proberen alle antwoorden te ordenen in bepaalde categorieën
en dat is zeer tijdrovend. Gesloten vragen zijn veel makkelijker te verwerken.
Als je eerst een proefversie van de vragenlijst uittest, kunt u ervoor kiezen in de proefversie
meer met open vragen te werken. Op basis van de antwoorden die u dan krijgt, formuleert
u vervolgens voor de definitieve versie de antwoordcategorieën.
Ook kunt u ervoor kiezen om bij sommige gesloten vragen de mogelijkheid te geven om het
antwoord van een toelichting te voorzien.
Er zijn drie soorten gesloten vragen:
1.
Vragen waarop men alleen met 'ja' of 'nee' kan antwoorden, bijvoorbeeld:
Bent u bekend met het project Free2Choose?
O Ja
O Nee
2.
Multiple choice vragen, vragen met meerdere antwoordmogelijkheden
3.
Vragen die niet een feit betreffen, maar een bepaalde opinie of houding; de
antwoordmogelijkheden vormen dan een 'schaal'.
21
Er zijn twee soorten schalen. De schaalmethode van Likert en de schaalmethode van
Osgood.
Bij de schaalmethode van Likert krijgen de respondenten een aantal beweringen of
stellingen voorgelegd. Bij elke bewering vraag je hen een mening te geven over het gestelde
door het aankruisen van een antwoordmogelijkheid uit een rijtje:
O
O
O
O
O
Volledig mee eens
Mee eens
Weet niet, niet mee eens/ niet mee oneens
Mee oneens
Volledig mee oneens.
Meestal gaat het om vijf of zeven antwoordmogelijkheden. Bij zeven
antwoordmogelijkheden gaat het meestal om de volgende antwoordcategorieèn:
O Zeer mee eens
O Mee eens
O Een beetje mee eens
enzovoorts.
Bij de schaal van Osgood staan er links en rechts twee tegenover elkaar staande
kenmerken. De respondent moet dan, bijvoorbeeld door het aankruisen van een cijfer uit
een reeks van 1 tot 5, aangeven of zijn mening vooral of helemaal aan de linkerzijde ligt of
vooral of helemaal aan de rechterzijde.
Bijvoorbeeld:
Ik vond de
Duidelijk
Spannend
Diepgaand
tentoonstelling:
1 - 2 - 3 - 4 - 5 vaag
1 - 2 - 3 - 4 - 5 saai
1 - 2 - 3 - 4 - 5 oppervlakkig
Nog enkele tips voor het maken van een vragenlijst.

Leg in een inleiding of begeleidende brief nog even uit wat het doel van de
vragenlijst is, wat u met de gegevens gaat doen, hoe lang het invullen ongeveer
gaat duren en dat de anonimiteit door u gegarandeerd wordt.

Zend na het verstrijken van de inzendtermijn nog een herinneringsbrief, met het
vriendelijk verzoek de vragenlijst alsnog in te vullen; dat verhoogt de respons
aanzienlijk.

Wees zuinig met het aantal vragen. Vaak bestaat er de verleiding om meteen van
de gelegenheid gebruik te maken om allerlei vragen te stellen. Maar houd de
vragenlijst kort en zakelijk.

Stel vragen over de persoonlijke kenmerken van de respondent (man/ vrouw,
leeftijd, functie) altijd pas aan het eind van de vragenlijst, begin er nooit mee.
Vraag alleen die persoonlijke kenmerken die je ook echt nodig hebt voor je
analyse.

Groepeer de vragen in een voor de respondent logische volgorde. Zet dus vragen
over eenzelfde onderwerp zoveel mogelijk bij elkaar.

Werk met tussenkopjes of inleidende zinnen om de respondent als het ware naar
de vraag toe te leiden ("We stellen nu enkele vragen over het onderwijs op uw
school" of "Nu volgen vier vragen over de tentoonstelling die u juist heeft
bezocht").
22
Bijlage 5:
Voorbeeld vragenlijstje leerlingen
Jij hebt meegedaan aan het project …. Dat project is nog volop in ontwikkeling. We willen graag dat
meer scholen en docenten er mee gaan werken. Kun je daarom hieronder aangeven wat je van het
project vond en wat er volgens jou beter kan? Hartstikke bedankt voor het invullen!
1. Kun je hieronder door het plaatsen van het omcirkelen van een vakje je oordeel
geven over een paar onderdelen van het project:
a. Het thema:
Sprak me aan
Sprak me een
beetje aan
Geen mening
Sprak me niet zo
aan
Sprak me
helemaal niet aan
Precies goed
Iets te weinig
Veel te weinig
Een beetje kort
Veel te kort
b. De informatie die we kregen:
Veel te veel
Meer dan
voldoende
c. De tijd die je aan het project kon werken, was:
Veel te lang
Een beetje lang
Precies goed zo
Toelichting:
2. Welk rapportcijfer zou je willen geven aan het project?
Rapportcijfer: …
Waarom geef je dit rapportcijfer?
3. Kun je tot slot met het zetten van een kruisje je mening geven over de volgende
stellingen?
Mee
eens
Beetje
mee
eens
Geen
mening
Beetje
mee
oneens
Oneens
Het werken aan het project … is een leuke
afwisseling met de gewone lessen.
Door het project … krijg je meer kijk op wat er
in de Tweede Wereldoorlog allemaal is
gebeurd.
Door project …. begrijp je beter hoe het was
om in een kamp opgesloten te zitten.
Door project …. zie je beter hoe belangrijk het
is, dat er in Nederland vrijheid van
meningsuiting is.
23
Bijlage 6:
Format voor een testformulier
Onderstaande een format van een eenvoudig testformulier, dat voor en na afloop van een
project kan worden voorgelegd aan leerlingen. Het is slechts een fictief voorbeeld. Uiteraard
hangt de inhoud van de stellingen volledig af van de doelstellingen van uw project.
Zeer
mee
eens
Beetje
mee
eens
Weet
niet/
geen
mening
Beetje
mee
oneens
Zeer
mee
oneens
Stelling 1: De Joden hadden zich meer moeten
verzetten tegen de Duitse bezetters.
Stelling 2: De meeste Nederlanders hielpen
alleen mensen onder te duiken als ze er zelf
geld voor kregen.
Stelling 3: De meeste Nederlanders hebben op
de een of andere manier wel geholpen om
Joden te laten onderduiken.
Stelling 4: De meeste politiemensen in
Nederland waren in meer of mindere mate
betrokken bij het oppakken van Joden.
24
Bijlage 7:
Tips voor het uitvoeren van observaties
Hieronder volgen enkele tips voor het observeren van (proef)personen.
1. Observeren wordt vooral gebruikt bij ex-ante evaluatie, bijvoorbeeld het uittesten
van een product (een computerspel, een handleiding) of een proces (hoe bewegen
de personen zich door de ruimte heen? waar staan ze vooral stil? Hoe reageren ze
op bepaalde beelden?).
2. In boeken over onderzoeksmethoden staan bij ‘observatie’ vaak ingewikkelde
technieken genoemd, zoals observatie door middel van ‘one way screens’ (dat wil
zeggen een ruit waardoor je maar één richting uit kunt kijken, zoals je in politiefilms
vaak ziet) en ‘tachistocopen’ (apparaten waarmee afbeeldingen kort aan een
proefpersoon worden vertoond) en ‘eye-movementcamera’s’ (de naam zegt het al).
Maar bij projecten op het gebied van (jeugd)voorlichting gaat dat allemaal veel te
ver. De observant kan gewoon rustig in een hoekje van een ruimte zitten en met
blocnote en horloge of stopwatch zijn waarnemingen verrichten. Neem wel zo’n
positie in, dat de proefpersonen uw aanwezigheid nauwelijks hoeven op te merken
en zich er niet door laten beïnvloeden.
3. Bedenk tevoren op welke aspecten u de waarneming wilt concentreren. Vertaal deze
aspecten in concrete waarnemingseenheden, bijvoorbeeld: ‘het aantal seconden dat
de persoon naar het paneel kijkt’ of ‘het aantal malen dat de persoon zich met een
opmerking tot een medescholier richt’.
4. Ontwerp een observatieformulier, waarop u de waarnemingseenheden in categorieën
indeelt. Gebruik dit formulier steeds voor het noteren van de scores. Houd ruimte vrij
op het formulier om opvallende zaken te noteren of de opmerkingen die de
proefpersonen maken.
5. Observatie is een beperkte techniek, omdat u na het observeren vaak nog niet
begrijpt waarom de proefpersoon zo handelde of reageerde. Daarom is het
gebruikelijk om ter verdieping van de resultaten met de proefpersonen nog
aanvullend een eindgesprek te voeren. In dit gesprek kunt u uw bevindingen
inbrengen en vragen naar beweegredenen. Bijvoorbeeld: “Ik merkte dat jullie bij het
eerste paneel maar heel kort stil stonden, maar bij het tweede paneel veel langer.
Waar lag dat aan? Wat was voor jullie het belangrijkste verschil?“
25