Evidence based education

Waarom “wat werkt” niet
(altijd) werkt, zeker niet in
het onderwijs
Joost Meijer
(gedeeltelijk gebaseerd op
Biesta, 2007)
Kohnstamm Instituut
Universiteit van Amsterdam
20-7-2017
1
Why “what works” won’t
work (Gert Biesta,
Educational Theory, 2007)
•“Effectiviteit”
is afhankelijk van hetgeen men in het
onderwijs wenselijk vindt.
•Waarvoor of voor wie is een interventie effectief en wie
bepaalt dat?
•Bij effectieve interventies is er een zekere relatie tussen
de interventie (als oorzaak) en de resultaten (als
gevolgen).
20-7-2017
2
• Maar de vraag blijft: effectief voor wat?
Zonder het gewenste effect te definiëren, is
het gebruik van de term “effectieve
interventie” zinledig.
• In het onderwijs gaat het er niet alleen om
wat er mogelijk is, maar vooral wat er
wenselijk is. Er is altijd de vraag of
bepaalde interventies wenselijk zijn.
20-7-2017
3
• Evidence-based practice brengt een technologisch
model van professioneel handelen met zich mee.
Onderwijs is echter geen proces van fysieke
interactie, maar bestaat uit symbolisch gemedieerde
interactie.
• Onderwijs is meer een morele praktijk dan een
technologische onderneming.
• Evidence based education ontneemt mensen in de
praktijk van het onderwijs de mogelijkheid om niet
in overeenstemming met evidence te handelen, als
ze de beoogde doelen van de interventie niet
wenselijk vinden.
20-7-2017
4
• John Dewey: “evidence” verschaft ons
geen regels hoe te handelen, maar slechts
hypothesen voor het op intelligente wijze
oplossen van problemen.
• Met andere woorden: onderzoek laat
slechts zien wat er gewerkt heeft, niet wat
er werkt.
20-7-2017
5
Cultuur en techniek
• Onderzoek heeft zowel een technische als
een culturele rol.
• De technische rol bestaat uit middelen,
strategieën en technieken om bepaalde
doelen te bereiken.
• De culturele rol verwijst naar het
verschaffen van alternatieve wijzen om de
sociale werkelijkheid te begrijpen en voor
te stellen.
20-7-2017
6
Onderwijs en democratie
• In een democratische samenleving vervult
onderzoek echter zowel een culturele als een
technische rol.
• Als er aan doelstellingen van het onderwijs
niet langer getwijfeld kan worden, kan
onderzoek alleen nog maar haar technische
rol vervullen.
• In die zin zijn de eenzijdige technologische
verwachtingen over evidence-based practice
zorgelijk (De Vries, 1990).
20-7-2017
7
De “What Works
Clearinghouse” (WWC)
•Amerikaans ministerie van onderwijs.
•Selectie van interventies voor Middle
School Mathematics; grades 6 to 9 (11 tot
14 jaar, grofweg Junior High School).
•Voorwaarde: computerondersteuning
maakt belangrijk deel uit van de interventie.
20-7-2017
8
Interventie
Beschrijving
University
Of Chicago
Math Algebra
Computer Algebra
Geen
System
Grafische rekenmachine
-6%
Accelerated
Math
Individuele
opdrachten
Geen
+4%
(-3% +7%)
Cognitive Tutor AI leerling-model
Algebra
Potentieel
positief
+15%
Destination
Math
Sequentiële stapvoor-stap instructie
Geen of onvergelijkbare
controlegroep
I CAN learn
(pre)algebra
Self-paced mastery
Positief
20-7-2017
Effecten
Index
+5%
(-7 +16%)
9
Interventie
Beschrijving
Effecten
Index
Math in
Context
Realistische
wiskunde
Interventie gecontamineerd
Onvergelijkbare controlegroep
Wiskundeprestaties geen
afhankelijke variabele
Odyssey math Individuele instructie Effecten niet per se gevolg van
en toetsing; rapporten interventie; geen controlegroep;
voor leraren
steekproef ongeschikt
The expert
Logo programmeren
Mathematician
20-7-2017
Potentieel
positief
+14%
10
Een verbetering van circa 15% ten opzichte van het
gemiddelde (het sterkste effect in de database over
wiskundeprogramma’s) komt overeen met een
gestandaardiseerde effectgrootte d van ongeveer 0.40.
Bij d=0.2 spreekt men van een klein effect (circa 8%); bij
d=0.5 van een medium effect (circa 19%).
15%
0
20-7-2017
0.38
11
Is een gerandomiseerd experimenteel
design terecht de standaard voor het
vergaren van kennis over onderwijs?
Een experiment met aselecte toewijzing is
geschikt voor het evalueren van het effect
van een interventie.
Voorbeeld van kennis verwerven door
observatie is het inzicht krijgen in
denkprocessen door het interpreteren van
hardopdenk-protocollen.
20-7-2017
12
Kennis uit observatie: Minnie Mouse (Renee Baillargeon)
20-7-2017
13
Bron: NRC Handelsblad, 1 juli 2000
20-7-2017
14
•Let wel: het opklappen van het scherm is ook een
interventie.
•De observatie van het effect: de reactie van de
baby.
•Er is echter geen sprake van aselecte toewijzing.
•Er is sprake van hypothesetoetsing, maar niet
van toetsing van de effectiviteit van de
interventie; uitsluitend het gevolg ervan.
•Bij evidence based practice gaat het om
utiliteitsdenken.
20-7-2017
15
•Deze experimenten van Baillargeon zijn niet
gericht op het versnellen van de cognitieve
ontwikkeling van kinderen, maar op het begrijpen
van deze ontwikkeling.
•Er zouden eventueel programma’s ter stimulatie
van de cognitieve ontwikkeling op kunnen worden
gebaseerd.
•Maar dat vereist nog wel enig extra denkwerk.
20-7-2017
16
1. Formuleren theorie
2. Kennis opdoen door exploratie, systematische observatie
3. Formuleren hypothesen door afleiding uit theorie en
exploraties of observaties
4. Toetsen, eventueel in randomized control trials
5. Eventueel bijstellen of verwerpen theorie
Er is niets nieuws onder de zon.
Dit is de empirische cyclus (A.D. de Groot)
20-7-2017
17