Toetspagina*s

Expertiseteam
Themadag Digitale
Toetsenbank
Toetsing
1 december 2011
Alex van Essen
Using the Latest Learning
Research to Improve your
Questionmark Assessments
John Kleeman, Questionmark Chairman
October 2011
2011 European Users Conference ♦ Brussels
Graph from Test-Enhanced Learning : Roediger and Karpicke 2006.
Psychological Science.
Graph from Roediger & Butler : The critical role of retrieval practice in long-term retention.
Trends in Cognitive Sciences 2010.
Trainen van het geheugen en
het “test”-effect
Geheugentraining helpt het leren
► Francis Bacon, 1620
► “If you read anything over
twenty times, you will not
learn it by heart so easily as
if you were to read it only
ten, trying to repeat it
between whiles, and when
memory failed, looking at
the book.”
Leren
Ophalen uit geheugen
Cue
(hulp)
• Vraag
• Andere stimulus
► Onderzoek toont aan dat
geheugentraining helpt bij
herinneringen op een
later moment.
Zoek
• Ophalen uit lange
termijn geheugen
► Een geslaagde herinnering
wijzigt het geheugen zodanig
dat toekomstige
herinneringen makkelijker
zijn.
Reactie
• Reactie of antwoord
Welke plant is dit?
a) Abies koreana
b) Abies balsamea
c) Picea abies
d) Abies grandis
Roediger & Karpicke experiment 2006
► 120 studenten willekeurig over groepen verdeeld
► Krijgen stukken tekst te lezen (begrijpelijk lezen)
► Sommige studenten
 Studeren 14 minuten
► Sommige studenten
 Studeren 7 minuten
 Herdenken, herinneren (terug kijken) m.b.v. testen 7 minuten
► Resultaten worden vergeleken na
 5 minuten,
 2 dagen en
 1 week
Roediger & Karpicke experiment 2006
Marsh & anderen 2007
Experiments with multiple choice questions
Karpicke & Blunt experiment 2011
► 80 studenten verdeeld over vier groepen, bestuderen een
“science” tekst
 Studeren
 Herhaald studeren
 Concept Mapping (mind mapping)
 Geheugen oefeningen
► De studenten werd gevraagd bij welke methode ze de beste
resultaten zullen behalen
► Na een week getest (hoeveel is er onthouden)
Karpicke & Blunt experiment 2011
Resultaten na een week
Karpicke & Blunt experiment 2011
► Geheugen oefeningen geven een significant beter resultaat
dan gewoon studeren en “actief” leren met mind mapping
► Zowel bij feiten als begrijpen
► De kandidaten hadden het anders voorspeld
► Een vervolgonderzoek liet zien dat
 84% behaalde betere resultaten met geheugen oefening
dan met Concept Mapping (Mind mapping)
 75% voorspelde het anders
► Intuïtie is niet altijd een goede raadgever
Welke plant is dit?
a) Picea abies
b) Abies koreana
c) Picea grandis
d) Abies balsamea
Leren in een perfecte wereld
Leren in een perfecte wereld
De Leercurve
Maar! We vergeten!
Maar! We vergeten!
De Leercurve wordt een
VERGEETcurve
Larson experiment 2009
Quizzen vlakken de vergeetcurve af
► Artsen in opleiding
Quiz groep
Herstudeer groep
Dag 1
Studie
Studie
Dag 1
Test
Herstudie
2 weken later
Test
Herstudie
2 weken later
Test
Herstudie
6 maanden later
Examen
Examen
► 20 artsen deden quizzen voor ‘status epilepticus’ en
herstudeerden voor ‘myasthenia gravis’
► 20 artsen deden quizzen voor ‘myasthenia gravis’ en
herstudeerden voor ‘status epilepticus’
Larson experiment 2009
Resultaat
Quiz groep
Herstudeer groep
Belangrijkste conclusies #1
► Geheugenoefeningen helpen bij het vasthouden van het geleerde
■ Bij feitenkennis, maar ook bij
■ Begrijpen en concepten
► Geheugenoefeningen omvatten
■ Herinneren, herkennen, terug kijken/denken
■ Formatieve quizzen en testen
■ Zelftoetsen
■ Uitleggen
► We denken dat we beter onthouden dan het eigenlijk is
■ Voordeel van formatieve quizzen en testen is dat we gedwongen
worden om iets op te halen uit het geheugen
■ En dat het vasthouden van het geleerde wordt bevorderd
Belangrijkste conclusies #2
► Soorten vragen
■ Het beste kort antwoord, fill-in-blanks (moet zelf antwoord
bedenken).
■ Multiple choice vragen zijn nuttig.
■ Het is aan te bevelen om feedback toe te passen bij formatieve
test bestaande uit MC-vragen. Dit om het insluipen van foutieve
gedachte over het juiste antwoord te voorkomen.
► Tijdsverloop bij ophalen uit het geheugen
■ Werkt het beste als er een ruimte (interval) zit tussen testen.
■ Het effect is het sterkste bij moeilijke inhoud.
► Herhaling van ophalen
■ Onderzoek suggereert 5-7 ‘repetities’ (met interval).
Feedback bij
formatieve toetsing
Cue
• Vraag
• Andere stimulus
Zoek
• Ophalen uit lange termijn
geheugen
(Re-)actie
Feedback
• (Re-)actie of antwoord
• Corrigeren van misconceptie
Huidige
situatie
Zoek /
ophalen
Wijzigen /
aanpassen
(Re-)actie
Evaluatie
Topic
Feedback
Vraag
Topic
Feedback
Vraag
Topic
Feedback
Vraag
Vraag
Vraag
Vraag
Vraag
feedback
Deelnemer
beantwoord
vragen
Toets
Feedback
Topic
Toets
Plaats van de feedback
Eenvoudige feedback
Soort
Betekenis
Toepassing
Geen feedback
Geen feedback bij vragen,
topics en einde toets.
Gebruikt in “higher stakes”
testen (examens) i.v.m.
geheimhouding.
Verificatie
Geeft goed of fout
beantwoord aan, maar niet
het correcte antwoord.
I.h.a. geen bijdrage bij het
leren.
Correct antwoord
Geeft goed of fout
beantwoord aan EN het
correcte antwoord.
Nuttig.
Probeer nog eens of
herhaal tot correct
Geeft goed of fout
beantwoord aan. Kan de
vraag overdoen.
Nuttig.
Fouten aangeven
Geeft fouten, maar niet de
correcte oplossing.
Kan nuttig zijn.
Uitgebreidere feedback
Soort
Betekenis
Voorbeeld
Op gegeven antwoord
Feedback per antwoord of
vraag, inclusief het waarom
van goed/fout.
Je koos C, deze is fout.
Antwoord A is de goede
omdat …..
Op gegeven antwoord
Je koos C, deze is fout.
Waarom deze fout is kun je
lezen op …..
Per topic en/of toets
Feedback per topic,
eventueel met aangeven
waar en wat te leren
Het resultaat is nog
onvoldoende. Bestudeer
hoofdstuk …..
Hints, tips
Geeft extra info zonder het
geven van goede antwoord
Hier is een demo dat laat
zien dat jouw antwoord
fout is.
Misconceptie
Geeft onbegrip aan en geeft Jouw antwoord geeft aan
uitleg waarom
dat je begrip X verwart met
begrip Y. Uitleg volgt …..
Feedback tips #1 – altijd feedback in formatieve toets
► Leerlingen weten pas wanneer iets fout is nadat je het ze vertelt
► Korte antwoord vragen helpen het beste bij het ophalen uit het
geheugen als er ook feedback is
► Multiple Choice vragen kunnen een mild negatief effect hebben als
er geen feedback wordt gegeven
► Geef feedback inclusief het goede antwoord
 In de meeste gevallen heeft het enkel laten zien wat
goed/fout is geen of weinig effect
► Feedback is het meest effectief bij de foutieve antwoorden
 Bij goede antwoorden heeft het minder effect, maar wel in het
geval van gokken
Feedback tips #2 – eerst beantwoorden
► Bevorder de geheugentraining voordat de feedback wordt gegeven.
 Niet toestaan dat het goede antwoord al gezien kan worden
 Het moeten ‘opzoeken’ in het geheugen wordt daardoor
minder
► Er zijn uitzonderingen mogelijk
 Een tip geven
Feedback tips #3 – herhalen
► Na het geven van feedback  mogelijkheid geven om te herhalen
 De toets zelf of delen van de toets
 Een andere toets met vragen over hetzelfde onderwerp
Feedback tips #4 – leerlingen
► Feedback is alleen zinvol als de leerlingen deze ook bekijken
► Zorg ervoor dat de leerlingen de feedback bekijken
 Vertel het ze
 Goede feedback
 Aantrekkelijke feedback
 Bedenk of feedback ook bij het goede antwoord kan
 Let op en probeer er achter te komen of er een effect is in het
gebruik van feedback
► Hou het simpel. Kort maar krachtig.
Feedback tips #5 – uitstellen
► Iets uitstellen van feedback is meestal beter dan directe feedback
 Waarschijnlijk door de tijd te gunnen om iets te laten
“inzinken” (spacing effect in learning)
 Feedback aan einde van de toets (of vragenblok) is beter dan na
elke vraag
 MAAR onderzoek/literatuur is niet geheel eenduidig
Een resultaat bij een experiment (toets met MC-vragen)
Leren met intervallen
(spaced learning)
Psychologische onderzoeken wijzen
uit dat intervallen bij het leren
beter werken bij het vasthouden
in het geheugen
► Repetities, oefenen met intervallen helpen
bij het leren
Eerste
leerperiode
tijd
herstudie
► Intervallen tussen leerperioden helpt
significant bij op het op lange termijn
vasthouden (in het geheugen)
► Er zijn vele experimenten die dit bewijzen
examen
Een experiment: Kornell 2009
► Leren van moeilijke Engelse
woorden
► Zonder interval
 Nieuwe woorden leren op een
dag
► Met interval (verspreid)
 Nieuwe woorden leren
verspreid over 4 dagen (in
dezelfde tijdsduur)
► Resultaat: beter bij interval
Regelmatige oefeningen/quizzen geven deze mogelijkheid
Conclusies
► Testen (toetsen, oefeningen en quizzen) gebruiken i.p.v.
steeds maar alleen “leren”, “leren” en nog eens “leren”
► Afwisselen
► Altijd feedback bij formatieve toetsing
► Met intervallen
► Uitgestelde feedback
Vragen ?