Ankeren aan de referentieniveaus

Ankeren aan de referentieniveaus
Anton Béguin
ankeren
standaardhandhaven
ijken
linken
equivaleren
normeren
• Wat is ankeren?
• Mogelijke procedures bij de referentiesets
Ankering bij examens
Item 1-200
Groep 2011
Groep 2012
Item 201- 400
Toets 2011
Toets 2012
Zonder extra informatie of aanname onvergelijkbaar
 Aanname gelijke vaardigheidsverdeling in de groepen
 Extra toetsresultaten om de groepen te vergelijken
Gezamenlijke personen
Item 1-50
Groep 1
Groep 2
Item 51-100
Gemeenschappelijke vragen
Item 1-42
Groep 1
Groep 2
43-57
Item 58-100
Meting 1
Meting 2
1 groep design
Vraag 1-50
Groep 1
Toets 1
Vraag 51-100
Toets 2
Equivalente groepen design
Vraag 1-50
Groep 1A
Groep 1B
Vraag 51-100
Toets 1
Toets 2
Ankertoetsdesign (extern)
Vraag 1-50
Groep 1
Groep 2
Toets 1
Vraag 51-100
µˆ y ,1
σˆ y ,1
Toets 2
101-120
Anker
Anker
vergelijking in een ankertoetsdesign
• Tucker methode (Gulliksen, 1950)
• met behulp van regressie
• Levine (1955)
• Op basis van Klassieke Test Theorie
• corrigeert voor meetfout
• Item Respons Theorie (IRT)
Voorbeeld van lineaire vergelijking
Vraag 1-50
Groep 1
X1
Vraag 51-100
µˆ y ,1
Groep 2
Regressie Y2 op A2:
σˆ y ,1
Y2
Yˆ2 = α A2 + β
Veronderstel nu dat deze regressie ook geldig is voor Y1 op A1:
Yˆ1 = α A1 + β
101-120
A1
A2
De kans dat een persoon i een vraag j correct beantwoordt wordt
gemodelleerd met:
P ( X ij = 1) =
exp(θ i − β j )
1 + exp(θ i − β j )
θ = de vaardigheid van de persoon
en
β = de moeilijkheid van de vraag
1
kans
0,75
0,5
0,25
0
-1
-0,5
0
vaardigheid
0,5
1
Examen Engels
1
kans
0,75
0,5
0,25
0
-1
-0,5
0
vaardigheid
0,5
1
2 Parameter Model
De kans dat een persoon i een vraag j correct beantwoordt wordt
gemodelleerd met:
P ( X ij = 1) =
exp(1.7α j θi − β j )
1 + exp(1.7α jθ i − β j )
θ=
de vaardigheid van de persoon
β=
de moeilijkheid van de vraag
α=
de weging van de vaardigheid /
de discriminatie van de vraag
≈ Φ (α jθ i − β j )
1
kans
0,75
0,5
a=0.6, beta=-0.6
a=1.0, beta=-0.9
0,25
0
vaardigheid
Examen Engels
1
kans
0,75
0,5
0,25
0
vaardigheid
Vergelijking van toetsen
• Toets PO
• Toets MBO
Item 1-50
Populatie
PO
Populatie
MBO
Item 51-100
101-120
Anker
Toets PO
Toets MBO
Anker
Vergelijking van toetsen
• Toets PO
• Toets MBO
Item 1-50
Populatie
PO
Populatie
MBO
Item 51-100
101-120
Anker
Toets PO
Toets MBO
Anker
Vergelijking van toetsen
• Toets PO
• Toets MBO
Item 1-50
Populatie
PO
Populatie
MBO
Item 51-100
101-120
Anker
Toets PO
Toets MBO
Anker
Vergelijking van toetsen
• Ankeren wordt het vergelijkingsset
Item 1-50
Populatie
PO
Populatie
VO
Item 51-100
Toets PO
101-140
Anker
Toets MBO
Anker
Vergelijking van toetsen
• PO toets referentieset
• Data referentieset verzameld in PO
Item 1-50
Populatie
PO
Toets PO
Item 51-100
101-140
Anker
referentieset
Vergelijking van toetsen
Stel: cesuur op de referentieset is 27
⇒ ankercesuur = 16
⇒ voorspelde cesuur in de PO populatie
Item 1-50
Populatie
PO
Toets PO
Item 51-100
101-140
Anker
referentieset
Vergelijking van toetsen
• MBO toets referentieset
• Data referentieset verzameld in MBO
=> Ankercesuur = 14
Item 1-50
Populatie
MBO
Item 51-100
Toets MBO
101-140
Anker
referentieset