Projectoverzicht

Toetsontwikkeling en kwaliteit
AOC-raad presentatie
Silvester Draaijer (Onderwijscentrum VU)
1
Issue
 Assessment of Learning
 Summatief (cijfer, score, studiepunten, afronden, na afloop van leertraject)
 “Lage inhoud”
 Assessment for Learning
 Formatief toetsen (vooraf, gedurende leertraject)
om te leren
om te diagnosticeren
om vooruit te kunnen kijken
om te sturen
“Rijke inhoud”
2
ICT: Toetsing van competenties





3
Veel ‘zelftests’ op verschillende terreinen via internet (DiA)
360 graden feedback, (MyCQ)
Peer-review beoordeling van eigen handelen (DiviDU)
Peer-review beoordeling van groepswerk (SPARK)
Portfolio
Quizzing – studentgericht formatief toetsen
 Toets met diagnostische functie tbv toets
 Toets om te leren/oefenen
8
Voorbeeld 2a: opfrissen van voorkennis
 Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie
9
Voorbeeld 3a: Actieve verwerking van collegestof
 Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en
Functieleer
10
Doel en belang van toetsen
Toetsen sturen het leergedrag
Het toetsprogramma stuurt het leergedrag
11
Doel en belang van toetsen

Toets beoogt te meten of de student is geslaagd
 bezitten de studenten de bedoelde kennis?

Daardoor
 kwaliteit van geslaagden waarborgen

Toets beoogt te meten of onderwijs is geslaagd:
 bezitten de studenten de bedoelde kennis?

Zonder deugdelijke toets weet je niet of het onderwijs
is geslaagd  belang van kwaliteit toetsen

Daardoor:
 kwaliteit van het onderwijs waarborgen
 kwaliteit van het diploma waarborgen
Belang (interne) kwaliteitszorg

12
Wat is een deugdelijke toets
 Valide
 Betrouwbaar
13
Validiteit
Toetsen ontwikkelen op basis van
 Curriculum doelstellingen
 Competentiebeschrijvingen
 Leerdoelomschrijvingen
 Eindtermen
 Zoek een passende toetsvorm!
14
Validiteit




15
Face-validity
Concurrent validity
Content validity
Predictive validity
Validiteit bij ‘kennis’ toetsen
Representativiteit
16
Betrouwbaarheid en cesuur
10
5,5 (of 6,0)
Proportie studenten die
slaagt.
cijfer
1
0,0 (of 1,0)
raadscore
score
17
cesuurscore
maximale score
Factoren die uitslag op een toets beïnvloeden
 Wat kan er mis gaan bij een toets? – uitslag toont ruis
 Leerling geen kennis
 Voorbereiding leerling
 Onderwijs
 Toetsvragen niet de bedoelde kennis of kennisniveau meten
 Omstandigheden v.d. toets
18
Welke invloeden zijn er zoal?
19
Wat zijn goede toetsvragen?
 Ontlokken het bedoelde cognitief gedrag
 Maken onderscheid tussen de wel- en niet-weters
 Stimuleren tot inspanning
 De stimulus van een vraag bepaalt het denkproces dat de student moet uitvoeren, niet
de vorm
20
Ontwikkelen van een toets
21
Een goed proces  Een goede toets?
schaaf bij
bedenk
orienteer
6.
Evalueren
1.
Specificatietabel maken
schaaf bij
5.
Cijfers geven
2.
Vragen construeren
bedenk
orienteer
4.
Nakijken en analyseren
22
3.
Toets afnemen
Vragen en toetsen maken een kunst?
 Het ontwikkelen van toetsvragen is een creatief probleemoplossings proces
 Ill-structured
 Probleem is niet eenduidig
 Route er naartoe niet eenduidig
 Uitkomst is onzeker
 Geen harde criteria
 Computertoetsing maakt aantal vrijheidsgraden nog groter
 Er is geen empirisch onderzoek gedaan naar toetsvraagontwikkeling
 Je kan het of je kan het niet …
 Maar training helpt …
23
Vragen en toetsen maken een kunst?




24
Gestructureerd en gezamenlijk ontwikkelen van toetsvragen helpt
Training helpt
Veelvuldige review toepassen helpt
Aandacht voor toets- en vraaganalyse is essentieel