8 [1p] el cuerpo

PROFIELPRODUCT ABSTRACT EN VERANTWOORDING
Naam auteur(s)
G. Boerstoel
Vakgebied
Spaans
Titel
Methodetoetsen Spaans
Onderwerp
Analyse toets Paso Adelante 3 hoofdstuk 4
Profiel
Ontwikkelaar
Opleiding
Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam
Doelgroep
4 vwo
Sleuteltermen
Methodetoetsen
P-waarden
RTTI
Spaans
Bibliografische
referentie
Boerstoel, G. (2015). Methodetoetsen Spaans. Amsterdam:
Interfacultaire Lerarenopleidingen UvA.
Studentnummer
10835857
Begeleider(s)
W.A.M. van Kleef
Beoordelaar(s) indien
bekend
F.J. Boesenkool
Opdrachtgever
M. Aghina
Datum
22-06-2015
Abstract
Het product van mijn onderzoek is een handleiding voor de sectie Spaans van het Berlage Lyceum in
Amsterdam. Daarin heb ik opties en suggesties beschreven om de methodetoetsen van de gebruikte
leergang Paso Adelante 3, beter te laten aansluiten bij het niveau van de 4 vwo leerlingen.
In het product laat ik zien hoe de toetsvragen van hoofdstuk 4 Paso Adelante 3 in moeilijkheidsgraad
aangepast kunnen worden en dit illustreer ik met voorbeelden. Uitgangspunt hierbij is geweest om
binnen de kaders van het ERK te blijven en de leerstof en leerdoelen die in het hoofdstuk behandeld
worden en in de toets bevraagd, gelijk te laten blijven.
Voor mijn opdrachtgever heb ik een oplossing gezocht in het aanpassen van de toetsen op zodanige
wijze, dat de mate van cognitieve activiteit in relatie tot de toets, toeneemt voor de leerlingen van
4vwo. Ik heb me hierbij gebaseerd op, en handvatten gebruikt uit het werkdocument ‘Verschil moet
er wezen’ (Michels, 2006), alsmede op de taxonomie van Kwakernaak (2012), een taxonomie voor
leerdoelen en toetsopdrachten specifiek gericht op het vreemdetaalvaardigheidsonderwijs.
Aanleiding voor het onderzoek is de invoering geweest op het Berlage Lyceum aan het begin van het
schooljaar 2014-2015 van een nieuwe leergang, Paso Adelante, met bijbehorende methodetoetsen.
Deze methodetoetsen leken nogal gemakkelijk te zijn voor de leerlingen van het vwo: cijfers vallen
hoog uit. Om het onderzoek uitvoerbaar te houden, is gekozen voor het onderzoeken van één toets
voor de leerlingen van 4 vwo.
Met als centrale vraagstelling: In welke mate past de samenstelling van de toets Paso Adelante 3
hoofdstuk 4 bij het niveau van de leerlingen van 4vwo?
Begin januari 2015 zijn een aantal methodetoetsen van de leergang, RTTI-gecertificeerd aangeboden
door de uitgever. De vraag ontstond of RTTI zou kunnen helpen bij het aanpassen van de
moeilijkheidsgraad van de toets aan het niveau van vwo leerlingen. Doelstelling van het onderzoek
was te weten komen, welke toetsvragen vallen in de categorie R (reproductie), welke in de categorie
T1 (toepassen1), welke in de categorie T2 (toepassen2), welke in de categorie I (inzicht) en hoe
scoren de leerlingen van 4vwo op de R-vragen, de T1- vragen, de T2- vragen en de I-vragen in de
toets van Paso Adelante3 hoofdstuk 4?
De p-waarde van een toetsvraag geeft een indicatie van de moeilijkheidsgraad van die toetsvraag.
Daarom heb ik de p-waarden van de verschillende toetsonderdelen bepaalt. Hiertoe heb ik een
inhoudsanalyse uitgevoerd op één RTTI toets, Paso Adelante3 hoofdstuk 4, afgenomen in 4vwo.
Met de resultaten van de inhoudsanalyse en de berekende p-waarden van de onderzochte toets, kan
ik voorzichtig conclusies trekken. In antwoord op mijn centrale vraag is mijn bevinding, dat de toets
wat moeilijkheidsgraad betreft, aan de makkelijke kant zit voor deze groep 4vwo leerlingen.
De RTTI-taxonomie heeft het probleem van de hoge cijfers inzichtelijk gemaakt. Bij het oplopen van
de categorieën (van Reproductie, naar Toepassen 1, Toepassen 2, Inzicht), nemen de p-waarden op
de verschillende vaardigheden af. De RTTI-taxonomie is een werkbaar hulpmiddel gebleken bij het
bepalen van de moeilijkheidsgraad van verschillende toetsonderdelen.
Op verzoek van mijn begeleider op school, heb ik enkele suggesties voor het vmbo-t opgenomen in
de handleiding. Komend schooljaar gaat de sectie met de resultaten aan de slag. Een gewenst vervolg
vanuit opdrachtgever is het aanpassen van de toetsen voor de tweede en derde klassen van het vwo
en voor de leerjaren van het vmbo-t.
Verantwoording
1. Inleiding
Het probleem is dat de methodetoetsen van de leergang Paso Adelante gemakkelijk zijn voor de vwo
leerlingen en de cijfers hoog. Directe aanleiding voor het ontstaan van het probleem is de invoering geweest
van de leergang met bijbehorende toetsen aan het begin van het schooljaar 2014-2015.
Onderliggend bij het probleem met de toetsen van Paso Adelante is, dat het uniforme toetsen zijn die geen
onderscheid maken naar het schooltype van de leerling maar aan het ERK zijn gerelateerd. Bij het ERK geldt:
een A2 niveau is een A2 niveau, ongeacht of je vwo, havo of vmbo-t doet. Het A2 niveau is het
beheersingsniveau voor het leerjaar waarop de focus in mijn onderzoek ligt, 4 vwo.
Het vermoeden bestaat dat de moeilijkheidsgraad van de toets, de ‘cognitieve activiteit in relatie tot de toets’
(Van Eggen, 2014), minder passend is voor leerlingen van het vwo. De vwo leerlingen worden niet
aangesproken op hun capaciteiten passend bij het schooltype. Daarom worden de toetsen als probleem
ervaren.
Begin februari 2015 stelde uitgever Noordhoff drie RTTI-gecertificeerde toetsen per leerjaar beschikbaar. RTTI
is een taxonomie met een indeling in vier cognitieve categorieën en staat voor reproductie (R), toepassen in
bekende context (T1), toepassen in nieuwe context (T2) en inzicht (I).
De vraag ontstond of RTTI zou kunnen helpen bij het aanpassen van de moeilijkheidsgraad van de toets aan
het (cognitieve) niveau van vwo leerlingen. De keuze voor het onderzoeken van één RTTI- toets van Paso
Adelante 3 hoofdstuk 4 voor 4vwo, maakt het onderzoek uitvoerbaar.
Bovenstaand probleem heeft geleid tot mijn centrale vraag: in welke mate past de samenstelling van de toets
van Paso Adelante 3 hoofdstuk 4 bij het niveau van 4vwo leerlingen?
Deelvragen hierbij zijn de volgende.
1. Hoe zijn de toetsvragen onderverdeeld over de vier categorieën van de RTTI- taxonomie? Met andere
woorden: welke vragen vallen in de categorie R (reproductie), welke in de categorie T1 (toepassen1), welke in
de categorie T2 (toepassen2) en welke vallen in de categorie I (inzicht)?
2. Hoe scoren de leerlingen van 4vwo op de R-vragen, de T1- vragen, de T2- vragen en de I-vragen in de toets
van Paso Adelante3 hoofdstuk 4? Waarop scoren ze zo goed?
3. Wat zijn de p-waarden van de toetsvragen?
Ik wil de p-waarden van de toetsvragen bepalen, omdat de p-waarde van een vraag een indicatie geeft van de
moeilijkheidsgraad van de vraag.
Het product waartoe dit onderzoek heeft geleid is een handleiding voor de sectie Spaans van het
Berlage Lyceum in Amsterdam, met daarin opgenomen opties om de toetsen voor 4vwo van Paso
Adelante3 op zodanige wijze aan te passen, dat de mate van cognitieve activiteit in relatie tot de
toets, toeneemt voor de leerlingen van 4vwo.
2. Onderzoeksmethode
Empirische verkenning
In de oriëntatiefase heb ik eindexamencijfers Spaans van het Berlage Lyceum Amsterdam 2013-2014
gelegd naast de al gemaakte toetsen van Paso Adelante3 voor 4 vwo. Eindexamens zijn ERK
genormeerd en door het Cito geijkt. Dit zorgt voor betrouwbare cijfers. Via de school en de Vensters
Voorgezet Onderwijs kon ik hierover beschikken. Ook heb ik via de schooladministratie cijfers
gezocht van 4vwo van het voorgaande leerjaar. Hierbij heb ik gekeken of het om het juiste type cijfer
ging, want ik had alleen interesse in cijfers van vergelijkbare voortgangstoetsen, geen cijfers waarin
ander materiaal als praktische opdrachten en schriftelijke overhoringen zijn verwerkt (zie tabel 1).
Uit het netwerk Vereniging Levende Talen van opdrachtgever heb ik zes personen benaderd met een
verzoek om informatie over hun ervaringen met de toetsen van Paso Adelante voor vwo. Het verzoek
leverde drie respondenten op, waarvan twee personen daadwerkelijk met de leergang werken.
Georgina Pozo Llorente, bovenbouwdocent van het Stedelijk Gymnasium Haarlem, en Mauricio
Esquivias, docent Spaans aan het Erasmiaans Gymnasium in Rotterdam, meldden beiden dat de
toetsen te gemakkelijk, respectievelijk heel gemakkelijk zijn voor gymnasiasten.
Van de RTTI-toetsen van het eerste, tweede en derde leerjaar zoals aangeleverd door de uitgever,
heb ik de onderverdeling van de toetsen in RTTI-categorieën geïnventariseerd om te zien hoe het
gesteld is met de toename van niveau. Nadeel van de RTTI- classificatie zoals aangeleverd door de
uitgever is, dat de weging van de afzonderlijke vragen niet in de verhoudingen wordt meegenomen.
Bij de onderzochte toets heb ik daarom de weging van de afzonderlijke vragen bepaald (zie tabel 4).
Literatuuronderzoek
Zoekend naar criteria om het niveau van vwo leerlingen te kunnen definiëren, kwam ik terecht bij het
kwaliteitsaspect ‘moeilijkheidsgraad’, wat interessant is voor mijn centrale vraag: ‘Past de
moeilijkheidsgraad van de toets bij het niveau van de leerlingen?’ (SLO, z.d.).
Het kwaliteitsaspect inhoudsvaliditeit is eveneens van belang bij de vraag of de samenstelling van de
toets passend is voor vwo leerlingen: ‘Dekt de toets de behandelde leerstof? Wordt alle kennis
getoetst op het gewenste beheersingsniveau? (SLO, z.d.). Binnen de scope van mijn onderzoek, neem
ik echter aan dat het niveau van leerstof en toets een A2 niveau betreft en onderzoek ik dit niet
verder. Het gewenste beheersingsniveau, refereert hierbij aan het globale competentieniveau van
het ERK. De onderzochte toets betreft een ERK A2 niveau, het niveau waarop 4vwo werkt. Binnen het
ERK is het afbakenen van het leerstofdomein gedaan aan de hand van can do-statements: ‘korte,
kernachtige uitspraken over wat iemand kan doen in een vreemde taal (…) in een zodanige volgorde
dat ze per vaardigheid de ontwikkeling laten zien van een zeer elementaire tot een vergevorderde
taalvaardigheid.’ De aangebrachte volgorde is geijkt door de Citogroep (Liemberg & Meijer, 2004).
Inhoudsanalyse
De deelvragen heb ik onderzocht door in Excel een inhoudsanalyse te maken van één RTTIgecertificeerde toets, Paso Adelante3 hoofdstuk 4, afgenomen in 4 vwo, bij een groep van 21
leerlingen. Ik heb de scores van de individuele leerlingen verwerkt per vaardigheid, waarbij ik de
vaardigheden verder heb uitgesplitst naar cognitieve categorie.
Aanvankelijk wilde ik alleen de RTTI-categorieën verwerken in de inhoudsanalyse. Het onderscheid in
de vaardigheden lezen, luisteren, schrijven en de ondersteunende vaardigheden vocabulaire en
grammatica is echter essentieel voor het vak Spaans. Daarom heb ik in de inhoudsanalyse de
toetsonderdelen luistervaardigheid, vocabulaire, grammatica, schrijfvaardigheid en leesvaardigheid
opgenomen en verder uitgesplitst naar cognitieve categorie. Deze opzet zorgt ervoor dat ik te weten
kom wat ik graag wil weten: hoe wordt er door individuele leerlingen gescoord op de onderdelen
luistervaardigheid, vocabulaire, grammatica, schrijfvaardigheid, leesvaardigheid en op welk cognitief
niveau worden deze onderdelen bevraagd?
In de inhoudsanalyse heb ik de p-waarden van de verschillende toetsonderdelen berekend, omdat de
p-waarde een indicatie van de moeilijkheidsgraad van een vraag geeft voor de betreffende groep
leerlingen. De ‘norm’ voor de ideale p-waarde is niet een vaststaand gegeven (Hogeschool van
Amsterdam, z.d.), maar waarden tussen de 0,5 en 0,75 kun je als wenselijk beschouwen (Jeuring,
z.d.). Hierbij wordt onderscheid gemaakt tussen open en gesloten toetsvragen. Bij gesloten vragen
hebben leerlingen alleen al door te gokken een kans om de vraag goed te beantwoorden, daarom is
bij een gesloten toetsvraag de wenselijke p-waarde hoger dan bij een open vraag.
3. Resultaten
Tabel 1 - Gemiddelde cijfers 4 vwo van de methodetoetsen Paso Adelante3 (PA3)
A. hoofdstuk 1 (h1), hoofdstuk 2 (h2), hoofdstuk 3 (h3) en hoofdstuk 4 (h4).
B. het gemiddelde van de vier toetsen van Paso Adelante3 2014-2015.
C. het gemiddelde van de voortgangstoetsen voor 4vwo schooljaar 2013-2014
D. gemiddelde eindexamencijfers Spaans vwo schooljaar 2013-2014
toets 1
PA3h1
toets 2
PA3h2
toets 3
PA3h3
toets 4
PA3h4
toetsen
PA3
gemiddeld
voortgangs
toetsen
4vwo
gemiddeld
20142015
6,82
A
20142015
8,87
A
20142015
7,19
A
20142015
6,9
A
20142015
7,45
B
20132014
6,57
C
cijfer CE
vwo
Spaans
Berlage
Lyceum
20132014
6,12
D
cijfer SE
vwo
Spaans
Berlage
Lyceum
20132014
6,7
D
cijfer CE
vwo
Spaans
Landelijk
20132014
6,3
D
tabel 1: cijfers toetsen Paso Adelante3, afgezet tegen toetsen voorgaand leerjaar en eindexamencijfers
De onderzochte RTTI-toets is niet identiek aan de gewone eindtoetsen die tot dusverre zijn
afgenomen. De RTTI toets verschilt op de volgende punten.
1. Het vocabulaire op R-niveau wordt bevraagd zonder context. Dit is moeilijker omdat de steun van
de contextzinnen wegvalt en diepere woordkennis nodig is (Mondria, 2004).
2. De schrijfvaardigheidsopdracht op T2-niveau is vrijer geformuleerd. Met formuleringsvrijheid is
moeilijker dan zonder formuleringsvrijheid (Kwakernaak, 2012).
3. De twee stuurvragen van de luistertekst op T-1 niveau zijn van het type multiple choice, wat
makkelijker is dan open vragen omdat de voorgegeven antwoorden steun geven bij het zoekend
luisteren (Kwakernaak, 2012).
Ik kan niet precies zeggen hoe groot de invloed van de verschillen is, al lijkt het aannemelijk dat de
RTTI-toets in vergelijking met de gewone eindtoets moeilijker is omdat de schrijfvaardigheidsopdracht op T-2 niveau relatief zwaar meetelt.
Tabel 2 - Cijfers RTTI toets Paso Adelante 3 hoofdstuk 4
De onderzochte toets heeft een gemiddeld cijfer van 6,9 en is erg wisselend gescoord (8 van de 21
leerlingen hebben een cijfer onder de 6).
RTTI toets PA3 h4
leerling 1
leerling 2
leerling 3
leerling 4
leerling 5
leerling 6
leerling 7
leerling 8
leerling 9
leerling 10
leerling 11
leerling 12
leerling 13
leerling 14
leerling 15
leerling 16
leerling 17
leerling 18
leerling 19
leerling 20
leerling 21
gem. cijfer
tot. pnt. cijfer70%
51,5
6,2
60,0
7,8
68,0
9,3
42,0
5,2
49,0
5,9
47,5
5,7
33,5
4,3
61,5
8,1
48,5
5,8
69,0
9,4
57,5
7,3
50,5
6,0
42,5
5,2
65,5
8,8
68,0
9,3
54,5
6,8
49,5
5,9
59,5
7,7
50,0
6,0
41,0
5,1
66,5
9,0
71,5
6,9
tabel 2: cijfers RTTI toets PA3 hoofdstuk 4 bij 4vwo
Tabel 3 - Inventarisatie RTTI-toetsen eerste, tweede, derde leerjaar geclassificeerd naar RTTIcategorieën zoals aangeleverd door de uitgever.
Opvallend: het grote aandeel R-vragen in het eerste leerjaar, het grote aandeel T1-vragen in alle
leerjaren, een langzaam stijgend T2-gedeelte.
Bij de categorisering in tabel 3 wordt de weging van de afzonderlijke vragen niet meegenomen,
daarom geeft tabel 3 slechts een indicatief beeld van de verhoudingen tussen de categorieën.
RTTI toetsen
eerste leerjaar
PA 1 RTTI toets h2
PA 1 RTTI toets h4
PA 1 RTTI toets h6
totaal
tweede leerjaar
PA 2 RTTI toets h2
PA 2 RTTI toets h4
PA 2 RTTI toets h6
totaal
derde leerjaar
PA 3 RTTI toets h2
PA 3 RTTI toets h4
PA 3 RTTI toets h6
totaal
Reproductie
Memoriseren
onthouden
Toepassen 1
Operationeel
handelen
Toepassen 2
Tactisch
handelen
Inzicht
Innovatief
handelen
13 vragen
16 vragen
10 vragen
39
31 vragen
34 vragen
31 vragen
96
3 vragen
4 vragen
4 vragen
11
4 vragen
1 vraag
1 vraag
6
5 vragen
3 vragen
5 vragen
13
38 vragen
35 vragen
34 vragen
107
3 vragen
7 vragen
6 vragen
16
1 vraag
3 vragen
4 vragen
8
6 vragen
8 vragen
5 vragen
19
37 vragen
29 vragen
34 vragen
100
7 vragen
7 vragen
5 vragen
19
1 vraag
5 vragen
1 vraag
7
tabel 3: RTTI-toetsen eerste, tweede en derde leerjaar geclassificeerd naar RTTI- categorieën
Tabel 4 - Gewogen percentages R-vragen, T1-vragen, T2-vragen en I-vragen in PA3h4
1. per RTTI- categorie uitgesplitst naar onderwerp
2. per RTTI- categorie in totalen
Uit tabel 4 blijkt dat het gewogen aandeel T2 (30%) hoger is dan uit tabel 3 valt af te lezen (7 van de
49 vragen= 14%). De toets PA3h4 is feitelijk zwaarder dan blijkt uit de RTTI- categorisering van de
uitgever.
Tabel 4 geeft antwoord op mijn eerste deelvraag: hoe zijn de toetsvragen onderverdeeld over de vier
categorieën van de RTTI- taxonomie?
1. Categorie Reproductie: totaal 15% (vocabulaire en schrijfvaardigheid)
2. Categorie Toepassen1: totaal 52% (luistervaardigheid, vocabulaire, grammatica, leesvaardigheid)
3. Categorie Toepassen2: totaal 30% (grammatica, schrijfvaardigheid en leesvaardigheid)
4. Categorie Inzicht: totaal 2 % (leesvaardigheid)
Tabel 4: gewogen percentages per RTTI- categorie uitgesplitst naar onderwerp, en per RTTI- categorie in totalen
PA3h4
Tabel 5 –Inhoudsanalyse PA3h4
Scores van individuele leerlingen per vaardigheid, uitgesplitst naar cognitieve categorie.
Het aantal maximaal haalbare punten per categorie en de bijbehorende vraagnummers worden in de
bovenbalk vermeld.
De berekende p-waarden per vaardigheid uitgesplitst naar cognitieve categorie, worden in de
onderbalk vermeld.
cat. RTTI
T1
R
vaardigh.
luistervh voc.
max. haalbare pnt.
10,5
vragen
leerling 1
leerling 2
leerling 3
leerling 4
leerling 5
leerling 6
leerling 7
leerling 8
leerling 9
leerling 10
leerling 11
leerling 12
leerling 13
leerling 14
leerling 15
leerling 16
leerling 17
leerling 18
leerling 19
leerling 20
leerling 21
totaal
maximaal
p-waarde
score %
1t/m7
10,5
10,5
10,5
7,5
6,0
7,5
6,0
10,5
10,5
10,5
7,5
6,0
6,0
10,5
10,5
7,5
7,5
10,5
10,5
9,0
10,5
186,0
220,5
0,84
84%
T1
voc.
5
8t/m12
T1
gram.
5
T2
gram
10
R
T1
T2
T1
schrijfvh schrijfvh schrijfvh leesvh
5
6
6
10
13t/m17 18t/m27 28t/m32 33,34,37 35,36,38
4,0
4,0
5,0
2,0
4,0
4,0
4,5
5,0
4,0
5,0
3,5
3,0
4,0
4,0
5,0
5,0
2,0
2,0
3,0
2,0
5,0
80,0
105
0,76
76%
4,0
3,0
5,0
0,5
4,0
4,0
3,0
5,0
3,0
4,0
4,0
1,0
4,0
4,0
5,0
4,0
0,0
3,5
2,0
2,0
5,0
70,0
105
0,67
67%
7,0
10,0
9,0
7,0
10,0
6,0
7,0
8,5
8,0
9,0
9,0
8,0
8,0
9,0
9,0
8,0
10,0
8,0
5,0
8,0
8,0
171,5
210
0,82
82%
2,5
3,5
5,0
1,5
3,0
1,0
2,5
4,0
1,0
5,0
3,0
3,0
1,5
4,0
5,0
4,0
2,0
2,5
3,0
1,0
5,0
63,0
105
0,60
60%
5,5
6,0
5,5
3,5
6,0
6,0
2,0
6,0
4,0
6,0
6,0
4,5
4,0
6,0
6,0
6,0
5,5
4,0
3,0
3,0
4,5
103,0
126
0,82
82%
6,0
6,0
5,5
4,0
2,0
4,5
2,0
6,0
4,5
5,5
5,5
5,0
4,5
6,0
6,0
5,5
5,5
6,0
4,0
5,0
6,0
105,0
126
0,83
83%
T2
leesvh
6
I
leesvh
6,5
38 40,41,43,44 45t/m49
5,0
8,5
10,0
3,0
3,0
4,5
2,0
6,0
4,0
10,0
9,5
7,0
2,0
10,0
10,0
6,0
7,5
9,0
5,5
2,5
10,0
135,0
210
0,64
64%
1,5
4,5
6,0
6,0
6,0
6,0
1,5
6,0
3,0
6,0
4,5
6,0
3,0
6,0
6,0
3,0
4,5
6,0
6,0
4,5
6,0
102,0
126
0,81
81%
4,0
4,0
6,5
5,5
5,0
4,0
3,0
4,5
6,5
6,5
6,5
5,5
5,5
4,5
5,5
5,5
5,0
5,5
6,5
4,0
6,5
110,0
136,5
0,81
81%
1,5
39
1,5
0,0
0,0
1,5
0,0
0,0
0,0
0,0
0,0
1,5
0,0
1,5
0,0
1,5
0,0
0,0
0,0
1,5
1,5
0,0
0,0
10,5
31,5
0,33
33%
tabel 5. Berekende p-waarden PA3 hoofdstuk 4 bij 4vwo per vaardigheid uitgesplitst naar cognitieve categorie.
Tabel 5 geeft antwoord op mijn tweede deelvraag: Hoe scoren de leerlingen van 4vwo op de Rvragen, de T1- vragen, de T2- vragen en de I-vragen in de toets van Paso Adelante3 hoofdstuk 4?
Reproductie
Toepassen1
Toepassen2
Inzicht
Vocabulaire
p-waarde 0,76
Schrijfvaardigheid
p-waarde 0,82
Luistervaardigheid
p-waarde 0,84
Vocabulaire
p-waarde 0,67
Grammatica
p-waarde 0,82
Schrijfvaardigheid
p-waarde 0,83
Leesvaardigheid
p-waarde 0,81
Grammatica
p-waarde 0,60
Schrijfvaardigheid
p-waarde 0,64
Leesvaardigheid
p-waarde 0,81
Leesvaardigheid
p-waarde 0,33
4. Conclusies
In welke mate past de samenstelling van de toets van Paso Adelante 3 hoofdstuk 4 bij het niveau van
4vwo leerlingen?
Het perspectief ‘moeilijkheidsgraad van de toets’, de ‘cognitieve activiteit in relatie tot de toets’ (Van
Eggen, 2014), heb ik gekozen bij het beantwoorden van de onderzoeksvraag met daarbij als
onderzoeksopzet om de p-waarden te bepalen van de verschillende toetsonderdelen. Daarnaast heb
ik gekeken naar het gemiddeld cijferbeeld van de toetsen van Paso Adelante3 in vergelijking met
eindexamencijfers en cijfers van voortgangstoetsen van een voorgaand leerjaar toen er een andere
leergang werd gebruikt.
De inhoudsanalyse van de onderzochte toets (zie tabel 5) laat zien op welke onderdelen de leerlingen
goed scoren. Met een minimale p-waarde van 0,75 als criterium, scoren de leerlingen goed op:
Receptieve vaardigheden
Productieve vaardigheden
- Luistervaardigheid T1 niveau
p-waarde 0,84
- Leesvaardigheid T1 en T2 niveau
p-waarde 0,81/ 0,81
- Vocabulaire R niveau
p-waarde 0,76
- Schrijfvaardigheid R en T1 niveau
p-waarde 0,82/ 0,83
- Grammatica T1
p-waarde 0,82
Bovenstaande p-waarden zijn een indicatie dat de vragen relatief eenvoudig zijn voor deze groep
leerlingen. Maar een hoge p-waarde kan ook veroorzaakt worden omdat een vraag zo geformuleerd
is dat het antwoord ‘weggegeven’ wordt, zoals bij de grammaticale T1- vraag gebeurt (zie bijlage 3,
opdracht 3). Bij deze opdracht wordt een voorbeeld gegeven waarin een deel van het antwoord
wordt weggegeven. Bij vwo leerlingen, die flink hebben geoefend op het onderwerp, is het niet
noodzakelijk dit soort steun te geven.
Als ik rond de 6,5 beschouw als een ‘normaal’ gemiddeld cijferbeeld, me hierbij ruwweg baserend op
de gemiddelde eindexamencijfers (zie tabel 1), blijkt dat de onderzochte toets enigszins van dit beeld
afwijkt met een gemiddeld cijfer van 6,9.
Het gemiddelde van de vier toetsen van Paso Adelante3 2014-2015 laten een hoger cijferbeeld zien,
met als uitschieter de toets van hoofdstuk 2 met een gemiddeld cijfer van 8,87.
Naar aanleiding van de gevonden p-waarden in de geanalyseerde toets PA3h4, in combinatie met het
gemiddeld cijferbeeld van de toetsen van Paso Adelante3, durf ik voorzichtig de conclusie te trekken
dat de samenstelling van de toets van Paso Adelante3 h4 wat betreft de moeilijkheidsgraad van de
toets, minder passend is voor de leerlingen van 4vwo.
De inhoudsanalyse (tabel 5) laat zien op welke onderdelen de leerlingen goed scoren, maar ook
waarop de leerlingen minder goed, of ‘normaal’ scoren. De RTTI-taxonomie is behulpzaak gebleken
om het probleem inzichtelijk te maken. Bij het oplopen van de categorieën (van Reproductie, naar
Toepassen 1, Toepassen 2, Inzicht) nemen de p-waarden op de verschillende vaardigheden af, met
uitzondering van luistervaardigheid; dit wordt slecht op één niveau getoetst.
Reproductie
Toepassen1
Toepassen2
Inzicht
Vocabulaire
p-waarde 0,76
Schrijfvaardigheid
p-waarde 0,82
Luistervaardigheid
p-waarde 0,84
Vocabulaire
p-waarde 0,67
Grammatica
p-waarde 0,82
Schrijfvaardigheid
p-waarde 0,83
Leesvaardigheid
p-waarde 0,81
Grammatica
p-waarde 0,60
Schrijfvaardigheid
p-waarde 0,64
Leesvaardigheid
p-waarde 0,81
Leesvaardigheid
p-waarde 0,33
De RTTI-taxonomie is een werkbaar hulpmiddel gebleken bij het bepalen van de moeilijkheidsgraad
van verschillende toetsonderdelen.
5. Reflectie
De begeleiding op school is prettig verlopen. Er is veel overleg geweest en ik heb kans gezien om
suggesties voor het vmbo-t op te nemen in de handleiding. Mijn opdrachtgever wil komend
schooljaar de resultaten gebruiken om de toetsen daadwerkelijk aan te passen op de manier zoals
voorgesteld.
Opdrachtgever vindt het jammer dat ik geen opties heb voorgesteld om de leesteksten van de
toetsen te vervangen door teksten die betrekking hebben op kennis van land en cultuur. Dit
onderwerp lag echter buiten de scope van mijn onderzoek. Cultuur in de toets bevragen lijkt mij
zeker wel mogelijk, maar vereist naar mijn mening nader onderzoek. De vragen zullen toch moeten
aansluiten bij de leerstof uit het hoofdstuk, of bij het gegeven onderwijs. Met het loslaten van de
leesteksten uit de toetsen wilde ik daarom liever voorzichtig zijn. Een ander gewenst vervolg vanuit
de opdrachtgever is het aanpassen van de toetsen voor de tweede en derde klassen van het vwo, als
ook voor de leerjaren in het vmbo-t.
Vanuit de ILO is er met me meegedacht toen ik niet zag hoe ik, naast de cognitieve categorieën, ook
de vaardigheden kon verwerken in het analyse-instrument.
Toch is het onderzoek moeizaam verlopen. Niet gehinderd door kennis van zaken, en zonder stevige
begeleiding het onderwerp toetsanalyse instappen, was geen handige zet. Mijn plan van aanpak was
bovendien in eerste instantie niet helder genoeg en het onderwerp, hoewel interessant, bleek
complex. Een aantal van mijn eigen vragen zijn (vooralsnog) onbeantwoord gebleven.
Literatuur
Beeker, A., Fasoglio, D., Trimbos, B., Til, A. van (2011). Europees referentiekader talen. Toetsen en
beoordelen met het ERK. Arnhem/Enschede: Cito/SLO (nationaal expertisecentrum
leerplanontwikkeling).
Citogroep Arnhem (z.d.). De correctie van open vragen in de examens moderne vreemde talen: een
toelichting. Geraadpleegd op 22-05-2015 via http://www.toetswijzer.nl/html/specials.htm
Eggen, T., Hemker, B., Maassen, N., Straetmans, G., Otter, D. den & Wools, S. (2014). Kwaliteit van
toetsen binnen handbereik: Een reviewstudie van onderzoek naar kwaliteit van toetsen. Research
Center voor Examinering en Certificering RCEC. Universiteit Twente/ Cito.
Examenwerk (z.d.). Schrijfwijzer Taal. Handleiding voor deelnemers, ontwikkelaars, beoordelaars en
leden van de valideringscommissie van Examenwerk.
Hogeschool van Amsterdam (z.d.). Toetscyclus Analyseren en evalueren. Geraadpleegd op 20-062015 via https://score.hva.nl/docent/toetscyclus/Paginas/Analyseren-en-evalueren.aspx
Gruijter, D.N.M. de (2008). Toetsing en toetsanalyse. Herziene versie november 2008. Geraadpleegd
op 03-07-2015 via http://media.leidenuniv.nl/legacy/toetsing-en-toetsanalyse.pdf
Jeuring, J. (z.d.). Validiteit en betrouwbaarheid van toetsen. Toetsadviescommissie. Geraadpleegd op
03-07-2015 via
http://foswiki.cs.uu.nl/foswiki/pub/Toetsing/ToetsAdviesCommissie/ValiditeitEnBetrouwbaarheid.pd
f
Knevel, R. (2013). Taxonomieën zijn hot… en handig. Toets!, 1 (1), 1-10.
Kwakernaak, E. (2012). Een taxonomie voor het vreemdetalenonderwijs. Levende Talen Magazine
2012 (6), 10-15. Gedownload op 20-06-2015 via http://web.iclon.leidenuniv.nl/expcentrmvt/EditSources.aspx?id=954
Liemberg, E., Meijer, D. (2004). Taalprofielen. Nationaal Bureau MVT. Europees referentiekader
talen/ docent. Geraadpleegd op 14-06-2015 via
http://www.erk.nl/docent/niveaubeschrijvingen/Taalprofielen_Nationaal_Bureau_MVT.pdf/
Michels, B. (2006). Verschil moet er wezen. Een werkdocument over verschillen tussen havo en vwoleerlingen in de tweede fase en handreikingen om daarmee om te gaan. Enschede: SLO.
Mondria, J.A. (2004). Vocabulaireverwerving stimuleren door toetsen? Tien minder bekende
toetsvormen. Levende Talen Tijdschrift 5 (4), p. 3-14
Noijons, J., Kuijper, H. (2006). De koppeling van de centrale examens leesvaardigheid moderne
vreemde talen aan het Europees Referentiekader. Arnhem: Stichting Cito Instituut voor
toetsontwikkeling. Geraadpleegd op 23-06-2015 via http://www.erk.nl/docent/materialen/
Raos Kennisbank (z.d.). Docentplus.nl. RTTI- Classificatietabel. Laatst gedownload op 18-04-2015 via
http://raos-nederland.nl/wp-content/uploads/2014/09/Classificatietabel-RTTI.pdf
Referentiekader Moderne Vreemde Talen in het mbo (2010). Geraadpleegd op 16-06-2015 via
http://www.steunpunttaalenrekenenmbo.nl/steunpuntmbo/download/servicedocumenten/30september-2010-referentiekader-mvt-in-het-mbo.pdf
SLO, nationaal expertisecentrum leerplanontwikkeling (z.d.). Checklist kwaliteit toets. Geraadpleegd
op 15-05-2015 via
http://typo.schoolexamenvo.nl/fileadmin/contentelementen/kennisnet/Schoolexamensvo/Scheikun
de/Scheikunde_aug_2012/1_Checklist_kwaliteit_toets.pdf
Til, A. van (2012). Hoofdstuk 4: toetsen met het ERK in de klas. In P. Sanders (Red.), Toetsen op school
voortgezet onderwijs (pp 78-99). Arnhem: Cito.
Universiteit Twente, Stappenplan/ checklist proces screenen toetsen (2011). Bijlage 5:
Psychometrische analyse van de toets. Geraadpleegd op 05-05-2015 via
https://www.google.nl/url?sa=t&rct=j&q=&esrc=s&source=web&cd=5&cad=rja&uact=8&ved=0CDg
QFjAE&url=http%3A%2F%2Fwww.utwente.nl%2Fces%2Ftoetsing%2FnieuwsberichtenToetsing%2FStappenplan-GW_%2528feb2011%2529.doc&ei=bO9HVdjQG4TkUcKMgeAO&usg=AFQjCNG9SXErFvP2lV6A6F1IajdfoEubdQ&sig2
=9QeWtzvf0G8M1O8NRu2GRg&bvm=bv.92291466,d.d24
Vensters Voortgezet Onderwijs (2015). Examenresultaten Berlage Lyceum. Laatst gedownload op 0805-2015 via
https://drive.google.com/file/d/0B6mwN07ct08zX3ZsVXphbUxTYVVMZDlZYzRuU09sUDVkLXZZ/view
?usp=sharing
Vries, P. de (2011). Screening van toetsen: Psychometrische analyse. University of Twente.
Geraadpleegd op 05-05-2015 via docslide.nl/documents/screening-van-toetsen-psychometrischeanalyse-peter-de-vries-examencommissie-psymps-23-maart-2011.html
Bijlage 1 – RTTI taxonomie
Bron: http://raos-nederland.nl/wp-content/uploads/2014/09/Classificatietabel-RTTI.pdf
Bijlage 2 – Taxonomie Kwakernaak
Bron: Levende Talen Magazine 2012 (6), 10-15.
Bijlage 3 – Geanalyseerde toets PA3 h4
Bron: Noordhoff Uitgevers, Paso Adelante Lesmateriaal: 3 (t) havo/vwo
Nombre
Clase
______________________________________
_________________
3 (t) havo/vwo
Fecha __________
capítulo 4
RTTI Eindtoets A
Instructie
De toets bestaat uit 49 vragen.
Je hebt 45 minuten om de toets te maken.
Lees bij elke opdracht steeds eerst de vraag.
Vul daarna het juiste antwoord in:
• open vragen: kijk goed of je in het Nederlands of het Spaans moet
antwoorden
• invulvragen: vul het juiste antwoord in
• meerkeuzevragen: kruis het juiste antwoord aan
• onderstreepvragen: onderstreep het juiste antwoord
Als je een vraag niet direct kunt beantwoorden, sla je die eerst even over.
Bekijk aan het einde van de toets de overgeslagen vragen.
Succes met de toets!
8 vragen
1
29 vragen
7 vragen
5 vragen
Escuchar
Lee primero las siguientes frases. Escucha el fragmento y marca la(s) respuesta(s)
correcta(s).
1 [1,5p]
A0
B0
C0
Alejandro heeft een ongeluk gehad. Wat heeft hij eraan
overgehouden? (Meer antwoorden mogelijk.)
een gebroken been
een gebroken arm
een hersenschudding
2 [1,5p] Waar is Alejandro nu?
A0
in het ziekenhuis
B0
thuis
C0
op school
Lee primero las siguientes frases. Escucha otra vez el fragmento y marca la
respuesta correcta.
3 [1,5p]
A0
B0
C0
Wanneer wil Iván op bezoek gaan bij Alejandro?
Iván is gisteren al bij Alejandro langs geweest.
Morgen.
Overmorgen.
4 [1,5p] Waarom belt Paula naar Alejandro?
A0
Ze wil weten hoe het met hem is.
B0
Ze wil weten wanneer ze langs kan komen.
C0
Zowel A als B zijn juist.
5 [1,5p] Waarom reed Alejandro zo snel?
A0
Hij probeerde een auto in te halen.
B0
Hij wilde op tijd bij de sportschool zijn.
C0
Hij wilde op tijd thuis zijn.
6 [1,5p] Wat vertelt Alejandro nog meer over het ongeluk?
A0
Het was de schuld van de automobilist.
B0
Het was zijn eigen schuld.
C0
Geen van beiden kon er iets aan doen.
7 [1,5p] Hoelang lag Alejandro in het ziekenhuis?
A0
Hij mocht diezelfde dag nog naar huis.
B0
Een nachtje.
C0
Drie dagen.
2
Vocabulario
Traduce las al holandés.
8 [1p] el cuerpo
____________________
9 [1p] la frente
____________________
10 [1p] apenas
____________________
11 [1p] grave
____________________
12 [1p] pastillas
____________________
Traduce las palabras aquí abajo al español y completa las frases. Atención, sobra
una palabra.
trainen
meenemen
de fitnessruimte
kom op!
oefeningen
bewegingen
13 [1p]
Esta mañana, Daniel y Rosa van a hacer deporte en
___________________.
14 [1p]
En su bolso, Daniel ___________________ sus zapatillas, una
oalla y shampú.
15 [1p]
Rosa quiere ___________________ haciendo ejercicios para el
vientre.
16 [1p]
Daniel quiere hacer___________________ para las piernas.
17 [1p]
El instructor está entusiasmado y dice ¡___________________!
3
Gramática
In onderstaande zinnen ontbreekt het meewerkend voorwerp. Schrijf de juiste vorm
van het meewerkend voorwerp op de juiste plaats in de zin. Schrijf de hele nieuwe
zin op.
Ejemplo: (a mí) Pedro manda un email.
Pedro me manda un email.
18 [1p] (a nosotros) El profesor entrega los nuevos libros.
___________________________________________________________
___________________________________________________________
19 [1p] (a Alberto) Los libros no parecen muy interesantes.
___________________________________________________________
___________________________________________________________
20 [1p] (a Marta y a Javier ) Alberto quiere preguntar algo.
___________________________________________________________
___________________________________________________________
21 [1p] (a vosotros) ¿Puedo comprar una entrada para el cine?
___________________________________________________________
___________________________________________________________
22 [1p] (a ti) ¡Sí, genial! Y nosotros compramos una caja de palomitas, ¿vale?
___________________________________________________________
___________________________________________________________
Vul de juiste vorm in van het werkwoord tussen haakjes. Gebruik de pretérito
indefinido.
23 [1p] Hola Igor, ¿qué (hacer) ____________________ ayer?
24 [1p] Ayer Iván y yo (ir) ____________________ de compras en el
centro.
25 [1p] ¿En qué tiendas (estar, vosotros) ____________________?
26 [1p] Primero (estar, nosotros) ____________________ en Zara y
después en el Corte Inglés.
27 [1p] Al final, Iván (ir) ____________________ al gimnasio.
Vul de juiste tijd en vorm in van het werkwoord tussen haakjes. Lees de zinnen goed
door om te bepalen welke tijd je moet invullen.
28 [1p] Ayer (coger, yo) ___________________ el tren a Madrid.
29 [1p] Esta mañana, mi amigo y yo (encontrarse)
______________________________________ en la estación.
30 [1p] Mi amigo (tomar) ___________________ tres cafés con leche.
31 [1p] Esta noche (ir, nosotros) ___________________ al cine para ver
El sueño de Valentín.
32 [1p] Antes (ir, yo) ___________________ todos los sábados al cine.
4
Frases clave
Completa el diálogo en español. Traduce las siguientes frases al español.
tú
¿Qué pasó?
compañer@
33 [2p] Ik heb een verkeersongeluk
gehad.
________________________________
________________________________
34 [2p] Waarom ging je naar het
ziekenhuis?
35 [2p] Omdat ik mijn arm had
gebroken.
_______________________________
________________________________
_______________________________
________________________________
36 [2p] Vanavond kan ik je bezoeken,
wat vind je daarvan?
Sí, me parece bien.
_______________________________
_______________________________
37 [2p] Beterschap!
_______________________________
Gracias.
38
Estás enferm@ y vas a escribir un e-mail a tu amig@ para contarle cómo te
sientes y qué te pasó. Utiliza de 50 a 55 palabras. [12 p]
Verwerk de volgende punten:
Je bent vervelend genoeg je al een tijdje ziek; vertel wat je hebt.
Vertel of je naar de dokter gaat/bent geweest. Noem ten slotte twee dingen die
je doet om beter te worden.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
5
Leer
Lee los textos aquí abajo en general y marca la respuesta correcta.
39 [1,5p] Wie van de twee raakte gewond?
A0
Benoit Gigou
B0
de fan van Lazio
C0
geen van beide
D0
allebei
Lee el texto y marca la respuesta correcta.
40 [1,5p] ¿Dónde pasó el incidente de Benoit?
A0
En los servicios de la estación de Surgeres.
B0
En los servicios de un tren de alta velocidad.
C0
En los servicios del restaurante de la estación.
41 [1,5p] ¿Qué cuenta Dominic?
A0
Los pasajeros primero se quejaron y después se rieron del
incidente.
B0
El tren tuvo mucho retraso y los pasajeros se enfadaron mucho.
C0
Dos horas de restraso le parecieron mucho para solucionar el
pequeño incidente.
42 [1,5p] ¿Cómo reaccionaban los pasajeros cuando por fin Benoit
salió del wáter?
A0
Estaban enfadados.
B0
Estaban tristes.
C0
Estaban entusiasmados.
43 [1,5p] ¿Cómo intentó entrar al estadio el fan de Lazio?
A0
Intentó pasar por la entrada sin billete.
B0
Intentó subir por una pared del estadio para entrar.
C0
Intentó entrar por la entrada con un billete falso.
44 [1,5p] ¿Qué consecuencia ha tenido la idea del fan?
A0
El fan tuvo que pasar una noche en la cárcel.
B0
El fan no puede entrar al estadio durante un año.
C0
El fan nunca más puede entrar al estadio.
Lee el texto otra vez. In de tekst «El wáter le come el brazo» staan 5 woorden die de
tijd aangeven. Schrijf de tijdsbepalingen in het Spaans op.
45
[1p]
_________________
46
[1p]
_________________
47
[1p]
_________________
48
[1p]
_________________
49
[1p]
_________________
Accidentes curiosos
El wáter* le come el brazo
Francia - La semana pasada en un tren de
alta velocidad francés, un pasajero quedó
atrapado en los servicios del tren con el
brazo dentro del wáter. Después de que su
teléfono móvil cayó en el wáter, el
pasajero metió la mano dentro para
recuperarlo. Pero al hacerlo, su brazo
quedó atrapado.
El desafortunado, Benoit Gigou, de 22
años, se lastimó* la mano y el brazo, pero
no tuvo ninguna fractura. El incidente
obligó al tren a quedarse parado en la
estación de Surgeres. Vinieron policías y
bomberos* para liberar al pasajero.
Dominic, otro pasajero del tren, cuenta
cómo pasó el incidente: "Estábamos en la
estación de Surgeres cuando nos
anunciaron por megafonía que alguien
tenía un problema en los servicios.
Teníamos que esperar a los bomberos y
todos empezamos a quejarnos del retraso.
Cinco minutos más tarde nos anunciaron
que alguien estaba atrapado en los
Einde van de toets
servicios con el brazo en el wáter porque …
¡quería recuperar su teléfono móvil! En ese
momento todos los pasajeros empezaron a
reír mucho. ¡Qué historia más graciosa!"
Dos horas después, los bomberos
consiguieron liberar a Benoit.
Un fan auténtico
Italia - Un jóven fan del Lazio, un club de
fútbol italiano, perdió un dedo por querer ver
un partido de fútbol. Ayer, el chico de 22
años, intentó escalar un muro del estadio
Olímpico para ver el partido de su club
favorito. Como no tenía entrada para el
partido, pero sí quería ver el partido, intentó
entrar en el estadio de esa manera. Según la
prensa local, perdió un dedo y fue traslado a
un hospital. Puesto que su intento fue un
hecho ilegal le han prohibido volver al
estadio.
* wc-pot
* deed zich pijn
* brandweer