Regional value estec

TRIARII
Strategie, Innovatie, Implementatie
Meningen van experts over
de TGN
SZW bijeenkomst TGN
12 december 2013
Ron Overgoor
1
TRIARII
Onderwerpen
•
Achtergrond
•
Gedeelde meningen
•
Verschillende meningen
•
Conclusies
2
TRIARII
Achtergrond
Verzamelde en geïnventariseerde meningen
•
Van primair door SZW bepaalde populatie experts op het gebied
van taalverwerving, taaltoetsing, (taal)psychometrie en
spraaktechnologie. In meerderheid TGN-critici
•
Vaak combinatie van 1e en 2e hands. Niet alle experts hebben
hands-on ervaring met de TGN
•
Niet altijd even ontwikkeld tgv zijdelingse betrokkenheid,
gedateerde / vervaagde ervaring
3
TRIARII
Gedeelde meningen
Gedeelde meningen
•
Taal is erg complex, examineren van taalvaardigheden dus ook
•
Spraaktechnologie is nimmer perfect maar ten minste een heel
waardevolle technologie voor ondersteuning van taalverwerving
•
TGN voldoende onderscheidend voor extremen in kennis van /
vaardigheid met Nederlandse taal:
–
–
zij zonder enige kennis / vaardigheid zakken
zij met ruim voldoende kennis / vaardigheid slagen
4
TRIARII
Verschillende meningen
Verschillende meningen tav
1.
Spraaktechnologie-beoordeling vs menselijke beoordeling
2.
TGN validiteit
3.
Luistervaardigheid in NVT-omgeving
4.
Gecombineerd examineren
5
TRIARII
Validiteit TGN (1)
TGN is onvoldoende valide
TGN is voldoende valide
Onvoldoende aansluiting bij CEF:
• Geen (volledige)
spreekvaardigheid:
• "Na-papagaaien"
• Geen context, welwillende
gesprekspartner
• Geen gespreksvaardigheid
• CEF is raamwerk, geen wet
• Representatief voor luister- en
spreekvaardigheid
• Spreekvaardigheid weer
gerelateerd aan
gespreksvaardigheid
• Echt taalgebruik (niet voor MC)
Oost-aziaten, Spaans/Portugeestaligen worden
benadeeld. Suggereert bias
Oost-aziaten, Spaans/Portugeestaligen hebben intrinsiek
meer moeite met NL-uitspraak
Terugslag bedreigt validiteit
Iedere toets heeft terugslag,
bedreigt taalverwerving niet
Items liggen inmiddels op straat
Desondanks verwerft kandidaat
woordenschat en spreekervaring
6
TRIARII
Validiteit TGN (2)
TGN is onvoldoende valide
TGN is voldoende valide
Geen voorspelling van taalpotentie
Geen enkel examen kan dat
Onnatuurlijke afname setting
werkt stress-verhogend
Geldt in zeker mate voor ieder
examen. Telefoon wereldwijd
bekend
Geen feedback op onderdelen,
geen menselijke herbeoordeling
Feedback op onderdelen per 1 juli
2013 ingevoerd
Niet nauwkeurig genoeg om A2
scherp in te schatten
Omvat hele CEF spectrum, schat
A2 net zo scherp in als andere
niveaus
Sluit op NVT-A1 onvoldoende aan
bij belevingswereld kandidaat
-
7
TRIARII
Automatische beoordeling
dmv Spraaktechnologie
Automatische beoordeling dmv
spraaktechnologie: nee
Automatische beoordeling dmv
spraaktechnologie: ja
Taalniveau beoordelen is complex
door grote variëteit in input, ST
kan dit niet aan
Taalniveau beoordelen door goed
getrainde ST kan, mits met
vangnet obv menselijke
(her)beoordeling
Menselijke beoordeling is met
strakke protocollen, "geijkte"
beoordelaars en segmentatie
voldoende betrouwbaar
Menselijke beoordeling blijft
minder betrouwbaar dan
beoordeling dmv ST, bovendien
duurder en minder efficiënt
Directe examinering via praten
met een mens dichter bij praktijk
-
In het TGN geval is de feitelijke
beoordeling een "black box"
TGN beoordeling onafhankelijk
getoetst en in specificaties
8
TRIARII
Luistervaardigheid A1 /
Gecombineerd examineren
Luistervaardigheidsexamen
NVT-A1: nee
Luistervaardigheidsexamen
NVT-A1: ja
A1 iha moeilijk te examineren tgv
beperkte taalvaardigheid
A1 luistervaardigheidseisen kan,
levert bijdrage aan taalontwikkeling
Gecombineerd examineren:
nee
Gecombineerd examineren: ja
A1 en A2 spreekvaardigheid apart:
A1 kandidaat niet geconfronteerd
met uitingen van te hoog niveau
A1 en A2 spreekvaardigheid in
hetzelfde examen methodologisch
geen probleem en efficiënter
Luister- en spreekvaardigheid
apart meer valide per vaardigheid
want anders luistervaardigheid
bepalend voor spreekvaardigheid
Luister- en spreekvaardigheid in
hetzelfde examen dichter bij
praktijk / functioneel taalgebruik
en efficiënter
Niet geëxamineerde taalvaardigheden correleren positief met wel
getoetste in bv Cloze toetsen
9
TRIARII
Conclusies
Hardheid meningen varieert
• Indruksvaliditeit en automatische beoordeling echte breekpunten
• Combinatie-examens meer onderhevig aan afwegingen
3 Toekomstvisies op het optimale spreekvaardigheidsexamen
1.
2.
3.
–
–
–
TGN handhaven voor NVT-A1 en NT2-A2
TGN aanpak blijft de beste obv betrouwbaarheid en voldoende valide,
maar ruimte voor verdere verbetering
TGN vervangen voor zowel NVT-A1 als NT2-A2
Validiteit TGN onvoldoende en behept met te veel nadelen, terwijl er
goede alternatieven denkbaar zijn voor zowel NVT-A1 als NT2-A2
TGN vervangen voor NT2-A2 maar handhaven voor NVT-A1
Algemeen anti-TGN gelijk aan visie 2 maar beter om NVT-A1 zo te
laten want erg moeilijk te examineren en gegeven dat TGN wel enige
taalvaardigheid examineert
10
TRIARII
Overzicht gesprekken (1)
Geraadpleegde experts
• Ad Appel (Ad Appel Taaltraining)
• Bart Bossers (VU)
• Annelies Braams (Nedles)
• Annemarie de Groot (CINOP)
• John de Jong (Pearson Knowledge Technologies / VU)
• Hanneke de Weger (Taalunie)
• Jan Erik Grezel (onafhankelijk taaldocent)
• Elwine Halewijn (ITTA)
• Jan Hulstijn (UVA)
• Judith Janssen (CITO)
• Martine Jetter (CITO)
• Anne Kerkhoff (Fontys)
• Judith Kessens (TNO)
• Jeanne Kurvers (Tilburg University / ROC Tilburg)
• Jo Fond Lam (CINOP)
• Martin Nuttel (ALTE)
11
TRIARII
Overzicht gesprekken (2)
Geraadpleegde experts (vervolg)
•
Mirna Pit (Bureau ICE)
•
Anne Poppema (DUO)
•
Inge Rogiers (Huis van het Nederlands, BE)
•
Helmer Strik (RUN CLST)
•
Franke Teunisse (Bureau ICE)
•
Yolanda Thurkow (BuiZa)
•
Jeanine Treep (CITO)
•
Piet van Avermaet (ALTE / Universiteit Gent, BE)
•
Ineke van de Craats (RUN)
•
Marja van den Dungen (CINOP)
•
Teun van Iperen (Flevotaal)
•
Bernard Veldkamp (RCEC)
•
Simon Verhallen (CvE)
•
Bert Werkman (DUO)
12