Eerst inleidend - Universiteit Utrecht

Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Eindwerkstuk
Begrijpen wat er niet staat
Een onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip.
Tess Beekman
3343057
Universiteit Utrecht
Begeleider: Dr. R. Kraf
01-07-2011
-1-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Inhoudsopgave
Pg.
1. Samenvatting…………………………………………………………………………………………………………...4
2. Inleiding…………………………………………………………………………………………………………………...5
3. Theoretisch kader…………………………………………………………………………………………………….7
3.1. Woordmoeilijkheid
7
3.2. Lezerskenmerken
8
3.3. Voorkennis
10
3.4. Context
11
3.5. Het situatiemodel
11
3.6. Cloze-toetsen
12
3.7. Functiewoorden- en inhoudswoorden
13
3.8. Verschillende meetmethodes
14
4. Methode……………………………………………………………………………………………………………….,..14
4.1. Design
16
4.2. Proefpersonen
16
4.3. Materiaal
17
4.3.1.
Manipulatie woordmoeilijkheid
17
4.3.2.
Clozetoets-gaten
18
4.4. Procedure
19
4.5. Analyse
20
4.6. Verloop van het experiment
20
4.7. Na afloop van het experiment
22
5. Resultaten……………………………………………………………………………………………………..…….…..24
5.1. Betrouwbaarheid
24
5.2. Toetsen van aannames
25
5.3. Effecten van tekstversie en schooltype
26
5.4. Een overstijging van de tekstmanipulaties
29
5.5. Verschillen binnen schooltype
31
5.6. Scoretelling
32
6. Conclusie………………………………………………………………………………………………………………….33
7. Discussie…………………………………………………………………………………………………………………..35
7.1. Designfout
35
7.2. De clozetoets onder de loep genomen
35
-2-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
7.3. Interpretatie
36
7.4. Afname
37
8. Literatuurlijst……………………………………………………………………………………………………………38
9. Bijlagen…………………………………………………………………………………………………………….………39
9.1. Originele tekstversie
39
9.2. Makkelijke tekstversie
40
9.3. Moeilijke tekstversie
41
9.4. Onderbouwing van cloze-gaten en overzicht woordmanipulaties
42
9.5. Set regels voor manipulatie woordmoeilijkheid
46
9.6. Set regels voor cloze-gaten
47
-3-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
1. Samenvatting
In dit onderzoek wordt getracht de invloed van woordmoeilijkheid op tekstbegrip te onderzoeken,
waarbij onderscheid wordt gemaakt tussen zwakke en sterke lezers. 2e klas vwo-leerlingen worden
hierin gezien als sterke lezers, 2e klas vmbo-leerlingen als zwakke lezers. Middels een rational fill in
cloze-toets werd het tekstbegrip van deze leerlingen gemeten. De cloze-toetsen zijn gemanipuleerd
in een moeilijk en een makkelijke versie van de tekst ‘Hoe wil Obama de wereldvrede oplossen?’, om
zo de invloed van woordmoeilijkheid op tekstbegrip te meten. Om het niveau van leesvaardigheid te
meten, heeft iedere klas een leesvaardigheidtoets en een woordenschattoets gemaakt.
In totaal zijn er in 4 klassen toetsen afgenomen. De vwo-leerlingen bestonden uit een havo-vwo klas
en een vwo- klas en binnen de vmbo-leerlingen is er een onderscheid te maken tussen een vmbo-t
klas en een vmbo-kader klas. De klassen verschilden onderling significant van leesvaardigheidniveau.
Door een designfout heeft iedere klas maar één tekstversie gekregen en kan ik de onderzoeksvraag
‘Wat is de invloed van woordmoeilijkheid op tekstbegrip bij 2e klas middelbare scholieren?’ hierdoor
niet beantwoorden. De vraag die door de designfout is ontstaan is nu ‘Heeft het
leesvaardigheidniveau van een lezer invloed op tekstbegrip?’
Conclusie uit dit onderzoek is dat de vwo-leerlingen over het algemeen meer leesvaardig zijn dan
vmbo-leerlingen. Een hogere leesvaardigheid leidt tot een beter tekstbegrip. De vwo-leerlingen
scoorden dan ook hoger op de cloze-toetsen dan de vmbo-leerlingen. Hierin heb ik nauwelijks
verschillen in tekstversie ondervonden, de moeilijke versie was in beide gevallen zelfs gemiddeld
beter gemaakt. Ook is er geen interactie-effect gevonden tussen schooltype en tekstversie. Dit is te
wijten aan het feit dat de betere lezers van de vmbo-groep (vmbo-t) én de betere lezers van de vwogroep (vwo) de moeilijke tekstversie hebben gemaakt. De leesvaardigheid van de lezer heeft de
tekstmanipulatie overstegen. Dit resultaat kan enerzijds worden gewijd aan de designfout, anderzijds
aan de cloze-toets die in dit onderzoek is geconstrueerd.
-4-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
2. Inleiding
“Er werd lang gedelibereerd over de gastroseksuele trekjes van haar kompaan”.
De gemiddelde lezer zal na het lezen van deze zin niet veel wijzer worden. Tenzij je zelf
gastroseksueel bent, zul je de essentie van deze uitspraak niet begrijpen omdat het woord
‘gastroseksualisme’ een erg moeilijk woord is. Omdat de andere woorden in de zin ook relatief
moeilijk zijn, is het lastig om het begrip van woorden te compenseren met de context. Wanneer de
hele tekst dit soort zinnen bevat, kan het zelfs zo zijn dat de lezer geen idee heeft waar de tekst
eigenlijk over gaat.
Er zijn veel factoren die bepalen of een tekst moeilijk of makkelijk te begrijpen is voor een
lezer. Zaken als zinsbouw, structuur, maar ook lezerskenmerken spelen een rol. Ook al is
bovenstaande zin een overdreven voorbeeld, het toont wel aan dat de moeilijkheid van woorden in
een zin een grote invloed heeft op het begrijpen van een tekst.
In dit onderzoek zal ik mij bezighouden met de invloed van woordmoeilijkheid op het begrijpen van
teksten bij tweede klas middelbare scholieren van zowel vmbo als vwo. Door middel van een clozetoets wil ik het tekstbegrip van deze leerlingen meten in teksten met moeilijke woorden in teksten
met makkelijke woorden.
De vraag die ik wil onderzoeken luidt: Wat is de invloed van woordmoeilijkheid op tekstbegrip bij 2e
klas middelbare scholieren?
Het doel van schoolteksten is om leerlingen kennis bij te brengen, en daarbij is het goed begrijpen
van teksten essentieel. Interessant is daarom ook om te bekijken hoe we deze teksten zo optimaal
mogelijk kunnen maken en daarbij kijk ik naar de invloeden van woordmoeilijkheid in teksten.
Ook wil ik onderzoeken of het niveau van de lezer invloed heeft op tekstbegrip, zodat hier
rekening mee kan worden gehouden. Het niveauverschil dat ik meet is het verschil tussen vwo en
vmbo en hun verschil in woordenschat en leesvaardigheid. Zo kan ik ook kijken naar de interactie van
tekstversie en schooltype en de rol die woordenschat en leesvaardigheid hierin spelen.
In het volgende hoofdstuk zal ik de theoretische achtergrond van dit onderzoek bespreken. Eerder
onderzoek naar tekstbegrip, woordmoeilijkheid en cloze-toetsen zullen onder andere aan bod
komen. Ook zullen de gestelde hypotheses worden gepresenteerd. In hoofdstuk 4 zal ik de methode
-5-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
van het experiment bespreken en de afnameprocedure benoemen. In hoofdstuk 5 zullen de
resultaten van het onderzoek aan bod komen en in hoofdstuk 6 zal ik hier conclusies uit trekken. In
hoofdstuk 6 wordt de designfout bediscussieerd en andere implicaties en opvallendheden van het
experiment besproken.
-6-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
3. Theoretisch kader
Woordmoeilijkheid
Een belangrijke vraag in dit onderzoek naar de invloed van woordmoeilijkheid, is wanneer een woord
moeilijk wordt gevonden. Stahl (2003) laat in zijn onderzoek zien dat deze vraag niet zo gemakkelijk
is te beantwoorden. Een manier om onderscheid in makkelijke en moeilijke woorden te maken, is
door middel van een frequentielijst. Woorden die frequent voorkomen worden als makkelijk gezien,
woorden die niet frequent voorkomen, als moeilijk.
Ryder & Hughes (1985) hebben in hun onderzoek naar de invloed van woordmoeilijkheid op
tekstbegrip op deze manier hun woorden uit het Word Frequency Book geselecteerd. De resultaten
van hun onderzoek lieten zien dat er geen effecten van woordmoeilijkheid op tekstbegrip waren
gevonden.
Stahl zegt dat niet alleen woordfrequentie bepaalt of een woord moeilijk of makkelijk is.
Woordmoeilijkheid hangt volgens hem af van meerdere factoren. Inderdaad speelt woordfrequentie
een rol, maar er wordt bijvoorbeeld geen rekening gehouden met dubbele betekenissen of
standaarduitdrukkingen in taal. Ook is de moeilijkheid van namen lastig te meten. Wanneer er een
naam voorkomt, wordt deze als moeilijk gezien. Wanneer de naam echter vaker terug komt in de
tekst, wordt deze als makkelijk beschouwd. Maar wat als er in een zin heel veel nieuwe namen
worden geïntroduceerd? Is de tekst dan echt moeilijker? Lange woorden worden ook vaak als
moeilijk beschouwd, maar bij (makkelijke) woorden met prefixen of suffixen die het woord langer
maken, hoeft dit helemaal niet te gelden.
Makkelijke woorden zullen beter begrepen worden dan moeilijke woorden. Ik vermoed dat
de tekst met makkelijke woorden significant beter wordt gemaakt en dus begrepen, dan de tekst met
moeilijke woorden. Mijn hypothese is dan ook:
Hypothese 1: Er is een hoofdeffect van woordmoeilijkheid op tekstbegrip
Met leesbaarheidsformules wordt de ‘leesbaarheid’ van een tekst gemeten. Leesbaarheid is een
maat voor de begrijpelijkheid en duidelijkheid van een geschreven tekst. Deze formules houden vaak
geen rekening met bovenstaande punten die Stahl aanhaalt, en schieten zo hun doel voorbij. Ze zijn
namelijk alleen gericht op (een aantal) tekstuele factoren zoals woord- en zinslengte en op grond van
deze kenmerken wordt de leesbaarheid van een tekst gemeten. Hierbij wordt geen rekening
-7-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
gehouden met lezerskenmerken. Het is niet of een woord moeilijk of makkelijk is wat bepaalt of de
tekst moeilijk is, maar wat de lezer weet over de woorden in de tekst (Stahl, 2003).
Stahl en Fairbanks (1986) stellen dat de ‘contextual knowledge’ bijdraagt of een lezer goed
begrijpt wat een woord betekent. Het kennen van de definitie van het woord is allereerst belangrijk,
zodat de lezer een schatting kan maken van wat het woord betekent en het in kan delen in een
bepaalde ‘categorie’. Wanneer woorden vervolgens in meerdere contexten worden laten zien en er
wordt uitgelegd wat ieder woord in elke context voor betekenis heeft, worden woorden het best
begrepen en is er volgens hen sprake van een ‘full meaning’ van het woord. Woordmoeilijkheid is
volgens Stahl een interactie van de tekst met de lezer. Wanneer lezers begrijpen wat woorden
betekenen, begrijpen ze vaak ook de tekst. Stahl merkt echter terecht op dat het niet altijd
noodzakelijk is om de definitie van ieder woord te kennen, omdat de betekenis van een woord vaak
ook uit de context omtrent het woord kan worden opgemaakt.
Ik ben dan ook van mening dat de resultaten van Ryder & Hughes niet alleen aan de
voorkennis van de participanten te wijten is. Mijn onderzoek zal verder gaan dan dat van Ryder &
Hughes, in die zin dat enkel de frequentie van een woord geen goede indicator is van de
woordmoeilijkheid. Ik zal in mijn onderzoek bij het manipuleren van woordmoeilijkheid ook proberen
rekening te houden met de factoren die Stahl in zijn onderzoek benoemt bij het bepalen of een
woord moeilijk of makkelijk is. Bij het manipuleren van woordmoeilijkheid zal ik wel kijken naar
woordfrequentie, maar woorden met dubbele betekenissen en pre- en suffixen vermijden. Ook zal ik
namen niet per definitie als moeilijk zien.
Zoals Stahl aanhaalde, is woordmoeilijkheid een interactie tussen tekst en lezer en zal er ook
naar lezerskenmerken moeten worden gekeken. Ik zal in mijn onderzoek kijken of het schooltype van
de lezer invloed heeft op het tekstbegrip. Dit doe ik door de mate van tekstbegrip van vmboleerlingen te vergelijken met vwo-leerlingen.
Lezerskenmerken
Bij het begrijpen van een tekst spelen kenmerken van de lezer een belangrijke rol. Een belangrijk
kenmerk is het leesvaardigheidniveau en het woordenschatniveau van de lezer. Mochten we
namelijk een effect vinden van woordmoeilijkheid, dan kunnen we ons nog de vraag stellen of
woordmoeilijkheid op iedere type lezer hetzelfde effect vertoont.
Tal et al. (1994) hebben onderzoek gedaan naar goede en slechte lezers en bij welke type
vragen zij significant in antwoorden verschillen. Zij maken onderscheid tussen drie typen lezers die
van elkaar verschillen in niveau, namelijk:
1) normally achieving readers
-8-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
2) poor comprehenders with no decoding disability
3) reading disabled, poor comprehenders with poor decoding skills
Zij onderzochten de scores van deze lezers op drie typen vragen:

Passage Independent Questions (vraag kan beantwoord worden op basis van voor
(voor)kennis)

Inference Questions (de lezer moet een gevolgtrekking maken op lokaal of globaal niveau), en

Locating Questions (het juiste antwoord moet specifiek uit een detail van de tekst worden
gehaald).
Tal et al. ondervonden dat lezersgroep 1, de goede lezers, de Passage Independent Questions
(waarbij voorkennis vereist was) erg goed maakten en de twee minder goede lezersgroepen niet.
Echter scoorden de betere lezers niet significant beter op de Inference Questions en de Locating
Questions dan de mindere groep.
Tal et al verklaren de uitkomst dat goede lezers hier niet significant beter op scoorden, aan
het feit dat het slechte lezers kenmerkt dat ze veel gebruik maken van contextuele aanwijzingen en
het raden van achtergrondinformatie om zo het gebrek aan diep tekstbegrip te compenseren. Ze
kunnen zo goede antwoorden invullen, simpelweg door te ‘gokken’, zonder dat ze de tekst echt
begrijpen. Tat et al stellen dat zij daarom in hun onderzoek meer het oppervlakkige begrip hebben
gemeten in plaats van het echte tekstbegrip. Omdat ik geen algemene kennis en voorkennis van
lezers wil meten, maar het tekstbegrip, zal ik mij richten op de Inference Questions (de cloze-gaten
die kunnen worden ingevuld met behulp van context), en de Locating Questions (de cloze-gaten die
met behulp van aanwijzingen uit de tekst kunnen worden ingevuld).
Tat et al. tonen in hun onderzoek aan dat met name de Passage Independent Questions, die
gebaseerd zijn op voorkennis, significante verschillen tussen de groepen lezers laat zien. Dit is geen
aspect waar ik mij op richt, maar wel erg belangrijk om rekening mee te houden bij de interpretatie
van de resultaten.
In mijn onderzoek zal ik een onderscheid maken tussen goede lezers (vwo) en minder goede
lezers (vmbo). Hiermee wil ik bekijken of goede lezers nu wel beter scoren wanneer er echt op
tekstbegrip wordt gemeten. Ik verwacht dat de vwo-leerlingen hoger zullen scoren op beide clozetoetsen, omdat ik verwacht dat dit meer vaardige lezers zijn. Mijn hypothese is dan ook:
Hypothese 2: Er is een hoofdeffect van schooltype op tekstbegrip
-9-
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Stahl(2003) stelt dat woordmoeilijkheid een interactie is tussen tekst en lezer. Er is sprake van een
interactie-effect als het effect van één onafhankelijke variabele (op de afhankelijke variabele)
afhankelijk is van de waarde van een andere onafhankelijke variabele.
Ik vermoed dat het effect van schooltype afhankelijk is van de tekstversie, oftewel: de vwoleerlingen zullen altijd beter scoren dan de vmbo-leerlingen, of ze nu de makkelijke of de moeilijke
versie hebben gehad. Andersom geldt dit ook: de makkelijke versie zal altijd beter worden gemaakt,
of het nu vwo- of vmbo-leerlingen betreft. Mijn hypothese is dan ook:
Hypothese 3: Er is een interactie-effect van schooltype met tekstversie
Voorkennis
Tarchi (2010) heeft de rol van voorkennis op tekstbegrip onderzocht en concludeert dat er meerdere
vormen van voorkennis zijn. Hij maakt een onderscheid tussen ‘diepte-kennis’ van een specifiek
onderwerp en de ‘breedte-kennis’ van het gebied waar dat onderwerp deel van uit maakt. Uit zijn
onderzoek blijkt dat hoe meer kennis een lezer heeft van het onderwerp waarover hij een tekst leest,
hoe beter hij de tekst begrijpt. Hierbij maakt het niet uit of het diepte- of breedte kennis betreft.
Omdat ik gebruik zal maken van een nieuwstekst over een actueel onderwerp, is het te
verwachten dat lezers met actuele kennis, in zowel de diepte als de breedte, de tekst beter zullen
begrijpen dan lezers zonder actuele kennis.
Kintsch & van Dijk (1978) stellen dat er bij tekstbegrip sprake is van microprocessen en
macroprocessen (Stahl 1989). De microprocessen bevinden zich op tekstueel niveau en richten zich
op de samenhangende en geordende proposities die de gedachte van de tekst representeren. De
macroprocessen bepalen welk van die proposities in de tekst belangrijk worden gevonden door de
lezer. De manipulatie van woordmoeilijkheid heeft invloed op het microproces van tekstbegrip en
eventuele voorkennis heeft invloed op het macroproces. Beiden functioneren onafhankelijk, en niet
interactief. (Stahl, 1989)
Wel zit er enige relatie tussen beide factoren. Mensen die veel voorkennis van een bepaald
onderwerp hebben, zijn vaak ook bekend met dat jargon. Moeilijke woorden uit dat jargon zullen
daarom door mensen met veel voorkennis van dat gebied begrepen worden en dus door deze
voorkennis worden gecompenseerd. Toch is er uit het onderzoek van Stahl (1989) geen interactie
gevonden. Een mogelijke verklaring zou zijn dat de woordmoeilijkheid in zijn onderzoek niet in
verhouding stond met de informatie over het onderwerp die lezers kregen (voorkennis), waardoor
compensatie onmogelijk was.
- 10 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Deze ondervinding is relevant voor mijn onderzoek. Wanneer ik met behulp van clozetoetsen het tekstbegrip van lezers wil meten, moet ik ervoor zorgen dat voorkennis geen significante
invloed kan uitoefenen op de compensatie van de cloze-gaten. Dit doe ik door een tekst te kiezen die
niet te makkelijk is en waarbij ik verwacht dat de leerlingen niet veel over het onderwerp uit hun
hoofd weten. Zo probeer ik te voorkomen dat ze kunnen raden welke woorden er moeten worden
ingevuld op basis van hun voorkennis.
Bij het meten van tekstbegrip is het dus noodzaak dat moeilijke woorden niet geheel kunnen
worden gecompenseerd door voorkennis, zoals in het onderzoek van Ryder & Hughes wel het geval
was. Juist het tekstbegrip moet gemeten worden. Ik kan hier rekening mee houden door ervoor te
zorgen dat cloze-gaten kunnen worden ingevuld op basis van de context omtrent het woord, en
voorkomen dat er voorkennis nodig is. Natuurlijk kun je nooit helemaal zeker weten dat voorkennis
geen rol heeft gespeeld. Het effect van voorkennis zou ook indirect kunnen zijn, in die zijn dat de
verwerking van de tekst in het geheel makkelijker zou kunnen worden.
Context
In dit onderzoek zal ik werken met de cloze-toets, en hierbij is het belangrijk dat de lezer uit de
context van een tekst kan opmaken welke woorden zijn weggelaten. Hierdoor moet de lezer grotere
verbanden leggen in de tekst en dit geeft een indicatie in hoeverre de lezer op macroniveau de tekst
begrijpt. Omdat ik mij niet wil richten op het tekstbegrip op microniveau, leg ik de nadruk op de
context.
Konopak (1988) heeft onderzocht welke rol de context van een tekst speelt bij het vinden
van woordbetekenissen. Zij introduceert vier factoren die bepalen in welke mate woorden beter
worden begrepen, namelijk proximity, connectivity, expliciteness en completeness van de context in
verhouding tot het woord. Wanneer de context op deze factoren hoog scoort, worden woorden
beter begrepen, wat leidt tot een verhoogd tekstbegrip. Met proximity wordt bedoeld hoe dicht de
context bij het woord staat, met connectivity wordt bedoeld in hoeverre de context in verbinding
staat met het woord, met expliciteness wordt bedoeld hoe expliciet de context is verwoord in de
tekst en met completeness wordt bedoeld in hoeverre de context compleet is. Bij de interpretatie
van eventuele opvallende resultaten kan er naar deze factoren worden gekeken om zo te bepalen of
de ‘vorm’ van de context invloed heeft gehad op het resultaat
Tekstbegrip meten: het situatiemodel.
Er zijn meerdere manieren om het tekstbegrip van lezers te meten. Kamalski (2007) vergelijkt in een
onderzoek vier begripstoetsen, namelijk de question asking, de cloze-toets, de sorting toets en de
- 11 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
mental model toets. Kamalski kijkt vooral naar de manier waarop ze een situatie model representatie
meten, aldus het begrip op macroniveau.
Maar wat is een situatie model representatie nu precies? Land (2009) zegt dat lezers bij de
verwerking van teksten op het niveau van het situatiemodel een mentale voorstelling maken van de
zin in hun hoofd, op basis van voorkennis en de informatie uit te tekst. Het situatiemodel is een
representatie die sterk samenhangt met de tekstinhoud, de algemene kennis en voorkennis van de
lezers, maar ook met hun gevoelens, waarderingen, opvattingen, eerdere ervaringen. (Kintsch, 1998)
Wanneer we willen toetsen of een lezer een accuraat situatiemodel gevormd heeft van een tekst,
moeten we volgens Land begripstoetsen gebruiken die niet alleen meten hoe goed de tekstinhoud
geleerd en onthouden is, maar die ook de interactie met de lezerskenmerken nagaan. Dit zou
betekenen dat begrip op het niveau van het situatiemodel niet te meten is, omdat iedere lezer een
individuele en unieke representatie van een tekst maakt op basis van voorkennis, individuele
voorkeuren, leesdoelen, enzovoort. Toch kunnen begripsvragen laten zien in hoeverre lezers
tekstinformatie verwerkt hebben op het niveau van het situatiemodel, wanneer deze toetsen ingaan
op specifieke informatie uit de tekst die lezers niet op basis van hun individuele (voor)kennis kunnen
weten.
Kamalski is in haar onderzoek niet erg positief over deze meting van begrip bij de cloze-toets.
De cloze-toets heeft in haar experiment een goede interne betrouwbaarheid, maar de resultaten van
de cloze-toets correleren niet met de resultaten van de andere begripstoetsen, oftewel de
convergente validiteit laat zijn twijfels na. Uit haar experiment is dus gebleken dat de scores op deze
cloze-toets geen goede indicatie zijn voor het begrip op het niveau van het situatiemodel.
Kanttekening is wel dat Kamalski in haar onderzoek de fixed-ratio cloze-toets gebruikt. Bij deze toets
werd ieder 8e woord weggelaten en werd er geen onderscheid gemaakt tussen functiewoorden of
inhoudswoorden. Uit onderzoek van Abraham en Chapelle (1992) is echter gebleken dat
inhoudswoorden moeilijker zijn te bedenken dan functiewoorden, deze laatste zijn woorden met
alleen een syntactische functie. Wanneer er geen onderscheid wordt gemaakt in deze woorden
kunnen er in mijn ogen geen gegronde conclusies worden getrokken in hoeverre er sprake is van
begrip op het niveau van het situatiemodel.
In mijn onderzoek zal ik ook werken met een cloze-toets, maar dan met de rational fill in
methode. Bij deze cloze-toets heb je invloed op de items die je wilt meten en hierdoor kun je ook
meer sturen op het meten van tekstbegrip, en dus op het macroniveau. Ook heeft Kamalski in haar
onderzoek geen rekening gehouden met lezerskenmerken als niveau en voorkennis, iets waar ik mij
wel mee bezig zal houden.
- 12 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Cloze-toetsen
Er zijn meerdere cloze-toetsen te gebruiken bij het meten van tekstbegrip. Abraham & Chapelle
(1992) hebben onderzoek gedaan naar de verschillen tussen fixed-ratio, rational fill in en rational
multiple choice cloze-toetsen. fixed-ratio toetsen zijn cloze-toetsen waarbij ieder n-de woorden
worden weggelaten. rational fill in toetsen zijn cloze-toetsen waarbij specfieke woorden worden
weggelaten waarbij je invloed hebt op wat zij meten, en of ze gebruik moeten maken van de context
om het gat op te vullen. Bij de rational multiple choice toetsen is er keuze uit meerdere antwoorden.
Zij onderzochten welke factoren een effect hebben op de item moeilijkheid, oftewel welke
factoren bepalen hoe moeilijk het is om een woord in te vullen. Hierbij maken zij onderscheid tussen
intrinsieke factoren en extrinsieke factoren.
Intrinsieke kenmerken zijn gericht op de inhoudselementen van een taak waarbij
lezerskenmerken geen rol spelen, zoals de hoeveelheid context, wat voor soort toets het is en het
aantal lettergrepen. Met extrinsieke kenmerken worden juist wel de lezerskenmerken bedoeld, zoals
de kennis en strategie van de lezer.
fixed-ratio en rational fill in cloze-toetsen laten zien dat de intrinsieke en extrinsieke
factoren bij beide toetsen een rol spelen op de resultaten van het tekstbegrip. De rational multiple
choice toetsen meten iets heel anders, en daarvan is (nog) onbekend wat de resultaten van de toets
betekenen. De fixed-ratio cloze-toets heeft als voordeel dat het eenvoudig te maken is, maar als
nadeel dat het een aantal gaten oplevert die vooral grammaticale en lexicale kennis aftappen.
Pander Maat en Kraf hebben bij het uitvoeren van een mechanische cloze-toets, weliswaar op
inhoudswoorden, geconcludeerd dat er allerlei gaten ontstonden die intuïtief te moeilijk waren en
teveel een beroep deden op extratekstuele voorkennis, of juist te makkelijk waren omdat ze
grammaticaal of lexicaal te voorspelbaar waren.
Met een rational fill in cloze-toets is beter bij te houden wat de invloed van een item op de
score van een cloze-toets is. Ook meet je nu meer op tekstbegrip op macroniveau dan tekstbegrip op
microniveau, waarbij je meer naar het begrip van de tekst kijkt. Omdat wij ons meer richten op het
niveau van het situatiemodel moeten we meer op macroniveau meten, en is de rational fill in clozetoets een geschikte toets.
Het is dus zaak om een cloze-toets te gebruiken die intersubjectief betrouwbaar is, dat wil
zeggen dat twee constructeurs met dezelfde tekst tot min of meer dezelfde cloze-items komen. Om
dit te bereiken, hebben Pander Maat en Kraf een set regels opgesteld voor cloze-ontwerp. Hier heb
ik mij dan ook aangehouden bij het ontwerpen van de cloze-toets.
Functiewoorden en inhoudswoorden
Een functiewoord is in de grammatica en de woordsemantiek de benaming voor een woord met
- 13 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
weinig inhoudelijke betekenis, dat in de eerste plaats dient voor de goede syntactische structuur van
de zin. Voorbeelden zijn lidwoorden, bezittelijk of aanwijzende voornaamwoorden, voorzetsels en
voegwoorden. Inhoudswoorden zijn woorden met een ‘rijke betekenis’. Een inhoudswoord is meestal
een zelfstandig naamwoord, zelfstandig werkwoord, bijvoeglijk naamwoord of bijwoord. Gekozen is
om in dit onderzoek alleen inhoudswoorden weg te laten. Dit omdat functiewoorden meestal geen
tekstbegrip meten, maar vaak grammaticale kennis toetsen. Uitzondering zijn echter de
voegwoorden, maar deze meten meer het begrip van samenhang in de tekst.
Verschillende meetmethodes
Kobayashi (2002) noemt in haar onderzoek een aantal itemkenmerken die beïnvloeden of een clozegat moeilijk is in te vullen of niet. Uit haar resultaten blijken frequente woorden makkelijker te
worden gevonden en zo ook woorden die vaker in de tekst verschijnen. Gaten zijn moeilijker
wanneer er meerdere alternatieven mogelijk zijn maar wanneer de context dichtbij het cloze-gat
staat, is het makkelijker het woord in te vullen.
De resultaten geven een indicatie van de begrijpelijkheid van de tekst. Het is niet de
bedoeling dat de cloze-gaten worden uitgekozen op deze itemkenmerken. We houden ons aan de set
regels die Pander Maat en Kraf hebben opgesteld. Achteraf kan worden gekeken welke
itemkenmerken invloed hebben gehad op de moeilijkheid van het in te vullen gat. Omdat de items
een weerspiegeling zijn van de tekst, kan hierdoor worden bekeken welke itemkenmerken invloed
hebben op de moeilijkheid van de tekst.
Er zijn meerdere manieren om de antwoorden van cloze-toetsen te interpreteren en te
meten. Kobayashi benoemt de exact word scoring method (woord moet letterlijk overeenkomen), de
semantically and syntactically acceptable word scoring method (woord moet semantisch en
syntactisch acceptabel zijn) en de semantically and syntactically acceptable, but syntactically
unacceptable word scoring method (woord moet semantisch acceptabel zijn, maar mag syntactisch
onacceptabel zijn). In het onderzoek van Kobayashi is de acceptable word scoring het meest valide
gebleken voor het meten van tekstbegrip. De exact word scoring method schiet het doel van het
meten van tekstbegrip voorbij, omdat vaak wel wordt begrepen wat er moet staan ( tekstbegrip)
maar wordt er voor bijvoorbeeld een synoniem gekozen dat hetzelfde betekent. De semantically
acceptabele scoring method is juist weer te ‘mild’, en worden woorden goed gerekend die niet
hetzelfde betekenen als wat er wordt bedoeld of niet in de zinsconstructie passen.
Het principe van acceptable word scoring wordt door Toole en King (2010) met ‘conceptual
coding’ geïntroduceerd. Zij stellen dat wanneer je de exact scoring methode gebruikt, je geen eerlijke
resultaten meet ten opzichte van de zwakkere lezers. Uit het onderzoek van Koboyashi blijkt ook dat
de acceptable word scoring de hoogste betrouwbaarheid heeft. Slechtere lezers scoorden relatief
- 14 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
beter op de acceptable word scoring dan de exact word scoring in vergelijking met goede lezers. Dit
is te verklaren aan het feit dat zij syntactisch minder goed zijn dan sterke lezers. Wanneer er de
exacte scoretelling wordt gehanteerd, zullen de verschillen in scores van vwo-leerlingen en vmboHypothese 4: De exacte scoretelling zal een grotere kloof veroorzaken tussen de scores op de
cloze-toets van vwo-leerlingen en vmbo-leerlingen dan de semantische scoretelling.
leerlingen alleen maar groter worden. Mijn vierde hypothese is dan ook:
Omdat wij het tekstbegrip willen meten, en niet de syntactische vaardigheden, gebruik ik de
acceptable word scoring. Wanneer duidelijk is dat de lezer heeft begrepen welk woord in het gat
ingevuld moet worden, zal dit goed gerekend worden.
- 15 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
4. Methode
Design
Met een experimenteel onderzoek ga ik na wat de invloed is van woordmoeilijkheid op tekstbegrip
bij 2e klas middelbare scholieren is. Ik zal hierbij een tekst manipuleren in een moeilijke en makkelijke
versie, en bij beide het begrip van de tekst meten middels een cloze-toets. Mochten ik een effect
vinden van woordmoeilijkheid, dan kan ik me nog de vraag stellen of woordmoeilijkheid op iedere
type lezer hetzelfde effect vertoont. De toets zal daarom worden afgenomen bij 2e klas vmboleerlingen en bij 2e klas vwo-leerlingen om zo te kijken of het schooltype van invloed is.
Het design van dit onderzoek is dus een 2x2 tussenproefpersonen ontwerp. Hierbij zullen twee
tekstversies (makkelijk en moeilijk) worden voorgelegd aan twee typen lezers (zwakke en sterke
lezers). Vmbo-leerlingen worden hierbij beschouwd als zwakke lezers, vwo-leerlingen als sterke
lezers. Hieronder een illustratie van het onderzoeksdesign:
Vwo-leerlingen
Vmbo-leerlingen
Moeilijke tekstversie
Makkelijk tesktversie
Tabel 1: onderzoeksdesign: 2x2 tussenproefpersonen-ontwerp.
Binnen dit onderzoek doe ik dus twee aannames:
Aanname 1: Vwo-leerlingen zijn meer leesvaardige lezers dan vmbo-leerlingen
Aanname 2: Een betere leesvaardigheid leidt tot een beter tekstbegrip
Operationalisering van begrippen
Gedurende het verslag zal ik het verschil tussen vwo-leerlingen en vmbo-leerlingen benoemen met
het verschil in ‘schooltype’. Verschil in ‘tekstversie’ is het verschil tussen de moeilijke en de
makkelijke tekst. Met ‘klassen’ bedoel ik de vier afzonderlijke klassen. De mate van ‘leesvaardigheid’
is de mate van de score op de woordenschattoets en de leesvaardigheidtoets. Met ‘tekstbegrip’
wordt in dit onderzoek bedoelt de hoogte van de score op de cloze-toets.
Proefpersonen
In totaal hebben 87 leerlingen deelgenomen aan dit onderzoek, waarvan 49 leerlingen afkomstig van
het vwo en 38 leerlingen van het vmbo. De jongste leerling was 13 jaar, de oudste 16. 72% van de
- 16 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
leerlingen was 14 jaar. Aan het experiment deden 39 jongens en 48 meisjes mee. Onder de vwoleerlingen bevond zich een havo-vwo klas (23 leerlingen) en een vwo klas (26 leerlingen). Onder de
vmbo-leerlingen bevond zich een vmbo-t klas, gericht op de theoretische leerweg (18 leerlingen), en
een vmbo-kader klas, een praktijkgerichte leerweg. (20 leerlingen). Alle leerlingen zijn tweedeklassers en zitten op de Driemark te Winterswijk.
Materiaal
Voor het experiment heb ik een nieuwstekst gebruikt, met als titel: ‘Hoe wil Barack Obama het
Midden-Oostenconflict oplossen?’ (zie bijlage 1). Ik heb de originele tekstversie gemanipuleerd met
behulp van een handleiding over de manipulatie van cloze-toetsen van Henk Pander Maat en Rogier
Kraf (zie bijlage 5), resulterend in een moeilijke versie en in een makkelijke versie (zie bijlage 2 en 3).
De makkelijke tekstversie bestaat uit 266 woorden, de moeilijke tekstversie uit 267 woorden.
Manipulatie van de woordmoeilijkheid
De hoofdlijnen van de regels waren dat gemiddeld 1 op de 10 woorden gemanipuleerd moest
worden en dat dit alleen inhoudswoorden mochten zijn. Met behulp van een
synoniemenwoordenboek heb ik de woordmanipulatie gedaan. Wanneer ik twijfelde over de
woordmoeilijkheid, heb ik gebruik gemaakt van de frequentielijst van Google. De woorden die meer
frequent voorkwamen in de lijst, werden als makkelijker beschouwd. Bij zowel de moeilijke als
makkelijke versie heb ik evenredig 27 woorden gemanipuleerd. Een overzicht van de
woordmanipulatie staat in bijlage 4.
Ook heb ik rekening gehouden met de bevindingen van Stahl (2003). Woorden met dubbele
betekenissen, met pre- of suffixen en standaarduitdrukkingen in de taal heb ik niet als moeilijk
beschouwd:
13) Aan Barack Obama de ondankbare taak om er nog iets van te maken.
‘On’ is een pre-fix aan het woord ‘dankbaar’. ‘Ondankbaar’ kan zo als een langer en moeilijker woord
worden gezien. Ik heb dit dus niet als een moeilijk woord ervaren.
Cloze-toets gaten
Vervolgens heb ik van beide teksten een cloze-toets gemaakt. Ik heb de rational fill in cloze-toets
gebruikt (Abraham & Chapelle, 1994) Hierbij heb ik mij wederom gehouden aan de regels die Pander
Maat en Kraf hebben opgesteld voor cloze-ontwerp (zie bijlage 6). Zo moest op gemiddeld 1 van de
12 woorden een gat komen en mochten er alleen gaten worden gemaakt op zelfstandig
- 17 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
naamwoorden of naamwoordelijke delen van het gezegde. Woorden die veranderd zijn als onderdeel
van de tekstmanipulatie mochten geen gaten worden. Op ieder gat mocht maar één woord ingevuld
worden. Wanneer er meerdere mogelijkheden waren in de desbetreffende zin, heb ik mij aan de
syntactische ranglijst gehouden (zie bijlage 6). Er is gekozen om alleen inhoudswoorden weg te laten,
omdat functiewoorden veelal geen tekstbegrip meten maar grammaticale kennis toetsen. (Abraham
& Chapelle, 1994)
Begripsvragen laten zien in hoeverre lezers tekstinformatie verwerkt hebben op het niveau
van het situatiemodel, wanneer deze toetsen ingaan op specifieke informatie uit de tekst (Land,
2009). Belangrijk is daarom om de ‘kern’ en ‘onderwerpen’ van de clauses weg te laten, om zo te
kijken of ze de essentie van de zin begrijpen met behulp van specifieke informatie uit de tekst. Bij
onderstaande zin:
10) De ________willen ál het land binnen de grenzen van 1967.
is er dus gekozen om het onderwerp weg te laten. De lezer kan met behulp van de context van de
tekst de betekenis van het gat raden. Na het lezen van zin 8 en zin 9 wordt de essentie van wie en
waarom duidelijk, waardoor je het gat in zin 10 in kunt vullen met het woord ‘Palestijnen’:
8)Netanyahu liet maandag in het Israëlische parlement weten dat hij erover denkt om de Palestijnen
voorlopig zo'n 50 procent van het bezette land op de Westbank te geven, mits de veiligheid van Israël
zeker wordt gesteld.
9) Het is een aanbod dat de Palestijnen nooit goed zullen vinden.
In mijn nieuwstekst komen relatief veel namen voor. Wanneer een naam voor de eerste keer
voorkwam, heb ik hier geen gat van gemaakt. Wanneer een naam echter vaker voorkwam, heb ik dit
daarna wel gedaan:
6) ________ is misschien even geschrokken van de Palestijnse acties zondag bij de grenshekken op de
Golanhoogte, maar hij heeft sterke argumenten om niet met de Palestijnen te willen praten.
Uit een voorgaande zin (context) kan zo worden afgeleid welke naam hier moet staan. Netanyahu is
Israëlisch, blijkt uit zin 3 en het is dus logisch dat hij niet met de Palestijnen wil praten (zin 6).
3) Morgen spreekt Obama met de Israëlische premier Netanyahu, die op zijn beurt begin volgende
week het Amerikaanse Congres zal toespreken.
- 18 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Omdat het een actueel onderwerp betreft, zullen lezers met veel actuele kennis voordeel hebben bij
het invullen van de gaten (Tarchi, 2010). Ik probeer dan ook geen gaten te laten vallen die alleen
kunnen worden ingevuld met behulp van de relevante voorkennis. Gaten op onderstaande
onderstreepte woorden zullen dus niet in mijn toets voorkomen:
10) De Palestijnse president, Abbas, zegt dat zijn land er klaar voor is en doet een oproep het land in
september te erkennen.
12) Hij heeft pas nog de Israeliërs voor miljarden aan gratis krachtige straaljagers geboden, als ze
maar zouden stoppen met bouwen van Joodse huizen in dorpen op toekomstig Palestijns land.
Tat et al. (1994) noemen dit soort vragen ‘Passage Independent Questions’ en ik wil mij juist niet
richten op de voorkennis van de lezer, maar op de ‘Inference Questions’ en de ‘Locating Questions’..
Een overzicht van alle cloze-gaten en verantwoordingen staat in bijlage 4.
Leesvaardigheidtoetsen en woordenschattoetsen
Omdat mijn aanname is dat de vwo-leerlingen betere lezers zijn de vmbo-leerlingen, is het nuttig om
dit te controleren met behulp van pretesten. Dit in de vorm van een leesvaardigheidtoets van het
CITO en een woordenschattoets van de Rijksuniversiteit Groningen. Hiermee kan ik het
leesvaardigheidniveau en de woordenschat van de leerlingen meten om die uiteindelijk te kunnen
vergelijken met de resultaten op de cloze-toets. De leesvaardigheidtoets en de woordenschattoets
zijn beide in dezelfde versie afgenomen bij zowel de vmbo als de vwo klassen.
Procedure
Om tijd te besparen bij het verwerken van de resultaten van de woordenschattoets en de
leesvaardigheidtoets, heb ik samen met mijn medestudent Roos Postma de toetsen afgenomen. Het
gevolg was wel dat iedere leerling twee cloze-toetsen moest maken, één woordenschattoets en één
leesvaardigheidstoets. We hebben iedere leerling een makkelijke en een moeilijke versie van een
cloze-toets gegeven. Natuurlijk kreeg iedere leerling wel twee verschillende cloze-toetsen, één van
Roos en één van mij. Hierdoor hebben we 2 verschillende setjes van de toetsen, namelijk een
moeilijke versie van Tess en een makkelijke versie van Roos, en een makkelijke versie van Tess en
een moeilijke versie van Roos. Bij elke set zit een leesvaardigheidtoets en een woordenschattoets.
De verdeling van de tekstversies was als volgt gemaakt:
- 19 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Vwo-leerlingen:
-
havo-vwo: makkelijke toets van Tess (moeilijke toets van Roos)
-
vwo: moeilijke toets van Tess / (moeilijke toets van Roos)
Vmbo-leerlingen:
-
vmbo-kader: makkelijke toets van Tess (moeilijke toets van Roos)
-
vmbo-t: moeilijke toets van Tess (makkelijke toets van Roos)
De cloze-toets resultaten van de toetsen van Roos neem ik niet mee in mijn eigen onderzoek. De
leerlingen moeten eerst de cloze-toetsen maken, vervolgens de woordenschattoets en pas op het
laatst de leesvaardigheidtoets. Dit omdat de leesvaardigheidtoets relatief het meeste tijd zal kosten.
Wanneer deze toets niet helemaal afkomt is dit niet erg. Over 20 ingevulde leesvaardigheidvragen
kunnen we namelijk ook relevante uitspraken doen over het leesvaardigheidniveau.
Helaas hebben wij ons door een fout niet gehouden aan het design-ontwerp zoals het bovenstaand
in de methode is vermeld. Wij hebben geen rekening gehouden met de niveau-verschillen binnen de
klassen van de vwo-leerlingen groep en binnen de klassen van de vmbo-leerlingen groep. Wij hebben
de havo-vwo en de vwo klassen als gelijkwaardige lezers behandeld en zo ook de vmbo-t en de
vmbo-kader klassen. Iedere groep heeft dus maar één tekstversie gekregen. Het nieuwe design ziet
er daarom als volgt uit:
Vwo-leerlingen
Havo-vwo
Makkelijke
Vmbo-leerlingen
Vwo
Vmbo-kader
x
Vmbo-t
x
tekstversie
Moeilijke
x
x
tekstversie
Tabel 2: Design-fout: iedere klas krijgt maar één tekstversie.
Analyse
Bij het nakijken van de toetsen maak ik gebruik van de acceptable word scoretelling (Kobayahshi,
2002). Kobayashi heeft ondervonden dat de acceptable word scoring de hoogste betrouwbaarheid
heeft. Dit omdat er met een exact scoring methode geen eerlijke resultaten worden gemeten omdat
de zwakkere lezers syntactisch minder goed zijn dan sterke lezers (Kobayashi, 2002). Ook kunnen er
soms meerdere woorden op een cloze-gat staan, die semantisch en syntactisch ook goed binnen de
zinsconstructie passen. Met een exact-word scoretelling zou dit woord dan fout worden gerekend,
- 20 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
terwijl de tekst wellicht wel goed begrepen wordt wanneer het ingevulde woord aan de volgende
criteria voldoet:
Criterium 1: Is het woord semantisch correct?
Criterium 2: Is het woord syntactisch correct?
Wanneer de betekenis van het ingevulde woord juist was, en het grammaticaal ook klopte binnen de
zinsconstructie, heb ik deze goed gerekend. Omdat ik niet de exact-word scoretelling hanteer,
behoeft er niet per se te worden gehouden aan het originele woord.
Op het gat in onderstaande zin werden er bijvoorbeeld woorden ingevuld die niet overeenkwamen
met het oorspronkelijke woord, maar wel semantisch en syntactisch passend waren in de tekst:
9) De Palestijnse president, Abbas, zegt dat zijn land er klaar voor is en doet een oproep om het _____
in september te erkennen.
Het woord ‘land’ is het correcte woord. Leerlingen vulden echter ook woorden in als ‘ongeveer’. Dit
woord heeft een heel andere functie dan het woord ‘land’, maar kan niet fout worden gerekend
omdat ze aan bovenstaande criteria voldoet.
5) De _______euforie over de dood van Osama bin Laden is nog niet geheel weggeëbd, maar deze
week keert Obama terug in de harde realiteit van alledag.
In zin 5 is het juiste woord ‘Amerikaanse’. Leerlingen vulden echter vaak bijvoeglijke naamwoorden
als ‘grote’ in, wat ik om bovenstaande redenen ook goed heb gekeurd.
12) [….] als ze maar zouden ______ met bouwen van Joodse huizen in dorpen op toekomstig
Palestijns land.
Het juiste woord in zin 12 moet ‘stoppen’ zijn. Leerlingen vulden echter vaak het woord ‘beginnen’ in,
een woord dat wel aan criteria 2 voldoet maar niet aan criteria 1: dan heb je niet begrepen waar de
tekst over gaat. Daarom reken ik dit antwoord fout.
- 21 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Tijdens de uitleg voorafgaand aan het experiment is er niet bij iedere klas goed uitgelegd dat er maar
één woord op ieder gat mocht staan. Ik heb daarom gaten die werden ingevuld met 2 woorden en
aan criteria 1 en 2 voldeden, goed gerekend:
2) Zijn probleem : hoe krijg je twee mannen aan ______die van tevoren al aangeven helemaal niet
met elkaar te willen praten?
Op het gat moet eigenlijk het woord ‘tafel’ worden ingevuld. Een invulling als ‘het praten’, heb ik
goed gerekend.
De woorden die precies overeenkwamen met het bedoelde woord, kregen 2 punten. De woorden die
niet overeenkwamen met het antwoordmodel, maar wel voldeden aan bovenstaande criteria, kregen
1 punt. De antwoorden van de woordenschattoetsen en de begripstoetsen werden als goed of als
fout gezien.
Verloop van het experiment
Voorafgaand aan het onderzoek hebben wij de leerlingen een korte uitleg van circa 3 minuten
gegeven met instructie over de toetsen, de volgorde van de toetsen en hoe ze het antwoordvel in
moesten vullen. Iedere leerling kreeg twee lesuren de tijd om de toetsen te maken, dat wil zeggen
100 minuten. De leerlingen kregen 15 minuten de tijd voor iedere cloze-toets, 30 minuten voor de
woordenschattoets en 40 minuten voor de leesvaardigheidtoets. Wanneer een leerling klaar was met
een toets, mocht hij doorgaan met de volgende toets. Binnen de tijd zat geen pauze. Gedurende de
toetsen mocht er niet overlegd worden en de leerlingen moesten op elkaar wachten tot meer dan de
helft van de klas klaar was, om zo ‘afraffelwerk’ te voorkomen.
Voorafgaand aan het onderzoek heb ik contact gehad met de afdelingsleiders van de vwoonderbouw en de vmbo-onderbouw, en zij hebben ons experiment in de roosters van bovenstaande
vier klassen ingedeeld. Het experiment vond plaats op dinsdag 14 juni, en viel in de toetsweek van
alle vier de klassen. De vmbo-kader klas was ’s ochtends ingedeeld, de beide vwo-klassen (havo-vwo
en vwo) waren ‘s middags tegelijkertijd ingeroosterd en de vmbo-t klas was aan het einde van de
middag aan de beurt.
De vmbo-leerlingen hebben iets langer over de toetsen gedaan dan de vwo-leerlingen.
De vmbo-leerlingen uit beide klassen waren na ongeveer 80 minuten klaar, op één leerling na. Zij
heeft er de volle twee lesuren over gedaan, omdat zij dyslectisch was. Binnen 60 minuten waren
beide vwo-klassen klaar met de toetsen.
- 22 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Na afloop van het experiment
Na afloop van het experiment hebben Roos en ik samen de toetsen nagekeken. Roos keek de ene
helft van de woordenschattoetsen en de leesvaardigheidtoetsen na, ik de andere helft.
We hebben ieder onze eigen cloze-toetsen nagekeken, met een semantische scoretelling. De
twijfelgevallen hebben we samen besproken om de toetsen zo eerlijk mogelijk na te kijken.
Vervolgens hebben we alle data in SPSS gezet.
- 23 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
5. Resultaten
Uiteindelijk hebben er 49 vwo-leerlingen en 38 vmbo-leerlingen deelgenomen aan het onderzoek. In
de methode heb ik laten zien dat er binnen deze groepen verschillen zitten. De vwo-leerlingen
bestaan namelijk uit twee klassen: een havo-vwo klas en een vwo-klas. Onder de vmbo-leerlingen
valt een vmbo-t klas en een vmbo-kader klas. Het experiment is in die zin fout gegaan, dat niet elk
van de vier klassen twee tekstversies van de cloze-toets heeft gekregen, maar één. Hierdoor kan ik
niet binnen één groep een vergelijking maken van de resultaten van de moeilijke en de makkelijke
versie.
In de resultatensectie zal ik allereerst de betrouwbaarheid van de toetsen berekenen. Ik zal
vervolgens mijn gedane aannames toetsen en later kijken naar de gemiddelden en verschillen in
scores op de cloze-toets, leesvaardigheidtoets en woordenschattoets. Hierbij houd ik het
onderscheid tussen vwo-leerlingen en vmbo-leerlingen aan.
Vervolgens bekijk ik of de verschillende klassen binnen de vwo-leerlingen en vmbo-leerlingen
significant van elkaar verschillen in leesvaardigheid, en of ik eventuele niveauverschillen met behulp
van ANCOVA kan corrigeren.
Tot slot zal ik de cloze-toets analyseren, en bekijken of de manier van scoretelling invloed
heeft op de resultaten.
Betrouwbaarheid
Cloze-toets
Iedere leerling heeft de cloze-toets gemaakt en wanneer er een gat leeg was gelaten, heb ik die fout
gerekend. Dit omdat de toets als eerste gemaakt moest worden en tijdnood geen rol speelde.
De gemiddelde score op de cloze-toets was 11,21 (SD=3,77) van de 22 items. De laagste score op de
cloze-toets was 1 item goed en de hoogste score was 20 items goed.
Cronbach’s Alpha voor de items op de cloze-toets is 0.707, en hiermee is de cloze-toets dus
vrij betrouwbaar. De betrouwbaarheid van de toets kan worden verhoogd door item 2 of item 4 niet
mee te nemen in de analyse, wat zou leiden tot een betrouwbaarheid van 0.711. Ik vind dit echter
een dusdanig klein verschil, waardoor ik geen enkel item verwijder.
Leesvaardigheidtoets
Ondanks mijn verwachting dat de leerlingen in tijdnood zouden komen bij het maken van de
leesvaardigheidtoets, heeft toch iedere leerling deze toets afgekregen en speelde ook bij deze toets
tijdnood dus geen rol. Zelfs de dyslectische leerlingen die meestal langer over toetsen doen, hebben
alle toetsen binnen de 100 minuten kunnen maken. Ik besluit daarom om ieder item van de
- 24 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
leesvaardigheidtoets mee te nemen in de analyse. De leesvaardigheidtoets bestond uit 25 vragen en
heeft een gemiddelde score van 12,43 (SD=4,96). De laagste score was 4 vragen goed en de hoogste
score was 23 vragen goed.
Cronbach’s Alpha voor de items op de leesvaardigheidtoets is 0.782 en daarmee een
betrouwbare toets. Wanneer ik item 20 uit het databestand haal, stijgt de betrouwbaarheid naar
0.791. Omdat het verwijderen van dit item geen dusdanig hogere betrouwbaarheid oplevert, laat ik
item 20 in het databestand staan.
Woordenschattoets.
Bij de woordenschattoets heb ik allen een somscore in de datafile en geen afzonderlijke items.
Hierdoor kan ik de betrouwbaarheid van de woordenschattoets niet berekenen. Wel is er over deze
toets te zeggen dat er gemiddeld 39 items goed zijn beantwoord van de 50 vragen. De laagste score
op de woordenschattoets was 16 items goed, de hoogste score was 49 items goed.
Aannames
Aanname 1: Vwo-leerlingen zijn meer leesvaardige lezers dan vmbo-leerlingen
Binnen dit onderzoek heb ik vwo-leerlingen als goede lezers beschouwd, en vmbo-leerlingen als
slechte lezers. Het verschil hier tussen ‘goed’ en ‘slecht’ is het verschil in leesvaardigheid. Het
leesvaardigheidniveau heb ik gemeten met behulp van een leesvaardigheidtoets en een
woordenschattoets. Allereerst moet ik bekijken of de scores op deze toetsen wel significant
verschillend zijn voor vmbo-leerlingen en vwo-leerlingen, en of bovenstaande aanname terecht kan
worden gedaan.
Hieronder een tabel met de gemiddelde scores en standaarddeviaties van zowel de vwoleerlingen als de vmbo-leerlingen op de woordenschattoets en de leesvaardigheidtoets.
Vmbo-leerljngen
Vwo-leeringen
Leesvaardigheidtoets
10,28 (3,53)
14,10 (5,30)
Woordenschattoets
34,76 (5,28)
42,55 (5,10)
Tabel 3: Gemiddeldes en standaarddeviaties op leesvaardigheidtoets en woordenschattoets per
schooltype.
De vwo-leerlingen scoren met een score van gemiddeld 14,10 (SD=5,30) hoger op de
leesvaardigheidtoets dan de vmbo-leerlingen met een gemiddelde van 10.28 (SD=3,53). Een t-toets
wijst uit dat dit verschil significant is (t = -3,80; df = 85; p < 0.001).
- 25 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Ook scoren de vwo-leerlingen gemiddeld hoger dan de vmbo-leerlingen op de woordenschattoets.
De vwo-leerlingen hebben namelijk een gemiddelde van 42,55 (SD=5,10), en de vmbo-leerlingen
hebben een gemiddelde van 34,76 (SD=5,28). Een t-toets wijst uit dat de vwo-leerlingen significant
beter scoren op de woordenschattoets dan de vmbo-leerlingen (t = -8.31; df = 100; p < 0.001). Hieruit
kunnen we concluderen dat vwo-leerlingen meer leesvaardig zijn dan vmbo-leerlingen in dit
onderzoek.
Aanname 2: meer leesvaardigheid leidt tot meer tekstbegrip
In dit onderzoek wordt aangenomen dat meer leesvaardige lezers ook een beter tekstbegrip zullen
hebben. De mate van tekstbegrip wordt bepaald op basis van de cloze-toets score. Of bovenstaande
aanname terecht kan worden gedaan, moet ik bekijken in hoeverre leesvaardigheid samenhangt met
tekstbegrip. Hiervoor bekijk ik of er een positieve correlatie is tussen de score op de cloze-toets en de
scores op de leesvaardigheidtoets en de woordenschattoets.
Leesvaardigheidtoets
Woordenschattoets
Cloze-toets
0,58
0,49
Significantiewaarde
<0.001
<0.001
Tabel 4: Correlaties tussen cloze-toets met leesvaardigheidtoets en de woordenschattoets
Uit bovenstaande tabel blijkt dat er een positief verband bestaat tussen de leesvaardigheidtoets en
de cloze-toets (0,58). Hoe hoger er wordt gescoord op de leesvaardigheidtoets, hoe hoger de scores
zijn op de cloze-toets. Doordat deze correlatie significant is (p<0.001) berust dit niet op toeval.
Ook de woordenschattoets correleert positief met de cloze-toets met een
correlatiecoëfficiënt van 0,49, en deze correlatie is ook significant (p>0.001). Hoe hoger de scores van
de woordenschattoets dus zijn, hoe hoger de scores op de cloze-toets zullen zijn.
Ook de scores op de woordenschattoets en de leesvaardigheidtoets correleren onderling
positief (0.60), en deze correlatie is significant (p>0.001).
Er is dus een positieve samenhang tussen de antwoorden op de leesvaardigheid- en
woordenschattoetsen en de cloze-toets scores, oftewel er is een positieve samenhang tussen
leesvaardigheid en tekstbegrip. De aanname dat meer leesvaardige lezers een beter tekstbegrip
hebben, kan dus worden aangenomen.
Effecten van schooltype en tekstversie
Maar in hoeverre heeft woordmoeilijkheid invloed op het tekstbegrip van de vmbo- en de vwoleerlingen? Ik bekijk nu in hoeverre tekstversie en schooltype (beide onafhankelijke variabelen)
- 26 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
invloed hebben op de scores van de leesvaardigheidtoets, de woordenschattoets en de cloze-toets
(afhankelijke variabelen). Omdat we te maken hebben met een 2x2 design, maak ik gebruik van een
variantieanalyse (ANOVA).
Leesvaardigheidtoets
De gemiddelden en standaarddeviaties per tekstversie en per schooltype van de
leesvaardigheidtoets staan in onderstaande tabel weergeven:
Makkelijk
Score op
Moeilijk
vmbo
vwo
vmbo
vwo
9,05 (3,4)
12,43 (4,7)
11,4 (3,4)
15,54 (5,7)
leesvaardigheidtoets per
tekstversie en per
schooltype
Score op
10,95 (3,5)
13,74 (4,7)
leesvaardigheidtoets per
tekstversie
Tabel 5: Gemiddelden en standaarddeviaties van leesvaardigheid per schooltype en per tekstversie
We hebben al gezien bij aanname 1 dat de vwo-leerlingen significant beter scoren dan de vmboleerlingen op de leesvaardigheidtoets. De ANOVA wijst uit dat er een hoofdeffect is van schooltype
op de scores van de leesvaardigheidtoets (F = 15,24; df = 1; p < 0.001). Ook is er een hoofdeffect van
tekstversie op de score van de leesvaardigheidtoets (F = 8; df = 1; p < 0.05).
Bij de leesvaardigheidtoets is er geen sprake van een interactie-effect tussen schooltype en
tekstversie. (F = 0.15; df = 1; t=0.694).
Woordenschattoets
De gemiddelden en standaarddeviaties per tekstversie en per schooltype, dus van vier groepen, van
de woordenschattoets staan in onderstaande tabel weergeven:
- 27 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Makkelijk
Score op woordenschat per
Moeilijk
vmbo
vwo
vmbo
vwo
32,72 (5,73)
40,96 (2,7)
36,60 (4,16)
43,96 (6,3)
tekstversie en per
schooltype
Score op woordenschat per
37,34 (5,3)
40,76 (6,5)
tekstversie
Tabel 6: Gemiddelden en standaarddeviaties van woordenschat per schooltype en per tekstversie
We hebben al gezien in aanname 1 dat de vwo-leerlingen significant beter scoren dan de vmboleerlingen op de woordenschattoets. De ANOVA wijst uit dat er daarom ook een hoofdeffect is van
schooltype op de scores van de woordenschattoets. (F = 53; df = 1; p < 0.001)
Ook is er een hoofdeffect van tekstversie op de score van de woordenschattoets (F = 10,34; df = 1; p
< 0.05). Bij de woordenschattoets is er geen sprake van een interactie-effect tussen schooltype en
tekstversie. (F = 0.17; df = 1; t=0.685).
Cloze-toets
De gemiddelden en standaarddeviaties per tekstversie en per schooltype van de cloze-toets staan in
onderstaande tabel weergeven:
Makkelijk
Score op woordenschat per
Moeilijk
vmbo
Vwo
vmbo
vwo
7 ,56 (3,3)
13 (2,6)
9,9 (1,9)
13,15 (3,8)
tekstversie en per
schooltype
Score op woordenschat per
10,6 (4,0)
11,74 (3,5)
tekstversie
Tabel 7: Gemiddelden en standaarddeviaties van cloze-toets scores per schooltype en per tekstversie
Cloze-score
Totaal vmbo
8,79 (2,9)
Totaal vwo
13,08 (3,3)
Totaal
11,2 (3,8)
Tabel 8: Gemiddelden en standaarddeviaties per schooltype op clozescore
- 28 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
In tabel 8 is te zien dat de vwo-leerlingen hoger scoren op de cloze-toets dan de vmbo-leerlingen.
Een t-toets wijst uit dat dit verschil significant is (t = -6,38; df = 85; p < 0.05). De variantie-analyse laat
zien dat er sprake is van een hoofdeffect (F = 43,4; df = 1; p < 0.001). Het schooltype heeft dus
significant invloed op de score van de cloze-toets.
Ook is er te zien dat er gemiddeld beter op de moeilijke tekstversie (11,74) wordt gescoord
dan op de makkelijke (10,6). De t-toets laat zien dat dit verschil niet significant is (t = -1,4; df = 85; p
=0.164). Er is geen significant hoofdeffect van tekstversie (F= 3,58; df =1; p=0.062) gevonden op de
scores van de cloze-toets. De tekstversie heeft dus geen significante invloed op de score op de clozetoets.
Bij de cloze-toets is er geen sprake van een interactie-effect tussen schooltype en tekstversie
(F = 2,75; df = 1; p=0.101). Dit houdt in dat de scores op de cloze-toets geen combinatie zijn van de
afzonderlijke effecten van schooltype en tekstversie.
Overstijging van de tekstmanipulatie
Wat opvallend is, is dat de moeilijke tekstversie gemiddeld beter is gemaakt dan de makkelijke
versie. Tekstversie heeft geen significant effect op de score van de cloze-toets, schooltype wel.
Wanneer we de ‘Partial Eta Squared’ functie aanzetten, kunnen we zien dat maar 4% van de
verschillen op de cloze-toets kan worden verklaard door een verschil in tekstversie. 34% kan worden
verklaard door het verschil in schooltype.
Het lijkt dus alsof het schooltype (ook wel de verschillen in leesvaardigheid), sterker zijn dan
de tekstmanipulatie. Opvallend is echter dat de moeilijke versie beter is gemaakt, iets wat ik van te
voren niet had verwacht.
Bovenstaande resultaten laten ook zien dat tekstversie wel een hoofdeffect heeft op de
scores op de leesvaardigheid en de woordenschattoets. Een verklaring van deze uitkomsten is de
designfout. Doordat iedere klas van de vier klassen een andere tekstversie heeft gekregen, is indirect
het verschil in tekstversies een verschil in niveau. De betere lezers van vmbo en vwo hebben de
moeilijke tekstversie gekregen, de slechtere lezers van vmbo en vwo de makkelijke tekstversie. Een
hoofdeffect van tekstversie is dus indirect een verschil tussen de scores van de goede lezers en van
de slechte lezers op de leesvaardigheidtoets en de woordenschattoets.
Dit verschil lijkt te wijzen op het feit dat er verschillen zijn tussen de havo-vwo/vwo klas en
de vmbo-t/vmbo-kader klas. Het is nu dus zaak om te bekijken of dit zo is, en zo ja, of dit een
overstijging van de tekstmanipulatie kan verklaren.
- 29 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Verschillen binnen schooltype
VMBO-leerlingen
De vmbo-leerlingen zijn opgesplitst in twee klassen: één vmbo-t klas en één vmbo-kader klas. Een
variantie-analyse wijst uit dat er een significant verschil is in leesvaardigheidniveau tussen beide
groepen (F=4,57, df=1; p < 0.05). Ook verschillen beide groepen significant in hun
woordenschatniveau (F=5,74, df=1; p < 0.05)
De twee klassen verschillen ook significant in cloze-score (F=7.43, df=1; p < 0.01). De vmbo-t
klas scoort op alle drie de toetsen dus significant hoger dan de vmbo-kader klas.
VWO-leeringen
De twee vwo-klassen zijn onder te verdelen in een havo-vwo klas en een vwo klas. Het is belangrijk
om te bekijken of er tussen deze twee klassen verschillen zijn, die invloed hebben op de scores van
de cloze-toetsen. Een variantie-toets toont aan dat er een significant verschil is op
leesvaardigheidniveau tussen beide klassen(F=4,84, df=1; p < 0.05). Ook verschillen beide klassen
significant op woordenschat-niveau (F=4,54, df=1; p<0.05).
Ook de vwo-leerlingen scoren over het algemeen hoger op de moeilijke tekstversie dan bij de
makkelijke tekstversie. De havo-vwo klas en de vwo klas verschillen onderling niet significant op de
scores van de cloze-toetsen. (F=0.026, df=1; p=0,872). De vwo klas scoort dus niet significant hoger
op de cloze-toets dan de havo-vwo klas. Ook wordt de moeilijke versie niet significant beter of
slechter gemaakt door de vwo-leerlingen dan de makkelijke tekstversie. (F=0.026, df=1; p=0.872) De
tekstversie heeft binnen de vwo-leerlingen geen significant effect.
Zoals al eerder is vernoemd, correleren woordenschat-, leesvaardigheid- en cloze scores hoog met
elkaar. Dit wil zeggen; een hogere score op de woordenschat/leesvaardigheidtoets staat in
verhouding tot een hogere score op de cloze-toets. Dit zou kunnen betekenen dat het verschil in
tekstversies wordt gecompenseerd door het niveau van leesvaardigheid en woordenschat. De vraag
is nu of we nog zinnige conclusies te kunnen trekken over de verschillende tekstversies. Het is
daarom nu belangrijk om de invloeden van tekstversie en schooltype duidelijker in kaart brengen
zonder dat de woordenschat en de leesvaardigheid overheersen. Dit doe ik door te kijken of we de
verschillen in woordenschat en leesvaardigheid kunnen corrigeren. Hiervoor gebruik de ANCOVA.
Tekstversie heeft, zoals al eerder is aangetoond, geen significant effect op de score van de
cloze-toetsen (F=3,58; df=1; p=0.062). Wanneer de leesvaardigheidtoets en de woordenschattoets
als covariaten worden genomen, is dit verschil nog steeds niet significant (F=0.604; df=1; p=0.604).
- 30 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Schooltype heeft wel een significante invloed op de score van de cloze-toetsen hebben we eerder
gezien. Wanneer de leesvaardigheidtoets en de woordenschattoets als covariaten worden
meegenomen, heeft schooltype echter nog steeds een significante invloed. (F=10,80; df=1; p<0.01).
Hierdoor kunnen we de vwo-leerlingen en de vmbo-leerlingen niet meer op één hoop gooien
en geen zinnige conclusies trekken over de interactie van schooltype met tekstversie. Dit omdat het
leesvaardigheidniveau van de lezers erg bepalend is voor de cloze-score en hiermee de
tekstmanipulatie overstijgt.
Scoretelling
Bovenstaande resultaten zijn gebaseerd op een semantische scoretelling. Hierbij worden woorden
die niet exact, maar wel semantisch, goed zijn ook goed gerekend. Interessant is om te bekijken of
een exacte scoretelling andere resultaten oplevert dan een semantische scoretelling. Ik verwacht dat
de vwo-leerlingen in verhouding beter zullen scoren dan de vmbo-leerlingen met een exacte
scoretelling en dat de kloof tussen vmbo-leerlingen en vwo-leerlingen dan ook groter zal worden.
In onderstaande tabel staan de gemiddeldes van de vwo-leerlingen en de vmbo-leerlingen op de
cloze-toets scores op basis van een exacte en een semantische scoretelling.
VMBO
VWO
Exact
4,4
6,2
Semantisch
8,8
13,08
Tabel 9: Gemiddelde score op cloze-toets van vwo- en vmbo- leerlingen op basis van een exacte scoretelling en
een semantische scoretelling.
Tekstversie had geen significante invloed bij zowel de vwo-leerlingen als de vmbo-leerlingen bij de
cloze-scores met een semantische scoretelling. Ook wanneer er exact wordt gescoord, heeft
tekstversie bij zowel de vmbo-leerlingen (p=0.069) als de vwo-leerlingen geen significante invloed
(p=0.340)
De vwo-leerlingen scoren significant beter dan de vmbo-leerlingen op de cloze-toetsen, op
zowel de moeilijke als de makkelijke versie bij een semantische cloze-telling. Ook bij het exact scoren
doen de vwo-leerlingen het significant beter dan de vmbo-leerlingen. (F=12.67, p<0.01)
- 31 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Grafiek 1: cloze-scores per schooltype bij een semantische scoretelling (totaal_cloze) en een exacte scoretelling
(exact_cloze)
In bovenstaande grafiek is te zien dat er ten eerste hoger wordt gescoord op de cloze-toetsen
wanneer er een semantische scoretelling wordt gehanteerd. Ten tweede loopt de lijn bij de exacte
scoretelling een stuk minder stijl. Hieruit kan ik opmaken dat de verschillen tussen de vwo- en de
vmbo-leerlingen op cloze-scores met een exacte scoretelling de kloof juist kleiner maakt.
- 32 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Conclusie
Voorafgaand aan het experiment heb ik twee aannames gedaan die vervolgens zijn bevestigd. De
vwo-leerlingen hebben een hogere leesvaardigheid dan vmbo-leerlingen. Ook leiden hogere scores
op de leesvaardigheid- en woordenschattoets tot hogere scores op de cloze-toets. Leesvaardigheid
heeft dus een significante invloed op tekstbegrip. De vwo-leerlingen scoren ook significant hoger op
de cloze-toets dan de vmbo-leerlingen en hebben dus een hoger tekstbegrip.
Hypothese 2: Er is een hoofdeffect van schooltype op tekstbegrip
Bovenstaande hypothese kunnen we daarom aannemen. Tekstversie bleek echter geen significante
invloed te hebben op de scores van de cloze-toets. De moeilijke tekstversie is in beide groepen
gemiddeld zelfs beter gemaakt.
Hypothese 1: Er is een hoofdeffect van woordmoeilijkheid op tekstbegrip
Hypothese 1 kunnen we daarom op basis van dit experiment verwerpen. Deze uitkomst is echter te
wijten aan de designfout. Alleen de betere lezers van zowel de vwo-leerlingen als de vmbo-leerlingen
hebben de moeilijke tekstversie gekregen. Doordat de betere en slechtere lezers binnen zowel de
vwo-leerlingen als de vmbo-leerlingen significant verschillen in leesvaardigheid- en
woordenschatniveau, heeft leesvaardigheid mogelijk een dominante invloed gehad op de scores van
de cloze-toets. Door de hoge correlatie van woordenschat en leesvaardigheid met de score op de
cloze-toets, hebben meer leesvaardige lezers een hogere score op de cloze-toets. Bij de
woordenschatscores en de leesvaardigheidscores had tekstversie echter wel een significante invloed
op de scores, maar dit is te wijten aan de designfout: een verschil in tekstversies staat hier namelijk
ook gelijk aan een verschil tussen betere en slechtere lezers binnen de vwo en vmbo-leerlingen,
doordat iedere groep maar één tekstversie had gekregen.
Het verschil in leesvaardigheid en woordenschat tussen de twee klassen met vwo-leerlingen
en tussen de twee klassen met vmbo-leerlingen was niet met een ANCOVA te corrigeren. Ook kan
maar 4% van de verschillen op de cloze-toets worden verklaard door een verschil in tekstversie. 34%
van de verschillen kan worden verklaard door het verschil in schooltype.
De leesvaardigheid van de lezer overstijgt hierdoor de tekstmanipulatie. Doordat het niet is
voorgekomen dat lezers van eenzelfde leesvaardigheidniveau een moeilijke en een makkelijke
- 33 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
tekstversie hebben gemaakt, kunnen er geen eerlijke vergelijkingen worden gedaan. Er kunnen
hierdoor geen conclusies worden getrokken over de invloed van tekstversie (woordmoeilijkheid) op
tekstbegrip.
Hypothese 3: Er is een interactie-effect van schooltype met tekstversie
De uitkomsten van dit experiment wijzen uit dat we hypothese 3 daarom ook kunnen verwerpen. De
hoofdvraag: ‘Wat is de invloed van woordmoeilijkheid op tekstbegrip bij 2e klas middelbare
scholieren?’, is daarom door de designfout niet meer te beantwoorden. Alleen het effect van
leesvaardigheid van de vier klassen op de begrijpelijkheid van teksten kan namelijk worden gemeten.
We kunnen dus concluderen dat de effecten van schooltype het gevolg zijn van vooraf bestaande
verschillen met betrekking tot leesvaardigheid tussen de groepen.
De manier van scoretelling heeft verder invloed op de resultaten. De kloof tussen de scores
van vwo-leerlingen en vmbo-leerlingen op de cloze-toets wordt namelijk groter wanneer er een
semantische scoretelling wordt gehanteerd.
Hypothese 4: De exacte scoretelling zal een grotere kloof veroorzaken tussen de scores op de
cloze-toets van vwo-leerlingen en vmbo-leerlingen dan de semantische scoretelling.
Hypothese 4 zal daarom moeten worden verworpen. Deze uitkomst gaat echter tegen mijn
verwachtingen in. Kobayashi (2002) ondervond namelijk dat slechtere lezers relatief beter scoorden
op de acceptable word scoring dan de exact word scoring in vergelijking met goede lezers. Zij
verklaarde dit aan het feit dat zij syntactisch minder goed zijn dan sterke lezers. Wanneer er de
exacte scoretelling wordt gehanteerd zouden de verschillen in scores van vwo-leerlingen en vmboleerlingen alleen maar groter worden. In mijn experiment is echter het tegenovergestelde gebleken.
- 34 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Discussie
Designfout
Door de designfout zijn hypothese 1 (Er is een hoofdeffect van woordmoeilijkheid op tekstbegrip) en
hypothese 3 (Er is een interactie-effect van schooltype met tekstversie) verworpen.
Maar eigenlijk kunnen er op grond van mijn resultaten hier geen uitspraken over worden
gedaan en is het onterecht om deze hypotheses als onwaar aan te nemen. We kunnen op grond van
dit onderzoek namelijk niet concluderen dat woordmoeilijkheid geen invloed uitoefent op
tekstbegrip en er geen interactie-effect is tussen schooltype en tekstversie. Er kan zelfs niets gezegd
worden over het effect van tekstversie, waardoor mijn onderzoeksverslag eigenlijk een andere vraag
beantwoordt, namelijk: ‘Heeft het leesvaardigheidniveau van een lezer invloed op tekstbegrip?’
Ook ben ik van mening dat niet alleen woordmoeilijkheid zorgt voor een beter of slechter
tekstbegrip. Er zijn meerdere factoren die niet in de opzet van dit experiment zijn meegenomen,
maar ook zeker invloeden zouden kunnen hebben op de mate waarop een tekst begrepen word.
Voorbeelden hiervan zijn samenhang, opbouw en zinslengte.
De clozetoets onder de loep genomen
Door de designfout heeft enerzijds het niveau van de lezer de tekstmanipulatie overstegen,
anderzijds denk ik ook dat de tekstmanipulatie een rol heeft gespeeld in het feit dat de makkelijke
tekstversie niet beter is gemaakt dan de moeilijke tekstversie. Roos Postma heeft namelijk wel
verschillen in cloze-scores gevonden bij verschillende tekstversies en aangezien zij ook te maken
heeft met de designfout, is het belangrijk om naar mijn gemanipuleerde tekst te kijken.
Voorkennis en verwachtingen
In het theoretisch kader heb ik laten zien dat voorkennis een grote rol bij het macroproces van het
lezen van een tekst, oftewel bij het vormen van een coherent situatiemodel (Land, 2009 ). De rol van
voorkennis is in dit experiment niet gemeten. In de methodesectie heb ik beargumenteerd dat ik
gaten waarbij voorkennis voor nodig was, niet heb gemaakt. Opvallend was wel dat de leerlingen
bepaalde woorden in de teksten (met voorkennis of logisch redeneren) linkten aan concepten,
waardoor ze hun keuze hebben laten afhangen van deze verwachting, zonder dat dit iets zegt over
het tekstbegrip. Opvallend waren de antwoorden in zin 7:
7) Netanyahu liet maandag in het Israëlische parlement weten dat hij erover denkt om de
______voorlopig zo'n 50 procent van het bezette _______op de Westbank te geven, mits de
veiligheid van _______ zeker wordt gesteld.
- 35 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Op de gaten horen de woorden ‘Palestijnen’, ‘land’ en ‘Israel’ te staan. Veel leerlingen associeerden
de ‘Westbank’ echter met een geldbank. Hierdoor kwamen de volgende resultaten aan het licht:
7) Netanyahu liet maandag in het Israëlische parlement weten dat hij erover denkt om de Palestijnen
voorlopig zo'n 50 procent van het bezette geld op de Westbank te geven, mits de veiligheid van het
geld zeker wordt gesteld.
Ondanks dat deze woorden syntactisch goed in de zin passen, toont dit wel aan dat de tekst niet
begrepen wordt, dit is immers niet het onderwerp. Deze resultaten laten zien dat er meer factoren
een rol spelen bij het invullen van de clozegaten. Ik vermoed dat ook associatie en verwachtingen
een rol spelen.
Woordmoeilijkheid
Ondanks dat ik geen effect heb gevonden van woordmoeilijkheid op tekstbegrip, vermoed ik toch dat
bij sommige items woordmoeilijkheid wel degelijk een rol speelt:
4) De ______ euforie over de dood van Osama bin Laden is nog niet geheel weggeëbd, maar deze
week keert Obama terug in de harde realiteit van alledag.
Opvallend was dat veel leerlingen de betekenis van het woord ‘euforie’ niet kenden, en hierdoor
geen idee hadden wat er op het gat moest staan. Velen hadden zelfs geen vermoeden dat het een
bijvoeglijk naamwoord moest zijn, en vulden daarom woorden in die syntactisch gezien niet in de zin
pasten.
Ik vermoed dat wanneer er vooraf een pilotstudy had plaatsgevonden, ik bovenstaande
problemen voor had kunnen zijn. In de werkgroepen hebben wij elkaars analyse weliswaar
bekritiseerd, maar wij denken op academisch denkniveau en zullen nooit helemaal in kaart krijgen
hoe een tweedeklasser denkt.
‘Tekstbegrip’ is echter een lastig conept. In dit onderzoek heb ik met de cloze-toets het
begrip op het niveau van het situatiemodel proberen te meten. Ik denk dat dit goed is gelukt. Alle
items moesten uit de context van de tekst worden gehaald. In mijn tekst stonden twee groepen
centraal, namelijk de Israëliers en de Palestijnen. Om goed te weten welke partij er soms ingevuld
moest worden, was het zaak om de context goed te bekijken.
Interpretatie
Bij het interpreteren van de resultaten was het discutabel wanneer leerlingen gaten van de clozetoets niet ingevuld hadden. Roos en ik hebben samen besloten dit als een foutief antwoord op te
- 36 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
nemen in ons bestand, omdat alleen wanneer de leerling het antwoord niet wist, hij of zij een gat
had opengelaten. Omdat de cloze-toetsen als eerste moesten worden gemaakt, was dit volgens ons
niet te wijten aan tijdsnood.
Bij het nakijken van de toetsen heb ik woorden vaak één punt moeten geven. Er werden
namelijk vaak woorden ingevuld die niet exact overeenkwamen met het antwoord model, maar goed
syntactisch en semantisch in de zin pasten. Hierdoor ben ik erachter gekomen dat er op veel plekken
meerdere woorden kunnen worden ingevuld, die prima in de tekst passen en aantonen dat de lezer
de tekst goed begrijpt.
Interessant is voor vervolgonderzoek om te kijken naar de foute, of niet exacte antwoorden
die de leerlingen op de cloze-toetsen invullen. Het geeft een goede indicatie hoe de leerling denkt,
en hoe het komt dat de leerling zo denkt. Wanneer er meerdere leerlingen op een bepaalde manier
denken en dezelfde ‘fouten’ woorden invullen, kun je concluderen dat er op die plek in de tekst moet
worden gezocht naar oorzaken die een aanwijzing geven tot dit foute antwoord.
Afname
Een ander punt van discussie is te stellen over de afname van de toetsen. Van tevoren hebben we
geen rekening gehouden met dyslectische leerlingen en hoogbegaafde leerlingen, twee groepen die
wel in ons proefpersonenbestand voorkwamen. Er waren twee hoogbegaafde leerlingen in de vwogroep en die hebben ook aanzienlijk hogere scores dan de rest van de groep. Er bevond zich één
dyslectische leerling in de vmbo-t groep en één dyslectische leerling in de havo-vwo groep. Zij
hebben langer over de toetsen gedaan dan de rest van de groep, maar hun scores waren niet
aanzienlijk lager dan de rest. Ik heb ervoor gekozen om zowel de hoogbegaafde leerlingen als de
dyslectische leerlingen in het bestand op te nemen.
De keuze om de experimenten in de toetsweek van de leerlingen af te nemen was achteraf
gezien geen goede keus. Met name de vwo-leerlingen hadden waren erg rumoerig omdat zij net op
volle concentratie een wiskundetoets hadden gemaakt, en hierna gelijk twee lesuren concentratie op
moesten brengen voor mijn experiment. De vmbo-klassen leken hier minder last van te hebben.
De toetsweek had ook tot gevolg dat er weinig surveillanten beschikbaar waren die bij ons onderzoek
konden surveilleren. De afdelingsleiders kwamen bij zowel de vmbo- als de vwo klassen wel dusdanig
vaak kijken of het rustig bleef, dat er bij geen van de klassen veel problemen zijn ondervonden bij het
afnemen van de toetsen.
- 37 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Literatuurlijst
Abraham, R.G. and C.A. Chapelle (1992), The Meaning of Cloze Test Scores: An Item Difficulty
Perspective. The Modern Language Journal, 76.
Kamalski, J. (2007) Coherence Marking, Comprehension and Persuasion. Proefschrift Universiteit
Utrecht.
Kobayashi, M. (2002). Cloze Test Revisited: Exploring Item Characteristics with Special Attention to
Scoring Methods. The Modern Language Journal, 86.
Konopak, B.C. (1988), Effects of inconsiderate vs. considerate text on secondary students’ vocabulary
learning. Journal of Reading Behaviour 20, 25-41.
Land, J. (2009). Effecten van tekst- en lezerskenmerken op het tekstbegrip en de tekstwaardering van
vmbo-leerlingen. Eburon Academic Publishers, Delft.
O’Toole, J.M. and R.A.R.King (2010). The deceptive mean: Conceptual scoring of cloze entries
differentially advantages more able readers. Language Testing 28, 127-144.
Ryder, R.J. and M. Hughes (1985). The Effect on Text Comprehension of Word Frequency. Journal of
Educational Research (5), 78.
Stahl, S.A. (2003). Vocabulary and readability: how knowing word meanings affects comprehension.
Topics in language Disorders 23 (3) 241-247.
Stahl, S.A. , M.G. Jacobson, C.E. Davis & R.L. Davis (1989). Prior knowledge and difficult vocabulary in
the comprehension of unfamiliar text. Reading Research Quarterly 24, 27-43.
Tal, N.F., L.S. Siegel & M. Maraun (1994)The role of question type and reading ability in reading
comprehension. Reading and Writing 6, 378-402
Tarchi, C. (2010) Reading comprehension of informative texts in secondary school: A focus on direct
and indirect effects of reader's prior knowledge. Learning and Individual Differences 20, 415–420.
- 38 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Bijlage 1 – Originele tekstversie
Hoe wil Barack Obama het Midden-Oostenconflict oplossen?
De Amerikaanse president Barack Obama houdt vandaag een toespraak over de recente
gebeurtenissen in het Midden-Oosten, waarbij hij ook het stukgelopen vredesproces tussen
Palestijnen en Israëliërs zal benoemen.
Zijn dilemma: hoe krijg je twee mannen aan tafel die op voorhand al aangeven helemaal niet met
elkaar te willen praten?
Morgen spreekt Obama met de Israëlische premier Netanyahu, die op zijn beurt begin volgende
week het Amerikaanse Congres zal toespreken.
De Amerikaanse euforie over de dood van Osama bin Laden is nog niet geheel weggeëbd, maar deze
week keert Obama terug in de harde werkelijkheid van alledag. Op zijn bureau ligt de map van het
Palestijns-Israëlische vredesproces, een taai dossier waarop al zijn voorgangers zich hebben
stukgebeten.
Netanyahu is misschien even geschrokken van de Palestijnse acties zondag bij de grenshekken op de
Golanhoogte, maar hij bezit stevige argumenten om niet met de Palestijnen te willen praten.
Netanyahu liet maandag in het Israëlische parlement doorschemeren dat hij genegen is de
Palestijnen voorlopig zo'n 50 procent van het bezette land op de Westbank te schenken, mits de
veiligheid van Israël wordt gegarandeerd.
Het is een aanbod waar de Palestijnen nooit akkoord mee gaan. Die willen ál het land binnen de
grenzen van 1967. De Palestijnse president, Abbas, zegt dat zijn land er klaar voor is en doet hij een
oproep het in september te erkennen.
Aan Barack Obama de ondankbare taak om er nog iets van te maken. Hij heeft in het recente
verleden de Israeliërs voor miljarden aan gratis superieure straaljagers geboden, als ze maar zouden
stoppen met bouwen van Joodse huizen in nederzettingen op beoogd Palestijns land. Tevergeefs.
- 39 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Bijlage 2 – Makkelijke tekstversie
Hoe wil Barack Obama het Midden-Oostenconflict oplossen?
De Amerikaanse president Barack Obama houdt vandaag een toespraak over de nieuwe
gebeurtenissen in het Midden-Oosten, waarbij hij ook over het mislukte vredesproces tussen
Palestijnen en Israëliërs zal hebben. Zijn probleem: hoe krijg je twee mannen aan .......(1)........ die
van tevoren al aangeven helemaal niet met elkaar te willen.......(2)........?
Morgen spreekt .......(3)........ met de Israëlische premier Netanyahu, die op zijn beurt begin
volgende week het .......(4)........ Congres zal toespreken.
De .......(5)........ over de dood van Osama bin Laden is nog niet geheel verdwenen, maar deze
week keert .......(6)........ terug in de harde realiteit van alledag. Op zijn bureau ligt de map van
het Palestijns-Israëlische .......(7)........, een moeilijk .......(8)........waarop al zijn voorgangers zijn
vastgelopen.
.......(9)........ is misschien even geschrokken van de Palestijnse acties zondag bij de grenshekken
op de Golanhoogte, maar hij heeft sterke .......(10)........om niet met de Palestijnen te willen
.......(11)........
Netanyahu liet maandag in het Israëlische parlement weten dat hij erover denkt om de
.......(12)........ voorlopig zo'n 50 procent van het bezette .......(13)........ op de Westbank te
geven, mits de veiligheid van .......(14)........ zeker wordt gesteld.
Het is een .......(15)........dat de Palestijnen nooit goed zullen vinden. De .......(16)........willen ál
het land binnen de grenzen van 1967. De Palestijnse .......(17)........, Abbas, zegt dat zijn land er
klaar voor is en doet een oproep het .......(18)........in september te erkennen.
Aan .......(19)........ de ondankbare taak om er nog iets van te maken. Hij heeft pas nog de
Israeliërs voor miljarden aan gratis krachtige straaljagers .......(20)........, als ze maar zouden
.......(21)........met bouwen van Joodse .......(22)........ in dorpen op toekomstig Palestijns land.
1.
………………………………………………………… 12. ……………………………………………………………
2.
…………………………………………………………
3.
…………………………………………………………… 14. ……………………………………………………………
4.
…………………………………………………………… 15. ……………………………………………………………
5.
…………………………………………………………… 16. ……………………………………………………………
6.
…………………………………………………………… 17. ……………………………………………………………
7.
…………………………………………………………… 18. ……………………………………………………………
8.
…………………………………………………………… 19. ……………………………………………………………
9.
…………………………………………………………… 20. ……………………………………………………………
10.
………………………………………………………… 21. ……………………………………………………………
11.
………………………………………………………… 22. ……………………………………………………………
13. ……………………………………………………………
- 40 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Bijlage 3 – Moeilijke tekstversie
Hoe wil Barack Obama het Midden-Oostenconflict oplossen?
De Amerikaanse president Barack Obama houdt vandaag een redevoering over de recente
gebeurtenissen in het Midden-Oosten, waarbij hij ook het stukgelopen vredesproces tussen
Palestijnen en Israëliërs zal benoemen. Zijn dilemma: hoe krijg je twee mannen aan.......(1)........ die
op voorhand al aangeven helemaal niet met elkaar te willen .......(2)........?
Morgen spreekt .......(3)........ met de Israëlische premier Netanyahu, die op zijn beurt begin
volgende week het woord zal richten tot het .......(4)........ Congres.
De .......(5)........ euforie over de dood van Osama bin Laden is nog niet geheel weggeëbd, maar
deze week keert .......(6)........ terug in de harde realiteit van alledag. Op zijn bureau ligt de kwestie
van het Palestijns-Israëlische .......(7)........, een gecompliceerd .......(8)........waarop al zijn
voorgangers zich hebben stukgebeten.
.......(9)........ is misschien even ontsteld van de Palestijnse aanslagen zondag bij de grenshekken op
de Golanhoogte, maar hij bezit gegronde .......(10)........om niet met de Palestijnen te willen
.......(11)........
Netanyahu liet maandag in het Israëlische parlement doorschemeren dat hij genegen is de
.......(12)........ voorlopig zo'n 50 procent van het bezette .......(13)........ op de Westbank te
schenken, mits de veiligheid van .......(14)........ wordt gegarandeerd.
Het is een .......(15)........waar de Palestijnen nooit akkoord mee gaan. De .......(16)........willen ál
het land binnen de grenzen van 1967. De Palestijnse .......(17)........, Abbas, zegt dat zijn land paraat
staat en doet een oproep het.......(18)........in september te erkennen.
Aan .......(19)........ de ondankbare taak om er nog iets van te maken. Hij heeft in het recente
verleden de Israeliërs voor miljarden aan gratis superieure straaljagers .......(20)........, als ze maar
zouden .......(21)........met bouwen van Joodse .......(22)........ in nederzettingen op beoogd
Palestijns land.
12. …………………………………………………………
12. ……………………………………………………………
13. …………………………………………………………
13. ……………………………………………………………
14. ……………………………………………………………
14. ……………………………………………………………
15. ……………………………………………………………
15. ……………………………………………………………
16. ……………………………………………………………
16. ……………………………………………………………
17. ……………………………………………………………
17. ……………………………………………………………
18. ……………………………………………………………
18. ……………………………………………………………
19. ……………………………………………………………
19. ……………………………………………………………
20. ……………………………………………………………
20. ……………………………………………………………
21. …………………………………………………………
21. ……………………………………………………………
22. …………………………………………………………
22. ……………………………………………………………
- 41 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Bijlage 4 – Onderbouwing van cloze-gaten en overzicht woordmanipulaties
Makkelijke versie
Hoe wil Barack Obama
het MiddenOostenconflict oplossen?
(267 woorden)
De Amerikaanse
president Barack Obama
houdt vandaag een
toespraak over de nieuwe
gebeurtenissen in het
Midden-Oosten, waarbij
hij het ook over het
mislukte vredesproces
tussen Palestijnen en
Israëliërs zal hebben..
Zijn probleem : hoe krijg
je twee mannen aan tafel
die van tevoren al
aangeven helemaal niet
met elkaar te willen
praten?
Moeilijke versie
Clauses
Hoe wil Barack Obama
het MiddenOostenconflict oplossen?
(266 woorden)
De Amerikaanse
president Barack Obama
houdt vandaag een
redevoering over de
recente gebeurtenissen in
het Midden-Oosten,
waarbij hij ook het
stukgelopen vredesproces
tussen Palestijnen en
Israëliërs zal benoemen.
Zijn dilemma: hoe krijg je 3
twee mannen aan tafel
die op voorhand al
aangeven helemaal niet
met elkaar te willen
praten?
Gaten
Morgen spreekt Obama
met de Israëlische
premier Netanyahu, die
op zijn beurt begin
volgende week het
Amerikaanse Congres zal
toespreken.
Morgen spreekt Obama
2
met de Israëlische
premier Netanyahu, die
op zijn beurt begin
volgende week het woord
zal richten tot het
Amerikaanse Congres.
2
De Amerikaanse
blijdschap over de dood
van Osama bin Laden is
nog niet helemaal
verdwenen, maar deze
week keert Obama terug
in de harde werkelijkheid
van alledag.
Op zijn bureau ligt de
map van het PalestijnsIsraëlische vredesproces,
een moeilijk dossier
waarop al zijn
voorgangers zijn
De Amerikaanse euforie 2
over de dood van Osama
bin Laden is nog niet
geheel weggeëbd, maar
deze week keert Obama
terug in de harde realiteit
van alledag.
2
Op zijn bureau ligt de
kwestie van het
Palestijns-Israëlische
vredesproces, een
gecompliceerd dossier
waarop al zijn
2
2
Commentaar
Titel, geen gat
Eerste zin geen gat
2
Tweede deelzin:
mannen, tafel.
Gekozen voor tafel:
mannen te moeilijk
(landen is logischer
namelijk).
Derde deelzin:
aangeven, elkaar,
praten. Praten is
hoofdww.
Eerste deelzin:
subject gekozen.
Tweede deelzin heeft
geen geschikt
zelfstandig
naamwoord, gekozen
voor Amerikaanse,
want af te leiden uit
de tekst.
Eerste deelzin:
Amerikaanse, dood,
Osama bin Laden.
Laatse 2 vereisen
voorkennis en geen
tekstbegrip.
Tweede deelzin:
subject gekozen.
Eerste deelzin:
bureau, Palestijns Israëlisch,
vredeproces. Gekozen
voor vredesproces: af
te leiden uit de tekst.
- 42 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Makkelijke versie
vastgelopen.
Moeilijke versie
voorgangers zich hebben
stukgebeten.
Clauses
Gaten
Netanyahu is misschien
even geschrokken van de
Palestijnse acties zondag
bij de grenshekken op de
Golanhoogte, maar hij
heeft sterke argumenten
om niet met de
Palestijnen te willen
praten.
Netanyahu is misschien
3
even ontsteld van de
Palestijnse aanslagen
zondag bij de
grenshekken op de
Golanhoogte, maar hij
bezit gegronde
argumenten om niet met
de Palestijnen te willen
praten.
3
Netanyahu liet maandag
in het Israëlische
parlement weten dat hij
erover denkt om de
Palestijnen voorlopig zo'n
50 procent van het
bezette land op de
Westbank te geven, mits
de veiligheid van Israël
zeker wordt gesteld.
Netanyahu liet maandag 3
in het Israëlische
parlement
doorschemeren dat hij
genegen is de Palestijnen
voorlopig zo'n 50 procent
van het bezette land op
de Westbank te
schenken, mits de
veiligheid van Israël
wordt gegarandeerd.
3
Het is een aanbod dat de
Palestijnen nooit goed
zullen vinden.
De Palestijnen willen ál
het land binnen de
grenzen van 1967.
De Palestijnse president,
Abbas, zegt dat zijn land
er klaar voor is en doet
een oproep het land in
september te erkennen.
Het is een aanbod waar
de Palestijnen nooit
akkoord mee gaan.
De Palestijnen willen ál
het land binnen de
grenzen van 1967.
De Palestijnse president,
Abbas, zegt dat zijn land
paraat staat en doet een
oproep het land in
september te erkennen.
1
1
1
1
2
2
Commentaar
Bureau is te
makkelijk,
vredesproces te
moeilijk.
Tweede deelzin:
dossier, voorgangers,
gekozen voor
voorgangers.
Eerste deelzin:
subject gekozen.
Tweede en derde
deelzin: enige opties.
Eerste deelzin: geen
optie, alles te moeilijk
om weg te laten.
Tweede deelzin:
Palestijnen, land,
Westbank. Gekozen
voor eerste twee (ter
compensatie van
eerste deelzin),
Westbank vereist
voorkennis ipv
tekstbegrip.
Derde deelzin:
veiligheid, Israël.
Gekozen voor Israël,
veiligheid te moeilijk.
Subject gekozen
Palestijnen, land,
grenzen. Subject
gekozen.
Eerste deelzin:
president, land.
Gekozen voor
president: subject
gekozen
Tweede deelzin:
oproep, land,
erkennen. Gekozen
- 43 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Makkelijke versie
Moeilijke versie
Aan Obama de
ondankbare taak om er
nog iets van te maken.
Hij heeft pas nog de
Israeliërs voor miljarden
aan gratis krachtige
straaljagers geboden, als
ze maar zouden stoppen
met bouwen van Joodse
huizen in dorpen op
toekomstig Palestijns
land.
Aan Obama de
1
ondankbare taak om er
nog iets van te maken.
Hij heeft in het recente
3
verleden de Israeliërs
voor miljarden aan gratis
superieure straaljagers
geboden, als ze maar
zouden stoppen met
bouwen van Joodse
huizen in nederzettingen
op beoogd Palestijns land.
TOTAAL
Clauses
23
Gaten
1
3
Commentaar
voor land.
Subject gekozen.
Herhaalde naam, mag.
Eerste deelzin: Hij,
Israeliërs,
straaljagers, geboden.
Gekozen voor
hoofdww. Andere
opties zijn niet te
raden, hij is te
makkelijk.
Tweede deelzin: ze,
stoppen, bouwen,
huizen. Gekozen voor
stoppen: hoofdww,
belangrijk voor
tekstbegrip.
Derde deelzin: huizen,
object gekozen
22
- 44 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Bijlage 5– Set regels voor woordmanipulatie (Pander Maat en Kraf)
1. Kijk bij iedere deelzin (clause: zinsdeel met werkwoord) of er manipulaties mogelijk zijn.
Streef in het begin naar zoveel mogelijk veranderingen. Later kun je nog selecteren.
2. De synoniemenafdeling van http://www.mijnwoordenboek.nl/ kan je op ideeën brengen.
3. Kleine betekenisverschillen zijn geoorloofd (bv. locomotief vs. Trein: maakt voor de
beschreven situatie niet uit)
4. Soms wordt het origineel de makkelijke, soms wordt het de moeilijke versie. Het hangt er
maar vanaf wat er kan in de zin. Het hangt er ook vanaf hoe moeilijk de startversie is.
5. Zorg wel dat er in de zin minimaal 1 zelfstandig naamwoord gelijk is in beide versies. Dat is
nodig omdat we in elke zin/deelzin een mogelijk cloze-gat nodig hebben.
6. Is geen manipulatie mogelijk? Verander dan de zin een beetje of gooi hem uit de tekst. Voel je
daar vrij in, zo lang het natuurlijke tekst blijft opleveren.
7. Het streven is naar een tekst van tussen de 250 en 270 woorden.
8. Manipuleer inhoudswoorden: dus zelfstandig naamwoorden, werkwoorden en adjectieven.
9. Probeer bij manipulaties de zinsstructuur intact te houden en het aantal woorden gelijk;
vervang dus zo weinig mogelijk een woord door twee (bevorderen wordt bijdragen aan) of
andersom. Of houdt in ieder geval de zin even lang door naast een verlengende ook een
verkortende manipulatie te doen.
10. Kijk goed of de manipulatie natuurlijk blijft. Lees kritisch elkaars manipulaties.
11. Zorg dat er minimaal 1 manipulatie per 10 woorden in je tekst zit (in de tekst hieronder zijn
er 31 op 270 woorden); in de praktijk betekent dat dat ongeveer 1 op de 5 inhoudswoorden
is gemanipuleerd
12. Check de woordfrequentie bij de manipulaties, en die van de tekst als geheel.
- 45 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
Bijlage 6– Set regels voor clozegaten ontwerp (Pander Maat en Kraf)
1. Hoeveel gaten willen we hebben:
We kiezen voor 1 gat per 12 woorden.
2. Woorden die veranderd zijn als onderdeel van de tekstmanipulatie zijn natuurlijk geen gaten!
3. Op een cloze gat mag slechts 1 woord ingevuld worden
4. Geen gaten maken om de lezer erin te laten komen:

Titel en eerste zin
5. Nooit een gat van maken, omdat er soms maar weinig tekstbegrip voor nodig is:

Functiewoorden (lidwoorden, voorzetsels, voegwoorden, voornaamwoorden)

Naam of vakterm die de eerste keer valt (bv. ‘palts’)

Getallen de eerste keer niet weglaten

Hulpwerkwoorden (eigenlijk functiewoorden, ook geput uit een kleine gesloten klasse)

Koppelwerkwoorden (ook in de praktijk een heel beperkte set)
6. Geen gat van maken wegens lokale lexicale voorspelbaarheid:

Delen van samengestelde werkwoorden (‘staat X toe’, ‘staat X bij’, enz.); het ene deel
voorspelt het ander sterk

Delen van vaste uitdrukkingen (houdt zich bezig met, raad en daad)
7. Geen gat van maken wegens bijkomstigheid van de informatie

Bijvoeglijke naamwoorden (behalve als die naamwoordelijk deel van het gezegde zijn; want
dan is de informatie centraal)

Bijwoorden
De intuïtie hier is dat zelfstandige naamwoorden en werkwoorden in het algemeen vaker
centrale informatie bevatten dan bijwoorden.
8. Hoe gaan we om met gaten op herhaalde woorden?

Een cloze gat mag in principe meerdere malen op hetzelfde woord vallen, mits dit
overeenkomt met de frequentie van dit woord in de tekst. Een voorbeeld: in een tekst
waarin 40 clozegaten geplaatst moeten worden, komen 80 naamwoorden voor die allen
kandidaat cloze gat zijn. Het woord “trein” komt 8 keer voor. Dat is 10% van 80. Dan is het
redelijk dat 4 van de cloze gaten op het woord “trein” vallen.
9. Hoe spreiden we de gaten?

De afstand helemaal constant houden zal na al deze restricties nooit meer lukken. Toch zou
je nog steeds een bepaalde afstand tussen de gaten in woorden kunnen proberen te
benaderen. Maar het klinkt redelijker om gaten in principe te spreiden naar linguïstische
- 46 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
eenheid. Een voorbeeld is: een gat per clause (=deelzin met persoonsvorm). Zo’n clause is
namelijk een stap in het verhaal of betoog van de tekst. Wij zullen dan ook proberen het
aantal gaten per clause constant te houden.
10. Wat te doen wanneer er meer clauses zijn dan we gaten nodig hebben?
Welke clauses kunnen afvallen?

Clauses die om een van bovenstaande redenen geen kandidaat-gat hebben

Non-finiete clauses met infinitieven (‘om zijn rijk te kunnen besturen’) zijn van minder belang
dan finiete clauses met vervoegde werkwoorden (‘omdat hij zijn rijk wilde kunnen besturen’)

Korte inleidende hoofdzinnen (‘verondersteld wordt …’) die op zich incompleet zijn (dus geen
subject of object hebben).

Daarna: de kortste en minst informatierijke bijzinnen.
11. Hoe kies je uit de meerdere kandidaat-gaten in een clause?

Als er meerdere zelfstandige naamwoorden in aanmerking komen, kies je op basis van een
syntactische ranglijst:
o
Subject > object > indirect object > bepalingen (bijwoordelijk of bijvoeglijk)
o
blijft een nevenschikking over (iets waar en of of of maar tussen staat), of een
langere opsomming, dan kiezen we daarvan het eerste lid
De regels in het kort

Streef eerst naar een gat in iedere deelzin (clause: zinsdeel met werkwoord). Later kun je nog
selecteren.

Maak alleen gaten op zelfstandige naamwoorden of naamwoordelijk delen van het gezegde

Als er meerdere zelfstandige naamwoorden in aanmerking komen gaat het subject vóor de
andere zinsdelen

Als fase 1 meer gaten oplevert dan we nodig hebben:

We schrappen een paar gaten uit samengestelde zinnen, beginnend met de kortste
deelzinnen
- 47 -
Onderzoek naar de invloed van woordmoeilijkheid op tekstbegrip - Tess Beekman 3343057
- 48 -