Document

Inleiding
De laatste jaren blijkt schooleffectiviteit een belangrijk en actueel gegeven te
zijn binnen de onderwijskundige context (Scheerens, 2000). Binnen het onderwijsbeleid
van scholen is er een verandering van zoveel mogelijk inschrijvingen behalen, naar het
verbeteren van de kwaliteit van het onderwijs (Scheerens, 2000). Vele publicaties
die handelen over het meten van effectiviteit en kwaliteit zijn hier het bewijs van bv.
PISA, TIMMS, DELPHI, etc… . (Van Petegem & Van Hoof, 2006)
Over het begrip effectiviteit bestaat er nog steeds onduidelijkheid.
Scheerens (1999) stelt: “School effectiveness is the extent to which schools achieve their
core objectives” Van Petegem (1998) ziet het ruimer: “effectiviteit is het bereiken van
wat men voor ogen heeft”. Hier stelt zich een probleem, schooleffectiviteit geeft immers
niet precies aan wat men nastreeft, en is dus een leeg begrip. (Scheersens 2000;
Scheerens & Bosker, 1997). Reid, Hopkins & Holly (1987) concludeerden dan ook: “while
all reviews assume that effective schools can be differentiated from ineffective ones there
is no consensus yet on just what constitutes an effective school.” Praktisch gezien
worden echter prestaties voor basisvakken zoals taal en wiskunde veelal als maatstaf
genomen (Scheerens, 2000).
Davies
(n.d.)
kritiek
op
het
opnemen
van
slechts
één
criterium
als
effectiviteitsindicator is deels terecht. Een te enge visie op de doelstellingen van het
onderwijs,
zou
veronderstellen
dat
het
onderwijs
enkel
tot
doel
heeft
de
wiskundeprestaties of taalprestaties van leerlingen te verbeteren. Anderzijds is het
utopisch om een onderzoek naar effectieve scholen op te zetten waarin alle doelstellingen
van het onderwijs samen worden geëvalueerd. Daarom moeten er keuzes worden
gemaakt en daarmee komt de validiteit in het gedrang.(De Maeyer & Rymenans, 2004)
Bij onderzoek op basis van meerdere effectiviteitscriteria speelt consistentie een
belangrijke rol. Het blijkt immers dat veel scholen die op één effectiviteitscriterium hoog
scoren, niet hoog scoren op een ander effectiviteitscriterium (De Maeyer, 2008,
Brookover et al., 1979; Knuver & Brandsma, 1993; Mortimore et al., 1988). De
vraag reist dan ook wat het belang is van de keuze van het effectiviteitscriterium en hoe
consistent scholen scoren over verschillende effectiviteitscriteria.
De OECD heeft al enkele malen onderzoek verricht naar de prestaties van leerlingen,
zowel op het gebied van wiskunde als op het gebied van taal. Tijdens de laatste
bevraging lag de nadruk op wetenschappelijke vaardigheid. Tijdens dit onderzoek
wordt
het
effectiviteitsonderzoek
een
nieuw
leven
ingeblazen.
Meerbepaald
de
consistentiekwestie, door ook wetenschappen op te nemen als effectiviteitsindicator
(OECD, 2007). De consistentie tussen vakken wordt onderzocht: Nederlands, wiskunde
en wetenschappen, maar ook binnen wetenschappen: wetenschappelijke fenomenen
uitleggen en het gebruik van wetenschappelijke bewijzen.
Teddlie & Reynolds (2000) geven aan dat er op het gebied van consistentie meer
onderzoek moet gedaan worden en dan vooral de consistentie tussen cognitieve en
niet-cognitieve
schooleffecten,
daarom
wetenschappen
opgenomen.
Belangrijk
wordt
is
ook
dat
intrinsieke
het
PISA
motivatie
onderzoek
voor
enkele
maatschappelijke implicaties met zich meebrengt, een goede interpretatie van deze
resultaten is dan ook belangrijk. (Hostens, 2001) Om betrouwbare wetenschappelijke
uitspraken te kunnen doen worden daarom niet enkel de brutoresultaten in acht
genomen, maar ook de nettoresultaten. De nettoresultaten zijn de resultaten, waarbij de
achtergrondkenmerken van leerlingen uitgezuiverd worden.
Literatuur
Het literatuuroverzicht is opgedeeld in 2 thema’s. Tijdens het eerste deel wordt de
aandacht gevestigd op effectiviteit. Tijdens het tweede deel wordt er dieper ingegaan op
het consistentievraagstuk. Op basis van dit literatuuronderzoek worden als laatste de
concrete onderzoeksvragen gedefinieerd.
Effectiviteit
De
algemene
vooropgestelde
definitie
resultaat
of
van
het
effectiviteit
criterium.
Het
geeft
geen
concept
invulling
aan
'onderwijseffectiviteit'
het
is
inhoudelijk leeg. In principe kan elk mogelijk type van uitkomst gehanteerd worden als
beoordelingscriterium. Wel is het zo dat school X effectiever is dan school Y wanneer ze
in grotere mate de vooraf gestelde doelstellingen realiseert. De maatschappelijke
discussie
over
welke
doelen
nastrevenswaardig
zijn
gaat
vooraf
aan
de
effectiviteitsvraag (Scheerens & Bosker, 1997). Onderzoek naar de legitimiteit en
ideologische basis van onderwijsdoelen is relevant, maar behoort niet tot het terrein van
het onderwijseffectiviteitsonderzoek (Scheerens, Bosker, & Creemers, 2001).
In de meeste studies wordt een relatieve invulling van het effectiviteitsconcept
gehanteerd. Men bestudeert verschillen tussen scholen en op basis daarvan worden
relatieve uitspraken gedaan: de ene school is meer of minder effectief in vergelijking met
de overige scholen. Deze relatieve positionering zegt weinig over de mate waarin scholen
bepaalde minimum doelstellingen realiseren (Scheerens & Bosker, 1997; Visscher,
2001). Tot op heden heeft het meeste onderzoek zich gefocust op 1 of 2 academische
resultaten. Slechts enkele hebben
aandacht gehad voor niet cognitieve criteria
(Brandsma, 1993; Mandeville & Anderson, 1986; Mortimore et al., 1988; Reynolds,
1976; Rutter et al., 1979).
Wanneer er wordt gekeken naar wat de invloed is op de resultaten van een
leerling, valt dit te onderscheiden in 3 grote categorieën. Ruwweg wordt van de variantie
in leerling-prestaties zo’n 40 à 50% verklaard door aanleg- en milieufactoren, 40% blijft
onverklaard, terwijl de factor school zo’n 10 à 20% variantie verklaard. In meer recente
onderwijseffectiviteit onderzoeken zijn de percentages door de factor school gebonden
variantie vaak nog lager (Hill, Rowe & Holmes-Smith, 1995). Toch moet het schooleffect
niet geminimaliseerd worden. Een leerling van een ineffectieve Nederlandse basisschool
heeft immers twee jaar meer nodig om hetzelfde diploma te behalen op het einde van
het secundair onderwijs, dan een even getalenteerde leerling van een effectieve lagere
school (Scheerens & Bosker, 1997).
In de onderzoekspraktijk betekent effectitiviteitsonderzoek dat gezocht wordt naar de
"added value", oftewel de toegevoegde waarde van manipuleerbare school- en
klassecondities, ongeacht de effecten van een al dan niet gunstige uitgangssituatie van
de leerlingen. In onderzoektechnische termen wordt dit uitgedrukt als het bepalen van
effecten,
terwijl
gecontroleerd
wordt
voor
relevante
achtergrondkenmerken
van
leerlingen. Scheerens (n.d.) omschrijft onderwijseffectiteitsonderzoek als volgt: “Globaal
gezegd
komt
leerprestaties
het
op
onderwijseffectiviteitsonderzoek
enig
tijdstip
in
de
neer
op
het
meten
van
schoolcarrière,
het
meten
van
achtergrondkenmerken en prestaties op een eerder tijdstip en het relateren van
de voor achtergrondkenmerken en beginprestaties gecontroleerde prestaties
aan school- en klaskenmerken waarvan verwacht wordt dat ze invloed hebben
op de prestaties.”
Consistentie
Binnen het consistentieonderzoek is er reeds een kennisbasis aanwezig. Eerst worden de
verschillende onderzoekmethodes besproken, daarna de consistentie tussen vakken, ten
derde wordt de consistentie binnen vakken behandeld en als laatste de consistentie
tussen cognitieve en niet cognitieve criteria
Schooleffectiviteitsonderzoek heeft een bredere pretentie, dan wat tot op heden werd
onderzocht. De impliciete assumptie is dat een effectieve school niet alleen goede
resultaten laat zien voor één schoolvak, maar voor het hele curriculum, of in ieder
geval voor alle kernvakken. Tevens is er de impliciete aanname dat een school niet
alleen gedurende één schooljaar effectief is, maar dat blijvend is. (Scheerens, n.d). Cook
& Campbell (1979) geven in deze context aan dat één van de belangrijkste bedreigingen
voor constructvaliditeit de ‘mono-operation bias’ is. Wie de schooleffectiviteit bepaalt aan
de hand van slechts één outputmaat beperkt de zeggingskracht van zijn uitspraken.
Tabberer (1994) zegt hierover het volgende:”It is important for, if it exists to a notable
extent, then single feature measures of school effectiveness such as are considered for
league tables are brought further into question.” Door verscheidene outputmaten te
gebruiken, krijgt men meer zicht op wat de school toevoegt. (Cook & Campbell, 1979).
Wanneer
er
meerdere
effectiviteitsindicatoren
worden
opgenomen
luidt
de
consistentievraag als volgt: Is een klas of school die effectief is voor het ene criterium
dat ook voor andere criteria?
De consistentievraag mag echter niet verward worden met de vraag naar stabiliteit. De
vraag naar stabiliteit van schooleffecten handelt over de effecten op langere termijn
(Crone et al, 1994; Mandeville, 1988; Mandeville & Anderson, 1987).
Om de consistentie na te gaan zijn er verschillende onderzoekmethodes. Tijdens de
meeste studies wordt er gebruik gemaakt van correlaties tussen de schooleffecten op
verschillende vakken of klassen, anderen gebruiken ‘split samples’ van studenten. Enkele
onderzoekers hebben zich ook op het consistentieonderzoek gericht door gebruik te
maken
van
Kappa-coefficienten,
deze
controleren
de
kansgelijkheid
tussen
de
verschillende indices (e.g. Crone et al, 1994, 1995b; Lang, 1991, Lang et al., 1992;
Mandeville & Anderson, 1987).
Op het gebied van consistentie tussen de verschillende vakken is er reeds een
kennisbasis beschikbaar door onderzoek uit de Verenigde Staten, Verenigd Koninkrijk en
Nederland. Dit geeft aan dat er een gemiddelde mate van consistentie tussen de
resultaten
van
verschillende
vakken
bestaat.
Mandeville
en
Anderson
(1986)
onderzochten reeds de consistentie tussen vakken op de basisschool. Ze vonden effect
indexen van .70. Brandsma en Knuver (1989) bereikten ongeveer hetzelfde getal (.72) in
het Nederlands Basisonderwijs. Mandeville en Anderson (1987) en Mandeville (1988)
rapporteerden sterk gemiddelde positieve correlaties tussen effectiviteitsonderzoek
gericht op lezen en op wiskunde (r= 0.60-0.70) hierbij werd gebruik gemaakt van de
database van het Carolina Department of Education. De Kappa coëfficiënten die tijdens
deze studie gevonden werden waren lager (0.33 tot 0.52). Deze studie was een vervolg
van vele studies die in de Verenigde Staten werden gehouden naar de stabiliteit en
consistentie van schooleffecten, sinds 1960 (e.g. Dyer et al., 1969, Hiltond en Patrick,
1970; Marco, 1974; O’Conner, E., 1972; Rowan et al., 1983). In 1994 deed Yelton et al.
(1994) een onderzoek naar de consistentie van schooleffecten op een klein aantal lagere
scholen in de Verenigde Staten en rapporteerde een gemiddelde niveau van consistentie
tussen resultaten voor wiskunde en lezen. In Nederland bevestigden Bosker & Scheerens
(1989) het voorafgaand onderzoek. Ze deden een analyse van al het voorgaand
onderzoek naar schooleffecten in het lager onderwijs in Nederland. Ze kwamen tot een
sterk gemiddeld positief effect met een correlatie (r=.72). In het Verenigd Koninkrijk
rapporteerden Moritmore et al. (1988) redelijk positieve correlaties tussen de school
effecten op wiskunde en schrijven. (.28) en wiskunde en lezen (.41). Door de gelijke
effecten gevonden in de Verenigde Staten, Verenigd Koninkrijk en Nederland wordt over
het
algemeen
aangenomen
dat
de
correlaties
tussen
verschillende
cognitieve
effectiviteitscriteria sterk gemiddeld positief zijn.
Al het voorgaande onderzoek speelt zicht echter af op de basisschool. In het secundair
onderwijs is de consistentie lager dan in het basisonderwijs. In het secundair onderwijs
zijn de correlaties lager en bevinden ze zich tussen r.40 en .50 (Cuttance, 1987; FitzGibbon, 1991b; Nuttal et al., 1992; Smith en Tomilson, 1989; Thomas en Nuttal , 1993;
Thomas et al., 1993; Wilms en Raudenbush, 1989. Sammons et al. 1993). De
betrekkelijk lage consistentie tussen vakken in het secundair onderwijs wijzen op het
belang van de invloed van de leerkracht. (Scheerens & Bosker, 1997)
De consistentie binnen vakken blijkt groter te zijn dan deze tussen vakken. (Mandeville &
Anderson, 1987; Crone et al., 1994a, 1994b, 1995). De schooleffecten binnen wiskunde
zijn ook consistenter dan die binnen taal. Dit komt omdat leerlingen wiskundekennis voor
een groter deel aangeleerd krijgen op school. Taalkennis wordt sterker beïnvloed door
thuis- en andere externe factoren dan die van de school (Mandeville & Anderson, 1987).
Doch is er tot vandaag de dag weinig onderzoek gedaan naar de consistentie binnen
vakken.
De richting en de omvang van de associatie tussen schooleffecten op cognitieve en nietcognitieve criteria is tot op heden onduidelijk. Sommige studies suggereren dat de twee
domeinen zwak positief gerelateerd zijn. Andere nemen aan dat beide domeinen
onafhankelijk zijn van elkaar, terwijl een derde groep eerder zwak negatieve associaties
vond. (Brookover, et al, 1979; Knuver & Brandsma, 1993; Rutter et al., 1979; Smyth,
1999). Reynolds (1976) en Rutter et al. (1976) vonden eerder sterke correlaties tussen
scholen die effectief zijn voor academische vaardigheden en hun sociale effectiviteit.
Rutter et al (1979) concludeerde: “On the whole, schools which have high levels of
attendance and good behaviour also tend to have high levels of exam success”. Later
onderzoek door Gray, Jesson en Sime (1983) geeft aan dat de scores zoals: appreciatie
van de school en aanwezigheden deels onafhankelijk waren van de academische
resultaten. In Nederland onderzochten Knuver & Brandsma (1993) de relatie tussen
school effecten op een variëteit van affectieve variabelen (attitudes ten aanzien van taal
en rekenkunde, academisch zelfconcept, schoolswelbevinden en prestatiemotivatie) en
op taal en rekenkunde. De correlaties waren klein maar nooit negatief. Er werd
geconcludeerd dat de twee domeinen relatief onafhankelijk zijn op school niveau, maar
op geen enkele manier tegengesteld zijn aan elkaar.
Toch heeft het meeste onderzoek zich
tot nu toe gefocust op 1 of 2 academische
resultaten. Slechts enkele hebben getracht om de consistentie binnen schooleffecten te
onderzoeken op het sociaal affectief vlak en academische resultaten. (Brandsma, 1993;
Mandeville & Anderson, 1986; Mortimore et al., 1988; Reynolds, 1976; Rutter et al.,
1979, Gray, Jesson & Sime 1983). Gezien de nadruk die scholen leggen op de sociale
ontwikkeling van hun studenten behoeft dit onderwerp nog extra aandacht (Sammons,
1999)
Onderzoeksvragen
Scheerens en Bosker (1997) geven aan dat het effectiviteitscriterium een sterke rol
speelt bij het nagaan van effectiviteit. Op het gebied van wetenschappen is er nog een
duidelijke lacune binnen de literatuur. Daarnaast geeft men aan dat een school die hoog
scoort op één vak niet noodzakelijk hoog scoort op een ander vak. (Goldstein et al.,
1993; Thomas, 2001; Thomas et al., 1997b; Willms & Raudenbush, 1989).
Er stelt
zich dan ook de vraag:
OV 1: Scoort een school die hoog scoort op wetenschappen ook hoog voor wiskunde en
taal?
De consistentie binnen vakken blijkt groter te zijn dan deze tussen vakken. (Mandeville &
Anderson, 1987; Crone et al., 1994a, 1994b, 1995). De schooleffecten binnen wiskunde
zijn wel consistenter dan die binnen taal. (Mandeville & Anderson, 1987). Op het gebied
van wetenschappen is hier nog geen verder onderzoek naar gedaan.
OV 2. Scoort een school die hoog scoort voor wetenschappelijke fenomenen verklaren
ook hoog op het gebruik van wetenschappelijke bewijzen.
Veel tegenstelling bestaat er over het effect dat scholen hebben op niet-cognitieve
aspecten van studentenontwikkeling. De richting en de omvang van de associatie tussen
schooleffecten op cognitieve en niet-cognitieve criteria blijft onduidelijk. Sommige studies
suggereren dat de twee domeinen zwak positief gerelateerd zijn.; andere nemen aan dat
beide domeinen onafhankelijk zijn van elkaar, terwijl een derde groep eerder zwak
negatieve associaties vond. (Brookover, et al, 1979; Knuver & Brandsma, 1993; Rutter
et al., 1979; Smyth, 1999)
OV 3: Scoren scholen die hoog scoren op wetenschappen of taal ook hoog scoren op
‘Instrumental motivation in science PISA 2006 (WLE)’ de niet cognitieve variabele.
METHODOLOGIE
Data
Tijdens dit onderzoek wordt er gebruik gemaakt van de laatste PISA dataset uit
2006 (OECD, 2007). Tijdens deze bevragingsronde lag de nadruk vooral op
wetenschappen. Uit deze dataset werden de Vlaamse data geselecteerd.
De keuze voor deze data is weloverwogen, maar brengt ook enkele voor- en nadelen met
zich mee. Het belangrijkste voordeel is dat er uit een bestaande, gevalideerde databank
kan geput worden. Het bereiken van zoveel respondenten zou anders in een masterproef
niet realiseerbaar zijn. Daarnaast heeft de PISA-dataset een belangrijke
maatschappelijke impact op het onderwijs. In grote landen zoals de USA, Japan,
Duitsland, enz. hechten de beleidsverantwoordelijken groot belang aan deze resultaten
en beschouwen ze deze al een echte waardemeter inzake de kwaliteit van hun onderwijs.
De slechte TIMSS-resultaten van de USA hebben in 1995 geleid tot crisisberaad op het
Witte Huis onder het voorzitterschap van Clinton en tot belangrijke beleidsinitiatieven om
de kwaliteit van het onderwijs te verbeteren.(2001, Hostens) Door een verder onderzoek
van deze dataset, is het mogelijk om tot betere interpretaties te komen van dit
grootschalig onderzoek en misschien tot enkele aanbevelingen over te gaan.
Het nadeel is dat de PISA-databank ook enkele beperkingen met zich meebrengt. Met
deze beperkingen dient ook rekening worden gehouden bij de interpretatie van de
resultaten. Een bestaande dataset betekent dat men gebonden is aan de opgenomen
variabelen. In het geval van de PISA-dataset is een ernstig probleem, het ontbreken van
de variabele IQ. Hierdoor is het moeilijk om valide resultaten te bereiken en volledig de
achtergrondkenmerken van leerlingen uit te zuiveren.
Methode
Voor dit onderzoek wordt gebruik gemaakt van multilevel
analyse. Deze
analysetechniek houdt niet alleen rekening met de antwoorden van een individuele
respondent, het is ook mogelijk om de context waarin een individu zich bevindt te
betrekken in de analyse. Een individu maakt deel uit van een ruimere context: een wijk,
een gemeente, een provincie, een land,… De antwoorden van een individuele respondent
worden beïnvloed door deze ruimere contexten. Zo maken individuele leerlingen deel uit
van een klas binnen een school in een welbepaald net of een regio, …. (De Groof &
Stevens, 2004). In dit onderzoek is het schoolniveau erg belangrijk, er wordt immers
nagegaan of scholen consistent scoren op verschillende effectiviteitscriteria. Zoals reeds
besproken zijn er verschillende methodes om deze consistentie na te gaan (cfr.
Hoofdstuk 2). Er kan gebruik gemaakt worden van Kappa-coëfficiënten, split samples of
van correlaties tussen de schooleffecten op verschillende vakken. Tijdens dit onderzoek is
er geopteerd om de correlatie na te gaan. Dit maakt een vergelijking met voorgaand
onderzoek makkelijker, omdat er reeds een grote kennisbasis aanwezig is.
Daarnaast wordt in het effectiviteitsonderzoek een onderscheid gemaakt tussen nettoeffecten en bruto-effecten. De netto-effecten worden als ‘value added’ bestempeld, dit
wil zeggen dat wat de school toevoegt, na controle voor de instroom (Scheerens &
Bosker, 1997). Om de scholen op een wetenschappelijk valide manier met elkaar te
vergelijken is het belangrijk de achtergrondkenmerken van de leerlingen uit te zuiveren.
Door zowel een brutomodel als een nettomodel te hanteren, is het mogelijk om een
ander beeld te krijgen van de data. Een school die bij het brutomodel een zeer hoge
correlatie laat optekenen is ook de school die het meest consistent zal scoren in
werkelijkheid. Bij het nettomodel, start iedereen met een ‘gelijke’ leerlingenpopulatie, de
achtergrondkenmerken van de leerlingen worden uitgezuiverd. Op die manier valt vast te
stellen
of
scholen
ook
consistent
zijn,
wanneer
men
start
met
een
gelijke
leerlingenpopulatie.
Analyse van de resultaten.
Tijdens de analyse van de resultaten worden eerst het brutomodel besproken, de
consistentie tussen vakken, binnen wetenschappen en als laatste tussen cognitieve en
niet cognitieve factoren. Daarna wordt het nettomodel geanalyseerd, hierbij zijn de
leerlingenkenmerken uitgezuiverd.
Afhankelijke variabelen
2.1.1.1 Specifieke vaardigheden
Leesvaardigheid
Een eerste belangrijk project is het PISA-onderzoek (Programme for International Student
Assesment),
een initiatief van het OESO en in Vlaanderen gefinancierd door het Departement Onderwijs van de
Vlaamse Gemeenschap. In dit opzet wordt driejaarlijks de leesvaardigheid, de wiskundige en
wetenschappelijke vaardigheden van 15-jarigen in 43 geïndustrialiseerde landen onderzocht. Er is
gekozen voor 15-jarigen omdat in de meerderheid van de onderzochte landen de leerplicht eindigt op
16 jaar. Via 15-jarigen wil men onderzoeken hoe het zit met de leesvaardigheid van jongeren op het
einde van de leerplicht. Het Vlaams deel van de PISA- onderzoeken wordt uitgevoerd door de
vakgroep onderwijskunde van de Universiteit van Gent. In totaal werden 3890 studenten uit 124
scholen bevraagd. In de bevraging van 2000 lag de nadruk op leesvaardigheid. Naast deze
vaardigheden is ook informatie ingewonnen over aspecten die deze prestaties kunnen beïnvloeden,
zoals sociale achtergrond, cultuurparticipatie binnen het gezin, …. Leesvaardigheid wordt door het
onderzoeksteam van PISA omschreven als de vaardigheid om teksten te lezen, te verstaan en te
gebruiken in het dagelijks leven (OESO, 2003). Het onderzoek gaat daarom niet louter na of jongeren
al dan niet kunnen lezen, maar onderzoekt of jongeren informatie kunnen afleiden uit zowel teksten
als meer schematische weergaves van informatie (zoals lijsten, grafieken, diagrammen…). Op basis
van deze tes ten worden jongeren ingedeeld volgens hun leesvaardigheid. Niveau 1 heeft betrekking
op jongeren die moeilijkheden hebben met basisteksten. Het vijfde en hoogste niveau omvat jongeren
die zonder problemen moeilijke en ongebruikelijke teksten kunnen verstaan en evalueren. Uit het
onderzoek blijkt dat 12% van de Belgische jongeren dit hoogste niveau van leesvaardigheid haalt. Dit
is hoger dan het gemiddelde van de OESOlanden (9%), maar dan weer lager dan landen als NieuwZeeland, Finland, Australië of Canada waar het percentage rond 18% schommelt. Anderzijds blijkt dat
er grote verschillen bestaan in de leesvaardigheid van Belgische jongeren. Het onderzoek komt tot de
conclusie dat 11 procent van de Belgische jongeren niveau 1 haalt. Acht procent van de Belgische
jongeren haalt zelfs dit niveau niet. Dit is iets hoger dan het gemiddelde voor de OESO-landen
(respectievelijk 12% en 6%). Er bestaat in België zelfs een opmerkelijk groot verschil in prestaties van
leerlingen uit verschillende scholen: meer dan 67% van het verschil in leesvaardigheid kan
toegeschreven worden aan de school. Toch kan dit verschil niet helemaal aan
scholen worden toegeschreven. Deels is het ook te verklaren door het feit dat secundaire scholen
leerlingen aantrekken met verschillende sociale achtergronden. Wetenschappelijke en wiskundige
vaardigheden Een tweede criterium voor kennis dat voorkomt in onderzoek is wiskundige en
wetenschappelijke kennis.
Afhankelijke variabelen
Wetenschappelijke geletterdheid
PISA verstaat onder wetenschappelijke geletterdheid het kunnen toepassen van
wetenschappelijke kennis en vaardigheden in levensechte situaties. De PISA-tests
onderzoeken niet enkel of leerlingen specifieke wetenschappelijke onderwerpen
beheersen. Er wordt gekeken naar de mogelijkheden van leerlingen om
wetenschappelijke onderwerpen te onderscheiden en bepaalde fenomenen op een
wetenschappelijke manier uit te leggen. Ook de wetenschappelijke aanpak bij het
aanduiden, interpreteren en oplossen van realiteitsgebonden problemen waarin
wetenschap en technologie een grote rol spelen, wordt gemeten. Om te testen of
leerlingen bovenstaande vaardigheden bezitten, ontwikkelde PISA taken die het
reproduceren van schoolse kennis overstijgen.( Deze taken worden ingebed in
levensechte situaties waarin wetenschappen en technologie prominent aanwezig zijn
(bijvoorbeeld gezondheid, kwaliteit van het milieu, natuurlijke hulpbronnen, enz.) en
worden
op
drie
contextniveaus
bevraagd
(de
persoonlijke
context,
de
sociale/maatschappelijke context en de globale context). Zo kan het thema “gezondheid”
bijvoorbeeld op de volgende manier binnen de drie niveaus worden ingevuld: “zelf
gezond blijven” (persoonlijk), “de volksgezondheid bewaken” (sociaal) en “epidemieën
onder controle houden” (globaal).
PISA definieert wetenschappelijke geletterdheid als de vaardigheid van een individu om:
� wetenschappelijke kennis te gebruiken om vragen te identificeren, nieuwe kennis te
verwerven, wetenschappelijke fenomenen uit te leggen en bewijsmateriaal te gebruiken
om conclusies te trekken in verband met wetenschappelijke onderwerpen.
� de specifieke kenmerken van wetenschap als een vorm van menselijke kennis en
onderzoek te begrijpen.
� in te zien hoe wetenschap en technologie ons materieel, intellectueel en cultureel
milieu beïnvloeden.
� zich als denkende burger verbonden te voelen met wetenschappelijke onderwerpen en
de begrippen van de wetenschap.
PISA plaatst haar definitie van wetenschappelijke geletterdheid en de ontwikkelde
testvragen in een raamwerk dat bestaat uit vier onderling samenhangende aspecten. Dit
zijn enerzijds de bovenvermelde contexten waarin de taken zijn ingebed en anderzijds de
vaardigheden die leerlingen moeten toepassen, de bevraagde kennisdomeinen en de
attitudes van leerlingen:
Vlaanderen behoort met een gemiddelde prestatie voor wetenschappelijke geletterdheid
van 529 punten tot de groep landen die nog steeds zeer hoge resultaten behaalt.
Wiskundige geletterdheid
Aangezien wiskundige geletterdheid in PISA2006 geen hoofddomein meer is, werd het aantal wiskundevragen
drastisch ingeperkt en verdwenen heel wat echt moeilijke wiskundevragen uit de PISA-tests. In PISA2003 was
wiskundige geletterdheid het hoofddomein van het onderzoek. In PISA2006 wordt wiskundige geletterdheid net
zoals bij PISA2000 als een minor domein meegenomen en wordt er minder testtijd aan besteed.
PISA verstaat onder wiskundige geletterdheid alle vaardigheden die leerlingen gebruiken om wiskundige
problemen te analyseren, te communiceren, te interpreteren en op te lossen. Het begrip overschrijdt dus het
louter oplossen van traditionele wiskundeoefeningen.
In PISA krijgen de leerlingen realiteitsgebonden problemen uit verschillende contexten aangeboden en moeten
ze hun wiskundige vaardigheden gebruiken om die problemen op te lossen. De wiskundige kennis en
vaardigheden worden getest aan de hand van drie dimensies: de wiskundige inhoud waarnaar de problemen en
vragen verwijzen, de cognitieve processen die leerlingen nodig hebben om de problemen te linken aan wiskunde
en op te lossen en de situaties en contexten waarbinnen de problemen worden aangeboden. Wiskundige
geletterdheid wordt binnen PISA gedefinieerd als:
“het vermogen om de rol van wiskunde in het dagelijkse leven in te schatten,
om goed gefundeerde beslissingen te nemen en om wiskunde te gebruiken op
manieren die tegemoet komen aan de noden van het leven
Voor wiskundige geletterdheid behoort Vlaanderen ook in PISA2006 tot de absolute topgroep van landen. In
tegenstelling tot PISA2003 laat Vlaanderen met zijn 543 punten deze keer echter niet de hoogste gemiddelde
score neertekenen.
Op het domein leesvaardigheid
Vlaanderen laat met een gemiddelde prestatie van 522 punten een vijfde gemiddelde prestatie voor
leesvaardigheid optekenen. Leesvaardigheid was het hoofddomein van het PISA-onderzoek in PISA2000.
Sindsdien werd dit domein enkel als minor domein meegenomen en werd er minder testtijd aan besteed.
Leesvaardigheid benadrukt de vaardigheden van leerlingen om geschreven informatie te gebruiken in
realiteitsgebonden contexten. P
ISA definieert leesvaardigheid als:
“het begrijpen, het gebruiken van en het reflecteren op geschreven teksten, zodat
iemand zijn doelen kan bereiken, zijn kennis en capaciteiten kan ontwikkelen en
kan participeren in de maatschappij”.
Deze definitie overstijgt de traditionele visie van het decoderen van informatie en het letterlijk interpreteren van
wat in teksten geschreven staat. Het concept leesvaardigheid wordt binnen PISA door drie dimensies bepaald:
het formaat waarin het leesmateriaal wordt aangeboden, het type leestaak en de situatie of het doel waarvoor
de tekst werd opgesteld. Vlaanderen laat met een gemiddelde prestatie van 522 punten een vijfde gemiddelde
prestatie voor leesvaardigheid optekenen.
Wetenschappelijke bewijzen gebruiken.
Deze bekwaamheid vereist studenten om kennis van wetenschap en kennis over
wetenschap samen te stellen zodat ze deze beiden op een het levenssituatie of een
eigentijds sociaal probleem kunnen toepassen. De hoofdkenmerken van deze variabele
zijn: het interpreteren van wetenschappelijk bewijsmateriaal en het maken en het
communiceren van conclusies; het identificeren van de veronderstellingen, het
bewijsmateriaal en de redenering achter conclusies; en reflecteren over de sociale
implicaties van wetenschap en technologische ontwikkelingen.
Het uitleggen van wetenschappelijke fenomenen.
De belangrijkste aandachtsgebieden in het verklaren van wetenschappelijk fenomenen
zijn: wetenschappelijke kennis in een bepaalde situatie toepassen, beschrijven of
interpreteren van wetenschappelijk fenomenen en voorspellen van veranderingen, en
identificeren van aangewezen beschrijvingen, verklaringen en voorspellingen. Ongeveer
46% van de wetenschapstaken inbegrepen in PISA 2006 zijn verwant met
wetenschappelijk het verklaren van fenomenen.
Instrumental motivation to learn science
Gezien het vaak waargenomen tekort aan studenten in wetenschappen in het hoger
onderwijs in Vlaanderen en andere landen, is het belangrijk dat de beleidsbepalers een
inzicht bereiken al dan niet deze tendens waarschijnlijk zal verdergaan. De instrumentale
motivatie blijkt een belangrijke voorspeller te zijn voor: cursusselectie, carrièrekeuzes en
prestaties (Eccles, 1994; Eccles en Wigfield, 1995; Wigfield et al., 1998). In PISA 2006,
werd de instrumentale motivatie gemeten door vijf vragen.
Leerlingenkenmerken
3.4.3 Effecten van achtergrond- en instroomkenmerken van leerlingen
Uit het vroege schooleffectiviteitsonderzoek van Coleman et al. (1966) en Jencks et al.
(1972) bleek al dat de bijdrage van de school aan de leerprestaties van leerlingen gering
was. De conclusie luidde dat verschillen in leerprestaties tussen scholen vooral worden
veroorzaakt door de verschillen in de kenmerken van de leerlingpopulatie van de
scholen. De onderzoeken die volgden waren vooral gericht op het vinden van
proceskenmerken die de verschillen tussen scholen konden verklaren (Weber, 1971;
Rutter, Maugham, Mortimore, Ouston & Smith, 1979). De invloed van
leerlingenkenmerken op leerprestaties is echter een belangrijk gegeven gebleken
waarmee rekening gehouden dient te worden in het schooleffectiviteitsonderzoek. Eerder
in dit hoofdstuk is aangegeven dat de gemiddelde toegevoegde waarde van de school
betrekking heeft op de bijdrage van de school op het prestatiegemiddelde van de school
nadat rekening is gehouden met de kenmerken van de leerlinginstroom. RekersMombarg, Kuyper en van der Werf (2006) stellen dat achtergrond- en
instroomkenmerken de belangrijkste predictoren zijn voor onderwijsresultaten. De vraag
is dan welke achtergrond- en instroomkenmerken van belang zijn voor
welkeffectiviteitscriterium. In deze paragraaf worden achtereenvolgens de invloed van
achtergrond- eninstroomkenmerken van leerlingen op leerprestaties en op de nietcognitieve criteria besproken,voor zover daarover iets bekend is vanuit de
onderwijspsychologie en onderwijssociologie. Achtergrondkenmerken zijn min of meer
stabiele kenmerken van leerlingen zoals geslacht, intelligentie en het thuismilieu. Deze
kenmerken zijn van invloed op leerprestaties. Zo worden bijvoorbeeld een aantal
seksespecifieke verschillen gevonden op schoolloopbanen. Jongens verlaten vaker
ongediplomeerd de school, halen lagere diploma’s en doen gemiddeld langer over hun
opleiding dan meisjes. In Nederland verlopen de schoolloopbanen van meisjes
voorspoediger dan die van jongens en zowel in het primair als in het voortgezet
onderwijs scoren meisjes hoger op taal en jongens hoger op rekenen en wiskunde (Van
der Werf, Lubbers & Kuyper 2002). Oorzaken voor de seksespecifieke verschillen in
schoolloopbanen kunnen worden gezocht in de zogenoemde geslachtsrolsocialisatie: de
manier waarop de mannelijke en vrouwelijke persoonlijkheid wordt gevormd (Peschar &
Wesselingh, 1995). Los van biologische verschillen zijn er indicaties dat de genoemde
verschillen worden veroorzaakt door vroege(re) socialisering (Klaassen, 1985; Feingold,
1992; Grossman & Grossman, 1994). In het onderwijs wordt in deze context vaak
gesproken over het verborgen curriculum (Beker, 1986). Het verborgen curriclum heeft
betrekking op de impliciete verschillen in benadering van jongens en meisjes in het
onderwijs, zowel in werkvormen van docenten, leerboeken als werkvormen. Een andere
belangrijke voorspeller van schoolsucces is intelligentie. In vrijwel alle studies naar
schooleffectiviteit wordt een effect van intelligentie op leerprestaties gevonden (Coleman,
1966; Jencks, 1972; Bryk & Raudenbush, 1992; Fraser, Walberg, Welch & Hattie, 1987;
Scheerens & Creemers, 1989; Opdenakker & Van Damme, 2001). Intelligentie wordt op
tal van manieren gedefinieerd, maar de gemeenschappelijke kern is: intelligentie is het
vermogen tot abstractie en probleemoplossen en een algemene aanleg voor leren
(Snyderman & Rothman, 1987). Een bron van discussie in deze definitie is de algemene
aanleg. Verschillende onderzoekers definieren meerdere domeinen van intelligentie
zoals bijvoorbeeld analytische, practische, creatieve intelligentie (Sternberg, 2003) of
nog meer aspecten, zoals in de theorie van de meervoudige intelligentie van Gardner
(2003). Naast geslacht en intelligentie is ook het thuismilieu een belangrijk
achtergrondkenmerk in relatie tot leerprestaties. Onder het thuismilieu van leerlingen
worden verschillende factoren gerekend zoals sociaal economische status,
opvoedingsstijl, cultureel kapitaal en onderwijsondersteunend gedrag. Leerlingen met
laag opgeleide ouders verlaten vaker ongediplomeerd het voortgezet onderwijs en
behalen lagere diploma’s (Van der Werf, Lubbers & Kuyper 2002). De oorzaken van de
samenhang tussen thuismilieu en leerprestaties worden in de literatuur vooral gezocht in
intelligentie, de sociaal-economische positie van ouders, de culturele en etnische positie
van ouders, het taalgebruik, de vrienden en de woonbuurt (Meijnen, 1979; Van der
Velden, 1991; Dronkers & Ultee, 1995). Het thuismilieu van leerlingen uit de hogere
SES-groepen sluit beter aan bij het onderwijsklimaat dan het thuismilieu van leerlingen
uit de lagere SES-groepen (Duke, 2000; Yeung, Linver & Brooks-Gunn, 2002) waardoor
deze leerlingen al met een voorsprong het onderwijs binnenomen. Bovendien hebben
ouders uit de hogere SES-groepen verwachtingen met betrekking tot de leerprestaties
van hun kinderen terwijl ouders uit de lagere SES-groepen vooral gehoorzaamheid en
goed gedrag verwachten (Heyman & Earle, 2000). Naast achtergrondkenmerken zijn
zoals gezegd ook cognitieve en niet-cognitieve instroomkenmerken belangrijke
voorspellers van leerprestaties. Voorbeelden van instroomkenmerken van leerlingen zijn
het reeds op de basisschool bereikte prestatieniveau, maar ook studievaardigheden en
motivatie om te leren. Voorkennis van leerlingen is een indicator van het cognitieve
instroomniveau en blijkt de belangrijkste predictor van leerprestaties (Béguin, de Jong,
Rekers-Mombarg & Bosker, 2000; Rekers-Mombarg et al., 2000; Kuyper & van der Werf,
2005). Van der Werf, Lubbers en Kuyper (2002) toonden aan dat voorkennis (de score
op een taal-, rekenen informatieverwerkingstoets) een belangrijke voorspeller is van de
diplomarealisatie en studieduur van leerlingen. Ook het advies (van de basisschool) blijkt
een belangrijke voorspeller van diplomarealisatie en studieduur (Van der Werf et al.,
2002). Leren bouwt voort op vroeger leren (Shuell, 1996) en deze relatie gaat op voor
zowel de vakinhoudelijk voorkennis als de manier waarop leerlingen leren. Doordat
bepaalde kennis aanwezig is, kunnen leerlingen verbanden leggen, structureren,
samenvatten en voorbeelden begrijpen (Dochy, 1992). Leerlingen kunnen dit op
verschillende manieren doen. De manier waarop leerlingen verbanden leggen,
structureren, samenvatten en voorbeelden begrijpen worden leerstrategieën of
studievaardigheden genoemd en zijn onder meer afhankelijk van de motivatie van
leerlingen. Met betrekking tot motivatie wordt binnen de leerpsychologie een onderscheid
gemaakt tussen intrinsieke en extrinsieke motivatie en prestatiegerichte motivatie (Biggs,
1987). Bij intrinsieke motivatie leren leerlingen uit persoonlijke interesse en bij een
extrinsieke motivatie beschouwen leerlingen het leren als een middel om een ander doel
te bereiken (bijvoorbeeld diploma realisatie). Prestatiemotivatie is het streven naar het
halen van goede leerprestaties, ongeacht of de leerstof interessant wordt gevonden of
niet (Ten Dam & Vermunt, 2003).
Afhankelijke variabelen: 3 modellen.
Modellen
Onafhankelijke variabelen
De onafhankelijke variabelen bestaan uit vijf groepen: achtergrondkenmerken van leerlingen
en ouders; gedrag en houding van leerlingen ten aanzien van het onderwijs; sociale compositie van
de school; leer- en onderwijsomstandigheden; en schoolklimaat. De achtergrondkenmerken van
leerlingen en ouders en het gedrag en de houding van leerlingen zijn op leerling-niveau gemeten. De
sociale compositie van de school, leer- en onderwijsomstandigheden en het schoolklimaat zijn
gemeten op schoolniveau. De laatste twee groepen variabelen zijn gebaseerd op informatie van de
schooldirecteur.
Model
Het variabelenniveau, het schoolniveau en het klasniveau
Achtergrondkenmerken van leerlingen en ouders
Voor de meting van de sociale en demografische achtergrondkenmerken van leerlingen en ouders
maken we gebruik van een aantal verschillende indicatoren, die deel uitmaken van de PISA-dataset.
Vele hiervan zijn schalen, gebaseerd op verschillende items uit de vragenlijst en zijn
gestandaardiseerd met een gemiddelde van 0 en een standaarddeviatie van 1. Van al deze
achtergrondkenmerken wordt in de literatuur verondersteld dat zij bijdragen tot betere
schoolprestaties. Teneinde te voorkomen dat een effect van de scores op wiskunde, taal,
wetenschappen,… en…wordt met verschillen tussen de leerlingen van die scholen, wordt in de
analyses met deze kenmerken rekening gehouden.
leeftijd
Hoewel de leeftijd in principe constant is in de dataset (de meting is immers alleen gedaan onder
vijftienjarigen) zullen we toch controleren voor leeftijd in maanden, omdat de kleine variatie hierin
toch invloed kan hebben. Daarnaast controleren we voor geslacht en schoolniveau. Als indicatoren
voor sociale herkomst gebruiken we in de eerste plaats de beroepsstatus van beide ouders,
gemeten volgens de internationale sociaal-economische index (ISEI) (Ganzeboom et al., 1992), en het
opleidingsniveau van beide ouders, gemeten volgens de ISCED-schaal (OECD, 1999). Daarnaast
wordt materiële rijkdom opgenomen als indicator van sociale herkomst. Ook worden kenmerken van
de familiestructuur meegenomen als indicatoren van sociale herkomst: naast het aantal broers en
zussen wordt onderscheid gemaakt tussen kerngezin (referentiecategorie), eenoudergezinnen,
gezinnen met ouder en stiefouder, en andere familievormen. In navolging van theorieën over cultureel
kapitaal (Bourdieu, 1983) wordt ook het bezit van cultuur (klassieke literatuur, poëzie, kunstwerken in
huis) opgenomen als indicator voor sociaal milieu.
De consistentie tussen vakken blijkt zeer hoog te zijn tussen Nederlands en Wiskunde
wordt een
Tussen vakken,
Binnen vakken
Cognitieve en niet cognitieve effectiviteitscriteria
Binnen niet cognitieve effectiviteitscriteria.
Omzetten van de variabelen uit de dataset
Immigranten: omgezet in een dummyvariabele eerst categorische met 3 categorieên,
referentie is native, 2 dummyvariabelen één die aanstaat voor eerste generatie DIMMIG1
en één die aanstaat voor de 2de generatie DIMMIG2
Grade met dummyvariabele waarbij de standaardcategorie gelijk is aan 10 dit is immers
Immigration status
Cumulative
Frequency
Valid
Native
Total
Valid Percent
Percent
4737
92,4
93,3
93,3
Second-Generation
177
3,5
3,5
96,8
First-Generation
161
3,1
3,2
100,0
5075
99,0
100,0
Total
Missing
Percent
N/A
5 ,1
Missing
44 ,9
Total
49
1,0
5124
100,0
Dummy staat aan voor eerste generatie
Cumulative
Frequency
Valid
Valid Percent
Percent
0
4914
95,9
96,8
96,8
1
161
3,1
3,2
100,0
5075
99,0
100,0
49
1,0
5124
100,0
Total
Missing
Percent
System
Total
Dummy staat aan voor tweede generatie
Cumulative
Frequency
Valid
Valid Percent
Percent
0
4898
95,6
96,5
96,5
1
177
3,5
3,5
100,0
5075
99,0
100,0
49
1,0
5124
100,0
Total
Missing
Percent
System
Total
Grade met dummyvariabele waarbij de standaardcategorie gelijk is aan 10 dit is immers
de categorie die het meeste voorkomt. We maken dummies aan voor 7,8,9,11
Grade Q1
Cumulative
Frequency
Valid
7
2 ,0
Valid Percent
,0
Percent
,0
8
105
2,0
2,1
2,1
9
1198
23,4
23,4
25,5
10
3779
73,8
73,8
99,3
11
Total
Missing
Percent
System
Total
Leeftijd in maanden
37 ,7
5121
,7
99,9
3 ,1
5124
100,0
100,0
100,0
Age of student
Cumulative
Frequency
Valid
Percent
Valid Percent
Percent
15.33
148
2,9
2,9
2,9
15.42
388
7,6
7,6
10,5
15.5
382
7,5
7,5
17,9
15.58
426
8,3
8,3
26,2
15.67
432
8,4
8,4
34,7
15.75
426
8,3
8,3
43,0
15.83
445
8,7
8,7
51,7
15.92
425
8,3
8,3
60,0
16
424
8,3
8,3
68,2
16.08
458
8,9
8,9
77,2
16.17
414
8,1
8,1
85,2
16.25
443
8,6
8,6
93,9
16.33
313
6,1
6,1
100,0
Total
5124
100,0
100,0
Leeftijd in maanden
Cumulative
Frequency
Valid
Percent
Valid Percent
Percent
184
148
2,9
2,9
2,9
185
388
7,6
7,6
10,5
186
382
7,5
7,5
17,9
187
426
8,3
8,3
26,2
188
432
8,4
8,4
34,7
189
426
8,3
8,3
43,0
190
445
8,7
8,7
51,7
191
425
8,3
8,3
60,0
192
424
8,3
8,3
68,2
193
458
8,9
8,9
77,2
194
414
8,1
8,1
85,2
195
443
8,6
8,6
93,9
196
313
6,1
6,1
100,0
Age of student
Cumulative
Frequency
Valid
Percent
Valid Percent
Percent
15.33
148
2,9
2,9
2,9
15.42
388
7,6
7,6
10,5
15.5
382
7,5
7,5
17,9
15.58
426
8,3
8,3
26,2
15.67
432
8,4
8,4
34,7
15.75
426
8,3
8,3
43,0
15.83
445
8,7
8,7
51,7
15.92
425
8,3
8,3
60,0
16
424
8,3
8,3
68,2
16.08
458
8,9
8,9
77,2
16.17
414
8,1
8,1
85,2
16.25
443
8,6
8,6
93,9
16.33
313
6,1
6,1
100,0
Total
5124
100,0
100,0
Aanpassen naar onderwijsvorm aanmaken van een dummyvariabele
Unique national study programme code
Cumulative
Frequency
Valid
Percent
Valid Percent
Percent
BEL: (FIRST YEAR A OF
FIRST STAGE OF)
2 ,0
,0
,0
42 ,8
,8
,9
34 ,7
,7
GENERAL EDUCATION
BEL: SECOND YEAR OF
FIRST STAGE PREPARING FOR
VOCATIONAL SEC. EDUC.
BEL: SECOND YEAR OF
FIRST STAGE PREPARING
FOR REGULAR SEC.
1,5
EDUC.
BEL: SECOND & THIRD
STAGE REGULAR
2296
44,8
44,8
46,3
1540
30,1
30,1
76,4
SECONDARY EDUCATION
BEL: SECOND & THIRD
STAGE TECHNICAL
SECONDARY EDUCATION
BEL: SECOND & THIRD
STAGE ARTISTIC
45 ,9
,9
77,3
SECONDARY EDUCATION
BEL: SECOND & THIRD
STAGE VOCATIONAL
1008
19,7
19,7
96,9
SECONDARY EDUCATION
BEL: PART-TIME
VOCATIONAL SEC. EDUC.
FOCUSED ON THE
32 ,6
,6
97,6
LABOUR MARKET
BEL: SPECIAL SEC. EDUC.
- LOWER SEC. (TRAINING
120
2,3
2,3
99,9
FORM 3 / FIRST 3 YEARS)
BEL: SPECIAL SEC. EDUC.
- UPPER SEC. (TRAINING
5 ,1
,1
100,0
FORM 3 / YEARS 4 AND 5)
Total
5124
100,0
100,0
Taal referentiecate
Ondanks de betrekkelijk smalle marges waarbinnen het bezoeken van een
bepaalde school en het daar gegeven onderwijs invloed heeft op de
leerprestaties is hiermee toch het interessegebied van het onderwijseffectiviteitsonderzoek
aangegeven. In de onderzoekspraktijk betekent dit dat
gezocht wordt naar de "added value", oftewel de toegevoegde waarde van
manipuleerbare school- en klassecondities, ongeacht de effecten van een
al dan niet gunstige uitgangssituatie van de leerlingen. In onderzoektechnische
termen wordt dit uitgedrukt als het bepalen van effecten, terwijl
gecontroleerd wordt voor relevante achtergrondkenmerken van leerlingen.
Globaal gezegd komt het onderwijseffectiviteitsonderzoek dus neer op het
meten van leerprestaties op enig tijdstip in de schoolcarrière, het meten
van achtergrondkenmerken en prestaties op een eerder tijdstip en het
relateren van de voor achtergrondkenmerken en beginprestaties gecontro2.2.1 De grootte en betekenis van schooleffecten
Door Scheerens en Bosker (1997) wordt, op basis van een meta-analyse
van 89 onderzoeken een netto effectgrootte voor de verschillen tussen
scholen van .30 gevonden. De coëfficiënt van de effectgrootte is gebaseerd
op een in meta-analyses gebruikelijke maat d, die gedefinieerd is als
de wortel uit de intra-klassecorrelatie (dat is de ratio van de tussenschoolse
en de totale variantie) gedeeld door 1 - de intra-klassecorrelatie). Het
feit dat er gesproken wordt van een "netto" effectgrootte wil zeggen dat
niet de "ruwe" schoolgemiddelden, maar de voor beginkenmerken van
leerlingen gecorrigeerde gemiddelden tussen scholen gebruikt zijn bij de
berekening van de intra-klassecorrelatie.
Afgemeten aan de maatstaven die Cohen (1969) aanlegt om kleine,
gemiddelde en grote effecten te onderscheiden, gaat het hierbij om een
klein tot gemiddeld effect.
Uitgedrukt in de in de schooleffectiviteitsliteratuur meer gebruikelijke
aanduiding van het schooleffect als de proportie van de variantie tussen
leerlingen in leerprestaties die gebonden wordt door de factor school is dit
een waarde van 9%.
Bij de praktische interpretatie van de gevonden effectgroottes moet in
aanmerking worden genomen dat er bij de schatting van het effect van
een school sprake is van aanzienlijke standaardmeetfouten, hetgeen
betekent dat de schatting van een gemiddelde schoolscore door tamelijk
brede onzekerheidsmarges (betrouwbaarheidsintervallen) worden omgeven.
Gegeven deze onzekerheidsmarges zijn alleen verschillen tussen
scholen aan de uiteinden van de verdeling van gemiddelde scores significant.
Zie ook Goldstein, 1996. Voor de praktijk die men in Engeland
toepast, het plaatsen van scholen op ranglijsten, zogenoemde "league
tables", is dit een uiterst storende conclusie, omdat men - zelfs bij het
gebruik van "value-added" effectmaten - geen betrouwbaar onderscheid
kan maken binnen het grote middengebied van scholen.
Wanneer men echter een vergelijking maakt tussen de 10% hoogst
scorende en 10% laagst scorende scholen, dan zijn er wel degelijk
belangrijke maatschappelijke implicaties. In Nederland komt het verschil
tussen de 10% hoogst scorende en de 10% laagst scorende scholen neer
15
op een waarde van .65 van een standaarddeviatie. Dit verschil - gemeten
aan het eind van de basisschool - correspondeert met een mavo/lbo-advies
in de minst effectieve scholen, tegenover een havo/vwo-advies in de
meest effectieve scholen (waarbij het dus gaat om een vergelijking van
leerlingen die qua beginniveau niet verschillen).
Verder geldt dat men in feite een netto-schooleffect zou moeten vermenigvuldigen
met het aantal leerlingen op een school; immers het maatschappelijk
rendement van het bezocht hebben van een effectieve school
komt in principe2 ten goede aan alle leerlingen van die school.
Tenslotte is er bij de interpretaties van de betekenis van de verschillen
tussen scholen nog de kanttekening te maken dat binnen een over het
algemeen redelijk functionerend stelsel van basisscholen zoals in Nederland
(vgl. de rapportage van de CEB, 1994) er kennelijk sprake is van
een betrekkelijk smalle marge, waarbinnen spontaan in de praktijk voorkomende
verschillen in beheersbare procescondities effect sorteren.
Desalniettemin kunnen de marges belangrijk genoeg worden geacht om
nader te bepalen waardoor ze veroorzaakt worden.
2.2.2 De reikwijdte en generaliseerbaarheid van schooleffectsindices
In het onderwijseffectiviteitsonderzoek worden in feite per schoolvak
aparte causale modellen getoetst. Tegelijkertijd heeft het concept "schooleffectiviteit"
een bredere pretentie. De impliciete assumptie is dat een
effectieve school niet alleen goede resultaten laat zien voor één schoolvak,
maar voor het hele curriculum, of in ieder geval voor alle kernvakken.
Tevens is de impliciete aanname dat een school niet alleen gedurende
één schooljaar effectief is, maar dat blijvend is. En tenslotte is het de
vraag of men de effectiviteit van een (basis)school uitsluitend moet
afmeten aan de prestaties in het laatste leerjaar, dan wel tevens verwacht
dat een effectieve school ook goed scoort op het niveau van, bijvoorbeeld,
groep 4. Al deze vragen zijn in principe door middel van empirisch
onderzoek te beantwoorden. Scheerens (1993) duidt dit soort onderzoek
Aannemende dat de school niet differentieel effectief is, d.w.z. even effectief voor
begaafde leerlingen als voor minder begaafde leerlingen.
2
16
aan als "funderend".
Op basis van een recent overzicht van Scheerens & Bosker (1997, hfst. 3)
geeft tabel 1 een globaal overzicht.
Tabel 1: Overzicht van stabiliteits- en consistentie-indices, naar
Scheerens & Bosker, 1997, hfst. 3
type consistentie/generaliseerbaarheid gemiddelde correlatie
stabiliteit eindscore b.o. rekenen en taal
(tijdsinterval 1 à 2 jaar
r = .70 (range .34 - .87)
consistentie over leerjaren binnen scholen
(rekenen en taal)
r = .50 (range .20 - .69)
consistentie over vakken (taal vs. rekenen) r = .70 (range .59 - .83)
Scholen bleken verder stabieler in effectiviteit voor leerlingen met een
lage socio-economische status dan voor leerlingen met een hogere socioeconomische
status.
In navolging van Scheerens en Bosker (ibid) zijn de volgende conclusies
te formuleren inzake de reikwijdte en generaliseerbaarheid van schooleffectsindices:
1) Bij relatief korte tijdsintervallen (1 à 2 jaar) zijn schooleffecten
gemeten aan het eind van de opleiding betrekkelijk stabiel.
2) Er is een betrekkelijk lage consistentie in effecten wanneer verschillende
leerjaren worden vergeleken.
3) De consistentie tussen vakken is hoger in het basisonderwijs dan in
het voortgezet onderwijs.
Zowel de betrekkelijk lage consistentie tussen leerjaren in het basisonderwijs
en de betrekkelijk lage consistentie tussen vakken in het voortgezet
onderwijs wijzen op het belang van de invloed van de leerkracht. Scheerens
en Bosker merken op dat de conclusie dat leerkrachteffecten sterker
zijn dan schooleffecten vrijwel onontkoombaar is.
17
Deze beschouwing over fundamentele vragen betreffende het concept
schooleffectiviteit, in de zin van vragen over de grootte van effecten en
de reikwijdte van deze effecten voert tot de conclusie dat bij de interpretatie
van de onderzoeksuitkomsten enige voorzichtigheid geboden is.
De gegevens over de grootte van schooleffecten laten zien dat een
realistische verbeteringstarget eruit zou kunnen bestaan de 10 à 15% van
de scholen aan het laagst scorende uiteinde van de verdeling op het
niveau van de "gemiddelde" school te brengen. De uitkomsten van het
onderzoek naar stabiliteit en consistentie van schooleffecten wijzen uit dat
schooleffectiviteit niet zondermeer als een integraal kenmerk mag worden
beschouwd, maar in niet onbelangrijke mate berust op sub-systemen
binnen de school, zoals klassen en leerkrachten.
Deze constatering biedt steun voor de gedachte dat beleidsmaatregelen,
gericht op kwaliteitsverbetering, zich niet tot het niveau van het schoolmanagement
zouden moeten beperken, maar direct of indirect de leerkrachten
moeten bereike