algemene peilproeven en outputanalyse

ALGEMENE PEILPROEVEN
Jan Saveyn
Pedagogisch coördinator VVKBaO
Kwaliteitsbewaking via outputanalyse. De agenda van de overheid en de opdracht van de
school.
1. Situering
Het thema van de algemene peilproeven is weer actueel nu de onderwijsminister wil dat de
school haar kwaliteitszorg meer bij de analyse van haar output laat aansluiten en dat hij daar
de scholen directer wil bij ondersteunen. De onderliggende redenering is ondermeer dat
tegenover de ruimte die de school heeft voor een autonome beleidsvoering, de opdracht
staat om de prestaties van haar leerlingen in beeld te krijgen en om, vanuit de confrontatie
met die leerlingenresultaten, aan haar kwaliteitsverbetering te werken. De veel geprezen
analyse van de proceskenmerken - de wijze waarop de school werkt, zeg maar - volstaat
niet.
Het is de bedoeling dat scholen goede resultaten nastreven in termen van aantoonbaar
verhoogde competenties bij hun leerlingen. En vooral dat àlle scholen substantiële
vooruitgang boeken. De overheid stelt met andere woorden dat een school met een veeleer
zwakke leerlingenpopulatie, net zoals andere scholen, voldoende toegevoegde waarde of
winst bij haar leerlingen moet realiseren.
Zulke optie roept onmiddellijk de vraag op naar de middelen waarmee scholen dat soort
complexe informatie over hun kwaliteit kunnen verzamelen. Het voor de hand liggende
antwoord is dat scholen over toetsen of peilproeven moeten beschikken die op een grotere
dan de eigen schaal genormeerd zijn. Daarmee kunnen ze de eigen resultaten vergelijken
met de resultaten van scholen die onder dezelfde omstandigheden (o.a. soort
leerlingenpopulatie) werken, en kunnen ze zichzelf een spiegel voorhouden.
Maar wie zal dat instrumentarium aanmaken, de gegevens verwerken en feedback aan de
scholen verstrekken? De overheid behoedt zich ervoor om hier expliciete uitspraken over te
doen. De onderwijsminister stelt onderzoek in het vooruitzicht naar de haalbaarheid om de
overheid terzake initiatieven te laten nemen.
Wat de beheersing van de instructietaal Nederlands betreft, wordt al meteen het initiatief
aangekondigd van een veralgemeende taaltoets. Alle scholen zullen die 'kunnen' of - nog
door de minister uit te zoeken - 'moeten' afnemen op scharniermomenten in de
schoolloopbaan van de leerlingen.
Op het eerste gezicht is het één en ander in het kader van de kwaliteitsbewaking en -zorg de
logica zelve. Toch vragen zowel het thema van de outputmeting in het algemeen, als de rol
van de overheid bij het voorzien in instrumenten, een kritische benadering.
Ten eerste dient rekening gehouden te worden met de zeer uiteenlopende bedoelingen
waarmee outputanalyses plaatsvinden.
Er is bijvoorbeeld het controleren of opvolgen van de uitkomsten van het onderwijssysteem in
Vlaanderen, met inbegrip van het zoeken naar verklaringen van leerlingenresultaten op basis
van verbanden met bijvoorbeeld schoolkenmerken. De overheid kan ongetwijfeld haar
voordeel doen met zulke evaluaties om beleidsbeslissingen te nemen. En de scholen en hun
ondersteuningsdiensten kunnen eruit leren voor de eigen beleidsvoering, en ondersteuning.
Er is ook de outputanalyse die de individuele school uitvoert, in het kader van haar interne
kwaliteitszorg en haar 'ontwikkeling'.
En er is tenslotte de opvolging van de resultaten van elke individuele leerling, met het oog op
de directe ondersteuning van het leerproces of van de schoolloopbaan van de leerling.
In al die contexten vervullen peilingen een specifieke rol. Meer bepaald is ook de
betrokkenheid van de overheid anders.
1
Op het niveau van de individuele school en de ondersteuning van de individuele leerling,
dat gaat over het pedagogisch project (de methode) van waaruit men aan de ontwikkeling
van de leerlingen werkt, is die betrokkenheid per definitie veeleer voorwaardenscheppend
dan wel ingrijpend op de inhoud. Denk aan voorzien in schoolbegeleiding en
werkingsmiddelen.
Ten tweede, en los van de context waarin de peilproeven worden aangewend, dient
rekening gehouden met de beperkingen van outputanalyse via peilingen.
Wat met algemene peilproeven aan informatie over het rendement van onderwijs verzameld
wordt, slaat slechts op een deel van het totale curriculum terug. De realisatie van sommige
doelen is namelijk moeilijk te reduceren tot direct aantoonbare resultaten bij peilproeven,
terwijl die categorieën van doelen nochtans pijlers zijn van een kwaliteitsvol
onderwijsaanbod. Denk bijvoorbeeld aan het effect van de school op het engagement en
het zelfbeeld van de leerlingen.
De moeilijke meetbaarheid van die kwaliteit is ook een van de redenen waarom de
procesanalyse en vormen van zachte outputanalyse (bijvoorbeeld via observaties) tegelijk
met de harde outputanalyse op basis van peilproeven, voor de kwaliteitszorg van scholen
belangrijk zijn. De mogelijke dominantie van outputanalyse via algemene peilproeven kan
overigens als negatief neveneffect hebben dat onevenredig veel belang wordt gehecht
aan wat meetbaar is, en dat de middelen om de kwaliteit te achterhalen de
kwaliteitsdoelen gaan beïnvloeden.
Het klassieke voorbeeld is de invloed van taaltoetsen op het reduceren van de onderzochte
'taalvaardigheid' tot het goed controleerbare schriftelijk taalgebruik (begrijpend lezen,
spelling,...), terwijl taalvaardigheid zoveel breder gaat.
Een dergelijke reductie van de complexe materie die onderwijs in werkelijkheid is, zal
mogelijks ook optreden als men de ambitie heeft om de scholen objectieve informatie te
verschaffen over hun toegevoegde waarde en relatieve leerwinst. Het interpreteren van
leerlingenresultaten aan de hand van goed gecontroleerde input- en contextvariabelen is
een moeilijke methodologische oefening. Bij die verwerking van de outputgegevens zal een
deel van de werkelijke waarde van de school, en een nog groter deel van de verklaringen
daarvoor, buiten het gezichtveld van de onderzoeker vallen. Ook het bewustzijn van déze
beperking is belangrijk om te vermijden dat een op zich interessante gedachte van
rendementsmeting de pedagogische oriëntatie van scholen hypothekeert.
2. Peilproeven als instrumenten om de output en de leerwinst in beeld te
krijgen
Bij peilproeven of algemene prestatietoetsen gaat het om instrumenten waarmee men op vrij
objectieve en betrouwbare wijze de leerresultaten van leerlingen kan vaststellen. Ze zijn
ontwikkeld rond een set expliciete standaarden zoals eindtermen of leerplandoelen.
Omdat de toetsen van een redelijk grote groep (in meer dan één school) worden
afgenomen, leveren zulke toetsen niet alleen informatie op over de mate waarin bepaalde
doelen bereikt worden. Het geheel van de geregistreerde resultaten levert ook een norm of
een ijkpunt op, waarmee individuele resultaten van leerlingen en scholen vergeleken kunnen
worden.
Die vergelijking kan overigens via allerlei statistische bewerkingen worden verfijnd. Zo kunnen
er 'families' worden gemaakt van scholen die onder dezelfde omstandigheden (kenmerken
van leerlingenpopulatie e.d.) werken. Dat laat scholen toe om zich met hun 'lotgenoten' te
vergelijken en hun resultaten te relativeren.
Of men kan werken met een peilproef die men bij het begin en bij het einde van een
onderwijstraject afneemt en zo de vooruitgang in beeld brengen. De vooruitgang van de
leerlingengroep van een school kan men vervolgens vergelijken met de vooruitgang die
leerlingen gemiddeld boeken in scholen die onder dezelfde voorwaarden werken. Als die
vooruitgang groter is dan wat men als (soort van) school kan verwachten, dan spreekt men
van leerwinst. Als die kleiner is, spreekt men van leerverlies. In die betekenis van
leerwinstmeting gaat het dus om een relatieve meting. Die leidt tot een beoordeling van de
2
school die afhangt van wat andere scholen realiseren en niet zonder meer van de
vooruitgang die een school boekt, noch zonder meer van de doelen die de school realiseert.
(zie ook J. Saveyn, 2004, p. 21)
Met al dat soort bewerkingen van de geregistreerde brutoresultaten probeert men de
werkelijke verdienste (het nettorendement) van scholen te achterhalen. Die informatie is
zowel van belang voor de opvolging van het rendement van het onderwijssysteem in het
algemeen (cf. 3 over de evaluatie op systeemniveau door de overheid), als in het kader van
de interne kwaliteitszorg waar iedere school verantwoordelijk voor is.
Hoe dan ook is de peilproef een instrument voor het uitvoeren van een outputanalyse. Dat is
een analyse die, complementair aan de procesanalyse (denk aan de kenmerken van een
goede beleidsvoering en aan de kenmerken van de ondersteuning van leerprocessen), de
basis vormt van het onderzoek naar de kwaliteit van scholen.
3. Peilproeven en outputanalyse op systeem- of macroniveau
Voor het oriënteren van hun beleidsbeslissingen, zoeken de overheid en zij die vanuit het
middenveld het onderwijs sturen (bijvoorbeeld de koepels) antwoorden op vragen als:
hoe presteren onze scholen voor bepaalde leergebieden? Hoe groot is de spreiding van de
resultaten van scholen? Slagen we erin om alle leerlingen(groepen) in dezelfde mate te laten
profiteren van ons (hoog scorend) onderwijs? (cf. Beleidsnota, 2004)
De best bekende instrumenten en procedures voor outputonderzoek op systeemniveau zijn
de periodieke peilingen naar de realisatie van de eindtermen. Daarmee wil de overheid
onder andere nagaan in welke mate de implementatie van de eindtermen vordert, of in
welke mate de eindtermen voor de bedoelde leerlingengroep realiseerbaar zijn.
Kenmerkend voor dat soort outputonderzoek is dat het gaat om onderzoek in een steekproef
van scholen, gekozen op basis van de beleidsrelevante onderzoeksvragen. Het is immers niet
de bedoeling om gedifferentieerde feedback te geven naar individuele scholen, maar in de
eerste plaats om informatie te verzamelen voor de fundering van algemene
beleidsbeslissingen. Dat is bijvoorbeeld het verbeteren van de voorwaarden waarin scholen
hun opdracht kunnen waarmaken.
Dat de overheid dit soort onderzoek uitvoert, kan bezwaarlijk gecontesteerd worden. Voor
de kwaliteitsbewaking beschikt ze strikt genomen enkel over maatschappelijk goedgekeurde
minimumnormen zoals de eindtermen dat zijn, op basis waarvan ze een oordeel over de
kwaliteit van onderwijs kan uitspreken. En bijvoorbeeld niet over proceskenmerken, waarmee
ze zich al snel in de zone van de pedagogische vrijheid van de onderwijsverstrekker
beweegt. Zeker voor Vlaanderen, waar de overheid niet over een gelegitimeerd
kwaliteitskader ( cf. CIPO) beschikt, is dat het geval.
Een andere mogelijke functie van algemene peilingen, is scholen confronteren met
verklaringmodellen die duidelijk maken welke kenmerken van scholen, leerlingen en
leerprocessen tot welke leerresultaten leiden. In beleidskringen groeit het voornemen om het
instrumentarium om output op systeemniveau te analyseren, tegelijk ook voor de interne
kwaliteitszorg van scholen in te zetten. In de Beleidsbrief voor 2005-2006 heeft de
onderwijsminister het in die zin over scholen een informatierijke omgeving en leerkansen
bieden (cf. hoofdstuk 2.3.6)
Aan de basis van die verbreding van perspectief zit behalve de gedachte van
dienstverlening aan scholen, ook een onderwijspolitieke optie die met de versterking van
overheidscontrole te maken heeft. De beleidsadviseurs van de overheid stellen al langer dan
vandaag de scheiding in vraag tussen externe evaluaties (cf. peilingen door de overheid)
en de interne evaluaties die de scholen in het kader van hun kwaliteitszorg zelf uitvoeren. Als
de overheid een actiever rol in de kwaliteitsbewaking wil spelen is ze namelijk zeer gebaat bij
meer gelijklopendheid van wat extern (o.a. via de inspectie) en schoolintern als evaluaties
plaatsvindt. Het is in die context dat ze wil onderzoeken hoe ze zelf instrumenten aan scholen
kan aanreiken om de prestaties van de leerlingen in beeld te krijgen en te interpreteren. Het
3
introduceren van een gemeenschappelijk (op systeem- en schoolniveau inzetbaar)
instrumentarium inzake outputcontrole is met andere woorden een stap in de richting van die
afstemming. Zo zou tegelijk ook het verschil in de aansturing van onderwijs tussen Vlaanderen
en de ons omringende landen kleiner worden. We verwijzen daarbij naar de Europese
landen waar de overheid beduidend meer verantwoordelijkheid neemt in het
rendementsonderzoek van scholen. Bijvoorbeeld door outputcontrole via nationale examens
en door scholen jaarlijks een pakket met prestatiegegevens en vergelijkingsmateriaal aan te
bieden. (cf. DVO, 2005).
Vanuit de Vlaamse onderwijstraditie, en a fortiori vanuit het vrij onderwijs, wordt deze
evolutie naar meer overheidsimpact op de interne kwaliteitszorg via outputonderzoek het
voorwerp van debat. We verwijzen daarbij onder meer naar de volgende kritische punten.
Men kan ten eerste en terecht opmerken dat een set van proeven die door de overheid
worden ontwikkeld en verspreid (per definitie) niet peilen naar de realisatie van het project
en het curriculum dat eigen is aan de school of aan een bepaald netwerk van scholen.
Scholen verwerven er dus ook maar partiële informatie mee voor de optimalisering van hun
eigen onderwijsaanbod.
Verder slaat het onderzoek naar de relatie tussen de output en de proces- en
inputkenmerken van de school op algemene (schooloverstijgende) kenmerken. Voor de
interne kwaliteitszorg en de beleidsvoering van de (individuele) school heeft de school ook
informatie nodig die nauwer aansluit bij de specifieke context van de school. Denk aan de
relatie tussen leerlingenresultaten en aan de gang zijnde vernieuwingen op school
(werkvormen, groepering van leerlingen, curriculumvernieuwing...), de relatie met
reorganisaties in het lerarenteam en het middenkader, de relatie met specifieke
veranderingen in de leerlingeninstroom.
Ten derde is onderzoek op systeemniveau altijd een complexe en kostelijke operatie, welke
voor dat niveau, maar daarom niet ook voor andere niveaus, verantwoord is. We verwijzen
naar de strenge methodologische eisen van het onderzoek. Toegepast op de outputanalyse
op schoolniveau kan men zich de vraag stellen of de kost en de techniciteit van die
procedures wel in verhouding staan tot de bruikbare informatie die zulk onderzoek voor de
individuele school oplevert. In het bijzonder voor de meting van de leerwinst, geldt dat een
valide meting curriculumonderdelen met een eendimensionale opbouw veronderstelt
(typevoorbeeld: technisch lezen). Het aandeel van het curriculum dat daaraan voldoet, is
meestal zo klein dat de notie 'leerwinst' niet meer is dan een theoretisch concept om kwaliteit
te benaderen.
Ten vierde is er de bedenking dat een nauwe band met outputonderzoek die door
expertisecentra beheerd wordt, de school in een positie van afhankelijkheid van die
externen (en hun concept van evaluatie) brengt. Die relatie heeft mogelijks een beperkend
effect op zowel de eigen beleidsvoering van de school, als op wat er feitelijk op de klasvloer
plaatsvindt. Met dat laatste verwijzen we naar het bekende 'teaching to the test'.
En tenslotte komt men met die informatie-omgeving ook in de buurt van de ranking van
scholen. Met andere woorden: kan - ondanks de gedecideerde afwijzing van die optie door
de overheid en de huidige onderwijsgeledingen - de stap worden afgewend om scholen via
algemene peilproeven naar hun output (c.q. leerwinst) te rangschikken en die rangschikking
zonder veel nuancering publiek te maken? Als er eenmaal vergelijkbare informatie
beschikbaar is, zal de druk om dat te doen groot zijn.
Er is dus nogal wat voor te zeggen om voor de outputanalyse op het niveau van de
individuele school voldoende eigen ruimte voor te behouden. Het volgende punt is ook in die
zin opgevat.
4. Algemene peilproeven en outputanalyse op het niveau van de school
Om de kwaliteit van haar werking te verhogen of te handhaven, dient ook de (individuele)
school zicht te hebben op haar effecten in termen van leerlingenresultaten. Men kan stellen
dat de outputanalyse en de procesanalyse elkaar wederzijds moeten ondersteunen
4
(valideren). Verschillende argumenten pleiten er namelijk voor om de kwaliteit noch geheel
aan de leeruitkomsten, noch geheel aan de analyse van de kenmerken van goed onderwijs
(cf. het project van de school) af te wegen. We verwijzen bijvoorbeeld naar het feit dat niet
alles wat de school bij leerlingen teweegbrengt direct in producten herkenbaar is. Bovendien
moet het doelenpakket van een goede, zich vernieuwende school, altijd ten dele in
beweging kunnen blijven en mag het niet door peilproeven worden 'gebetonneerd'. (zie ook
J. Saveyn, 2004, p.17).
In deze bijdrage focussen we evenwel op die ene poot, nl. die van de output.
Voor een degelijke beoordeling van de eigen resultaten bij de leerlingen is het, zoals in 2
gesteld, voor de school belangrijk dat ze die uitkomsten kan vergelijken met resultaten van
andere scholen die met gelijkaardige leerlingenpopulatie en onder vergelijkbare
omstandigheden aan dezelfde leerdoelen werken.
Die gegevens zijn belangrijk voor de eigen kwaliteitszorg en ontwikkeling, maar ook om zich
naar buiten toe te verantwoorden. Die verantwoording gaat overigens twee richtingen uit:
horizontaal naar de ouders toe voor wie de school zich, conform haar pedagogisch project
en haar leerplannen engageert, en verticaal naar de overheid toe die de school erkent en
subsidieert op voorwaarde vooral dat de school de eindtermen realiseert en de
ontwikkelingsdoelen nastreeft.
Tegen de achtergrond van deze tweezijdige opdracht van interne kwaliteitszorg en
verantwoording, kiest of ontwikkelt de school instrumenten om de output bij haar leerlingen
te kunnen vaststellen.
Algemene peilproeven die teruggaan naar de (eigen) leerplandoelen, met daarin verwerkt
de decretale eindtermen en ontwikkelingsdoelen zijn een van die instrumenten.
Een voorbeeld van zulke proeven zijn de algemene peilproeven die door de koepels van
schoolbesturen (en scholen met dezelfde leerplannen) worden ontwikkeld. Zo zijn er sinds
1968 voor de katholieke basisscholen de interdiocesane proeven wiskunde en Nederlands
einde zesde leerjaar.
Die proeven leveren voor alle deelnemende scholen uit het net relevante informatie op in de
vorm van vergelijking van de eigen schoolresultaten met de resultaten uit een steekproef.
Bovendien krijgen de scholen aansluitend concrete aanbevelingen voor het bijsturen van de
onderwijspraktijk. Dat illustreert de specifieke doelstelling van zulke proeven: de school
ondersteunen in hun kwaliteitszorg, en bijvoorbeeld niet: van de school en de leerlingen de
maat nemen ( zie J. Saveyn, 2002).
Wel dient onderkend dat de proeven in hun huidige vorm maar een bescheiden antwoord
bieden op de vraag naar een degelijk instrumentarium om output in beeld te brengen. De
resultaten worden bijvoorbeeld niet gecorrigeerd op of afgewogen aan relevante leerlingenen contextvariabelen. Denk maar aan de noodzakelijke relativering van absolute uitslagen
van scholen met veel taalzwakke en allochtone leerlingen. Het gaat ook over peilingen naar
een paar leergebieden, en daarbinnen nog eens naar die sectoren van het curriculum die
goed meetbaar zijn.
De rudimentaire verwerking van de steekproefgegevens, die nauwelijks meer omvat dan de
berekening van gemiddelde resultaten, brengt mee dat voor de terugkoppeling naar de
eigen werking (cf. inschatting en verklaring van toegevoegde waarde) al teveel op het
interpretatievermogen van schoolteams wordt gerekend. Die teams zouden ermee gebaat
zijn mochten ze kunnen beschikken over sterker uitgebouwde instrumenten en vormen van
verwerking. Met andere woorden: over een informatierijke omgeving.
Dat we hier de terminologie van de al geciteerde beleidsbrief van de overheid gebruiken,
betekent evenwel niet dat we in deze ook het initiatief bij de overheid situeren.
Er zijn in het voorgaande al enkele argumenten vermeld die pleiten voor reserves ten aanzien
van een dominante rol van de overheid in het creëren van die informatierijke omgeving.
Globaal geformuleerd betreft die behoedzaamheid het vrijwaren van het eigen
pedagogisch project van de school en de eigen accenten in haar curriculum. Op de
onderwijsinhoudelijke koers van de school hebben evaluatieprocedures als geen andere een
ingrijpende invloed. Het mogelijk ongewenste effect van vergaande controle op het
evaluatie-instrumentarium door de overheid, is de gelijkstelling van het curriculum met wat
5
decretaal is vastgelegd. En verder is er ook altijd de mogelijke reductie van de outputanalyse
tot wat door gestandaardiseerde peilingen kan worden gevat. Complexe doelen zoals de
beheersing van attitudes, wendbaar toepassen van handelingsstructuren met een sterke
dynamisch-affectieve inslag, en het ontwikkelen van waarden, vertegenwoordigen bij
uitstek de eigenheid van het pedagogisch project van een school én het bereiken daarvan
is, zoals reeds opgemerkt, moeilijk door algemene peilingen te achterhalen. Om zicht te
krijgen op dat soort output is het team van een school op procedures aangewezen die niet
evenveel voldoen aan de methodologische eisen waar een toetssysteem aan voldoet. Het
moet bijvoorbeeld zijn toevlucht nemen tot observaties van leerlingen en tot samen
reflecteren op de vele ervaringen met leerlingen, in existentiële situaties.
5. Peilproeven en individuele leerlingenevaluatie
Op dit niveau maakt peilen naar de output deel uit van de ondersteuning van de leerling in
zijn leren en ontwikkeling. Naargelang van de lengte van het leertraject dat wordt
opgevolgd, spreekt men van permanente of formatieve evaluatie en van summatieve
evaluatie.
In het eerste geval heeft het peilen naar de output de bedoeling om dat onderwijsleerproces
voor de leerling stap voor stap op te volgen en eventueel alsnog bij te sturen. Een
informatierijke omgeving voor deze soort ondersteuning realiseert de leerkracht door in zijn
onderwijsleerprocessen op allerlei wijzen na te gaan wat de leerling van het onderwijstraject
(de lessen) heeft opgestoken. Toetsen sluiten nauw aan bij wat er effectief in de lessen aan
bod kwam. Algemene peilingen zijn hier niet op hun plaats.
Dat laatste kan wel enigszins anders liggen bij de summatieve evaluatie. Die vindt plaats op
het einde van een leertraject, op momenten in de schoolloopbaan waarop een leerling
georiënteerd moet worden naar een andere onderwijsvorm, op momenten waarop hem
een aangepast curriculum moet worden aangeboden of hem een attest of getuigschrift
moet worden uitgereikt. Op zulke momenten moeten de leerkrachten of de klassenraad de
leerling zo betrouwbaar mogelijk kunnen taxeren. Dat kan onder andere inhouden dat men
zijn prestaties met die van een representatieve groep (groter dan de toevallige klasgroep)
vergelijkt. Dan komen peilproeven - al dan niet deel uitmakend van een leerlingvolgsysteem voor deze soort leerlingenevaluatie in aanmerking.
De algemene peilproeven, waar het in de voorgaande delen over ging, kunnen hier
eventueel een dubbel gebruik kennen. Ze maken dan wel deel uit van een veelzijdig
evaluatie-instrumentarium dat door een schoolteam, voor de verzameling van gegevens en
voor de begeleiding en studiesanctionering van de leerlingen, wordt samengesteld. En ze
komen pas in aanmerking als ze terugslaan op wat effectief, tijdens de onderwijscyclus, bij de
leerlingen is nagestreefd. Waarmee tegelijk is aangegeven dat er geen sprake kan zijn van
de individuele leerlingenevaluatie te herleiden tot het afnemen van een door de overheid
voorgeschreven peilproef (cf. 1 over de taaltoets).
Samengevat
Voor de kwaliteitsbewaking van het onderwijs dient men op verschillende niveaus over
gegevens te beschikken omtrent de effecten van scholen op het leren van de leerlingen,
over de output dus. Een toetsing aan kwaliteitsstandaarden die enkel op proceskenmerken
terugslaan volstaat niet.
Dat is zeker zo bij het peilen naar de kwaliteit van onderwijs op macro- of systeemniveau, bij
uitstek een opdracht van de overheid. Voor die overheid zijn de ontwikkelingsdoelen en
eindtermen strikt genomen en op dit moment ook de enige maatschappelijk gelegitimeerde
referentiepunten. Het ligt dus voor de hand dat de overheid via periodieke peilingen in een
steekproef van scholen de implementatie van de minimumdoelen in verschillende
onderwijscontexten onderzoekt.
Ook op het mesoniveau van de individuele school dient de school haar kwaliteitszorg te
koppelen aan de analyse van haar effecten op het leren van de leerlingen, en kan ze die
6
kwaliteitszorg niet enkel en alleen baseren op een analyse van wat ze, conform haar
pedagogisch project, als procesindicatoren van goed onderwijs beschouwt.
Om de outputanalyse in de interne kwaliteitszorg mee te nemen, moet de school terzake
weliswaar over een informatierijke omgeving beschikken. Dat betekent onder andere dat ze
haar uitkomsten moet kunnen vergelijken met de resultaten van scholen die onder
vergelijkbare omstandigheden (met vergelijkbare leerlingenpopulatie) aan dezelfde
doelstellingen werken.
Op dit moment beschikken de scholen over onvoldoende instrumenten en expertise om een
doorgedreven outputanalyse uit te voeren. Meestal kunnen ze namelijk alleen zichzelf als
norm nemen. Er zijn ook nauwelijks kanalen van waaruit ze feedback krijgen over hun
toegevoegde waarde, en die hen informatie toelevert over wegen om die waarde te
verhogen.
Dat de overheid initiatieven wil nemen om voor scholen een informatierijker omgeving te
creëren, kan men alleen maar appreciëren. Wel zal toegezien moeten worden op de wijze
waarop de overheid die intentie operationaliseert.
De uitbreiding van de periodieke peilingen m.b.t. de realisatie van de eindtermen naar een
systeem van outputanalyse voor de interne kwaliteitszorg van de school is bijvoorbeeld geen
evidentie. Vooral niet als de overheid in de aldus gecreëerde omgeving zich vergaand het
beheer van de toetsontwikkeling en gegevensverwerking wil toe-eigenen.
Dan ontstaat zowel een conflict met het uitgangspunt dat de school zelf haar beleid inzake
kwaliteitszorg moet zien uit te bouwen, als met het feit dat de school verondersteld wordt bij
haar kwaliteitszorg het eigen pedagogisch project te respecteren. Dat laatste is niet het minst
het geval als het gaat om de inhoud van haar onderwijsaanbod of haar curriculum.
Wenselijk is wel dat de overheid voorwaarden creëert voor de ontwikkeling van een
outputanalyse- en feebacksysteem; dat ze de scholen de mogelijkheid biedt om uit een
degelijk aanbod te kiezen of om zich in ontwikkelingsprojecten in te schijven. Behalve aan de
ontwikkeling van een instrumentarium, zal er ook nood zijn aan professionalisering van de
scholen om met een informatiesysteem om te gaan. Dat wil zeggen: om er aanzetten voor
effectieve schoolverbetering uit te halen.
Tenslotte past bij het hele opzet van onderzoek naar de leereffecten (c.q. leerwinst) van de
school aan de hand van peilingen en technisch hoogstaande verwerkingsprocedures ook
altijd de nodige bescheidenheid. Die dringt zich op vanuit de wetenschap dat met deze
vorm van outputanalyse nooit de hele 'kwaliteit' van het onderwijsaanbod van een school
gevat zal kunnen worden. Als die relativering verdwijnt, loopt de school het risico die kwaliteit
tot het goed meetbare te reduceren.
Referenties
DVO werkgroep evaluatie, Equilibrium. Evenwicht tussen interne en externe evaluatie op de Europese
scène. Brussel, DVO, oktober 2005.
Saveyn, J. , Peilen naar de output en de toegevoegde waarde van de school, in Lexicon kwaliteitszorg
in het onderwijs. Mechelen, Wolters Plantyn, afl. 8, december 2004, 9-42.
Saveyn, J. , De (bijgestuurde)interdiocesane proeven: instrumenten voor interne kwaliteitszorg, in
Pedagogische
Mededelingen
VVKBaO,
januari
2002,
jg
36
(1),
44
55.
www.vvkbao.be/pedagogisch/evaluatie
Vandaag kampioen in wiskunde, morgen in gelijke kansen. Beleidsnota van de Vlaamse minister van
Onderwijs en Vorming, Frank Vandenbroucke. (zie 2.3.8 Scholen in hun kwaliteit ondersteunen)
www.ond.vlaanderen.be
Vlaams Parlement - Commissie voor Onderwijs, Vorming, Wetenschap en Innovatie.
Commissievergadering van 6 oktober 2005, over het invoeren van een taaltoets voor alle leerlingen.
www.vlaamsparlement.be
bijdrage gepubliceerd in: Forum, 37 (1), januari 2006, p.7-14.
7