Opbrengstgericht werken: samenhangend beleid bij

Opbrengstgericht werken: samenhangend beleid bij toetsen en volgen van de
ontwikkeling van leerlingen in het basisonderwijs en het voortgezet onderwijs
Kris Verbeeck (KPC Groep) en Liesbeth Baartman (TU Eindhoven)
Waarom samenhangend toetsbeleid?
Vanuit het overheidproject leeropbrengsten van innovatieve scholen in het po en het vo werd de
vraag gesteld hoe innovatieve scholen hun leeropbrengsten in kaart brengen. Onderzoek bij de
scholen wees uit dat de meeste scholen de bekende toetsen afnamen vooral omdat de inspectie
daar naar vroeg. De scholen vinden echter dat deze toetsen onvoldoende aansluiten bij de aard
van hun onderwijs en bij het tijdstip waarop de leerlingen de getoetste onderdelen leren.
Innovatieve scholen sluiten immers meer aan bij de eigen ontwikkeling van kinderen en geven
kinderen meer tijd om iets te leren als ze daar behoefte aan hebben.
Bovendien geven de scholen aan dat de kinderen veel meer leren dan alleen de getoetste items
van bijvoorbeeld cito-lovs. Zo staat bij innovatieve scholen het ontwikkelen van een positief
zelfbeeld, zelfstandigheid, zelfregulering hoog in het vaandel. Ook het op zoek gaan naar
antwoorden op eigen vragen, leren door te doen, leren door op uitstap te gaan, samenwerken
zien deze scholen als echte opbrengsten van hun ander onderwijs. Maar deze opbrengsten
brengen ze te weinig in beeld of als ze die opbrengsten in beeld brengen, voldoen ze niet aan
de criteria als valide en betrouwbaar. Scholen hebben immers hun eigen invulling vorm
gegeven bijvoorbeeld voor de inhoud van een portfolio, de vragen tijdens een ontwikkelgesprek
etc. De scholen geven aan geen behoefte te hebben aan vaste afspraken voor hoe een portfolio
in alle scholen er dan moet uitzien aangezien ze willen inzoomen op de behoeften van hun
leerlingen. Om de kwaliteit van de gehanteerde instrumenten in beeld te brengen is het PTO
(programma van toetsing en ontwikkeling) ontwikkeld door KPC Groep in nauwe samenwerking
met dr. Liesbeth Baartman (TU Eindhoven).
Een instrument voor po en vo: PTO
We wilden het ‘toetsbeleid’ via een valide en betrouwbaar instrument in beeld brengen.
Onder toetsbeleid verstaan we het geheel aan instrumenten zoals toetsen, portfolio’s,
spiegelbladen en anderen waarmee scholen de ontwikkeling van de leerlingen in beeld brengen.
Dr. Liesbeth Baartman had eerder een dergelijk instrument ontwikkeld voor het mbo om dit in
kaart te brengen. Dat valide en betrouwbaar instrument leek ons te vertalen naar het primair en
het voortgezet onderwijs. We hebben de betreffende vragen van het instrument aangepast naar
de onderwijssectoren (po en vo) steeds in nauw overleg met de maker van het mbo-instrument
zodat we er zeker van zijn dat de aard van de vraagstelling vergelijkbaar bleef. Dat instrument is
gebaseerd op 12 kwaliteitscriteria die wetenschappelijk onderzocht zijn. Deze criteria zorgen
voor een onderbouwd toetsbeleid.
Bij: Onderzoek naar opbrengsten van nieuwe leerconcepten, SLOA R&D 2010, KPC Groep 1/5
Onderwijsgevolgen
Eerlijkheid
Authen
ticiteit
Herha
albaar
heid
Verge
lijkba
arhei
d
Zelfstu
ring
Doel
Acceptatie
Transparantie
Cognitieve
complexiteit
Betekenis
Tijd & Kosten
Ter illustratie lichten we enkele criteria toe: geschiktheid voor onderwijsdoelen,
vergelijkbaarheid, herhaalbaarheid, acceptatie. Geschiktheid voor onderwijsdoelen heeft te
maken met de afstemming tussen doelen van het PTO en de doelen van het onderwijs. Het
PTO moet gebaseerd zijn op datgene dat de leerlingen zich in het onderwijs eigen moeten
maken. Ook moeten de gebruikte assessmentmethoden qua vorm passen bij de doelen van het
onderwijs. Er zal dus niet alleen kennis worden getoetst als persoonlijke ontwikkeling ook een
doel is. Vergelijkbaarheid houdt in, dat het toetsen en het volgen van de ontwikkeling op een
consistente wijze moet worden uitgevoerd. De opdrachten die leerlingen uitvoeren, de
beoordelingsprocedure en de beoordelingscriteria moeten voldoende vergelijkbaar zijn voor alle
leerlingen. De taken moeten dan minimaal bepaalde kenmerken bevatten en van een vooraf
bepaald niveau zijn. Herhaalbaarheid van beslissingen houdt in dat voor de eindbeoordeling
verschillende bronnen worden gecombineerd om zo tot een betrouwbare beslissing te komen.
Zo kunnen meerdere beoordelaars worden ingezet die allemaal hun visie geven op wat een
leerling kan. Deze beoordelaars kunnen een verschillende achtergrond hebben. Denk aan het
inzetten van medeleerlingen als beoordelaars. Deze beoordelaars kijken vanuit een ander
perspectief naar de leerling, waarna ze in onderling overleg tot een beslissing komen over de
ontwikkelde competenties. Door meerdere keren te beoordelen, bij voorkeur in verschillende
situaties, en meerdere beoordelaars in te zetten, kan een beslissing worden genomen zonder
dat complete vergelijkbaarheid of standaardisatie nodig is. Acceptatie betekent dat alle
betrokkenen bij een PTO zich kunnen vinden in de taken of opdrachten, de criteria en de
uitvoering ervan. In de bijlage vindt u een overzicht van alle twaalf kwaliteitscriteria.
Gebruik van het instrument
Bij: Onderzoek naar opbrengsten van nieuwe leerconcepten, SLOA R&D 2010, KPC Groep 1/5
Voor het invullen van het instrument vindt er eerst een presentatie plaats over het waarom en
het hoe van het invullen van het instrument. Het is belangrijk dat er eerst in gesprek wordt
gegaan over hoe de school de leeropbrengsten momenteel in kaart brengt. Dat doen we onder
andere aan de hand van het leeropbrengstenmodel (zie bijlage 2). Zo wordt bepaald welke
toetsen en manieren van ontwikkeling volgen de school meeneemt bij het invullen van het
instrument. Het instrument wordt vervolgens ingevuld door de directie, intern begeleider, een
aantal leerkrachten, een aantal leerlingen en een aantal ouders. Elk criterium kent een aantal
vragen. Hier ziet u een schermafdruk uit het instrument voor het criterium onderwijsdoelen.
De invullers van het instrument krijgen uitspraken als: alle kerndoelen / eindtermen worden
beoordeel of er vindt monitoring van de persoonlijke ontwikkeling plaats. Met een schuifje van 0100 kunnen ze aangeven in welke mate dit bij hen van toepassing is. Verder vullen ze in of dat
volgens hen voldoende is of niet. Daarnaast geven ze met voorbeelden bewijs aan voor deze
uitspraak zodat duidelijk wordt dat het geen mening is, maar dat het ook ergens te zien of terug
te vinden is op school.
Na het invullen van het instrument worden de gegevens verwerkt en krijgt de school een uitdraai
van alle ingevulde gegevens. Opvallende gegevens worden samen besproken en samen
geduid. Scholen maken mee de betekenis van de ingevulde gegevens, lichten eventuele
verschillen toe, geven aan of ze herkenbaar zijn en denken na over wat dit betekent voor hun
toetsbeleid. Bovendien krijgen scholen een lijst met aanbevelingen voor het verbeteren van hun
toetsbeleid. Zo kan duidelijk worden dat er instrumenten worden gebruikt die niet aan de
gestelde criteria voldoen. Voor veel scholen is de relatie tussen het doel, de gehanteerde toets,
de mensen die van dit doel op de hoogte moeten zijn, niet altijd even duidelijk. Willen scholen
opbrengstgericht werken zullen de doelen voor alle leerkrachten helder moeten zijn alsook de
manier waarop de doelen worden gevolgd, maar ook voor de leerlingen en ouders dienen de
doelen helder te zijn. De manier waarop de doelen getoetst worden dient ook conform te zijn
met de manier waarop de doelen aangeboden worden.
Bij: Onderzoek naar opbrengsten van nieuwe leerconcepten, SLOA R&D 2010, KPC Groep 1/5
Wat kunnen scholen ermee?
Innovatieve scholen die de kwaliteit van hun manier van toetsen en het volgen van ontwikkeling
in beeld willen brengen, kunnen dat aan de hand van dit instrument. Door de uitkomsten samen
te bespreken krijgen ze meer zicht op de sterktes en zwaktes in hun toetsbeleid. Zo kunnen
scholen tot de conclusie komen dat ze een aantal instrumenten gebruiken waar de criteria
onvoldoende worden gehanteerd. Het is dan aan de school om hiermee aan de slag te gaan.
Als leerkrachten nu gesprekken voeren met kinderen, kunnen ze de vragen die ze in die
gesprekken stellen samen afstemmen zodat het op een gemeenschappelijke manier plaats
vindt. Bovendien kunnen ze afspraken maken hoe ze die gesprekken voeren en wat ze met de
gegevens uit die gesprekken doen. Kortom: duidelijker onderbouwd werken helpt om de
kwaliteit te verbeteren.
Meer informatie?
[email protected]
Verder lezen?
Verbeeck, K., Timmermans, R. & van der Hoeven, J. (2010): Passen en meten: over het
zichtbaar maken van leeropbrengsten in innovatieve scholen.
Bijlage 1: Twaalf kwaliteitscriteria
Naar: dr. L. Baartman
1 Geschiktheid voor onderwijsdoelen heeft te maken met de afstemming tussen doelen van
het PTO en de doelen van het onderwijs. Het PTO moet gebaseerd zijn op datgene dat de
leerlingen zich in het onderwijs eigen moeten maken. Ook moeten de gebruikte
assessmentmethoden qua vorm passen bij de doelen van het onderwijs. Er zal dus niet alleen
kennis worden getoetst als persoonlijke ontwikkeling ook een doel is.
2 Vergelijkbaarheid houdt in, dat het toetsen en het volgen van de ontwikkeling op een
consistente wijze moet worden uitgevoerd. De opdrachten die leerlingen uitvoeren, de
beoordelingsprocedure en de beoordelingscriteria moeten voldoende vergelijkbaar zijn voor alle
leerlingen. De taken moeten dan minimaal bepaalde kenmerken bevatten en van een vooraf
bepaald niveau zijn.
3 Herhaalbaarheid van beslissingen houdt in dat voor de eindbeoordeling verschillende
bronnen worden gecombineerd om zo tot een betrouwbare beslissing te komen.
Zo kunnen meerdere beoordelaars worden ingezet die allemaal hun visie geven op wat een
leerling kan. Deze beoordelaars kunnen een verschillende achtergrond hebben. Denk aan het
inzetten van medeleerlingen als beoordelaars. Deze beoordelaars kijken vanuit een ander
perspectief naar de leerling, waarna ze in onderling overleg tot een beslissing komen over de
ontwikkelde competenties. Door meerdere keren te beoordelen, bij voorkeur in verschillende
situaties, en meerdere beoordelaars in te zetten, kan een beslissing worden genomen zonder
dat complete vergelijkbaarheid of standaardisatie nodig is.
4 Acceptatie betekent dat alle betrokkenen bij een PTO zich kunnen vinden in de taken of
opdrachten, de criteria en de uitvoering ervan.
Bij: Onderzoek naar opbrengsten van nieuwe leerconcepten, SLOA R&D 2010, KPC Groep 1/5
5 Transparantie houdt in dat het PTO voor alle betrokkenen doorzichtig en begrijpelijk moet
zijn. Leerlingen moeten weten wat er wordt beoordeeld, wat de criteria zijn, en of de beoordeling
meetelt voor hun diploma. Ook voor de andere betrokkenen, zoals de docenten en de
praktijkbegeleiders, moet de beoordeling helder zijn.
6 Eerlijkheid betekent dat alle leerlingen een eerlijke kans krijgen te demonstreren wat ze
kunnen. Om dit te garanderen mag het niet zo zijn dat belangrijke competenties niet terugkomen
in een assessment, of juist dat leerlingen worden beoordeeld op irrelevante zaken. Belangrijke
(deel)competenties moeten zwaarder meetellen dan minder belangrijke, dit alles in relatie tot de
doelen die behaald moeten worden. Ook mogen bepaalde groepen leerlingen niet worden
bevoordeeld of benadeeld. Door bijvoorbeeld veel verschillende soorten opdrachten te
gebruiken, zoals schriftelijke opdrachten, presentaties etc. kan elke leerling zijn of haar
competenties laten zien.
7 Ontwikkeling van zelfsturend leren heeft te maken met het idee dat leerlingen zelf hun leren
vormgeven en sturen. Een assessment kan hieraan bijdragen doordat er aandacht wordt
besteed aan zelfassessment en peerassessment. Zo leren leerlingen inschatten waar ze staan
in hun ontwikkeling en kunnen ze zelf (in samenwerking met hun leraar) leerdoelen ontwikkelen.
Een PTO kan reflectie op de ontwikkeling van de eigen competenties stimuleren en leerlingen
hun eigen leerdoelen laten formuleren op basis van de uitkomsten van een beoordeling.
8 Betekenisvolheid heeft betrekking op hoe zinvol en nuttig de betrokkenen het assessment
vinden. Een goed assessment is zinvol voor leerlingen omdat ze er wat van leren, of omdat ze
inzicht krijgen in hun sterke en zwakke kanten. Leraren willen inzicht krijgen in de ontwikkeling
van hun leerlingen en willen weten waar de leerpunten van de leerlingen liggen.
9 Authenticiteit is de mate van overeenkomst met wat de leerlingen in de realiteit moeten
kunnen.
10 Cognitieve complexiteit is meer gericht op de denkprocessen. Een beoordelaar moet
kunnen vaststellen of iemand bepaalde cognitieve vaardigheden bezit. De beoordeling moet
passen bij de complexiteit van de verworven kennis en vaardigheden. Bij toetsen en
beoordelingen moet de leerling kunnen uitleggen waarom hij bepaalde keuzes heeft gemaakt.
11 Onderwijsgevolgen heeft te maken met de effecten van een PTO op het leren van
leerlingen, en de instructie door leraren. Er kan worden nagegaan hoe het PTO de leerlingen
beïnvloedt en of het verwerven van belangrijke competenties wordt gestimuleerd door de
gebruikte beoordelingsmethoden.
12 Tijd en kosten bepalen mede de haalbaarheid van de uitvoering van het PTO. Is er genoeg
tijd en geld beschikbaar om het uit te voeren?
Bij: Onderzoek naar opbrengsten van nieuwe leerconcepten, SLOA R&D 2010, KPC Groep 1/5