Bijlage: VVE-Kwaliteitskaarten Trendanalyse voor- en vroegschool Algemeen Met behulp van de trendanalyse proberen we zicht te krijgen op het rendement van het onderwijs. Het is een signaleringsinstrument, waarbij de onderwijsopbrengsten van de afgelopen jaren in samenhang worden bekeken. De analyse gaat op basis van objectieve gegevens, ( leerlingvolgsysteem ) maar de interpretatie van de analyse kent vele variabelen en vraagt om zorgvuldig handelen en intersubjectiviteit. Elke voorschool kent haar eigen specifieke kenmerken, die van invloed zijn op de wijze waarop men de gegevens interpreteert. Daarom is elke trendanalyse maatwerk en schoolspecifiek. Vrijwel alle scholen gebruiken de cito toetsten als methode onafhankelijke meetinstrumenten binnen hun leerlingvolgsysteem. Het is een erkend onderzoeksinstituut en levert valide toetsgegevens. CITO verzorgt ook de software voor het leerling- en onderwijsvolgsysteem. De module zelfevaluatie geeft de school de mogelijkheid om trendanalyses uit te voeren. Het opstellen van een trendanalyse kent verschillende fasen. 1. Formuleren - Op welke vragen wil de school antwoord krijgen met behulp van de trendanalyse 2. Signaleren - Het verzamelen van benodigde gegevens en het weergeven van objectieve signalen 3. Analyseren - Het interpreteren van de gegevens op basis van de gegeven signalen 4. Rapporteren - Het beschrijven van de conclusies en te ondernemen acties. Het denken in trends speelt zich op meerdere niveaus af. 1. Leerlingniveau 2. Groepsniveau 3. Schoolniveau Bij het denken in trends gaat het om patronen die zichtbaar zijn in de wijze waarop het kind, de groep of de school zich ontwikkeld. Je kijkt niet niet alleen naar het resultaat van de afgenomen toets, of observatie, maar je plaats ze in de lijn van de vorige resultaten. Dan is het mogelijk dat je bij verschillende leerlingen, of verschillende groepen een terugkerend patroon in de ontwikkeling ontdekt. Bijvoorbeeld: 1. De meeste groepen scoren door de jaren heen steeds meer achterstand op het landelijk gemiddelde. 2. Kinderen scoren in een bepaald leerlaar elke keer hoger of lager dan de andere jaren. De score wijkt steeds af van de lijn die de school in de andere jaren vertoont. 3. De voorsprong, of de achterstand ten opzichte van het landelijk gemiddelde blijft bij verschillende groepen door de jaren heen ongeveer gelijk. 4. We hebben als school door de jaren heen wel heel weinig A scorende kinderen Deze trends probeer je als school te verklaren en je onderzoekt of aanpassingen van het 1 Bijlage: VVE-Kwaliteitskaarten leerstofaanbod nodig zijn. Peutertoetsen Cito levert voor de peuters drie toetsmomenten ( P1,2 en 3 ) voor de gebieden: - Ordenen - Ruimte & tijd - Taal voor kleuters Deze toetsten worden ook bij de kleuters afgenomen, waardoor de kinderen door de jaren heen zijn te volgen. Veel voorscholen gebruiken niet het lovs van CITO, maar werken met observaties vanuit de methode en methode onafhankelijke observatiesystemen. De onafhankelijke observaties kennen een genormeerde score en geven een duidelijke instructie. Toch blijft er altijd een bepaalde mata van subjectiviteit bij het observeren aanwezig, hetgeen het bergelijken van resultaten moeilijker maakt. De mate waarin de observaties subjectief worden ingevuld bepaalt of de gegevens voldoende betrouwbaar met elkaar zijn te vergelijken. Door het verzamelen van gegevens intersubjectief te maken, kun je de data wat meer betyrouwbaar maken, en zijn er eventuele vergelijkingen mogelijk. Zorg dan in ieder geval voor: 1. Duidelijke afspraken wanneer en hoe de observaties plaats vinden. 2. Goede kennis van de aangegeven criteria. 3. Afspraken wie bij wie observeert. 4. Nabespreking met elkaar van het geobserveerde. 5. Het uitdraaien van leerling en groepsoverzichten 6. Het in kaart brengen van de data op schoolniveau op een dusdanige wijze dat de groep in haar ontwikkeling gevolgd kan worden. 7. Analyseren van het kindprobleem, eventuele groeps of schoolprobleem. 8. Het daar waar nodig ontwikkelen van handelingsplannen en of aanpassingen verrichten aan het te geven onderwijs. Op leerling en groepsniveau geven de verschillende observaties goede overzichten, die de leidster/leerkracht in staat stelt om een nadere analyse te maken en eventuele acties (denk bijvoorbeeld aan het opzetten van handelingsplannen) in gang te zetten. Op schoolniveau proberen we grotere groepen leerlingen tye volgen op langere termijn. Deze analyse is niet onmogelijk, maar vraagt vrij veel werk en een behoorlijk inzicht in het op betrouwbare wijze verwerken van data. Het is in het kader van kwaliteitszorg echter van belang om ook op schoolniveau de ontwikkeling van de kinderen goed in kaart te hebben en te onderzoeken op mogelijk aanwezige trends als: - De ontwikkeling van de kinderen verloopt conform onze verwachtingen. - De ontwikkeling van de kinderen blijft achter bij onze verwachtingen. - De ontwikkeling van de kinderen op een specifiek ontwikkelingsgebied blijft achter bij de te verwachte ontwikkeling. - De ontwikkeling van de kinderen is positief beinvloed door een gedane interventie in het aanbod. - Etc. Het lijkt zeer de moete waard om de verschillende uitgeverijen van de observatiesystemen te vragen om eens te onderzoeken of schoolanalyses over meerdere jaren mogelijk zijn met de data die wordt verworven. Bij alle trendanalyses is het vooral de fase van analyseren die zorgt voor inzicht in de wijze waarop het aanbod rendement heeft op de resultaten. Op basis daarvan kun je met elkaar bekijken wat er nodig is om de resultaten te verbeteren, maar ook welke successen je terecht kunt vieren. Deze 2 Bijlage: VVE-Kwaliteitskaarten analyse is voor de laatste fase van de kwaliteitscyclus van groot belang. Alleen indien je zicht hebt op de positieve en negatieve ontwikkelingen en analyseert waar je verbeteringen aan zou kunnen brengen, is het mogelijk om je aanbod bij te stellen. Dit is in het onderwijs een vrij nieuw gegeven en vraagt een goed inzicht in het opzetten van trendanalyses. Het lijkt verstandig om als school daar eerst de juiste expertise voor binnen te halen, zodat verkeerde interpretaties op basis van verkeerde gegevens kunnen worden voorkomen. Omdat CITO de trendanalyse (module zelfevaluatie) op schoolniveau al in de programmatuur heeft opgenomen, kunnen scholen die werken met het LOVS, met enige begeleiding werken met schoolanalyses. Trendanalyse Voorschool met CITO LVS Samen met de mensen van de Kameleon hebben we onderzocht of we een bruikbare trendanalyse konden maken van de peutertoetsen. Het werd al snel duidelijk, dat de werkwijze anders is dan bij de groepen van de basisschool, maar we hebben toch verschillende overzichten kunnen genereren die de moeite waard zijn. Een aantal opmerkingen: - Je kunt de resultaten van verschillende groepen peuters van de afgelopen jaren door CITO LOVS in grafiek laten zetten. Ondanks dat de groepen onderling niet vergelijkbaar zijn, kun je dan wel kijken of er een trend is dat de resultaten ongeveer gelijk blijven, dan wel beter, of minder worden. je moet wel kijken naar de kinderen en afgenomen toetsten, om je signalering betrouwbaar te maken. Je vergelijkt dan de verschillende jaargroepen. - De kinderen worden op verschillende momenten getoetst, omdat zij ook op verschillende momenten instromen. CITO gaat bij het overzicht uit van de datum. Er wordt gekeken naar de gemiddelde score van de kinderen die in die toetsperiode aanwezig waren. Dan zie je in de overzichten dat het kan gaan om de P1, of de P2 toets. Dit levert dus een gemiddelde op van de groep, waarbij je steeds moet controleren welke toetsen er zijn afgenomen. Dit kan in het CITO lvs echter heel gemakkelijk gebeuren. Toch kun je de gemiddelden van de verschillende groepen over de jaren op een rij zetten en onderzoeken of er een bepaalde trend aanwezig is (gaan we door de jaren heen vooruit, of achtertuit). - Je kunt vanaf groep 2 de leerlingen terug volgen m.b.t. de toetsten, waarbij je ook de peutertoetsten in kaart krijgt. Hier is het belangrijk om dezelfde leerlingen te volgen. Dit kan door in groep 2 alleen voor die kinderen te kiezen die er ook bij de peuters zaten. Je krijgt dan een wat kleinere groep ( bij ons voorbeeld 8 ) die je op een bepaalde toets kunt volgen. Deze informatie is vrij betrouwbaar. - Omdat er sprake is van vrij kleine groepen, kun je in CITO vrij gemakkelijk ook individuele kinderen volgen en vaststellen of zij zich positief of negatief ontwikkelen. Indien meerdere kinderen eenzelfde ontwikkeling doormaken, kun je voorzichtig spreken van een trend. - Als je meerder vakgebieden toetst, kun de uitslagen van de verschillende vakgebieden naast elkaar zetten en kijken of ze eenzelfde ontwikkeling laten zien. ( trend ) of dat er sprake is van een behoorlijke diversiteit. Je moet erg goed weten waar je mee bezig bent, maar uiteindelijk is een analyse vrij gemakkelijk te maken en het leverde ons goede inzichten op die goede gesprekken tot gevolg hadden. 3 Bijlage: VVE-Kwaliteitskaarten Voorbeelden uitdraaien CITO Module zelfevaluatie Dwarsdoorsnede Een dwarsdoorsnede geeft de verdeling van de leerlingen op een bepaald afnamemoment weer. De dwarsdoorsnede maakt duidelijk hoe uw (jaar)groepen presteren in vergelijking met andere groepen in het land en of er groepen zijn die qua prestatieniveau afwijken van wat op uw school gebruikelijk is. Trendanalyse leerlingen Het is ook interessant te zien hoe een specifieke groep leerlingen zich over de jaren heen ontwikkeld heeft. De leerlingen in de huidige groep 2 bijvoorbeeld worden dan in beeld gebracht met hun prestaties in de voorgaande jaren. Bij dit rapport Trend van de leerling-groep wordt dus niet de jaargroep als uitgangspunt genomen, maar wordt de leerling-groep in de tijd gevolgd. Bij de voorschool dien je dan wel aleen te kiezen voor de kinderen uit groep 2 die ook bij de peuters hebben gezeten. 4 Bijlage: VVE-Kwaliteitskaarten Trendanalyse jaargroepen Overzichten van de scores van de verschillende groepen over de afgelopen jaren op de gekozen toets. Bij dit trendrapport worden de scores van steeds dezelfde jaargroep op een bepaald leerstofgebied door de jaren heen vergeleken. Alle leerlingen die in die afnameperiode in dat schooljaar aan een toetsafname hebben deelgenomen, worden in de analyse meegenomen. In feite worden wisselende leerling-groepen vergeleken die meer of minder in niveau kunnen verschillen. 5 Bijlage: VVE-Kwaliteitskaarten 6