Wat is het effect van het OneNote peerfeedbackmodel bij het leren van analytische meetkunde bij 5 havo leerlingen wiskunde B op het Amstelveen College? Naam Student: Jasper van der Schors (229661) Hogeschool van Amsterdam Faculteit Onderwijs en Opvoeding Master leraar wiskunde Begeleider praktijkonderzoek: dr. S.A.G. Palha, dr. L. Kubbe Amsterdam, 23 oktober 2018 1 Samenvatting In dit onderzoek evalueren we een protype voor peerfeedback op het Amstelveen College. Het onderzoek is uitgevoerd in een klas 5 havo wiskunde B met in totaal 34 leerlingen. Gedurende een hoofdstuk hebben leerlingen drie weken lang peerfeedback geven, ontvangen en verwerkt. Dit hele proces vond plaats in de online samenwerkingsruimte van Microsoft OneNote. Door online te werken hoeft een docent tijdens de les weinig aanpassingen te doen, zoals het reserveren van laptops. Leerlingen kunnen thuis of op computers op de gang werken wanneer ze willen. Door dit model kregen alle leerlingen feedback op twee opgaven uit het huiswerk. Waarbij er voor leren een verschil is tussen corrigerende feedback van een docent en het aandragen van een alternatieve strategie door een klasgenoot. Daardoor is peerfeedback bij uitstek een geschikt middel bij het leren van niet gestandaardiseerde wiskunde opgaven. In dit onderzoek is gekozen voor het domein analytische meetkunde, wat zich kenmerkt door de opgaven die op meerdere manieren oplosbaar zijn. De volgende twee onderzoeksvragen staan centraal: Wat is het effect van peerfeedback op het leerproces? Hoe ervaren de leerlingen en docent peerfeedback op het leerproces? Uit het onderzoek blijkt dat leerlingen significant beter zijn gaan scoren op hun normale toetsen analytische meetkunde en dat deze groep leerlingen voor het eerst sinds zes examengroepen wiskunde B een significant positief verschil heeft op het onderwerp meetkunde ten opzichte van de landelijke examensteekproef in Wolf. In het ontwerp zaten diverse elementen die de motivatie van de leerlingen moesten verhogen (denk aan autonomie, relatie en competentie). Na bestudering van de kwantitatieve data bleek dat leerlingen verdeeld waren op constructen als motivatie, betrokkenheid/autonomie, effectiviteit en interactie. Door dit te combineren met de uitkomsten uit de twee leerlinginterviews bleek dat leerlingen meer konden leren als de kwaliteit van de peerfeedback beter was. De docent bevestigde dit beeld bij bestudering van de OneNote opdrachten. Het gebeurde voornamelijk als een leerling een andere oplossingsstrategie volgde dan de leerlingen die feedback moest geven. De feedback bleef dan beperkt tot uiterlijke kenmerken zoals “het ziet er netjes uit, we hebben hetzelfde antwoord dus je zal het wel goed hebben”. In de kwalitatieve analyse gaf een geïnterviewde leerling aan dat er groepsgenoten waren die niet voor de bonus gingen en daardoor zich er makkelijk van afmaakten bij het geven van feedback en het zelf maken van de opdracht. Een onverwacht effect was dat leerlingen tijdens de lessen vroegen of ze in hun OneNote groepjes in het lokaal mochten zitten. Leerlingen gingen dan gezamenlijk proberen de (uitdagende) wiskundeopgaven op te lossen. Dit zorgde voor extra interactie tussen leerlingen en een andere die niet van tevoren was voorspeld. Een nadeel hiervan is dat groepjes dezelfde oplossingsstrategie hanteren waardoor leerlingen niet zien dat een opgave op meerdere manier oplosbaar is In een volgend ontwerp zou dit ondervragen kunnen worden door groepjes te belonen als er diversiteit in de oplossingsstrategieën zit. Echter bleek uit een van de twee leerlinginterviews dat het maken van slechts twee OneNote opdrachten per week, ervoor heeft gezorgd dat hij meer heeft gedaan aan wiskunde dan het afgelopen jaar en daarmee een 9,4 heeft gehaald voor zijn toets analytische meetkunde. Soms kunnen dit soort veranderingen leerlingen triggeren om iets te veranderen aan hun leerstijl. Het leren van wiskunde in een complexe vaardigheid en peerfeedback is een onderdeel dat hieraan zeker een bijdrage kan leveren voor vervolgonderzoek. 2 Inhoudsopgave Samenvatting........................................................................................................................................... 2 Inleiding ................................................................................................................................................... 5 1. 2. Probleemstelling.............................................................................................................................. 7 1.2 Doelstelling van het onderzoek ............................................................................................. 7 1.3 Leeswijzer............................................................................................................................... 8 Theoretisch kader ............................................................................................................................ 9 Peerfeedback ................................................................................................................................. 11 3. 2.1 Hoofdvragen en deelvragen................................................................................................. 13 2.2 Interventie............................................................................................................................ 14 Methode ........................................................................................................................................ 16 3.1 Populatie en steekproef .............................................................................................................. 16 3.2 Instrumenten en analyse ............................................................................................................. 16 3.2.1 In welke mate heeft het peerfeedbackmodel bijgedragen aan de resultaten (van toetsen en examens) van de leerlingen over analytische meetkunde? (deelvraag 1) ............................... 16 3.2.2 Wat zijn de ervaringen van de leerlingen (kwaliteit van de feedback, motivatie, betrokkenheid/autonomie, effectiviteit, begrijpen van de opdracht, interactie) met betrekking tot het peerfeedbackmodel? (deelvraag 2) .................................................................................. 18 3.2.3 Hoe werkten de leerlingen in en buiten de klas om met het peerfeedbackmodel? (deelvraag 3) .................................................................................................................................. 23 3.2.4 Hoe zijn de OneNote-opdrachten door de groepjes gemaakt in week 1, 2 en 3? (deelvraag 4) .................................................................................................................................................... 23 3.2.5 Interviews met 2 leerlingen (deelvraag 5)............................................................................ 26 3.3 Data verzameling ......................................................................................................................... 27 4. Resultaten...................................................................................................................................... 28 4.1 In welke mate heeft het peerfeedbackmodel bijgedragen aan de kennis van de leerlingen over analytische meetkunde? (deelvraag 1) ............................................................................................. 28 4.1.1 De cijfers die de leerlingen hebben gehaald voor de hoofdstukken analytische meetkunde ....................................................................................................................................................... 28 4.1.2 De eindexamenscores vanuit een landelijke steekproef via Wolf ....................................... 28 4.2 Wat zijn de ervaringen van de leerlingen met betrekking tot peerfeedback? (deelvraag 2) ..... 29 4.2.1 Motivatie .............................................................................................................................. 29 4.2.2 Betrokkenheid ...................................................................................................................... 29 4.2.3 Effectiviteit ........................................................................................................................... 30 4.2.4 Begrijpen van de opdracht ................................................................................................... 31 4.2.5 Interactie .............................................................................................................................. 31 4.2.6 Kwaliteit van de feedback .................................................................................................... 32 3 4.3 Hoe werkten de leerlingen in en buiten de klas om met het peerfeedbackmodel? (deelvraag 3) ........................................................................................................................................................... 32 4.3.1 In het leslokaal...................................................................................................................... 32 4.3.2 Buiten het leslokaal .............................................................................................................. 35 4.4 Hoe zijn de OneNote-opdrachten door de groepjes gemaakt in week 1, 2 en 3? (deelvraag 4) 36 4.4.1 Analyses van het gemaakte huiswerk in OneNote over de drie weken ............................... 37 4.4.2 Uigebreide analyse van het huiswerk .................................................................................. 39 4.5 Hoe ervaren twee leerlingen (een jongen en een meisje) het geven/ontvangen/verwerken van peerfeedback? (deelvraag 5) ............................................................................................................. 42 5. Conclusies en discussie.................................................................................................................. 44 5.1 Conclusies .................................................................................................................................... 44 5.2 Discussie ...................................................................................................................................... 47 6. Aanbevelingen ............................................................................................................................... 50 6.1 Slotopmerkingen ......................................................................................................................... 50 Bibliografie ............................................................................................................................................ 52 Appendix A: Operationalisatietabellen ................................................................................................. 55 Appendix B: Enquête peerfeedback (deel 1)......................................................................................... 56 Appendix C: Enquête peerfeedback (deel 2) ......................................................................................... 59 Appendix D: Uiteindelijke enquête Peerfeedback ................................................................................ 61 Appendix E: Lesontwerp peerfeedback................................................................................................. 64 Appendix F: Interviewleidraad .............................................................................................................. 67 Appendix G: werkschema ...................................................................................................................... 68 Appendix H: resultaten OneNote opdracht .......................................................................................... 69 Appendix I: Schoolexamencijfers meetkunde ....................................................................................... 70 Appendix J: Wolf gegevens 2017........................................................................................................... 71 Appendix K: Interview leerling M .......................................................................................................... 72 Appendix L: Interview leerling B ............................................................................................................ 79 Appendix M: Hoe hebben de leerlingen in OneNote gewerkt (week 2 en 3)? ..................................... 83 4 Inleiding Uit onderzoek is bekend dat het geven van feedback tijdens het leerproces een van de meest zinvolle interventies is (Hattie & Timperley, The power of feedback, 2007). Na acht jaar leservaring als docent wiskunde B op het Amstelveen College merk ik dat het geven van feedback aan alle leerlingen in grote groepen lastig is. In de praktijk ervaar ik dat niet alle leerlingen feedback krijgen op hun leerproces. Vaak vragen en/of krijgen steeds dezelfde leerlingen feedback, waardoor er leerlingen zijn die gedurende meerdere lessen geen feedback vragen of krijgen. Daarnaast gebeurt het vaak dat er tijdens een les te weinig tijd is om leerlingen feedback te geven op het leerproces, of als er wel tijd voor is, dan krijgen de leerlingen meestal korte feedback op het resultaat in plaats van op het proces. Collega's geven aan dat als ze feedback geven, dit om wille van de tijd, meestal doen door het antwoord te geven op de vraag van de leerling (Boer & Schors, van der, 2016). Dit terwijl volgens Hattie feedback het meest effectief is als de informatie ervan gericht is op een taak en hoe je deze taak effectiever kunt invullen (Valk, van der, 2015). Dat groepsgrootte effect heeft op het geven van feedback is bevestigd tijdens een gesprek met de onderwijsinspectie en de sectievoorzitters van wiskunde, Nederlands en Engels op 14 maart 2017. Tijdens dit gesprek vertelde een ervaren LD collega het lastig te vinden om te differentiëren in klassen met meer dan 30 leerlingen. In 'De staat van het onderwijs 2012-2013' heeft de onderwijsinspectie een onderzoek gedaan naar de kwaliteit van het lesgeven en de groepsgrootte. In dit rapport bleek dat de gemiddelde groepsgrootte licht is toegenomen en dat het aantal klassen met meer dan dertig leerlingen steeg. Daarbij is er een verband tussen de grootte van de groep en de mate van hoe de leraar zijn werk ervaart. Immers moet een leraar met een grotere klas meer werk verzetten dan een leraar met een kleinere klas. In het basisonderwijs zijn er nauwelijks kwaliteitsverschillen waar te nemen tussen kleine klassen en grote klassen. In het voortgezet onderwijs ziet de inspectie wel kwaliteitsverschillen tussen kleine en grote klassen. In kleine klassen blijken docenten beter te kunnen differentiëren dan in grote klassen, zie figuur 0.1. Hierbij gaat het om bijzonder kleine klassen met minder dan 15 leerlingen (Inspectie van het onderwijs, 2014). Figuur 0.1: In kleine klassen (<15 leerling) differentiëren docenten beter in het vo Onderwijsinspectie Over groepsgroottes in het onderwijs wordt de afgelopen jaren gediscussieerd. In 2013 startte de vakbond Leraren in Actie (LIA) een burgerinitiatief met de bedoeling dat de overheid een maximumaantal leerlingen per klas zou instellen. In het schooljaar 2014-2015 zouden er maximaal 28 leerlingen in een klas moeten zitten en in de toekomst zou dit stapsgewijs worden teruggebracht 5 naar 24 leerlingen per klas. LIA kreeg veel media-aandacht met deze actie en vond veel medestanders in de strijd tegen de overvolle klassen. Volgens Paul van Meenen, woordvoerder onderwijs D66, zouden leerlingen in kleinere klassen gemiddeld hoger scoren op cognitieve toetsen (de Volkskrant, 2013), maar ook het scholierenkoepel LAKS is van mening dat leerlingen zich in kleinere klassen beter kunnen concentreren (EenVandaag, 2013). Ondanks alle media-aandacht is er met het burgerinitiatief verder niets gebeurd. De toenmalige staatssecretaris van onderwijs Sander Dekker benadrukte dat de grootte van de klas niet per definitie van invloed is op de kwaliteit van het onderwijs. Er moest dus geen maximumnorm komen vanuit de overheid. Schoolbesturen konden het beste zelf bepalen hoe groot de klassen moesten zijn. In deze gedachte konden de werkgeversverenigingen PO-Raad, VO-raad en VOS/ABB zich geheel vinden (VOS/ABB, 2014). Door in 2017 opnieuw, maar nu net voor de verkiezingen, het burgerinitiatief te starten, hoopt LIA dat partijen zich op dit punt gaan onderscheiden en in een eventuele tegenbegrotingen hiermee rekening zouden houden (Leraren in Actie, 2017). Omdat je als docent geen invloed hebt op de groepsgrootte, ben ik het schooljaar 2016-2017 tijdens de extracurriculaire module Wiskundeonderwijs in perspectief een prototype gaan ontwikkelen waarin niet de docent feedback geeft, maar de leerlingen elkaar feedback geven tijdens het leerproces. Mijn 5 havo wiskunde B klas telde op dat moment 34 leerlingen aan wie ik onmogelijk allemaal feedback kon geven op het leerproces. Daarbij is feedback van een docent meestal corrigerend van aard terwijl een medeleerling een alternatieve strategie kan aanrijken. Uit onderzoek blijkt dat de meeste feedback die leerlingen ontvangen over hun progressie een beoordeling, een cijfer is (Valk, van der, 2015). Specifieke informatie over de progessie ontbreekt terwijl uit datzelfde onderzoek blijkt dat leerlingen juist behoefte hebben aan deze informatie. Met deze twee elementen, de groepsgrootte enerzijds en anderzijds het geven van effectieve feedback, ben ik in januari 2017 gestart met een lessenserie van in totaal vijf weken bij het onderwerp analytische meetkunde. Gedurende deze lessenserie moesten de leerlingen naast opgaven in hun schrift, ook opgaven uploaden in Microsoft OneNote. Microsoft OneNote is een omgeving waar leerlingen met elkaar kunnen samenwerken. In Appendix G is het werkschema te vinden welke tijdens deze lessenserie is gebruikt. Gedurende drie weken moesten de leerlingen iedere week twee opgaven uploaden en daarna van een ander iemand twee opgaven voorzien van feedback. Nadat ze zelf ook feedback hadden ontvangen, moesten ze dit gaan verwerken. Om leerlingen te stimuleren hun eigen leerproces te veranderen, is er een huiswerkbonus gegeven. Per week konden de leerlingen maximaal 0,3 punt extra verdienen bovenop het toetscijfer. In Appendix H zijn de scores vermeld voor het huiswerk. Het complete ontwerp van deze lessenserie, valt buiten de doelstellingen van dit onderzoek en is derhalve op te vragen bij de onderzoeker. Andere doelen van de lessenserie waren het ontwikkelen van een aantal 21st century skills zoals: leren kritisch denken; problem solving, communicatie; mediawijsheid en leren samenwerken (Thijs, Fisser, & Hoeven, van der). In dit onderzoek evalueren we een model dat speciaal ontworpen is om leerlingen in grote groepen op een effectieve wijze feedback te geven bij het leren van analytische meetkunde. Analytische meetkunde kenmerkt zich door opgaven die vaak op meerdere manieren oplosbaar zijn. In de acht jaar dat ik lesgeef, valt mij op dat leerlingen het lastig vinden om te beginnen met een opgave die op meerdere manieren oplosbaar is. De leerlingen vinden het vaak lastig om het juiste wiskundige gereedschap te kiezen en kijken liever in het uitwerkingenboek hoe ze moeten beginnen en maken vervolgens de opgave. 6 1. Probleemstelling Docenten ervaren het als lastig om feedback te geven in grote groepen. Grote groepen in het onderwijs zijn niet alleen op het Amstelveen College, maar landelijk een verschijnsel. Verder blijkt uit onderzoek (Hattie & Timperley, The power of feedback, 2007) dat feedback op de taak of op het leerproces een van de meest zinvolle interventies is. De grootte van een groep zou er dus niet voor mogen zorgen dat leerlingen minder of zelfs geen feedback krijgen tijdens hun leerproces. Hattie en Timperley geven aan dat feedback niet alleen door een docent hoeft te worden gegeven. Feedback kan ook worden gegeven door computersoftware, een ouder of een klasgenoot. Als niet de docent feedback geeft op het leerproces, maar iemand anders, krijgen de leerlingen alsnog de feedback op hun leerproces zonder dat de werkdruk van de docent stijgt. In het kader van de masteropleiding wiskunde heb ik samen met Chellie de Boer in de extracurriculaire module wiskundeonderwijs in perspectief een interventie ontwikkeld (Boer & Schors, van der, 2016) voor het geven van feedback op het leerproces door medeleerlingen. Omdat het lesprogramma van 5 havo wiskunde B vol zit en vast staat, is er gekozen om de interventie niet ten kostte van de lestijd te laten gaan. Dit betekent dat het feedbackproces buiten het leslokaal moest plaatsvinden. Naar een uitgebreide analyse van diverse online-tools die mogelijkheden bieden voor onlinesamenwerking is de keuze gemaakt voor Microsoft OneNote (Boer & Schors, van der, 2016). In OneNote moeten de leerlingen een deel van hun huiswerk uploaden, daarna peerfeedback geven aan een iemand in hun groepje en tot slot verwerken ze hun ontvangen peerfeedback in een verbeterde versie. De docent beoordeelt dit proces door het geven van een score voor deze drie onderdelen, zie Appendix H. De leerlingen zullen een aantal van de 21st century skills verder ontwikkelen zoals samenwerken, kritisch nadenken, communiceren, mediawijsheid en problem solving. Het hoofdstuk waarop deze interventie wordt toegepast is het hoofdstuk over analytische meetkunde (hoofdstuk 10 in Getal en Ruimte: Meetkundige berekeningen). Analytische meetkunde kenmerkt zich als een niet gestandaardiseerde wiskunde waarbij vaak meerdere oplossingsstrategieën mogelijk zijn. Doordat leerlingen elkaars werk voorzien van peerfeedback lezen ze mogelijk alternatieve oplossingsstrategieën. Doordat een leerling moet controleren of de gevolgde oplossingsstrategie klopt en of de berekening juist is genoteerd, moet een leerling nauwgezet de hele berekening lezen. Nu de lessenserie is ontwikkeld en beproefd is, willen we weten hoe de leerlingen dit hebben ervaren. Hebben de leerlingen het geven van feedback als een zinvolle interventie ervaren, of vonden ze dit zonde van hun tijd? Hadden de leerlingen iets aan de peerfeedback die ze ontvingen, of werd er niet kritisch gekeken naar het gemaakte werk? Moet je vervolgens je antwoorden verbeteren, of blijkt dit niet nodig te zijn omdat andere leerlingen je werk al hadden verbeterd? Aan de hand van dit onderzoek kan de interventie verder worden aangescherpt waarna het verder geïmplementeerd kan worden in de wiskundesectie (Schors, van der, 2018). Om te onderzoeken of het peerfeedbackmodel een zinvolle interventie is bij het leren van analytische meetkunde, heeft dit onderzoek twee hoofdvragen: Wat is het effect van peerfeedback op het leerproces? Hoe ervaren de leerlingen en docent peerfeedback op het leerproces? 1.2 Doelstelling van het onderzoek Dit onderzoek is volgens de interventiecyclus van Strien en Verschuren (Enthoven & Oostdam, 2014) een evaluatieonderzoek, zie figuur 1.1. Er is een prototype ontwikkeld voor het geven van 7 peerfeedback en nu zijn we geïnteresseerd in de ervaringen van de leerlingen met betrekking tot dit prototype. Naar aanleiding van de uitkomsten van dit onderzoek, zal de interventie worden gepresenteerd aan de sectie wiskunde zodat het kan worden aangepast en geïmplementeerd worden in de sectie wiskunde (Schors, van der, 2018). Figuur 1.1: Interventiecyclus van Strien en Verschuren 1.3 Leeswijzer Dit verslag volgt de geijkte indeling van een praktijkonderzoek. In hoofdstuk 2 zal in het theoretisch kader de theorie over (peer)feedback worden uiteengezet. In hoofdstuk 3 wordt in de methode beschreven hoe de deelvragen worden onderzocht. In hoofdstuk 4 worden de resultaten op de deelvragen weergegeven en tot slot in hoofdstuk 5 volgen de conclusies en discussie. Verder kent dit verslag een aantal appendices. Appendix A bevat de operationalisatietabellen van het construct peerfeedback en het construct leerproces wiskunde B. Appendix B t/m E gaan over de samenstelling van de enquête die onder de leerlingen is afgenomen. In Appendix F,K,L bevatten informatie over de twee leerlinginterviews die zijn afgenomen. In Appendix G is het werkschema te vinden van hoofdstuk 10 (Meetkundige berekeningen). In dit werkschema vinden we een weekplanner die de leerlingen gebruikten om hun huiswerk gedurende de week te plannen. In Appendices H,I,J zijn cijfermatige gegevens te vinden. Denk hierbij aan de cijfers van de toetsen over analytische meetkunde (hoofdstuk 3, 7 en 10). Verder zijn hier de scores op leerlingniveau voor de OneNote peerfeedback opdracht vermeld. Tot slot is de Wolf analyse van het examen havo wiskunde B 2017 hierin opgenomen. Vanwege privacy redenen zijn alle namen van de leerlingen vervangen door fictieve namen. 8 2. Theoretisch kader all post-response information that is provided to a learner to inform the learner on his or her actual state of learning preformance” Bovenstaande definitie van feedback is afkomstig van Narciss (Narciss, 2008). Hattie en Timperley definiëren feedback als informatie over iemands prestatie of inzicht, versterkt door een agent. Zowel Narciss als Hattie en Timperley gaan ervanuit dat feedback volgt na een gedane prestatie. De agent in de definitie van Hattie en Timperley is een leraar, medeleerling, ouder of computer. Waarbij een leraar corrigerende informatie kan geven, een medeleerling een alternatieve strategie kan aandragen, een ouder kan motiveren en een computer met behulp van adaptieve software het leren kan begeleiden (Valk, van der, 2015). In totaal onderscheidt Hattie zes domeinen die invloed hebben op het leren (Hattie, Leren zichtbaar maken, 2014): 1. 2. 3. 4. 5. 6. De leerling Het gezin De school De curricula De leraar Het didactisch handelen van de leraar Elk domein is opgebouwd uit beïnvloedende factoren waarvan de effectgroottes (uit meer dan 800 meta-analyses) zijn berekend. Zo heeft een leerling bijvoorbeeld invloed op zijn eigen leerproces door eerdere kennis van het leren, verwachtingen, een zekere openheid voor ervaringen, betrokkenheid (Hattie, Leren zichtbaar maken, 2014). In dit verslag beperken we ons tot de impact van feedback op de leerprestaties van leerlingen. Eerst bespreken we wat het effect is van feedback gegeven door een docent aan een leerling. Daarna bespreken we wat het effect is van peerfeedback. Met peerfeedback bedoelen we in dit verslag schriftelijke feedback gegeven door een leerling in een officieel feedback moment aan een andere leerling. In dit verslag noemen we het geen peerfeedback als leerlingen met elkaar aan het overleggen zijn bij het maken van huiswerk tijdens de les. In figuur 2.1 zijn de zes domeinen aangegeven inclusief de twee factoren feedback van de leerling aan een leerling (d=0,55) en feedback van de leraar aan de leerling (d=0,73*). Figuur 2.1: De zes domeinen die invloed hebben op de leerprestaties van leerlingen. 9 Bij de feedback van de leraar aan de leerling staat een *. Dit omdat er veel verschillende soorten feedback zijn met elk hun eigen effect, een overzicht hiervan staat in tabel 2.1. De meest effectieve vormen van feedback leggen verband tussen de leerdoelen en de feedback. Waarbij het belangrijk is dat de leerling feedback ontvangt waarmee hij daadwerkelijk aan de slag kan. Alleen aangeven of een antwoord goed of fout is (zonder verdere toelichting) door middel van computersoftware (d=0,04), leerlingen belonen (d=0,14) of straffen (d=0,20) en andere vormen van extrinsieke beloning zijn het minst effectief, zie tabel 2.1. Deci, Koestner en Ryan (Deci, Koestner, & Ryan, 2001) vonden zelfs een negatieve effectgrootte tussen extrinsieke beloningen en taakresultaten (d=-0,34). Zij geven als verklaring dat alle extrinsieke beloningen in essentie negatief zijn. Dit omdat ze de bereidheid van leerlingen ondermijnen om zelfverantwoordelijkheid op te nemen. Corrigerende feedback heeft een redelijk effect (d=0,37). Hattie formuleert dit als een leraar-effect (0,15<d<0,40) wat leraren in de loop van een typisch schooljaar kunnen bereiken. Als effectgroottes groter zijn dan 0,4 (het gemiddelde van de effectgroottes van de zes domeinen in figuur 2.1) zitten ze in de zone van de gewenste effecten. Dit betekent dus dat Hattie alleen geïnteresseerd is in effectgroottes groter dan 0,4. Wanneer de effectgroottes kleiner zijn dan 0,4 dan zijn er andere interventies te vinden die krachtiger zijn (Hattie, Leren zichtbaar maken, 2014). Met corrigerende feedback bedoelen we feedback die aangeeft hoe goed een taak is uitgevoerd. Hierbij hoort het aangeven van juiste en onjuiste antwoorden, maar ook netheid gedrag of een ander criterium dat verband houdt met de taak. De twee variabelen met de grootste effectgroottes zijn reinforcement en cues. Bij reinforcement en cues gaat het om het geven van hints waarbij de informatie gericht is op de taak en hoe je deze effectiever kunt uitvoeren. Deze informatie kan dus ook met computersoftware worden gegeven, maar dan is het hulp op maat. Zoals tegenwoordig in diverse adaptieve wiskunde software is te vinden, zoals de DWO, Getal en Ruimte 12e digitale editie, Learnbeat Wistrainer. Deze softwarepakketten geven per stap aan wat er goed of fout is met bijbehorende tips (feedback). Tabel 2.1: Effectengroottes van diverse vormen van feedbackgeven, ontleend aan Hattie. Uit onderzoek blijkt dat het geven van feedback niet altijd zorgt voor verbetering van het leerproces (Bangert-Drowns, Kulik, Kulik, & Morgan, 1991). Alleen goed/fout, beloning en/of straf blijken hebben in diverse meta-anlyses een negatieve effectgrootte. Volgens Hattie (Hattie & Timperley, The power of feedback, 2007) is feedback het meest effectief als de informatie ervan gericht is op een taak en hoe je deze taak effectiever kunt invullen. Het onderzoek van Gibbs en Simpson (Gibbs & 10 Simpson, 2004) geeft een aantal voorwaarden waaronder feedback zorgt voor een verbetering van het leerproces. Feedback is effect als: 1. de frequentie en inhoud zijn voldoende (zie tabel 2.1 vertraagde feedback); 2. gaat over het resultaat van de leerlingen en om hun denkstappen, niet om de studenten zelf of hun persoonlijke eigenschappen; 3. de feedback moet snel worden gegeven zodat de student de geven feedback nog kan verwerken of kan vragen om extra hulp; 4. past bij de doelstelling van de opdracht en de beoordelingscriteria; 5. past bij de opvattingen die leerlingen hebben over leren; 6. wordt deelgenomen; 7. is niet eenmalig. In het Nederlands voortgezet onderwijs wordt meestal feedback aan de leerlingen gegeven door de docent (veelal in correcties op toetsen). We weten door de effectgroottes in tabel 2.1 dat als deze feedback alleen aangeeft wat er goed of fout is, zonder verdere toelichting niet betekenisvol is voor de leerling. Om in grote groepen (van 30 of meer leerlingen) ervoor te zorgen dat leerlingen tijdens hun leerproces betekenisvolle feedback krijgen, zonder dat dit extra werk voor de docent oplevert, is er gekozen voor peerfeedback. Een bijkomend voordeel is dat een medeleerling een alternatieve strategie aanrijken. Het aandragen van een alternatieve strategie tijdens het leerproces is een goed voorbeeld van formatieve feedback. Dit omdat de leerling zijn leerstrategie kan aanpassen voordat er een summatieve toets plaatsvindt. Peerfeedback Voordat er met peerfeedback in een groep kan worden begonnen moet er aan een aantal randvoorwaarden zijn voldaan (Berg, van den, Pilot, & Admiraal, 2005), (Popta, van, 2017). Ten eerste moet er een veilige sfeer in de groep zijn. De leerlingen moeten op een respectvolle manier feedback aan elkaar geven. Waarbij geldt dat een leerling nooit een vervelend gevoel mag overhouden aan de ontvangen peerfeedback. De tweede voorwaarde is dat de leerlingen die met elkaar samenwerken gedeeltelijk verschillende ideeën hebben, maar wel over vergelijkbare intellectuele capaciteiten beschikken. De derde voorwaarde is de grondhouding ten aanzien van peerfeedback bij de leerlingen. Het doel is dat de leerlingen elkaar verder helpen met de peerfeedback. Peerfeedback mag geen beoordeling zijn. De vierde voorwaarden gaat over de geschiktheid van de opdracht. Het is belangrijk dat de opdracht uitdagend is zodat de verschillende ideeën tussen leerlingen naar voren komen. Dit kunnen bijvoorbeeld grotere opdrachten zoals praktische opdrachten zijn, maar ook kleinere opdrachten zoals elkaars huiswerk nakijken en voorzien van uitleg. De vijfde voorwaarde gaat over de inrichting van de leeromgeving. Deze dient zo te worden ingericht dat optimale communicatie mogelijk is. Uit het metaonderzoek van John Hattie (Hattie, Leren zichtbaar maken, 2014) blijkt dat het algemene effect van het inschakelen van leeftijdsgenoten als co-leraren (van zichzelf of van anderen) in de klas een krachtige interventie is (d=0,55). Hierdoor verwerven leerlingen zelfregulatie en controle over het eigen leren (Liu & Carless, 2006). Daarnaast blijkt peertutoring veel academische en sociale voordelen heeft voor zowel degene die de tutoring geeft als degene die ze krijgt. Uit meerdere onderzoeken blijkt dat peerfeedback voor zowel de ontvanger als de verzender zorgt voor verbeteringen van de leerprestaties (Chen, 2017). Voor wiskunde blijkt zelfs dat de impact van peertutoring (d=0,60) de meeste impact heeft als aanvulling van de leraar, ten opzichte van de andere geteste interventies (Hartley, 1977). Hierbij bleek dat oudere tutors (d=0,79) meer effectief waren dan tutors van dezelfde leeftijd (d=0,54). Dit zou te maken kunnen hebben met het dat de tutors de leerstof op een dieper niveau moeten begrijpen om effectieve feedback te kunnen geven. 11 Verder blijkt uit onderzoek van Yang (Yang, 2006) dat als leerlingen peerfeedback krijgen, ze zelf opzoek gaan naar bevestiging. Zo controleren leerlingen hun werk door het controleren van stappenplannen/procedures, navraag bij de leraar en het verbeteren van hun werk. Dit is een tegenovergesteld effect dan wanneer de leerlingen feedback krijgen van de docent. Uit hetzelfde onderzoek bleek dat leerlingen minder snel hun werk verbeterde als de feedback kregen van alleen de docent. Volgens Yang komt dit doordat leerlingen denken dat de docent alle fouten heeft verbeterd en er geen verdere aanpassingen meer nodig zijn. Docenten (experts) en leerlingen (beginners) geven feedback van verschillende kwaliteit omdat hun kennis verschilt en zij problemen heel anders oplossen. De kennis van experts is goed georganiseerd terwijl de kennis van beginners bestaat uit los opgeslagen informatie (Chi, Feltovich, & Glaser, 1981). Deze expertise leidt niet automatisch tot effectieve feedback voor beginners. Een veelvoorkomend probleem bij experts wordt de curse of expertise genoemd. Experts gebruiken kennis die beginners niet paraat hebben zelfs als zij weten dat die kennis niet paraat is bij de leerlingen (Camerer, Loewenstein, & Weber, 1989). Daarbij onderschatten experts de moeilijkheidsgraad van opdrachten voor beginners (Hinds, 1999) en overschatten ze de prestaties van de leerlingen zelf (Tversky & Kahneman, 1973). Dit zijn allemaal factoren die leiden tot misvattingen bij leerlingen als zij de feedback van docenten lezen. Iets wat volgens Freedman (Freedman, Greenleaf, & Sperling, 1987) voortdurend gebeurt. Leerlingen zijn in tegenstelling tot docenten beginners op alle gebieden. Zij beschikken nog niet over uitgebreide kennis en vaardigheden. Door dit gebrek aan kennis en vaardigheden is hun vermogen om medeleerlingen van nuttige feedback te voorzien waarschijnlijk minder. Aan de andere kant kunnen leerlingen feedback van medeleerlingen beter begrijpen omdat zij problemen, taal en kennis delen. Peers observeren en ervaren problemen zelf, terwijl experts ver van de problemen af staan (Vedder, 1985). Peers kunnen de problemen wellicht beter opsporen vanuit hun eigen perspectief, om vervolgens een diagnose te stellen en een oplossing te genereren voor het probleem. Zij zijn waarschijnlijk beter in staat een effectieve en begrijpelijke feedback te schrijven. Een ander voordeel van feedback van verschillende peers is dat zij meerdere problemen op kunnen sporen en analyseren dan een enkele expert. Hiermee kunnen blinde vlekken en nalatigheden verminderd worden en wordt de impact van verkeerde feedback die gegeven wordt geminimaliseerd (Miyake, 1986). Uit een onderzoek van Cho en Schunn (Cho & Schunn, 2007) is gebleken dat studenten die feedback kregen van verschillende medeleerlingen, de kwaliteit van de desbetreffende taak meer verbeterd hebben dan studenten die feedback kregen van een enkele expert. Dit laatste had voornamelijk betrekking op schrijfopdrachten. Er is maar heel weinig onderzoek gedaan naar peerfeedback bij wiskundeleerlingen. Het is dus niet bekend of meervoudige peerfeedback bij wiskunde tot kwalitatief betere feedback leidt dan enkelvoudige peerfeedback. In figuur 2.2 is een afbeelding opgenomen die ontleend is van het tijdschrift Educational Leadership uit september 2012. In deze afbeelding wordt beweerd dat de feedback die leerlingen elkaar geven vaak foutief is. Na uitzoeken blijkt deze opmerking te komen uit een analyse van Nuthall (Nuthall, 2005). Nuthall kwam tot deze conclusie door in een klas videocamera’s boven leerlingtafels te hangen en alle leerlingen individueel van een microfoon te voorzien. Hierbij bleek dat leerlingen tijdens het overleggen elkaar veelvuldig verkeerde feedback gaven. Echter is een informeel overlegmoment tijdens het zelfstandig werken geen peerfeedback volgens de definitie in dit verslag. 12 Figuur 2.2: Verkeerde interpretatie van peerfeedback. Dat leeftijdsgenoten niet altijd gelijk hebben, kan leerlingen aanmoedigen om de peerfeedback “bewust te ontvangen” (Chen, 2017). Wanneer verschillende leerlingen tegenstrijdige suggesties geven of wanneer de mening van anderen in tegenspraak is met de mening van de ontvanger, kan er cognitieve disbalans (Kibler, 2011) worden geactiveerd. Hierdoor zal de ontvanger het meningsverschil actief zelf gaan oplossen. Tot slot blijkt dat het bij een prototype met peerfeedback het niet nodig is om leerlingen logboek bij te laten houden met daarin overwegingen die de leerlingen hadden tijdens het schrijven van de peerfeedback. Ook verslagen of hoe deze overwegingen een rol hebben gespeeld tijdens het geven van peerfeedback en wat de leerlingen hebben geleerd van het geven van peerfeedback zorgen er niet voor dat leerlingen significant hoger scoren dan leerlingen die peerfeedback aan elkaar gaven zonder een logboek bij te houden (Gielen, 2010). Het is dus niet nodig om als docent een verslag te eisen van de leerlingen met daarin de overwegingen tijdens het schrijven van de peerfeedback. Het werken met peerfeedback bij wiskunde is een relatief nieuw domein waar nog maar weinig onderzoek is gedaan. Er is veel onderzoek gedaan naar het effect van peerfeedback bij schrijfopdrachten, maar geen onderzoek naar het gebruik van peerfeedback bij analytische meetkunde, zover mij bekend. 2.1 Hoofdvragen en deelvragen Om te onderzoeken wat het effect is van peerfeedback bij 5 havo leerlingen wiskunde B tijdens het leerproces bij analytische meetkunde op het Amstelveen College heeft dit onderzoek twee hoofdvragen. De eerste gaat over het effect van peerfeedback op het leerproces. De tweede gaat over de ervaringen van leerlingen en docent met betrekking tot peerfeedback op het leerproces. Om hier antwoord op te kunnen geven hebben we deze vragen opgedeeld in onderstaande deelvragen: 1. In welke mate heeft het peerfeedbackmodel bijgedragen aan de resultaten (van toetsen en examens) van de leerlingen over analytische meetkunde? 2. Wat zijn de ervaringen van de leerlingen (kwaliteit van de feedback, motivatie, betrokkenheid/autonomie, effectiviteit, begrijpen van de opdracht, interactie) met betrekking tot het peerfeedbackmodel? 3. Hoe werkten de leerlingen in en buiten de klas om met het peerfeedbackmodel? 4. Hoe zijn de OneNote-opdrachten door de groepjes gemaakt in week 1, 2 en 3? 5. Hoe ervaren twee leerlingen (een jongen en een meisje) het geven/ontvangen/verwerken van peerfeedback? Het antwoord op deelvraag 1 zal worden gegeven door een analyse van de toetscijfers en examencijfers. Het antwoord op deelvraag 2 wordt gegeven via een enquête. Het antwoord op deelvraag 3 wordt gegeven door logboek passages van de docent. Het antwoord op deelvraag 4 13 wordt gegeven door het analyseren van een keuzeopdracht in week 1, een verplichte opdracht in week 2 en een keuze opdracht in week 3 van één groepje. Het antwoord op vraag 5 wordt gezocht door een interview met twee leerlingen uit de klas. Dit wordt verder uitgelegd in de methodesectie. In figuur 2.3 is schematisch de opbouw van dit onderzoek weergegeven. In de eerste rij is de manier van dataverzameling weergegeven. In de tweede rij staan de constructen. De constructen zijn leidend in het verkrijgen van de data. Tot slot staat in de derde rij de uiteindelijke richting van het onderzoek. Figuur 2.3: Schematisch overzicht van het onderzoek 2.2 Interventie Omdat het voor de leerlingen niet gebruikelijk is om peerfeedback te geven, is er een les gemaakt waarin leerlingen leren om peerfeedback op elkaar te geven. In Appendix I is het lesontwerp met daarin de bijbehorende instructievideo en het leerlingen formulier te vinden. Tijdens het nakijken van oefening over het geven van peerfeedback bleek dat de leerlingen niet op het juiste niveau feedback gaven. Tijdens een klassengesprek is dit door de docent met de leerlingen besproken aan de hand van een PowerPointpresentatie waarbij de feedback van leerlingen werd vergeleken met de door de leerlingen zelf opgestelde criteria voor het geven vaan feedback. Hierna hebben de leerlingen een nieuwe oefening gekregen (Boer & Schors, van der, 2016). Daarna is er gestart met de interventie. Gedurende drie weken hebben de leerlingen hun huiswerk geüpload, peerfeedback gegeven en aan de hand van de feedback een nieuwe versie gemaakt. Dit hele proces gebeurde in de online samenwerkingsruimte Microsoft OneNote. Omdat volgens de self-determination theory (Ryan & Deci, 2000) blijkt dat meer autonomie geassocieerd wordt met meer betrokkenheid, betere leerprestaties, minder uitval, hogere kwaliteit van leren en betere leraren beoordelingen, is er aan de leerlingen een aantal keuzemomenten geboden, zodat ze een groter gevoel voor autonomie krijgen. 1. De groepssamenstelling mogen ze zelf bepalen (maximaal vier en soms vijf leerlingen per (Ryan & Deci, 2000) Er is gekozen voor groepjes van minimaal vier leerlingen omdat in groepjes van drie leerlingen het kan gebeuren dat één specifieke leerling binnen de groep een beslissende (partijdige) rol kan krijgen. We willen niet dat er keuzes worden gemaakt vanuit persoonlijke kenmerken, maar vanuit theoretische argumenten. Wij geloven dat dit beter lukt in groepjes van vier leerlingen omdat dan in een spagaat drie van de vier leden moeten worden overtuigd. De groepjes van vijf ontstaan omdat 34 leerlingen niet in groepjes van drie te verdelen zijn. 2. Samen met de groep bepalen ze de dag waarom het huiswerk in OneNote wordt gezet, wanneer iedereen feedback heeft gegeven en wanneer iedereen de feedback heeft verwerkt. Ik geef alleen een einddatum waarvoor alles moet zijn gebeurd. 14 Door leerlingen zelf te laten plannen wanneer ze de verschillende onderdelen moeten inleveren, willen we het gevoel van autonomie versterken. De einddag waarop alles moet worden ingeleverd zal wel vaststaan want we willen na het weekend tijdens de les door minimaal twee groepjes hun opdracht laten presenteren. 3. De leerlingen mogen op het werkschema zelf een extra opgaven kiezen die ze inleveren. Elke week is er één opgave verplicht. Dit is een denk actieve opdracht van Getal en Ruimte daarnaast krijgen de leerlingen keuze uit meerdere eenvoudigere opgaven. Soms zijn dit reflectieopgaven en soms zijn dit oriënterende opdrachten. Maar we hebben de opgaven zo gekozen dat het zien van elkaars uitwerkingen en het krijgen van feedback een toegevoegde waarde zal bieden ten opzichte het zelfstandig maken van de opdrachten zonder groepsgenoten. (Het voorbeeld werkschema staat in Appendix G) 4. De uitwerkingen van de OneNote opdrachten verbergen we. Omdat de leerlingen beschikken over de uitwerkingen online is ervoor gekozen om de uitwerkingen die gaan over de OneNote opdrachten zwart te lakken. Op die manier kunnen de leerlingen de uitwerkingen niet overschrijven. Het is vervolgens de bedoeling om na het weekend tijdens de lessen door de docent de verschillende oplossingsstrategieen met elkaar te verbinden in een klassengesprek. 5. Er wordt aan de volgende 21st century skills gewerkt: samenwerken, kritisch denken, problem solving, communicatie en mediawijsheid. Dit wordt bereikt door de keuze van de opdracht en de gekozen programmatuur. 15 3. Methode 3.1 Populatie en steekproef De deelnemers aan dit onderzoek zijn 32 leerlingen 5 havo wiskunde B van het Amstelveen College. Het Amstelveen College is een middelgrote openbare scholengemeenschap (mavo, havo en vwo) met ongeveer 1600 leerlingen en 76,11 fte onderwijzend personeel. In de hele klas zaten 34 leerlingen 5 havo wiskunde B maar er zijn leerlingen die buiten de onderzoeksgroep vallen. Eén leerling deed examen in het oude programma waarbij het onderwerp analytische meetkunde niet overeenkwam met haar examenprogramma. Zij heeft daarom niet meegedaan met dit onderzoek en is gedurende deze lessen niet aanwezig geweest. De andere leerling was langdurig ziek en kon hierdoor niet aansluiten bij een van de groepjes. Binnen de klas is de verdeling jongens/meisjes bijna gelijk: er zijn 14 meisjes (44%) en 18 jongens (56%). De meeste leerlingen zijn 16 of 17 jaar oud. Er zijn twee leerlingen die hiervan afwijken, beide leerlingen worden 19 jaar oud. Deze leerlingen hebben op het Amstelveen College een jaar gedoubleerd. De interventie eindigde op 19 februari 2017 toen de leerlingen voor het laatst peerfeedback aan elkaar hebben gegeven, ontvangen en verwerkt. Na afloop van de peerfeedbackinterventie zijn de leerlingen geënquêteerd respectievelijk geïnterviewd. De keuze voor deze klas als onderzoeksgroep is tweeledig. Aan de ene kant was dit de grootste klas die op dat moment op het Amstelveen College bestond. Aan de andere kant was er maar één klas 5 havo wiskunde B waardoor het mogelijk was dit onderzoek uit te voeren zonder andere collega’s hiervoor te moeten trainen. 3.2 Instrumenten en analyse Om de algehele betrouwbaarheid van de onderzoeksresultaten te vergroten is er gekozen voor een mixed methods onderzoek (Baarda, 2014). Omdat in de hoofdvragen van dit onderzoek zowel de effecten als de ervaringen worden bestudeerd, zullen we beide begrippen eerst nader beschrijven. Met effecten bedoelen we in dit onderzoek alleen effecten gebaseerd op schoolexamencijfers. Om de ervaringen van de leerlingen en docent te meten werken we met zes constructen uit het schematisch overzicht van het onderzoek, zie figuur 2.3 (motivatie, betrokkenheid/autonomie, effectiviteit, begrijpen van de opdrachten, interactie, kwaliteit van de peerfeedback). Door het combineren van de leerlingresultaten met de ervaringen van de leerlingen en docent op het peerfeedbackmodel, worden er verschillende methoden gebruikt om hetzelfde te onderzoeken waardoor de methodische triangulatie wordt verhoogd (Donk, van der & Lanen, van, 2016). 3.2.1 In welke mate heeft het peerfeedbackmodel bijgedragen aan de resultaten (van toetsen en examens) van de leerlingen over analytische meetkunde? (deelvraag 1) Om antwoord te geven op de eerste deelvraag wordt er gebruik gemaakt van drie bronnen, te weten: 1. De resultaten die de leerlingen hebben behaald voor de OneNote-opdracht. 2. De cijfers die de leerlingen hebben gehaald voor de drie toetsen analytische meetkunde. 3. De eindexamenscores vanuit een landelijke steekproef via Wolf. Op deze manier vergelijken we op een cijfermatige manier of het OneNote peerfeedbackmodel een toegevoegde waarde heeft voor het leren van analytische meetkunde. 1 In de praktijk is dit 82,6 fte door ziektevervanging, BAPO, zwangerschapsverlof en ouderschapsverlof. 16 De resultaten die de leerlingen hebben behaald voor de OneNote-opdracht In appendix H zijn de resultaten van de peerfeedback opdracht weergegeven. Elke week moesten de leerlingen eerst zelf twee opdrachten maken en deze uploaden in OneNote. Vervolgens moesten ze feedback geven aan een groepsgenoot en tot slot moesten de leerlingen de ontvangen feedback verwerken (in een verbeterede versie). Omdat dit voor de leerlingen een extra belasting is en voor het onderzoek nodig dat de leerlingen na 5 jaar wiskundeonderwijs snel in een andere leerhouding komen, is besloten per week maximaal 0,3 bonus te geven bovenop het toetscijfer. Omdat het project drie weken lang doorliep kon er maximaal 0,9 punt bonus worden verdiend. Als richtlijn voor docent en leerlingen is de 0,3 bonus per week op onderstaande manier opgebouwd: 1. Het huiswerk (maximaal 0,1 punt per week) Is de uitwerking volledig opgeschreven. Klopt de structuur van de redenering. Zijn er (reken)fouten dan wel notatiefouten gemaakt. 2. Het geven van feedback (maximaal 0,1 punt per week) Voldoet de gegeven feedback aan de criteria die de leerlingen hebben bedacht? Kort samengevat, is de feedback opbouwend, positief, maar wordt er ook benoemt wat er beter kan. Als een leerling niet een grote fout uit de uitwerking van een medeleerling haalt dan krijgt die hiervoor aftrek. 3. Het verwerken van de ontvangen feedback (maximaal 0,1 punt per week) Wordt de vraag zichtbaar verbeterd en begrepen waarom iets fout was of efficiënter kon. Als een foutieve vraag niet wordt verbeterd dan krijgt een leerling hiervoor aftrek. Aan de hand van de scores kunnen we analyseren hoeveel leerlingen er hebben meegedaan, hoeveel leerlingen gedurende het project zijn uitgevallen en wat de gemiddelde score is per week. Omdat leerlingen niet verplicht zijn de OneNote-opdrachten in te leveren, kunnen deze scores een aanvulling geven over de ervaringen van de leerlingen met peerfeedback. Dit is een grove analyse, in deelvraag 4 wordt van één groep op detailniveau het huiswerk geanalyseerd. De cijfers die de leerlingen hebben gehaald voor de drie toetsen analytische meetkunde Omdat er maar één 5 havo klas wiskunde B is (met 34 leerlingen) kan het cijfer van hoofdstuk 10 (Meetkundige berekeningen) niet worden vergelijken met een controle groep die geen peerfeedback heeft gehad. Daarom is er gekozen om op een andere manier te onderzoeken of leerlingen met peerfeedback hogere cijfers hebben gehaald voor toetsen dan leerlingen die geen peerfeedback hebben gehad. Gedurende 4 en 5 havo zijn er in totaal drie toetsen over analytische meetkunde afgenomen. Twee van de drie toetsen zijn afgenomen in 4 havo, te weten de toets van hoofdstuk 3 (Hoeken en afstanden) en een schriftelijke overhoring van hoofdstuk 7 (Lijnen en cirkels). In de vierde klas is tijdens het behandelen van deze hoofdstukken geen gebruik gemaakt van peerfeedback en/of OneNote. Daarom dat de cijfers uit de vierde klas aanleiding geven om een effectgrootte te meten. In Appendix I zijn alle cijfers van de leerlingen verzameld. Hierbij moet worden opgemerkt dat het cijfer van de toets van hoofdstuk 10 (Meetkundige berekeningen) niet eenvoudig kan worden vergeleken met die van hoofdstuk 3 en 7. Ten eerste heeft dit te maken met het type toets. Hoofdstukken 3 en 10 zijn beide afgenomen als repetities van een heel hoofdstuk, terwijl hoofdstuk 7 een schriftelijke overhoring betrof over een deel van het hoofdstuk. Ten tweede hebben niet alle toetsen dezelfde weging, zie tabel 3.1. De wegingen in de loop van het schooljaar zijn verzwaard zodat de toetsen niet zouden nivelleren in het verzamelcijfer. Tabel 3.1: Weging toetsen analytische meetkunde havo. weging repetitie hoofdstuk 3 4 havo so hoofdstuk 7 4 havo repetitie hoofdstuk 10 5 havo 2 2 6 17 De tweede reden zit in de opbouw van de hoofdstukken. Getal en Ruimte heeft de hoofdstukken zo gemaakt dat ze op elkaar voortborduren, zie tabel 3.2 (Getal en Ruimte, 2016). In hoofdstuk 3 hoeven leerlingen minder vaardigheden op een lager niveau te kunnen toepassen dan in hoofdstuk 10. In hoofdstuk 10 moeten de leerlingen alle vaardigheden op examenniveau beheersen. Waarbij opvalt dat de vaardigheden in hoofdstuk 3 en 7 omvat zijn in hoofdstuk 10. Tabel 3.2: Aantal wiskundige vaardigheden per hoofdstuk. Hoofdstuk 3 Hoofdstuk 7 Hoofdstuk 10 C1.1 C1.2 C1.3 C1.4 C1.5 C2.1 C2.2 C2.3 C2.4 C2.5 C2.6 C2.8 C2.9 C2.10 C2.11 C1.2 C1.3 C1.4 C1.5 C2.1 C2.2 C2.3 C2.4 C2.5 C2.6 C2.7 C2.8 C2.9 C2.10 C2.11 5 vaardigheden 10 vaardigheden 15 vaardigheden De eindexamenscores vanuit een landelijke steekproef via Wolf In Appendix J zijn de Wolf gegevens en analyses opgenomen van het eindexamen havo wiskunde B 2017. Wolf is het systeem van het Cito om de gegevens van de examens te analyseren. Docenten zijn verplicht om de gegevens van de eerste vijf kandidaten te verzenden naar het Cito via Wolf. Op basis van deze gegevens bepaalt het Cito de landelijke N-term. Als een docent besluit niet alleen de informatie van de eerste vijf kandidaten op te sturen, maar van de hele klas wordt dit door het Cito beloond door het verstrekken van een groepsrapportage. In de groepsrapportage wordt het groepsgemiddelde vergeleken met de landelijke steekproef. Omdat de landelijk steekproef uit 13.178 kandidaten bestaat van de in totaal 15.334 (Cito, 2017) opgegeven kandidaten, is dit een zeer betrouwbaar middel de gegevens uit het eindexamen te vergelijken. Waarbij wordt opgemerkt door het Cito dat het feitelijk aantal kandidaten gemiddeld genomen enkele procenten lager ligt dan 15.334 omdat bij het opgeven van het aantal kandidaten soms een zekere veiligheidsmarge door scholen wordt aangehouden. 3.2.2 Wat zijn de ervaringen van de leerlingen (kwaliteit van de feedback, motivatie, betrokkenheid/autonomie, effectiviteit, begrijpen van de opdracht, interactie) met betrekking tot het peerfeedbackmodel? (deelvraag 2) De enquête voor de leerlingen over peerfeedback is samengesteld uit twee verschillende enquêtes. De items zijn herverdeeld over drie nieuwe subschalen, te weten; peerfeedback geven, peerfeedback ontvangen, peerfeedback verwerken. De eerste enquête komt uit het artikel Students’ Perspectives on the Use of Peer Feedback in an English as a Second Language Writing Class (Sukumaran & Dass, 2014), zie Appendix B. Deze enquête bevatte 19 items verdeeld over drie subschalen, te weten; Positieve ervaring subschaal (PES), Online ervaring subschaal (OES) en de Negatieve ervaring subschaal (NES). Alle items werden gescoord volgens een vierpunts likertschaal, waarbij 1 punt een sterke bevestiging is en 4 punten corresponderen met totaal geen overeenkomst. De items zijn eerst 18 in het Engels aangepast naar een wiskundige context. Dit omdat in de originele enquête de items gingen over een schrijfopdracht in plaats van een wiskundeopdracht. Daarna zijn de items vertaald naar het Nederlands. Om de instrumentele validiteit te verhogen heb ik de Nederlandstalige items terug laten vertalen door een collega in het Engels, zie Appendix B. De tweede enquête komt uit het artikel ‘Peer feedback as an aid to learning – What do we want? Feedback. When do we want it? Now!’ (Cushing, Abbott, & Lothian, 2011), zie Appendix C. Deze enquête bevatte 20 items verdeeld over twee subschalen, te weten; positief geformuleerde stellingen en negatief geformuleerde stellingen. Ook bij deze enquête zijn de vragen eerst aangepast aan de wiskundige context en vervolgens vertaald naar het Nederlands en terugvertaald in het Engels, zie Appendix C. Oorspronkelijk was het de bedoeling om alle 32 leerlingen te enquêteren. Dit is echter niet gelukt. Dit heeft drie oorzaken gehad. De eerste is dat de items ter bevordering van de interne validiteit zijn gecontroleerd door een expert (Sonia Palha) en dit meer tijd in beslag nam dan gedacht. Ten tweede is er gekeken naar het verschil tussen een vierpunts likertschaal en een vijfpunts likertschaal. Na overleg met een expert (Rene Reumerman) is ervoor gekozen om een vijfpunts likertschaal te gebruiken. Het gebruik van een vijfspunts schaal heeft als voordeel boven een vierpuntsschaal dat de respondenten ook een neutraal antwoord kunnen kiezen. Uit onderzoek blijkt dat het kunnen kiezen voor een neutrale optie, voorkomt dat enquête overwegend negatief worden ingevuld bij twijfel (Weijters, Cabooter, & Schillewaert, 2010). Het aanpassen van alle items naar een vijfpuntsschaal zorgde ervoor dat de enquête pas later kon worden afgenomen. De derde oorzaak heeft te maken met de lesuitval in de weken voorafgaand aan de meivakantie. Op de dag dat de enquête werd afgenomen waren er maar 20 leerlingen aanwezig van de 34 aanwezig. Tijdens de meivakantie zijn er negen ingevulde enquêtes binnengekomen waarvan er vijf binnenkwamen voordat de resultaten werden geïmporteerd in SPSS. De totale respons op de enquête komt hiermee op 78%. Van deze 25 respondenten zijn er 15 jongens wat overeenkomt met 60% en 10 meisjes wat overeenkomt met 40%. Dit komt overeen met de verdeling jongens (56%) en meisjes (44%) in de klas. Tot slot moet worden opgemerkt dat er tussen het moment van afsluiten van de lessenserie en het moment van afname van de enquête 2 maanden heeft gezeten. In Appendix D is de samengevoegde en aangepaste enquête opgenomen. Door de items te herschrijven naar de ik vorm, een vijfpunts likertschaal te gebruiken en te herformuleren naar de drie dimensies uit de operationalisatietabel, zie Appendix A. zijn er drie nieuwe subschalen ontstaan te weten: peerfeedback geven (PF.G), peerfeedback ontvangen (PF.O) en peerfeedback verwerken (PF.V). In de subschaal peerfeedback geven (PF.G) zitten in totaal 15 items die de leerlingen onder andere bevragen op autonomie. Het gevoel van autonomie is onder andere gestimuleerd door leerlingen zelfverantwoordelijk te maken voor de criteria van de peerfeedback. Om de leerlingen te helpen met het formuleren van criteria voor het geven van feedback is gebruik gemaakt van een video van Rob Berger (Berger, 2012). In deze video laat Rob Berger zien hoe een kleuter zijn tekening van een vlinder, door middel van opbouwende feedback, steeds kan verbeteren. Na het zien van deze video moesten de leerlingen onder andere drie criteria geven waaraan hun eigen feedback moest voldoen. De gehele oefening inclusief bijbehorende lesbrief is te vinden in Appendix E. De resultaten van deze oefening staan in tabel 3.3. Tabel 3.1: Criteria van 5H wiskunde B leerlingen voor het geven van peerfeedback. Omschrijving aantal Positief zijn (niet afkraken) 9 19 Eerlijk zijn als iets fout is 8 Tips opschrijven 7 Iedereen geeft verbeterpunten aan 5 Duidelijk zijn (specifiek zijn) 5 Grondig en serieus 5 Iedereen benoemt ook pluspunten 3 Elkaar echt willen helpen 1 In de tabel zijn de resultaten van de leerlingen verzameld en geordend op volgorde van meest voorkomend. De mogelijke antwoorden zijn te reduceren door overeenkomstige antwoorden te bundelen. Door middel van kleurgebruik zijn in tabel 3.3 sterk overeenkomstige antwoorden gebundeld en zijn er uiteindelijk drie standpunten van de leerlingen over het geven van feedback. 1. Je geeft positieve peerfeedback, waarbij je expliciet pluspunten benoemt. 2. Je neemt het geven van peerfeedback serieus, waarbij je eerlijk bent als iets fout is. 3. Naast het benoemen van pluspunten geeft iedereen ook tips zodat de ontvanger zijn antwoord kan verbeteren en dus iets kan leren. Deze drie regels zijn met de leerlingen gecommuniceerd als regels voor het geven van peerfeedback. In de enquête zijn leerlingen hierop ook bevraagd met items zoals ‘Leerlingen zouden betrokken moeten zijn bij de ontwikkeling van de criteria voor peerfeedback’. Tijdens de volgende les kregen de leerlingen een oefening waarbij ze feedback moesten geven op een door de onderzoeker bedacht leerlingwerk. Dit om te controleren of de leerlingen op een juiste manier feedback geven, voordat gestart werd met OneNote. De fouten die in het door de onderzoeker bedachte leerlingwerk zaten, zie Appendix E werden door 14 leerlingen niet opgemerkt. Feedback bleef dan beperkt tot 'netjes gewerkt', 'ziet er overzichtelijk uit', 'eenheden vergeten'. In totaal waren er 9 leerlingen die één fout ontdekte, zoals bijvoorbeeld het breien bij de stelling van Pythogoras, zie een voorbeeld in figuur 3.1. Tot slot waren er vijf leerlingen die een wiskundig juiste alternatieve strategie aandragen, zie een voorbeeld in figuur 3.2. 20 Figuur 3.1: Voorbeeld van feedback van een leerling. Wat opvalt is dat de leerling alleen een breifout signaleert in de stelling van Pythagoras. Figuur 3.2: Voorbeeld van feedback van een leerling. Wat opvalt is dat er positief kritisch een andere manier van werken wordt aangereikt waarmee wel het juiste antwoord gevonden kan worden. 21 Omdat de onderzoeker ontevreden was met de resultaten van deze oefening is er een extra les gegeven over het geven van feedback. In deze les werden nogmaals de drie criteria van de leerlingen voor het geven van feedback besproken. Hierbij werd de koppeling gemaakt naar de oefening en op welke punten de leerlingen feedbackkansen hadden laten liggen. Hiervoor is gebruik gemaakt van een PowerPointpresentatie die opvraagbaar is bij de onderzoeker. De leerlingen werden hier in de enquête expliciet op bevraagd: ‘Om betere peerfeedback te geven zou er een voorbeeld som moeten worden gegeven met voorbeeld feedback’. Ook het gevoel van autonomie werd bevraagd: ‘Het zelfstandig mogen geven van peerfeedback zorgt ervoor dat ik meer kritische feedback geef’. Tot slot werden de leerlingen bevraagd over een van de door hen zelf bedachte criteria, zie tabel 3.3. Een voorbeeld daarvan is deze stelling: ‘Ik had het gevoel dat ik eerlijk kon zijn bij het geven van peerfeedback’. Over het ontvangen van peerfeedback (PF.O) gaan in totaal 10 items. In deze subschaal wordt er gevraagd naar de toegevoegde waarde van peerfeedback zoals: `Het ontvangen van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken’. Ook wordt er gevraagd naar de kwaliteit van de feedback omdat dit een punt is wat expliciet door de leerlingen werd genoemd, zie tabel 3.3: ‘Ik zou meer leren als de kwaliteit van de peerfeedback beter was’. Tot slot wordt er gekeken of peerfeedback een goed alternatief is om als docent ervoor te zorgen dat elke leerling feedback krijgt, zonder daarvoor zelf extra inspanningen te leveren: ‘Ik zou het fijner vinden om feedback van een leraar te krijgen dan van medeleerlingen’. De derde subschaal gaat over het verwerken van de peerfeedback (PF.V). In eerder onderzoek (Cho & Schunn, 2007) wordt er opgemerkt dat leerlingen eerder hun antwoord verbeteren als ze feedback krijgen van een peer dan van een leraar. Om dit te onderzoeken zijn er acht items ontworpen. Een voorbeeld van een item dat hierbij aansluit is: ‘Het verwerken van de peerfeedback zorgt ervoor dat de kwaliteit van mijn wiskundehuiswerk verbetert’. Een ander voorbeeld over zelfregulerend leren is: ‘Het verwerken van de peerfeedback zorgt ervoor dat ik mijn wiskundige vaardigheden verbeter’. Want soms hoeft de leerwinst zich niet direct uit te betalen in een beter cijfer maar komt het betere cijfer door een betere beheersing van de vaardigheden later pas. In tabel 3.4 is de verdeling van de items over de zes constructen te vinden. Van al deze constructen zijn met SPSS de Cronbach's alpha's berekend. Bij het eerste construct motivatie vinden we een ca van 0,700. Bij betrokkenheid/autonomie vinden we een ca van 0,736. Bij effectiviteit vinden we een ca van 0,807. Bij het begrijpen van de opdrachten vinden we een ca van 0,599. Bij interactie vinden we een ca van 0,696. Bij de kwaliteit van feedback vinden we een ca van -0,257. Op het laatste construct na zijn alle Cronbach's alpha's voor een sociaal experiment voldoende hoog (>0,6) (Baarda, 2004). Het laatste construct heeft een negatieve ca, normaal behoren de ca tussen de 0 en de 1 te liggen. Hieronder zijn de vier items (PF.O.6, PF.O.7, PF.O.8, PF.O.9) weergegeven van het construct kwaliteit van de feedback. 1. Ik zou meer leren als de kwaliteit van de peerfeedback beter was (PF.O.6) 2. Ik heb weinig gehad aan de peerfeedback die ik ontving (PF.0.7) 3. De peerfeedback die ik ontving, ging vaak over hoe ik het deed ten opzichte van de andere groepsgenoten (PF.O.8) 4. Ik begreep niet altijd de peerfeedback die ik ontving (PF.O.9) Op het eerste gezicht lijkt het derde item (PF.0.8) niet in het rijtje te passen. Dit blijkt echter niet de ca te verhogen want na verwijdering van dit item is de ca -0,080. Dit betekent dus dat het construct 22 kwaliteit van de feedback niet door de vier items gedekt wordt. Als we dus iets willen zeggen over de kwaliteit van de feedback dan moeten we de items afzonderlijk bekijken. Tabel 3.2: Tabel met daarin de verdeling van items uit de enquête over de zes indicatoren. motivatie (vb. Het geven van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken) PF.G1., PF.G.10, PF.O.1 Betrokkenheid/autonomie (vb. Leerlingen zouden betrokken moeten zijn bij de ontwikkeling van de criteria voor het geven van peerfeedback) PF.G.8, PF.G.3 Effectiviteit (vb. Ik denk dat het gebruik van peerfeedback een goede methode is om feedback te geven aan leerlingen) PF.G.5, PF.G.6, PF.G.12, PF.V.4, PF.V.1, PF.V.7, PF.V.6, PF.V.8 Begrijpen van de opdracht (vb. Om betere peerfeedback te geven zou er een voorbeeld som moeten worden gegeven met voorbeeld peerfeedback) PF.G.9, PF.G.14, PF.G.7, PF.O.5, PF.V.4, PF.V.5, PF.V.2 Interactie (vb. Het geven van peerfeedback zorgt voor meer interactie tussen mij en de leraar) PF.G.2, PF.G.4, PF.O.3, PF.O.4, PF.O.2 Kwaliteit van de feedback (vb. Ik zou meer leren als de kwaliteit van de peerfeedback beter was) PF.O.6, PF.O.7, PF.O.8, PF.O.9 Er zijn in totaal vijf items die niet konden worden herverdeeld over bovenstaande zes constructen. Voor de volledigheid zijn hieronder deze vijf items verzamelt. PF.G11 PF.G.13 PF.G. 15 PF.O.10 PF.V.3 Ik denk dat leerlingen niet verantwoordelijk mogen zijn om peerfeedback te geven op het wiskundehuiswerk van andere leerlingen Ik vond het moeilijk om peerfeedback aan mijn groepsgenoten te geven Ik had het gevoel dat ik eerlijk kon zijn bij het geven van peerfeedback Ik zou het fijner vinden om feedback van een leraar te krijgen dan van medeleerlingen Het verwerken van peerfeedback zorgt ervoor dat ik beter begrijp wat andere leerlingen denken De homogeniteit van deze zes constructen zal worden onderzocht in hoofdstuk 4. 3.2.3 Hoe werkten de leerlingen in en buiten de klas om met het peerfeedbackmodel? (deelvraag 3) Tijdens de lessenserie heeft de docent in een aantekeningschrift bijgehouden hoe de leerlingen hebben gewerkt. Dit kunnen observaties zijn, maar ook korte gespreksverslagen van leerlingen tijdens of buiten de les om. Ook de observaties hoeven zich niet te beperken tot het klaslokaal. Het is overigens niet de bedoeling om met deze logboekaantekeningen een volledig beeld te schetsen. Daarvoor zijn deze observaties van de onderzoeker zelf, te gekleurd. Een goede observatie wordt nooit door de onderzoeker zelf gedaan en is meestal gestructureerd van aard in plaats van losse aantekeningen. Echter omdat deze observaties voor het onderzoek nuttig kunnen zijn worden deze toch vermeldt. 3.2.4 Hoe zijn de OneNote-opdrachten door de groepjes gemaakt in week 1, 2 en 3? (deelvraag 4) In OneNote staat het huiswerk van 32 leerlingen gedurende drie weken. Per week hebben ze twee sommen gemaakt en als alle leerlingen hun huiswerk zouden maken dan waren er 192 sommen om te analyseren. Om dit aantal te halveren is er in eerste instantie gekozen om in week 1 een vrije keuze som te bekijken. In week 2 een verplichtte opgave en in week 3 een vrij keuze som te bekijken. 23 Om het aantal nog verder te reduceren zal er per week één groep worden bekeken. In tabel 3.5 is hiervan verdeling te zien. De groepen zijn random gekozen uit de cijfers 1 t/m 8 met de Texas Instruments random number generator. Tabel 3.3: Verdeling van opgaven en groepen voor de analyse uit OneNote. week opdracht groepen aantal leerlingen 1 VK9 3 3 2 21 1 4 3 58 7 5 Bij het analyseren van het huiswerk letten we op de kwaliteit van het geüploade werk, de kwaliteit van de gegeven feedback en op welke manier de feedback is verwerkt. Bij de kwaliteit van het geüploade werk bekijken we of het huiswerk volledig en juist is gemaakt. Bij het geven van feedback kijken of er feedback is gegeven en bekijken we op welke wijze dit is gedaan. Bij het verwerken van de feedback kijken we of de ontvangen feedback is verwerkt in een nieuwe versie. Hieronder worden kort de opgaven uit tabel 3.5 besproken. 3.2.4.1 Week 1 opgave 9 uit de voorkennis In figuur 3.3 is opgave 9 uit de voorkennis van Getal en Ruimte hoofdstuk 10 weergegeven. Deze opgave lijkt op een andere opdracht in de voorkennis waarbij leerlingen moesten rekenen met verhoudingen van zijden in een driehoek. Deze opgave is gekozen omdat het antwoord al is gegeven, waardoor leerlingen kunnen controleren of ze het goed hebben. Daarmee is deze opgave een eenvoudige opgave om in te komen. Elke week hebben de leerlingen de keuze tussen meerdere eenvoudige opdrachten en moet er één verplichtte uitdagende opgave worden gemaakt. Aan de andere kant moet er exact worden gewerkt, omdat het eindantwoord gegeven is met wortels. Uit eerdere toetsanalyses blijkt dat leerlingen het werken met exacte verhoudingen lastig vinden. Leerlingen werken meestal liever met benaderingen van exacte antwoorden. Figuur 3.3: Opgave 9 uit de voorkennis van hoofdstuk 10. 3.2.4.2 Week 2 opgave 21 uit paragraaf 10.2 In week 2 is gekozen voor de verplichtte opdracht 21 uit paragraaf 10.2, zie figuur 3.4. Voor deze opgave staat een D. Dit is de indicatie van Getal en Ruimte dat het een denkactieve opgave betreft. Omdat Getal en Ruimte deze indicatie al vanaf de vierde klas toepast slaan leerlingen in 5 havo deze opgaven over omdat ze in de vierde klas negatieve ervaringen hebben opgedaan bij opgaven met een D. Een van de oorspronkelijk doelstellingen van deze interventie was met wiskundige denkactiviteiten aan de slag te gaan. Vandaar dat leerlingen verplicht deze opgave moeten maken. Door kleine stapjes te maken en door te zetten kunnen leerlingen erachter komen dat ze wel 24 opgaven met een D kunnen maken. Daarbij hebben ze mogelijkheid om met elkaar te overleggen of andere vormen van samenwerking te gebruiken om tot het eindantwoord te komen. In deze opgave is het lastig dat er extra lijnstukken moeten worden getrokken. Pas na het tekenen van de lijnstukken AM en MB kan er worden gerekend met een 30∘ − 60∘ − 90∘ driehoek. Groep 4 bestaat uit vier leerlingen, waarvan drie meisje en één jongen. Figuur 3.4: Opgave 21 uit paragraaf 10.2. 3.2.4.2 Week 3 opgave 58 uit paragraaf 10.4 Het fijne van (analytische) meetkunde is dat je alles kunt tekenen (visualiseren). Bij opgave 58, zie figuur 3.5 is geen tekening gegeven. Dit betekent dat leerlingen zelf een schets moeten maken. Aan de hand van de schets kan dan het stappenplan worden afgelezen. Op die manier leren de leerlingen dat je niet stappenplannen uit je hoofd hoeft te leren, maar met behulp van een schets de stappen gegeven worden. Tijdens de lessen is door de docent benadrukt dat het maken van of overnemen van een schets een krachtige oplossingsstrategie is. Om te controleren of leerlingen daadwerkelijk de tekst kunnen omzetten in een schets en vervolgens de opgave oplossen is voor deze opgave gekozen. Voor de leerlingen is dit een goede opgave om in te komen omdat daarna een denkactieve opdracht moest worden opgelost. Figuur 3.5: Opgave 58 uit paragraaf 10.4. Door de docent zelf zijn drie filmpjes gemaakt over afstanden bij cirkels. Deze filmpjes zijn gemaakt omdat er lessen uitvielen vanwege een studiereis van de docent. Vooraf had de docent niet verwacht dat de filmpjes goed zouden worden bekeken, maar achter bleken de filmpjes door de leerlingen goed zijn te bekeken. Het eerste filmpje is totaal 58 keer bekeken, het tweede en het derde filmpje 20 respectievelijk 28 keer. Omdat alle drie filmpjes prive op YouTube staan zijn alle weergaven leerlingen van het Amstelveen College. AC 5 havo meetkunde les cirkels deel 1 AC 5 havo meetkunde les cirkels deel 2 AC 5 havo meetkunde les cirkels deel 3 25 3.2.5 Interviews met 2 leerlingen (deelvraag 5) Waar de informatie uit de enquête (deelvraag 1) vooral dient om overzicht te krijgen, dient de informatie uit de interviews vooral om inzicht te krijgen naar de uitkomsten uit de enquête. Beide interviews zijn derhalve na de verwerking van de gegevens uit de enquête afgenomen. De twee interviews zullen worden uitgewerkt als twee casestudies. Voor de interviews is voor gerichte steekproef gekozen van twee leerlingen uit 5 havo wiskunde B. Vanuit pragmatische redenen is er gekozen om maar twee leerlingen van de 32 te interviewen. Er is hierbij voor een jongen Michael en een meisje Beertje gekozen, beide namen zijn fictief gekozen. De keuze voor een jongen en een meisje is gebaseerd op de samenstelling van de groep die nagenoeg gelijk verdeeld is. Verder heeft bij de keuze meegespeeld dat de leerlingen goede praters zijn. Tot slot is de keuze gemaakt voor deze twee leerlingen omdat de jongen Michael voor de toets met OneNote veel hoger heeft gescoord dan voor zijn overige toetsen. Door het meisje Beertje is er tijdens de lessenserie bijzonder netjes gewerkt in OneNote, zie figuur 3.6. Studenten van de Masteropleiding pedagogiek die haar werk hebben gezien, noemde het creatief en kunstzinnig. Desondanks was haar cijfer voor het OneNote-hoofdstuk niet hoger dan haar voortschrijdend gemiddelde. Figuur 3.6: Voorbeeld leerling werk van Beertje waarbij alle drie de fasen (huiswerk maken, feedback geven door Chantal, feedback verwerken in roze door Beertje zelf) duidelijk te zien zijn. Het interview zelf bestaat uit drie vragen en is daarmee semigestructureerd van vorm, zie Appendix F. Er is gekozen om met drie vragen te werken zodat er tijdens het interview kan worden doorgevraagd. Hierdoor is het mogelijk dat beide interviews niet hetzelfde verlopen. De topics van het interview sluiten aan om de zes constructen uit tabel 3.2. Op deze manier is gewaarborgd dat het interview zorgt voor verdieping ten opzichte van de overzichten uit de enquête. Mocht het onverhoopt voorkomen dat ondanks doorvragen een leerling volledig dichtklapt, dan staat er onder de interviewleidraad nog een selectie van vier open vragen die de geïnterviewde leerling meer sturing kunnen geven. In appendix K is het interview met de manlijke leerling Michael uitschreven en gecodeerd. In Appendix L is hetzelfde gedaan, maar dan voor de vrouwelijke leerling Beertje. 26 3.3 Data verzameling Het cijfermateriaal waarmee kennis van de leerlingen wordt gemeten komen van verschillende bronnen. Zo komen de cijfers van de OneNote-opdrachten uit de administratie van de docent wiskunde zelf. De testresultaten komen uit de cijferadministratie. Dit omdat de leerlingen in de vierde klas in twee verschillende lesgroepen zaten. De examengegevens komen uit de Wolf analyses van het Cito. De enquête is afgenomen in een computerlokaal door 20 leerlingen. Voordat de leerlingen werden bevraagd, heeft er eerst een instructie plaatsgevonden van de docent waarin mondeling het doel van de enquête werd uitgelegd. Daarbij is er benadrukt dat de enquête anoniem zou worden verwerkt. Tijdens de enquête zelf is de docent niet in het lokaal aanwezig geweest om de anonimiteit te waarborgen. De enquête is in het onlineprogramma Jotform afgenomen en is via de volgende link te bekijken: https://form.jotformeu.com/71092013327345 Voor het analyseren van de gegevens uit de enquête is SPSS gebruikt. De afnamegegevens zijn vanuit Jotform geëxporteerd in een Excel file wat vervolgens is ingelezen in SPSS. Tijdens het inlezen is het belangrijk om de data goed te organiseren op bijvoorbeeld meetniveau van de vraag. SPSS moet weten wat het verschil is tussen woonplaatsen (nominaal) en cijfers voor proefwerken (ratio). De logboek aantekeningen zijn verzameld tijdens de les of tijdens het bekijken van het huiswerk. Alle zaken die de docent opvielen zijn in een schriftje opgeschreven. Hiervan zullen in de volgende sectie enkele passages worden gedeeld. De gegevens in OneNote bevatten huiswerk van 32 leerlingen gedurende drie weken. Per week hebben ze twee sommen gemaakt en dit zou een totaal opleveren van 192 sommen om te analyseren. Omdat dit teveel is, is er gekozen om dit aantal te halveren door in de eerste week te kijken naar een vrije keuze som. In de tweede week naar een verplichte opgave en in de derde week naar een vrije keuze som. Elke week dit hierbij het huiswerk van maar één groep bestudeerd uit pragmatische oogpunt. Beide interviews zijn afgenomen in speciale gespreksruimtes. Deze ruimtes kunnen door het personeel van het Amstelveen College van tevoren worden gereserveerd. Om er zeker van te zijn dat er niet per ongeluk zou worden gestoord tijdens het interview is er een blaadje op de deur gehangen met de tekst niet storen, met tijdstip erbij. Om de privacy van de leerlingen te waarborgen wordt er in het gehele onderzoek met fictieve namen gewerkt. 27 4. Resultaten In dit hoofdstuk worden de resultaten van het onderzoek besproken. Als eerst zullen de uitkomsten van de kwantitatieve data worden besproken. Denk hierbij aan de data verkregen uit de cijferadministraties dan wel de enquête. Daarna zal er de diepte worden ingedoken met behulp van de resultaten van docentobservaties, leerlingwerk en de twee interviews met een leerling. Op deze manier geven we per paragraaf antwoord op een deelvraag en kunnen we uiteindelijk de hoofdvragen beantwoorden over het effect en de ervaringen van peerfeedback op het leerproces. 4.1 In welke mate heeft het peerfeedbackmodel bijgedragen aan de kennis van de leerlingen over analytische meetkunde? (deelvraag 1) 4.1.1 De cijfers die de leerlingen hebben gehaald voor de hoofdstukken analytische meetkunde In appendix I zijn de toetsresultaten van de leerlingen vermeld. Het gemiddelde van de toets over hoofdstuk 3 (Hoeken en afstanden) was 5,49, het gemiddelde van het SO over hoofdstuk 7 (Lijnen en cirkels) was een 6,25 en het gemiddelde van de toets over hoofdstuk 10 (Meetkundige berekeningen) was een 7,06. De effectgrootte tussen de toets van hoofdstuk 3 (Hoeken en afstanden) en hoofdstuk 10 (Meetkundige berekeningen) vinden we d = 0,8346. De effectgrootte tussen het so hoofdstuk 7 (Lijnen en cirkels) en de toets hoofdstuk 10 (Meetkundige berekeningen) is d = 0,4327. Bij effectgroottes vanaf 0,8 mogen we spreken van een groot effect, bij effectgroottes vanaf 0,5 spreken we van een gemiddeld effect en bij een effect vanaf 0,2 spreken we van een klein effect (Baarda, 2014). 4.1.2 De eindexamenscores vanuit een landelijke steekproef via Wolf In Appendix J is de Wolf analyse van het havo examen wiskunde B tijdvak 1 2017 op het Amstelveen College bijgevoegd. Dit is een reeds uitgevoerde analyse van het Cito. In deze analyse is de gemiddelde score van wat de leerlingen van het Amstelveen College op verschillende domeinen vergeleken met het landelijk gemiddelde. Hierbij wordt van de nulhypothese uitgegaan dat de scores van de leerlingen van het Amstelveen College niet afwijken ten opzichte van het landelijk gemiddelde. Als er een sterretje achter een rij staat dan is met een 95% betrouwbaarheidsinterval de nulhypothese verworpen en wijken de scores dus af van het landelijk gemiddelde. Zoals te zien is in Appendix J wijkt één onderdeel “speerwerpen” niet af van het landelijk gemiddelde. Sommige scores liggen significant hoger (5 onderdelen van de 7 onderdelen) en sommige scores significant lager (1 onderdeel van de 7 onderdelen). Op het domein analytische meetkunde scoort het Amstelveen College een gemiddelde procentuele score van 67 terwijl dit landelijk op 57 ligt. In tabel 4.1 is te zien dat het voor het eerst in vijf jaar is dat het Amstelveen College een positieve significante afwijking heeft op het domein meetkunde ten opzichte van het landelijk gemiddelde. In 2013 was er eveneens een significante afwijking ten opzichte van het landelijk gemiddelde, echter was deze afwijking negatief. Tabel 4.1: Gemiddelde procentuele scores op het domein (analytische) meetkunde. In de eerste rij staan de scores van het Amstelveen College (AC) en in de tweede rij scores uit de landelijke steekproef (LAN). examenjaar 2017 2016 (groep A) 2016 (groep B) 2015 2014 2013 (groep A) 2013 (groep B) procentuele score AC 67* 57 57 71 53 57 53* procentuele score LAN 57 55 55 75 55 65 65 28 4.2 Wat zijn de ervaringen van de leerlingen met betrekking tot peerfeedback? (deelvraag 2) De ervaringen van de leerlingen zijn opgesplitst over de zes constructen (motivatie, betrokkenheid/autonomie, effectiviteit, begrijpen van de opdracht, interactie, kwaliteit van de feedback). Over deze zes constructen zijn met SPSS de somscores berekend. De somscores uit de enquête zijn als volgt opgebouwd: 1 punt 2 punten 3 punten 4 punten 5 punten Sterk mee eens Mee eens Noch mee eens/noch mee oneens Mee oneens Sterk mee oneens We geven per construct de resultaten. 4.2.1 Motivatie In figuur 4.1 is de gemiddelde somscore van het construct motivatie (met 3 items) weergegeven. Wat opvalt is dat er leerlingen zijn met een sterke bevestiging (1 punt) en leerlingen met een ontkenning (4 punten). In totaal zijn er 13 leerlingen die het gemiddeld meer eens zijn met de stellingen. Aan de andere kant zijn er 10 leerlingen die het gemiddeld meer oneens zijn. Er heerst dus verdeeldheid op het construct motivatie. Dit betekent dat we op grond van de uitkomsten uit de enquête niet kunnen zeggen dat de motivatie van de leerlingen is toegenomen door het OneNote peerfeedbackmodel. Op de vragen als “Het geven van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken” is dus een sterke verdeeldheid. Er zijn leerlingen hun huiswerk beter hebben gemaakt door het peerfeedbackmodel, maar er zijn ook leerlingen die niets hebben aangepast aan hun leerstijl. Daarbij is het begrip motivatie ruim opgevat in de zin van de self determination theory van Deci en Ryan (Ryan & Deci, 2000). Dus het volgende item over autonomie heeft er ook ingezeten “Het zelfstandig mogen geven van peerfeedback zorgt ervoor dat ik meer kritische feedback geef”. Figuur 4.1: Gemiddelde score motivatie, 𝜇 = 2,79, 𝜎 = 0,855. 4.2.2 Betrokkenheid Over de betrokkenheid (met 2 items) bij de OneNote-opdracht zijn de leerlingen minder uitgesproken blijkt uit de verdeling uit figuur 4.2. De meeste scores zitten tussen de 2,5 en de 3,5 wat ongeveer het midden van de verdeling is. Hoewel er in het precieze midden 3 (noch mee eens/noch mee oneens) een dipje zit. Leerlingen geven op de vraag of “Leerlingen zouden betrokken moeten zijn 29 bij de ontwikkeling van de criteria voor het geven van peerfeedback” een tweedeling aan. Of ze zijn het gemiddeld ermee eens (12 leerlingen) of ze zijn het er gemiddeld mee oneens (8 leerlingen) een kleine groep van 5 leerlingen is het hiermee noch eens/noch mee oneens. Een andere stelling was “Het geven van peerfeedback zorgt ervoor dat ik meer betrokken ben bij de wiskundeles” geeft ook verdeeld beeld. Zo zijn er in totaal vier leerlingen die het ermee oneens zijn dat ze meer betrokken zijn bij de wiskundeles dankzij de peerfeedback. Echter zijn er zes leerlingen die aangeven het met de stelling eens te zijn. Figuur 4.2: Gemiddelde score betrokkenheid, 𝜇 = 2,88, 𝜎 = 0,617. 4.2.3 Effectiviteit De leerlingen zijn meer uitgesproken over de effectiviteit (met 8 items) van peerfeedback voor het leren van analytische meetkunde. Dit blijkt uit de rechtsscheve verdeling in figuur 4.3. In totaal zijn er 18 leerlingen die het gemiddeld eens zijn met de stellingen tegenover 5 leerlingen die het gemiddeld oneens zijn met de stellingen. Het gaat hierbij om vragen die gaan over de effectiviteit van het ontwerp zoals “Ik denk dat het gebruik van peerfeedback een goede methode is om feedback te geven aan leerlingen”, maar ook items die gingen over het effectief leren van peerfeedback “Ik gebruikte de peerfeedback om mijzelf te verbeteren”. Hierbij zijn er ook negatief formuleerde vragen gesteld, waarbij de antwoorden zijn omgepoold zodat ze toch goed kunnen worden vergeleken zoals “Het geven van peerfeedback kost te veel tijd en is daardoor niet de moeite waard”. Figuur 4.3: Gemiddelde score effectiviteit, 𝜇 = 2,79, 𝜎 = 0,647 30 4.2.4 Begrijpen van de opdracht Over het beter begrijpen van de opdracht (met 7 items) door het peerfeedbackmodel zijn de leerlingen uitgesproken tevreden over. Dit blijkt uit de rechts scheve verdeling in figuur 4.4. In totaal zijn er 19 leerlingen die het over het algemeen eens zijn met de stellingen tegenover 2 leerlingen die het gemiddeld oneens zijn met de stellingen. De vragen gingen over onder andere het beter begrijpen van de opdrachten door het OneNote-model “Het verwerken van peerfeedback zorgt ervoor dat ik beter begrijp wat de leraar belangrijk vindt voor mijn wiskundehuiswerk”. Er werd ook gevraagd of de leerlingen goed de doelstelling van de opdracht begrepen “Richtlijnen voor het geven van peerfeedback zorgen ervoor dat ikzelf betere peerfeedback kan geven”. En of de leerlingen zelf de stof beter gingen begrijpen door het geven van feedback “Ik leer zelf nieuwe dingen als ik peerfeedback geef aan medeleerlingen”. Figuur 4.4: Gemiddelde score begrijpen van de opdracht, 𝜇 = 2,50, 𝜎 = 0,547 4.2.5 Interactie Over de met mate waarin de interactie (met 5 items) toenam zijn de leerlingen duidelijk verdeeld. Dit is te zien in de meertoppige verdeling in figuur 4.5. Er zijn in totaal 13 leerlingen die gemiddeld meer interactie hebben gehad door het OneNote peerfeedbackmodel. Aan de andere kant zijn er 12 leerlingen die gemiddeld minder interactie hebben gehad. De niveaus van interactie betroffen het enerzijds tussen docent-leerling en anderzijds tussen leerling-leerling onderling. Dit ging aan de hand van bijvoorbeeld de volgende stelling “Het geven van peerfeedback zorgt voor meer interactie tussen mij en de leraar”. Voor het leerling niveau ging het bijvoorbeeld de volgende stelling “Het ontvangen van peerfeedback zorgt voor meer interactie tussen mij en mijn klasgenoten”. Figuur 4.5: Gemiddelde score interactie, 𝜇 = 3,06, 𝜎 = 0,711 31 4.2.6 Kwaliteit van de feedback Tot slot bespreken we de kwaliteit van de feedback. Zoals we weten uit de eerste analyse van de gegevens, kunnen we geen gemiddelde score over dit construct berekenen omdat er geen sprake is van homogeniteit. Daarom zullen we de vier items apart bekijken, zie figuur 4.6. Op de eerste vraag “Ik zou meer leren als de kwaliteit van de peerfeedback beter was” (PF.0.6, 𝜇 = 2,56, 𝜎 = 1,158), antwoorden de meeste leerlingen (N=10) met mee eens. Er zijn maar twee leerlingen die het hier sterk mee oneens waren. Op de tweede vraag “Ik heb weinig gehad aan de peerfeedback die ik ontving” (PF.0.7, 𝜇 = 2,8, 𝜎 = 1), antwoorden 10 leerlingen oneens (2 punten). De vraag is vanwege de negatieve formulering omgepoold. Dit spreekt het vorige resultaat enigszins tegen omdat hier meer leerlingen iets aan de feedback hebben gehad (N=11) dan leerlingen die er niets aan hebben gehad (N=5). Terwijl in de vorige vraag totaal 14 leerlingen aangaven meer te kunnen leren als de kwaliteit van de feedback beter was. Het derde item “De peerfeedback die ik ontving, ging vaak over hoe ik het deed ten opzichte van de andere groepsgenoten” (PF.0.8, 𝜇 = 2,64, 𝜎 = 0,86), was een controle item. Tijdens de instructie hebben de leerlingen nadrukkelijk geleerd om niet feedback op de persoon te geven, maar op de inhoud. Ook deze vraag is negatief geformuleerd en vandaar dat hier 12 leerlingen het hiermee oneens waren. Het laatste item “Ik begreep niet altijd de peerfeedback die ik ontving” (PF.0.9, 𝜇 = 2,76, 𝜎 = 1,012), gaven 10 leerlingen aan het hiermee eens te zijn en nog eens 2 leerlingen zijn het hiermee sterk mee eens. Figuur 4.6: Vier items over de kwaliteit van de feedback. 4.3 Hoe werkten de leerlingen in en buiten de klas om met het peerfeedbackmodel? (deelvraag 3) Omdat de onderzoeker in dit geval tevens de docent is die de leerlingen het hele jaar door heeft lesgegeven, kan de docent verandering in het gedrag en in de leerhouding van de leerlingen in en buiten de les vaststellen. Tijdens de lessenserie heeft de docent hiervan aantekeningen gemaakt en in deze paragraaf zullen relevante aantekeningen worden gedeeld. We delen de aantekeningen op in twee categorieën: 1. In het leslokaal 2. Buiten het leslokaal 4.3.1 In het leslokaal Tijdens de lessenserie zijn er geen bijzondere aanpassen gedaan. De leerlingen zaten in de normale klassieke busopstelling en tijdens de les werd theorie uitgelegd en vragen van leerlingen werden beantwoord. Alleen vragen over de OneNote-opdrachten werden vanzelfsprekend niet beantwoord totdat ze in een klassengesprek werden besproken. De uitwerkingen van de OneNote-opdrachten waren weggelakt zodat leerlingen zelf moesten nadenken over een mogelijke oplossingsstrategie zonder zich te laten leiden door het uitwerkingenboek. 32 Tijdens het rondlopen in het klaslokaal merkte de docent dat de transfer van de ene opdracht naar de andere opdracht op hetzelfde wiskundig denkniveau, als lastig werd ervaren door leerlingen. Het aanpassen van wat getallen zorgde ervoor dat leerlingen een opdracht als totaal anders ervaarden. Dit gebeurde vooral bij de groepjes die direct met de OneNote-opdrachten begonnen, zonder eerst een eenvoudigere opgave te maken. Tijdens de lessenserie heeft de docent herhaaldelijk aandacht besteed aan problem solving (Polya, 1945). In het bijzonder ging het om de volgende twee strategieën: 1. Als eerst als je een opgave niet kunt oplossen, zoek dan een eenvoudigere opgave die erop lijkt en los die op. Vervolgens haal je uit de makkelijkere opgave een stappenplan waarmee je probeert de moeilijkere opgave mee op te lossen. 2. De tweede strategie was om gegeven te verwerken in een goede schets. Door het maken van een goede schets verwerken leerlingen bepaalde meetkundige eigenschappen veel beter dan wanneer ze alleen naar de tekst of afbeeldingen kijken. In het leslokaal hing daarbij een poster ontleed aan de oplossingsstrategieën van Polya, zie figuur 4.7. Leerlingen werden tijdens de lessenserie expliciet gewezen op deze poster als ze een opgave niet begrepen. Figuur 4.7: Poster in wiskundelokaal ontleend aan Polya's how to solve. Aangepast naar het Nederlands. Het huiswerk werd nadat de leerlingen de peerfeedback aan elkaar hadden gegeven besproken. Hierbij werd door de docent vooral het verschil tussen verschillende oplossingsstrategieën belicht. In figuren 4.8 t/m 4.10 is een voorbeeld te zien van som 21 die op drie verschillende manieren door leerlingen is uitgewerkt. Er werd geprobeerd om elke week te wisselen tussen zoveel mogelijk leerling-uitwerkingen zodat bijna elke leerling zijn of haar uitwerking op het bord ziet. Door het ontbreken van uitwerkingen gebeurde er tijdens de les twee dingen. Het eerste was dat sommige 33 leerlingen hierdoor gemotiveerd werden om snellere alternatieve oplossingsstrategieën te zoeken. Het kan namelijk gebeuren dat de strategieën die besproken worden tijdens de les, niet de meest efficiënte methoden waren. Er zijn leerlingen die achteraf een compactere oplossingsstrategie toevoegde, welke dan opnieuw door de docent in een klassengesprek is besproken. Het tweede was dat dat er leerlingen waren die vroegen om de uitwerkingen van het boek in plaats van de leerlinguitwerkingen. De docent heeft echter nooit de uitwerkingen van het boek vrijgegeven. Een bijzondere vondst tijdens de lessenserie was dat leerlingen vroegen of ze tijdens de lessen in hun groepjes gezamenlijk mochten werken aan de OneNote-opdrachten. Leerling gingen dus in de klassieke busopstelling met hun groepsgenoten in de buurt zitten werken aan de opdrachten. Tijdens de les waren ongeveer de helft van de groepjes gezamenlijk aan het werk met de OneNoteopdrachten. Omdat de lessen wiskunde 120 minuten duurden was hier tijdens de les genoeg tijd voor. Voor de groepjes die op deze manier aan het werk waren was er dus sprake van meer interactie op leerling-leerling niveau. De docent zag dat binnen zo'n groepje veel werd overlegd over mogelijke oplossingsstrategieën. Figuur 4.8: Oplossingsstrategie 1 bij som 21. Gebruik makend van tangens van 30 graden. Figuur 4.9: Oplossingsstrategie 2 bij som 21. Gebruik makend van verhoudingen en de zijde AB = 6. 34 Figuur 4.10: Oplossingsstrategie 3 bij som 21. Gebruik makend van verhoudingen en de stelling van Pythagoras. 4.3.2 Buiten het leslokaal Tijdens de les kun je als docent zien wat er gebeurt. Ongetwijfeld zie je als docent niet alles in de les, maar je ziet meer in de les van de leerlingen dan buiten de lessen om. Hieronder geven we nog enkele observaties/gesprekken van leerlingen buiten de lessen om. We pretenderen niet een compleet beeld te geven, maar het beeld te willen verrijken met enkele observaties/gesprekken die niet representatief zijn voor de gehele klas. Op de gang rond het wiskundelokaal is de havo bovenbouwafdeling gevestigd. Leerlingen zitten een groot deel van hun tijd op de havo bovenbouwafdeling en beschikken hier over faciliteiten zoals 35 desktop computers. Normaal gesproken als de docent leerlingen op de gang ziet werken achter computers, wordt er niet gewerkt voor school, maar worden er veelal spelletjes gespeeld of social media onderhouden. Ook als leerlingen niet achter computers zitten, maar aan de tafels wordt er bijna nooit wiskunde gemaakt tenzij ze het uur erna een toets hebben. Tijdens de OneNote lessenserie heb ik leerlingen in tussenuren achter de computers zien zitten met een paars OneNotescherm. Uit gesprekjes met leerlingen die op de gang zaten te werken bleek dat het werkschema met harde deadlines voor het samenwerken hierbij te helpen. Daarbij gaven leerlingen aan het als prettig te ervaren om zelf in de week te kunnen plannen wanneer ze hun OneNote-huiswerk maken. Want de ene leerling heeft woensdag een toets staan en maakt zijn huiswerk donderdag pas, terwijl de andere leerling het woensdag al kan maken. Doordat de OneNote-opdrachten per week moesten worden ingeleverd hadden leerlingen de mogelijkheid om zelf te plannen. Door het bekijken van het huiswerk in OneNote zie je als docent hoe leerlingen thuis werken. Per week maken bijna alle leerlingen minimaal twee opdrachten die door de docent kort worden nagelopen. Als alle leerlingen het huiswerk zouden uploaden dan moest de docent 2 ⋅ 32 = 64 uitwerkingen per week controleren. Het was oorspronkelijk niet de bedoeling om de leerlingen feedback te geven van de docent, want de leerlingen zouden elkaar peerfeedback geven. Echter viel tijdens het bespreken van het huiswerk van week 1 op dat leerlingen het fijn vonden als ze de indruk hadden dat de docent hun huiswerk had gezien. In week 1 had de docent namelijk nog fouten uit het huiswerk van sommige leerlingen gehaald. Omdat het voor de docent te veel werk was om dit ook in week 2 en week 3 te doen is dit gecommuniceerd naar de leerlingen toe. In plaats van een krulletje, dat suggereert dat het huiswerk volledig goed was, is er gebruik gemaakt van een digitale stempel, zie figuur 4.11. De stempel geeft aan dat het huiswerk is gezien, maar niet volledig gecontroleerd is op juistheid en fouten zijn verbeterd door de docent. Figuur 4.11: Voorbeeld stempel voor huiswerk gezien door de docent. De kleur van de stempels wisselde per week. 4.4 Hoe zijn de OneNote-opdrachten door de groepjes gemaakt in week 1, 2 en 3? (deelvraag 4) De leerlingen hebben drie weken gewerkt met het OneNote peerfeedbackmodel. Waarbij er per week een score van maximaal 0,3 kon worden behaald, welke als volgt is opgebouwd: 1. Het huiswerk (maximaal 0,1 punt per week) 2. Het geven van feedback (maximaal 0,1 punt per week) 3. Het verwerken van de ontvangen feedback (maximaal 0,1 punt per week) Aan de hand van de score is het mogelijk om globale analyses te doen, zonder het huiswerk van de leerlingen te bekijken. In paragraaf 4.4.2 zullen van groep 3 in de eerste week een uitgebreide analyse geven van het gemaakte huiswerk in week 1. De uitgebreide analyses van de overige weken zijn te vinden in Appendix M. 36 4.4.1 Analyses van het gemaakte huiswerk in OneNote over de drie weken Per week kon er 0,3 punt voor de OneNote-opdrachten worden gehaald. Over de periode van drie weken kon er in totaal maximaal 0,9 punt voor de OneNote-opdrachten worden gehaald. Uiteindelijk is er gemiddeld 0,525 punt voor de OneNote-opdrachten gehaald, zie Appendix H. Omdat de 0,3 punt is verdeeld over de kwaliteit van: het geüploade huiswerk, de gegeven feedback en de verwerkte feedback, geven we per indicator een toelichting. Bij het uploaden van het huiswerk viel op dat de meeste leerlingen hieraan hadden voldaan. In de eerste week waren er 31 leerlingen die hun huiswerk hadden geüpload. In de tweede week waren dit 30 leerlingen en in derde week waren dit 27 leerlingen, zie tabel 4.2. Bij het bekijken van het aantal lage scores (≤ 0,1), valt op dat er gedurende de weken er meer leerlingen zijn gekomen met een lage score (≤ 0,1). In de eerste week waren er 4 leerlingen met een lage score. In de tweede week waren er 8 leerlingen met een lage score. In de derde week waren dit 7 leerlingen, zie tabel 4.2. Tabel 4.2: Overzicht van het gemaakte huiswerk in OneNote. week 1 week 2 week 3 Aantal leerlingen dat het huiswerk had geupload 31 30 27 Aantal leerlingen met score ≤ 0,1 4 8 7 Aantal leerlingen zonder feedback 1 3 4 Aantal leerlingen met score ≥ 0,25 9 10 12 Verwerken van feedback in een nieuwe versie 13 12 12 Gemiddelde huiswerkcijfer 0,184 0,177 0,164 Bij het geven van feedback viel op het dat binnen een groepje sommige leerlingen twee keer feedback kregen terwijl andere leerlingen geen feedback kregen. Dit gebeurde zelfs als er zichtbaar duidelijke afspraken waren gemaakt over wie er feedback zou geven aan wie. In figuur 4.12 is te zien dat Harm twee keer feedback krijgt evenals Ricardo, maar Cuno heeft hierdoor geen feedback gekregen. In week 1 was er 1 leerling die geen feedback heeft gekregen. In week 2 waren dit 3 leerlingen en in week 3 waren er 4 leerlingen die geen feedback hebben gekregen van een medeleerling. Figuur 4.12: Schema van een groep waarbij de opdracht en het feedback geven worden afgestemd. Verder bleek dat het aantal hoge scores ≥ 0,25 gedurende de weken is toegenomen. Waren er in week 1 nog maar 9 leerlingen met een score ≥ 0,25. In week 2 waren dit er al 10 en in week 3 tot slot 12 leerlingen, zie tabel 4.2. Het verwerken van feedback bleek voor de leerlingen een lastig onderdeel te zijn. Leerlingen hebben niet altijd de ontvangen feedback verwerkt in een verbeterde versie. Dit kan meerdere redenen hebben waarop we in paragraaf 4.4.2 uitgebreid terugkomen. Grofweg zijn er een aantal situaties te onderscheiden. 37 1. De leerling die feedback moet geven, begrijpt niet wat zijn medeleerling doet en kan geen feedback geven. 2. De leerling die feedback moet geven, geeft verkeerd of onvolledige feedback waardoor zijn medeleerling geen verbeterde versie kan maken. 3. De leerling krijgt feedback maar de feedback wordt niet begrepen of niet verwerkt in een nieuwe versie, zie figuur 4.13. 4. Alles was goed en er konden geen verbeteringen worden gevonden. In week 1 waren er in totaal 13 leerlingen die zichtbaar een verbeterde versie hebben gemaakt. In week 2 waren dit 12 leerlingen en in week 3 waren dit nog steeds 12 leerlingen, zie tabel 4.2. Figuur 4.13: Een voorbeeld van het niet verbeteren van eigen werk omdat de leerling denkt geen fouten te hebben gemaakt. Om te onderzoeken of de huiswerkcijfers gedurende de drie weken veranderd zijn, voeren we een One-Sample T-Test uit in SPSS. We mogen een t-test uitvoeren als de steekproevenverdeling normaal verdeeld is. In SPSS hebben we de Shapiro–Wilk test en de Kolmogorov-Smirnov test uitgevoerd om te controleren of huiswerkcijfers in week 1, 2 en week 3 normaal verdeeld zijn. Beide testen geven een significatieniveau lager dan 0,05, zie tabel 4.3. Dit betekent dat de cijfers van het huiswerk in week 1,2 en 3 niet normaal verdeeld zijn. De uitkomsten van de t-testen zijn hierdoor minder overtuigend dan wanneer de steekproevenverdeling wel normaal verdeeld is. Tabel 4.3: De resultaten van de normale verdeling testen. Kolmogorov-Smirnova Statistic df Shapiro-Wilk Sig. Statistic df Sig. Cijfers huiswerk week 1 ,221 32 ,000 ,906 32 ,009 Cijfers huiswerk week 2 ,203 32 ,002 ,925 32 ,028 Cijfers huiswerk week 3 ,196 32 ,003 ,872 32 ,001 Bij het uitvoeren van de One-Sample T-Test vinden we bij het vergelijken van gemiddelde huiswerkcijfer van week 1 met de cijfers van het huiswerk week 2 een T-waarde die buiten het kritieke gebied ligt, zie tabel 4.4 Hetzelfde geldt als we een One-Sample T-Test uitvoeren waarbij het gemiddelde huiswerkcijfer van week 1 vergelijken met de huiswerkcijfers van week 3. Tot slot wanneer we het gemiddelde huiswerkcijfer van week 2 vergelijken met de huiswerkcijfers van week 38 3, vinden we ook een T-waarde die buiten het kritieke gebied ligt. Dit betekent dat niet met zekerheid is vast te stellen of de huiswerkcijfers gedurende het traject zijn veranderd. Tabel 4.4: Resultaten One-Sample T-Test huiswerkcijfer week 1,2 en 3. t-waarde Ondergrens Bovengrens Effect Cijfers hw 2 vergelijken met gem hw 1 -0,525 -0,0382 0,0226 Geen Cijfers hw 3 vergelijken met gem hw 1 -1,087 -0,0584 0,0178 Geen Cijfers hw 3 vergelijken met gem hw 2 -0,669 -0,0506 0,0256 Geen 4.4.2 Uigebreide analyse van het huiswerk Elke week is er bij één groep één opgave geanalyseerd. De eerste week is in groep 3 opgave 9 uit de voorkennis geanalyseerd. In de tweede week is in groep 1 opgave 21 geanalyseerd en in de derde week is in groep 7 opgave 58 geanalyseerd. We maken hier gebruik van fictief gekozen leerling namen om de privacy te waarborgen. In dit hoofdstuk bespreken we alleen het werk uit week 1. Omdat we hebben vastgesteld in paragraaf 4.4.1 dat er leerlingen niet significant beter of slechter zijn gaan werken met de OneNote opdrachten wordt alleen het huiswerk van week 1 besproken voor de overige twee weken verwijzen we naar Appendix M. 4.4.2.1 Kwaliteit van het gemaakte werk (week 1) Wat opvalt is dat alle drie de jongens niet expliciet met verhoudingen werken. Alleen Cuno werkt met verhoudingen, hoewel zijn notatie netter moet. Geen van de drie jongens gebruikt de door het boek aangedragen oplossingsstrategie om bijvoorbeeld zijde 𝐵𝐶 = 𝑥 te stellen. Zie bijvoorbeeld figuur 4.14 het huiswerk van Riecardo, figuur 4.15 voor het huiswerk van Cuno en figuur 4.16 voor het huiswerk van Harm. Wat opvalt bij Riecardo is dat hij doorheeft dat hij iets moet doen met een vergrotingsfactor, maar dat het hem nog niet lukt om dit netjes op te schrijven. Want met behulp van verhoudingen van de 30∘ − 60∘ − 90∘ driehoek heeft hij lengtes van zijdes uit de driehoek berekend. Wanneer hij dit bij elkaar optelt is dit ongeveer gelijk aan 6,20 terwijl het 20 moet zijn. Hij besluit dus een vergrotingsfactor uit te rekenen door 20 te delen door 6,20. Om zijde AD te berekenen moet hij de 4 vergrotingsfactor met √3 vermengigvuldigen en is hij klaar. Helaas heeft het benaderen ervoor gezorgd dat hij niet exact te werk is gegaan terwijl dit wel de opdracht was. Cuno werkt als enige wel met verhoudingen en komt ook op het juiste antwoord. Alleen zijn notatie is slordig er staat namelijk 4 80 dat 𝐴𝐷 = √3 = 9+ 3. Wat natuurlijk niet juist is. Harm heeft na een eerste poging het werk van √ Riecardo overgeschreven. 39 Figuur 4.2: Huiswerk van Riecardo 4.4.2.2 Kwaliteit van de feedback (week 2) Bij het huiswerk van Riecardo valt op de Harm geen feedback geeft, hij ziet geen fouten terwijl die er wel zijn. Riecardo heeft dan ook niets verbeterd. Bij het huiswerk van Cuno valt op dat Riecardo begint met positieve feedback op het gemaakte werk. Daarna geeft Riecardo corrigeerde feedback door het geven van een tip voor netjes werken. Van Riecardo moet Cuno eerst vermelden wat gegeven is en hoe dat moet worden aangetoond. De feedback van Cuno op het huiswerk van Harm is ook positief opbouwend. Hij begint met het opmerken dat Harm zelf een verbeterde versie heeft gemaakt voordat hij feedback heeft gegeven. Daarbij komt Cuno met een tip die Harm heeft laten liggen, namelijk het niet benaderen van wortels. De opmerking van Cuno over "pas op met …" wordt door de docent niet begrepen. 40 Figuur 4.3: Huiswerk van Cuno. 41 4.4.2.3 Manier waarop de feedback is verwerkt (week 1) Geen van de drie leerlingen heeft de ontvangen feedback verwerkt. Riecardo kon niets verwerken omdat zijn feedback van onvoldoende niveau was. Cuno heeft alleen gereageerd, maar geen nieuwe versie gemaakt. Harm heeft noch gereageerd noch zijn werk verbeterd. Figuur 4.4: Huiswerk van Harm Het is bijzonder dat de leerlingen niet de feedback hebben verwerkt, omdat ze een tabelletje hebben gemaakt met daarin de stappen en vinkjes hebben gezet bij het verwerken van de feedback, zie figuur 4.17. De leerlingen hebben dus zelf wel de indruk dat ze de feedback hebben verwerkt. Figuur 4.5: Schema groep 3. Met daarin de drie stappen van het feedbackproces duidelijk vermeld 4.5 Hoe ervaren twee leerlingen (een jongen en een meisje) het geven/ontvangen/verwerken van peerfeedback? (deelvraag 5) Op de vraag wat er goed ging aan het feedback geven gaven beide respondenten aan het werken met Microsoft OneNote als prettig te ervaren. De mogelijkheden tot kleurgebruik en het beschikken over brede pagina’s waardoor je naast het gemaakte werk verbeteringen kon noteren werden als pluspunten van het programma genoemd. Wanneer het gaat om het geven van feedback op het huiswerk van een groepsgenoot zien we een verschil tussen de jongen en het meisjes. In het groepje van de jongen is het voorgekomen dat hij feedback moest geven aan iemand die de opdracht volledig goed had gemaakt. Op zo’n moment vond hij het lastig om feedback te geven. De jongen vertelde dan positieve feedback te geven over de vorm in plaats van de inhoud, denk daarbij aan: “Dit en dit heb je goed gedaan” of “Die schets kan misschien een beetje netter”. Terwijl bij het meisje het lastig vond als een groepsgenoot niet precies dezelfde oplossingsstrategie volgde als zichzelf. Ze vond het lastig om zich te verplaatsen in de oplossingsstrategie van een ander, maar gaf dit wel toe in haar feedback. Ze gaf dan feedback als: “Geen idee wat er gebeurt, maar het ziet er goed uit”. 42 Beide leerlingen gaven aan geleerd te hebben van het geven van feedback. Voor de jongen zorgde het bekijken van andermans werk dat hij vanuit een soort helicopterview naar zijn eigen opdracht terug kon kijken en fouten eruit kon halen. Het meisje heeft door het lezen van ander huiswerk en tijdens het bespreken van het huiswerk ervaren dat er meerdere oplossingsstrategieën voor de dezelfde opgave zijn. Het zien van meerdere oplossingsstrategieën motiveerde haar, om als ze zelf vastliep in een opgave, opnieuw te beginnen en vanuit een andere richting het probleem aan te vangen. Door de jongen wordt nog toegevoegd dat de oefening voorafgaand aan het geven van peerfeedback hem houvast gaf tijdens het echte peerfeedback geven. Als de respondenten peerfeedback hadden ontvangen, gaven ze beide aan dit als bruikbaar te ervaren. Beide respondenten hebben dan feedback gekregen op fouten die ze gemaakt hebben. Soms waren dit slordigheidsfouten of notatiefouten en soms waren er verkeerde stappen gemaakt en kregen de respondenten tips hoe ze dit konden verbeteren. Over de kwaliteit van de feedback gaven beide respondenten aan dat dit sterk afhankelijk is van de persoon die dit doet. In de derde week had het meisje zelfs geen feedback gekregen op haar gemaakte werk. De jongen benoemt dat de kwaliteit van de peerfeedback afhankelijk is van hoeveel zin iemand erin heeft en hoe hoog die wilt scoren voor de OneNote-opdrachten. Zo vertelde hij dat: “Sommige leerlingen gingen voor een paar puntjes en die waren kortaf in hun feedback, terwijl andere leerlingen weer alles voluit schreven zodat de ontvanger er iets mee kon”. Het verwerken van de feedback deden beide respondenten op een andere manier. Het meisje had alles digitaal gemaakt en schreef met een afwijkende kleur de verbeteringen ertussen. Zelf vond ze dit overzichtelijk omdat ze in één oogopslag kon zien wat ze fout had gedaan. De jongen had van zijn huiswerk een foto gemaakt en deze in OneNote geüpload. Bij het verwerken van zijn feedback, deed hij dit in zijn schrift en de nieuwe foto zette hij naast de oude foto in OneNote. Een bijzondere vondst tijdens het interview met de jongen was dat hij vertelde alleen in de les opgaven te maken. Thuis maakte hij alleen de OneNote-opgaven omdat dit moest voor de bonus. Hij maakte in het verleden niet thuis wiskundehuiswerk en het project heeft er bij hem niet voor gezorgd dat hij huiswerk thuis is gaan maken. Hij ervaarde de OneNote opdrachten wel als nuttig: “De OneNote-opdrachten zijn de moeilijkere opdrachten en als je die begreep kreeg je meer inzicht”. Volgens hem gaat het bij meetkunde vooral om het inzicht. Door de OneNote-oefening heeft hij het gevoel dat hij een hoger cijfer heeft gehaald voor de meetkunde toets, minimaal een half puntje. En op het examen zou het volgens hem minimaal een vraag extra schelen. Het meisje gaf aan wiskunde als een erg lastig vak te ervaren en daarom geen uitspraken te doen of het echt effect had op het examen. Wel gaf ze aan vaker kleine stukjes huiswerk te maken zodat ze niet achter zou lopen en gedemotiveerd raken. Een andere bijzondere vondst is dat beide respondenten tijdens het maken van hun huiswerk gebruik hebben gemaakt van de mogelijkheid om bij andere groepjes te kijken. Beide respondenten gaven aan dat ze soms vastliepen en dan keken bij andere groepjes hoe ze verder moesten. Tot slot vermeldde de jongen dat de huiswerkbonus van 0,9 nogal aan de hoge kant was. Voor het jaar erna mocht de bonus wel wat lager tot maximaal 0,5 erbij. 43 5. Conclusies en discussie 5.1 Conclusies Cijfermatig zijn de leerlingen door het OneNote peerfeedbackmodel beter gaan scoren. Dit weten we door de toetscijfers analytische meetkunde zonder het OneNotepeerfeedbackmodel te vergelijken met de cijfers met het peerfeedbackmodel. Er is sprake van een groot effect (d=0,83) wanneer we het toetscijfer uit 5 havo vergelijk met dat van 4 havo. Wanneer we het toetscijfer uit 5 havo vergelijken met dat een so cijfer uit 4 havo vinden we een gemiddeld effect (d=0,43). Ondanks dat er nog nooit is onderzocht of peerfeedback bij analytische meetkunde een zinvolle interventie is, is dit in overeenstemming met reeds bestaande onderzoeken in andere disciplines. Uit het metaonderzoek van John Hattie (Hattie, Leren zichtbaar maken, 2014) blijkt dat het algemene effect van het inschakelen van leeftijdsgenoten als co-leraren (van zichzelf of van anderen) in de klas een krachtige interventie is. Hierdoor verwerven leerlingen zelfregulatie en controle over het eigen leren. Daarnaast blijkt dat peer tutoring veel academische en sociale voordelen heeft voor zowel degene die de tutoring geeft als degene die ze krijgt. Voor wiskunde blijkt zelfs dat de impact van peer tutoring (d=0,60) de meeste impact heeft als aanvulling van de leraar, ten opzichte van de andere geteste interventies (Hartley, 1977). Hierbij bleek dat oudere tutors (d=0,79) meer effectief waren dan tutors van dezelfde leeftijd (d=0,54). Dit zou te maken kunnen hebben dat de tutors de leerstof op een dieper niveau moeten begrijpen om effectieve feedback te kunnen geven. Bij de Wolf analyses valt op dat voor het eerst in vijf jaar de score van het Amstelveen College op het domein analytische meetkunde significant hoger is dan die van de landelijke steekproef. In de vier jaren ervoor is er nooit gebruik gemaakt van peerfeedback bij het leren van meetkundige vaardigheden en verder is er niets veranderd aan de manier van lesgeven. Dit zou erop kunnen duiden dat het gebruik van peerfeedback in grote mate een bijdrage heeft geleverd aan de kennis van de leerlingen over analytische meetkunde. Ervaringen van de leerlingen De ervaringen van de leerlingen met het OneNote peerfeedbackmodel zijn op twee niveaus onderzocht. Op klasniveau (kwantitatief) en op leerlingniveau (kwalitatief). Uit de klasanalyse blijkt dat leerlingen op de constructen motivatie, betrokkenheid/autonomie, effectiviteit en interactie verdeeld scoren. Zo zijn er leerlingen die uitgesproken meer gemotiveerd werden om beter hun huiswerk te maken door het geven en of ontvangen van peerfeedback. Echter zijn er ook leerlingen die hierdoor niet werden gemotiveerd. Een construct het begrijpen van de opdracht werd relatief hoog gescoord. Leerlingen blijken door het geven van peerfeedback zelf nieuwe dingen te leren. Ook het verwerken van peerfeedback zorgt ervoor dat de kwaliteit van hun wiskundehuiswerk verhoogd. De kwaliteit van de peerfeedback bleek te fluctueren. In totaal gaf 40% van de leerlingen aan meer te kunnen leren als de kwaliteit van peerfeedback beter was. Verder was er een groep van 40% die aangaf dat de ontvangen feedback onduidelijk was. Er bleek een verband te bestaan tussen de motivatie van de leerlingen ten opzichte van het OneNote peerfeedbackmodel en de cijfermatige progressie. Leerlingen die meer gemotiveerd waren gedurende de lessenserie haalden meer uit het geven (r=0,65), ontvangen (r=0,66) en verwerken (r=0,83) van de peerfeedback. Wat daarbij opviel was dat de leerlingen die peerfeedback een betere methode vonden om feedback te geven dan de feedback van de docent, ook sterker gemotiveerd waren (r=0,74). In het project zijn een zestal elementen ingebracht om de autonomie voor de leerlingen te verhogen. Ondanks dat volgens de self-determination theory (Ryan & Deci, 2000) mocht worden verwacht dat meer autonomie voor meer motivatie zou zorgen, is dit niet duidelijk gebleken uit de enquête (r=0,49). 44 Op leerlingniveau bleek dat de twee geïnterviewde leerlingen erg tevreden waren over OneNote als platform om huiswerk op te zetten, feedback te krijgen en tot slot deze verwerken. Echter gaven beide leerlingen aan dat de kwaliteit van de feedback sterk afhankelijk is van de persoon die de feedback geef en dat je soms niet feedback krijgt op het niveau waarop ze het hadden verwacht. Twee zaken vallen hierbij op. Ten eerste geven de twee leerlingen aan het lastig te vinden om peerfeedback te geven als er een andere oplossingsstrategie wordt gevolgd dan die ze zelf hebben gebruikt. Dit is in overeenstemming met resultaten uit eerder onderzoek van Hattie (Hattie, Leren zichtbaar maken, 2014). Omdat de leerlingen bij elkaar in dezelfde klas zitten, op hetzelfde niveau is er niet een expert die boven de stof staat. Experts en beginners geven feedback van verschillende kwaliteit, omdat hun kennis verschilt en zij problemen anders oplossen. Hierdoor kan het dus gebeuren dat leerlingen niet feedback krijgen waarmee ze verder kunnen (Chi, Feltovich, & Glaser, 1981). Ten tweede blijkt het systeem om leerlingen te belonen voor het OneNote peerfeedback model, maar ten deel te werken omdat sommige leerlingen niet extrinsiek gemotiveerd worden door de bonus. Dit komt niet omdat deze bonus te laag is, want dezelfde leerling vindt dat de bonus wel beperkt mag worden tot 0,5 punt in plaats van 0,9 punt. Beide leerlingen geven aan dat als je zelf serieus feedback geeft dat niet alleen de ontvanger, maar ook de verzender van de feedback er beter van wordt. Dit komt doordat leerlingen dan verschillende voorbeelden en benaderingen zien, maar ook door de internalisering van verschillende criteria en normen (Topping, 1998). Tot slot gaven de geïnterviewde leerlingen aan dat het weglakken van de uitwerkingen ervoor heeft gezorgd dat ze beter hun eigen werk zijn gaan controleren voordat ze zelf feedback kregen. Dit is in overeenstemming met de bestaande literatuur. Zo controleren leerlingen hun werk door het controleren van procedures, navraag bij de leraar en het verbeteren van hun werk. Terwijl blijkt dat bij feedback gegeven door een docent ervoor zorgt dat leerlingen minder snel hun werk verbeteren. Volgens Yang komt dit waarschijnlijk omdat leerlingen denken dat de docent alle fouten heeft verbeterd en er geen verdere aanpassingen meer nodig zijn (Yang, 2006). Het werken met het OneNote peerfeedbackmodel De docent heeft tijdens het werken met OneNote veranderingen in het leergedrag van de leerlingen waargenomen. Binnen het klaslokaal gingen leerlingen bij elkaar in groepjes zitten om gezamenlijk aan de OneNote opdrachten te werken. Tijdens het nabespreken van het huiswerk werden leerlinguitwerkingen door de docent gebruikt en werden verschillende oplossingsstrategieën met elkaar vergeleken. Dit stimuleerde leerlingen om zelf opzoek te gaan naar alternatieve compactere oplossingsstrategieën. Door het weglakken van de uitwerkingen van de uitgever werden leerlingen in dit proces niet gehinderd door uitwerkingen die als definitief eindantwoord werden gezien. Buiten het klaslokaal zaten leerlingen zichtbaar meer dan normaal aan hun wiskundehuiswerk. Op de computers in de gang waren paarse OneNote schermen te zien. Verder waren er meer leerlingen dan normaal op de gang met hun wiskundeboek en schrift aan het werk. Sommige leerlingen ervaarden het als prettig dat ze zelf gedurende de week konden plannen wanneer ze hun huiswerk konden maken. In gesprekken met leerlingen gaven leerlingen aan dat het werken met OneNote wel extra tijd kostte. Desondanks vonden deze leerlingen het de extra tijd waard. De leerlingen gaven aan meer van meetkunde te begrijpen dan ze normaal zonder peerfeedback zouden doen. Bij het analyseren van het huiswerk valt op dat het succes van deze interventie samenhangt met de individuele inbreng van elke groepsgenoot. Een groepsgenoot die weinig of niets van zijn gemaakte werk (kon) upload(en), bleek vaak niet in staat te zijn om effectieve feedback te geven. Vaak bleef de feedback dan beperkt tot positieve observaties over het netjes en overzichtelijk werken. Inhoudelijke 45 feedback op de juistheid van de stappen of als het nodig is een alternatieve strategie aanrijken gebeurden dan niet. Verder waren er ook voorbeelden van leerlingen die corrigeerde feedback gaven. Denk hierbij aan het verbeteren van rekenfouten of notatiefouten. Ook zijn er leerlingen die elkaar op weghielpen door het aanrijken van alternatieve oplossingsstrategieën. Helaas bleek dat leerlingen niet altijd de gekregen feedback verwerkten in een nieuwe versie. Van de 12 leerlingen die zijn bestudeerd, hebben zes leerlingen niet hun huiswerk verbeterd, zie tabel 5.1. Drie leerlingen hebben het huiswerk van degene die ze feedback heeft gegeven overgeschreven zonder hierbij de ontvangen feedback te lezen. Geen van de leerlingen heeft aan de hand van de ontvangen feedback een verbeterde versie kunnen maken of gemaakt. Twee leerlingen kregen alleen positief opbouwende feedback en hadden het juiste antwoord, vandaar dat deze leerlingen apart zijn genoteerd, zie tabel 5.1 Tabel 5.1: Samenvatting huiswerk analyse van 12 leerlingen in week 1 t/m week 3. Aantal leerlingen Huiswerk niet verbeterd 6 Overgeschreven uitwerking 3 Verbeterde versie 0 Geen ontvangen feedback 2 Dit is in tegenspraak tot wat werd beweerd in het onderzoek van Cho en Schunn (Cho & Schunn, 2007). Hierin stond dat studenten die feedback kregen van (verschillende) medeleerlingen, de kwaliteit van de desbetreffende taak meer verbeterd hebben dan studenten die feedback kregen van een docent. Er zijn een aantal mogelijke oorzaken waarom de uitkomsten van dit onderzoek niet overeenkomen met het onderzoek van Cho en Schunn. De eerste reden is dat het leren van wiskunde op een andere manier gaat dan het verbeteren van schrijfvaardigheid. Bij het verbeteren van schrijfvaardigheid is het herschrijven van teksten een essentiële stap om teksten beter te krijgen. Terwijl bij het leren van wiskunde het misschien niet nodig is om de opdracht te verbeteren als je kunt zien wat je fout hebt gedaan. Ten tweede komt de onderzoekspopulatie niet overeen. Aan dit onderzoek hebben leerlingen uit 5 havo meegedaan, terwijl in het onderzoek van Cho en Schunn studenten met gemiddeld 3,4 (1,0) collegejaren hebben meegedaan. De onderzoekspopulatie is betreft levenservaring en motivatie voor het vak, niet met elkaar te vergelijken. Ten derde verschilt de groepsgrootte van beide onderzoeken. In dit onderzoek hebben in totaal 32 leerlingen meegedaan, terwijl bij Cho en Schunn 28 studenten hebben meegedaan verdeeld over drie groepen. Per groep zaten er dus maximaal 10 studenten bij elkaar. In kleine groepen is de sociale controle groter dan in een grote groep. Ten vierde was de duur en periode van beide onderzoeken verschillend. Dit onderzoek is uitgevoerd tijdens drie reguliere schoolweken terwijl het onderzoek van Cho en Schunn tijdens 12 weken summerschool is uitgevoerd. Ten vijfde werd in het onderzoek van Cho en Schunn de grootste vooruitgang in schrijfvaardigheid gemeten bij meervoudige peerfeedback. Bij meervoudige peerfeedback kreeg iedereen van zes groepsgenoten peerfeedback. Bij peerfeedback van een groepsgenoot werd een grotere vooruitgang gemeten in schrijfvaardigheid dan bij het krijgen van feedback van een docent. Echter was deze vooruitgang minder groot dan het krijgen van peerfeedback van zes groepsgenoten. In dit onderzoek is gekozen voor enkelvoudige peerfeedback om de werkdruk van de leerlingen tot een minimum te beperken. 46 Hoofdvragen: Om te onderzoeken wat de kracht is van peerfeedback bij 5 havo leerlingen wiskunde B tijdens het leerproces bij analytische meetkunde op het Amstelveen College heeft dit onderzoek twee hoofdvragen. De eerste gaat over het effect van peerfeedback op het leerproces. De tweede gaat over de ervaringen van leerlingen en docent op het leerproces. Over het algemeen kunnen we stellen dat de leerlingen het peerfeedbackmodel als waardevolle toevoeging ervaren voor het leren van analytische meetkunde. Omdat de opdrachten niet gestandaardiseerd zijn en vaak op meerdere manieren op te lossen zijn, is het goed dat de uitwerkingen van deze vragen zijn weggelakt. Dit dwingt leerlingen in een andere leerhouding waarbij ze van elkaar moeten leren (Boaler, 2016). Hierbij zien leerlingen binnen hun peergroep meerdere oplossingsstrategieën en is er voor de docent een belangrijke taak weggelegd om tijdens de les de verschillende oplossingsstrategieën met elkaar te verbinden (Stein, Engle, Smith, & Hughes, 2008). Tijdens het project zijn nooit de antwoorden van de OneNote opdrachten door de docent gedeeld, wat de leerlingen zelfverantwoordelijk maakte voor hun eigen leerproces. Hierbij zien we dat leerlingen die meer gemotiveerd zijn, zowel intrinsiek doordat de doelstellingen van de opdracht zijn gedeeld met de leerlingen, als extrinsiek vanwege het bonussysteem, meer uit het geven, ontvangen en verwerken van peerfeedback hebben gehaald dan leerlingen die minder gemotiveerd waren (Ryan & Deci, 2000). Hierbij is dan nog eens sprake van een wederzijdse afhankelijkheid, want iemand die geen of onvolledige peerfeedback ontvangt, kan zichzelf lastig verbeteren. Tot slot zien we dat leerlingen voor hun toets analytische meetkunde gemiddeld genomen hoger hebben gescoord. Zelfs in vergelijking met de landelijke steekproef blijken de leerlingen van het Amstelveen College hoger te hebben gescoord voor analytische meetkunde. 5.2 Discussie Dit onderzoek is uitgevoerd vanuit de Masteropleiding wiskunde en is derhalve een praktijkgericht onderzoek op de eigen werkplaats. Maar de randvoorwaarden van dit probleem, grote klassen bij wiskunde B en het willen geven van effectieve feedback, gelden niet alleen voor het Amstelveen College, maar zijn generiek voor heel Nederland (Leraren in Actie, 2017). Oorspronkelijk was het idee van deze interventie dat de docent in grote groepen ontlast zou worden van het geven van feedback. Achteraf gezien is dit niet gelukt. Zeker in de eerste week heeft het de docent veel tijd gekost om het huiswerk van de leerlingen te bestuderen. Hierbij zou sprake kunnen zijn van een leercurve van de docent, waarbij in het begin meer tijd moet worden geïnvesteerd zodat er later tijd kan worden bespaard. Vanaf de tweede week is daarom gewerkt met stempels zodat de docent niet al het werk hoefde te verbeteren. In theorie zou de docent gedurende drie weken maximaal 32 (leerlingen) ⋅ 2 (opgaven) ⋅ 3 (weken) = 192 opgaven kunnen bekijken. Wat veel werk is, maar ook een voordeel is ten opzichte van een summatieve eindtoets. Door het zien van hoe leerlingen opgaven aanpakken waar ze moeilijkheden mee hebben worden de lessen meer op maat gemaakt Het helpt hierbij dat bijna alle leerlingen de opgaven hebben gemaakt op het moment dat ze worden besproken. Hierdoor is het bespreken van een opdracht meer effectief omdat leerlingen het kunnen koppelen aan hun eigen oplossingsstrategie (Jong, 2016). Het werken met OneNote voor peerfeedback is dan ook zeker geen interventie om elk hoofdstuk toe te passen. Voor zowel de leerlingen als de docent zou dit vanwege tijd onhaalbaar zijn. Maar als dit ieder jaar opnieuw in 5 havo en 6 vwo wordt toegepast kunnen we spreken over een duurzame interventie die ieder jaar voor de docent steeds minder tijd kost. De betrouwbaarheid van een praktijkgericht onderzoek in het onderwijs is meestal laag. Iets wat hier zeker voor heeft gezorgd is dat de onderzoeker ook de docent van de leerlingen was. De leerlingen die les hebben gehad, geënquêteerd en geïnterviewd zijn, hebben dit met zowel de docent als de 47 onderzoeker gedaan. Zeker in de interviews is het voor leerlingen misschien lastig om een docent af te vallen en worden er door hen sociaal wenselijke antwoorden gegeven. Om de onderzoekstriangulatie te verhogen was het daarom beter geweest om de leerlingen door een ander persoon te laten interviewen en de gegevens uit de enquête door een ander persoon te laten interpreteren dan de docent en tevens onderzoeker zelf. Daarbij kan de relatie die je als docent met de leerlingen hebt ook ervoor zorgen dat er resultaten zijn gehaald omdat de leerlingen voor de docent hun best wilden doen (Ryan & Deci, 2000). Echter door de methodische- en brontriangulatie is de validiteit verhoogd. Zo is er een uitgebreid theoretisch kader waarin een goede literatuurstudie is gedaan naar peerfeedback. De uitkomsten uit het theoretisch kader zijn gekoppeld aan de uitkomsten van de enquête en van het interview. Daarnaast zijn de enquêtevragen met uiterste zorg uit eerder onderzoek samengesteld en is er bij het interview een leidraad opgesteld en zijn beide interviews integraal opgenomen als bijlage in dit verslag. Dit alles verhoogd de transparantie van dit onderzoek. Een zwak element aan het onderzoek is dat de enquête en de interviews ver na het project zijn afgenomen. Hierdoor is het mogelijk dat leerlingen zaken verkeerd of incompleet herinneren, wat de resultaten zeker niet ten goede is gekomen. Een sterk element in dit onderzoek zijn de moet Wolf analyses waarbij de leeropbrengst van het Amstelveen College op het domein analytische meetkunde vergeleken worden met een landelijke steekproef. Hierdoor is een bijzondere sterke uitspraak gedaan over de leeropbrengst, zeker omdat die vanuit archiefmateriaal van de onderzoeker zelf vergeleken kan worden met vier andere jaren van het Amstelveen College waarbij geen significant verschil kon worden gevonden. Wat opvalt is dat leerlingen aangeven het effect van peerfeedback bij analytische meetkunde als waardevol ervaren. Dit wordt ondersteund doordat er gedurende de drie weken niet significant minder is gescoord voor de OneNote-opdrachten en er niet significant veel leerlingen zijn uitgevallen gedurende de lessenserie. Dit is in tegenspraak met eerder onderzoek naar peerfeedback bij schrijfvaardigheid waarbij er gedurende het traject werd vastgesteld dat deelnemers uitvielen of niet compleet hun werk uploaden (Cho & Schunn, 2007). Een groot verschil met het onderzoek van Cho en Schunn is dat zij een online peerfeedback-systeem hebben ontwikkeld waarbij de verzender en de ontvanger anoniem waren. Deze anonimiteit is bewust gecreëerd omdat zowel de schrijvers als de beoordelaars minder kritisch zijn als zij weten van wie het werk is (Crampton, 2001). Echter bij een ander grootschalig peerfeedback onderzoek onder Tsjechische leerlingen biologie en wiskunde, bleek dat het werken in kleinschalige groepjes bij wiskunde ervoor zorgde dat de leerlingen meer mogelijkheden hadden om een oplossing te bespreken (Stuchlikova, et al., 2017). Het discussiëren in kleine groepjes kan ervoor zorgen dat problemen bij het geven van feedback, door een gebrek aan feitelijke kennis, worden verlicht. Dit zagen we gedurende het onderzoek in de klas terug bij de groepjes leerlingen die elkaar opzochten of in OneNote waar hele gesprekken werden uitgeschreven tussen de ontvanger en verzender van feedback. Er waren ook groepjes simultaan aan het werken in OneNote een Whatsapp groep hadden ingericht om met elkaar te overleggen. In het Tsjechische onderzoek werd er alleen bij wiskunde met kleine groepjes gewerkt en kwam er naar voren dat de leerlingen wiskunde ten opzichte van de leerlingen biologie niet een uitgesproken voorkeur gaven voor feedback van de docent. Dit laatste komt niet overeen met de resultaten van dit onderzoek waarbij 72% leerlingen een uitgesproken voorkeur geeft voor feedback van de docent in plaats van een medeleerling. Verder bleken leerlingen tijdens het onderzoek creatiever te worden in het zoeken naar nieuwe compactere oplossingsstrategieën. Dit is waarschijnlijk gestimuleerd door het weglakken van 48 uitwerkingen van de uitgever waardoor leerlingen andere mechanismen ontwikkelen dan snel opzoeken of je het goed hebt gedaan in de uitwerkingen (Yang, 2006). Dit soort mechanismen voor zelfregulatie zijn erg waardevol op momenten dat je niet over uitwerkingen beschikt zoals tijdens een toets of eindexamen. Uit diverse gesprekken met leerlingen is naar voren gekomen dat ze de extra tijdsinvestering moest worden gedaan tijdens de lessenserie het waard was, vanwege bovenstaande eigenschappen. Daarbij is de bonus voor sommige leerlingen een extra stimulans op het moment dat ze niet zelf overtuigd zijn van de doelstellingen van het model. Zowel in dit onderzoek als in het Tsjechische onderzoek (Stuchlikova, et al., 2017) komt naar voren dat leerlingen het soms lastig vinden om feedback te geven. Omdat de leerlingen dezelfde voorkennis hebben is het lastig hiervoor een pasklare oplossing voor te geven. Een mogelijke suggestie los van wat we eerder hebben genoemd, zijn de voorbereidende lessen. Als deze meer gefaseerd worden aangeboden, kan er beter worden geoefend met hoe je feedback geeft als je zelf niet over voldoende wiskundige kennis beschikt. Voor leerlingen is het vaak lastig om andermans denkproces te volgen en de strategieën van Poyla (Polya, 1945) zouden hierbij kunnen helpen. Het tweede is de tijd, per week twee opdrachten maken, feedback geven en feedback verwerken is een hoog tempo. Zeker omdat de docent elke week de opdrachten moet voorzien van een score en de verschillende oplossingsstrategieën moet verzamelen. Omdat de docent na de lessen meetkunde uit het boek vaak herhalingsopgaven uit oude examens met de klas behandelt zou er ook voor een andere indeling kunnen worden gekozen. Door na elke paragraaf geschikte eindexamenopgaven te oefenen, zou er in plaats van 1 week per paragraaf 1,5 week per paragraaf kunnen worden gewerkt. Dit zorgt ervoor dat de docent meer tijd heeft om al het leerlingwerk te bekijken zodat er tijdens de les voldoende tijd is om de verschillende oplossingsstrategieën te vergelijken. Het krachtige van deze interventie is de keuze voor het onderwerp analytische meetkunde. Bij gestandaardiseerde opgaven zoals algebraïsche vraagstukken heeft peerfeedback geen zin. Uit gesprekken met leerlingen blijkt dat het weglakken van de uitwerkingen ervoor heeft gezorgd dat ze weliswaar niet de uitwerkingen konden overschrijven uit het uitwerkingenboek, maar groepjes bij elkaar in OneNote hebben gekeken om te zien hoe ze een opgave konden oplossen. In een vervolgonderzoek zou onderzocht kunnen worden wat het effect is als een groep alleen bij zichzelf kan kijken in vergelijking met een groep die bij andere groepjes kan kijken. Daarbij is het interessant of het kunnen kijken bij andere groepjes ervoor zorgt of het totaalaantal verschillende oplossingsstrategieën veranderd. Verder zou dit model met meer literatuurstudie en een grotere steekproef over meerdere scholen verspreid in Nederland, te generaliseren zijn naar alle wiskunde B leerlingen in Nederland. Over meetkundeonderwijs bestaan er een aantal theorieën zoals de Van Hieles denkniveaus (Crowley, 1987). In een vervolgstudie zou het interessant zijn om bestaande leertheorie over meetkunde onderwijs te koppelen aan het model van peerfeedback. 49 6. Aanbevelingen Zoals eerder is opgemerkt is er weinig onderzoek gedaan naar de toepassing van peerfeedback bij het leren van wiskunde. In dit onderzoeksverslag wordt een kant en klaar model voor het geven, ontvangen en verwerken van peerfeedback geëvalueerd waarbij de nadruk ligt op het ontwikkelen van vaardigheden voor wiskundige denkactiviteiten. Tegenwoordig willen steeds meer leraren formatief werken. Docenten wiskunde vormen hierin geen uitzondering, Jorgen van Remoortere (Ashram College) heeft van de brugklas het hele boek opgedeeld in leerdoelen. Vaak krijg ik van collega’s te horen dat het werken met peerfeedback een stap verder gaat dan het werken met leerdoelen. Dit onderzoeksverslag bewijst het tegendeel, want met minimale aanpassingen aan een klassieke manier van lesgeven is het werken met peerfeedback velen male minder omslachtig dan het werken met leerdoelen. Het enige waar peerfeedback in dit geval verder rijkt dan het werken met leerdoelen, is dat leerlingen gezamenlijk niet routinematige wiskundeopgaven leren oplossen. Sinds het examen in 2017 kent havo wiskunde B en sinds 2018 vwo wiskunde B de zogenaamde wiskundige denkactiviteiten (Drijvers, 2011). Op dit moment bestaat er nog geen algemene didactiek om met leerlingen wiskundige denkactiviteiten te onderwijzen. Wel zijn er door het land heen meerdere scholingen geweest over wiskundige denkactiviteiten, waar ik ook naar toe ben gegaan, maar nergens wordt een concreet model gegeven voor het leren van wiskundige denkactiviteiten. Daarbij is het onderwerp analytische meetkunde sinds 2017 nieuw en heeft de afgelopen 15 jaar niet in het eindexamenprogramma havo/vwo wiskunde B gezeten. Ikzelf heb flink geworsteld met de vraag hoe ik dit onderwerp moest behandelen zodat leerlingen echt wat zouden leren in plaats van de uitwerkingen uit het uitwerkingenboek over te schrijven. Met collega’s uit mijn netwerk heb ik hierover van gedachte gewisseld. Vaak kreeg ik dan te horen dan mijn collega’s veel herhaalde en als ik vertelde dat ik een model heb bedacht waarin ik in slechts drie weken het onderwerp behandel en de resultaten boven het landelijk gemiddelde liggen, was gelijk iedereen geïnteresseerd. Ik ben dan ook heel blij dat bij het schrijven van dit verslag het model kan worden gedeeld met collega’s in vaknetwerken en op mijn nieuwe school. Het model is zeker de eerste keer zwaar om te doen, maar de voordelen zoals dat leerlingen zich gezien voelen. Een docent die meer inzicht krijgt in het leren van leerlingen. Leerlingen die zich uitgedaagd voelen om een andere oplossingsstrategie te bedenken zijn zaken die voor mij opwegen tegen de investering die je in eerste instantie moet doen. Omdat dit model niet alleen specifiek bij analytische meetkunde of wiskunde kan worden toegepast wil ik het voor mijn andere master Leren en Innoveren gaan implementeren op het beta-plein. Het beta-plein is een plein waar alle leerlingen uit de havo/vwo bovenbouw door elkaar zitten voor de vakken: biologie, natuur-, schei-, wiskunde B en D. Op mijn nieuwe school het JSG Maimonides zitten er in totaal ongeveer 25 leerlingen in de hele bovenbouw havo/vwo. Dit betekent dus dat er mooie kansen liggen om aan de slag te gaan met peerfeedback waarbij er mogelijkheden liggen om door oudere peers feedback te geven. Ik wens iedereen die dit model gaat toepassen veel succes en raad het lezen van het praktijkonderzoek van mijn medeonderzoekster Chellie de Boer van harte aan. 6.1 Slotopmerkingen Tot slot willen we opmerken dat de device waarover je beschikking hebt van essentieel belang is. Het kunnen werken met een touchscreen in het onderwijs vergroot het aantal digitale mogelijkheden die je als leerling en docent hebt. De handgeschreven aantekeningen van de docent in OneNote zijn gemaakt met een touchpad. Een touchpad is een extern apparaat dat je via een usb kabel koppelt 50 aan je computer zodat je kunt tekenen. Dit werkt echter veel minder prettig dan wanneer je over een touchscreen beschikt en makkelijk als docent aantekeningen kunt maken in het werk van de leerlingen. Nu zijn dit soort devices zoals Surfacebook nog erg duur, maar binnen afzienbare tijd worden dit soort devices goedkoper waardoor ze op grote schaal binnen het onderwijs gebruikt zullen worden. Mocht Microsoft dit onderzoek over OneNote lezen en een Surfacebook willen doneren aan de docent dan houdt de onderzoeker zich hiervoor aanbevolen (een klassenset is trouwens ook welkom). 51 Bibliografie Baarda, B. (2014). Basisboek Methoden en Technieken. Groningen/Houten: Noordhoff Uitgevers bv. Bangert-Drowns, R., Kulik, C. L., Kulik, J. A., & Morgan, M. (1991). The instructional effect of feedback in test-like events. Review of Educational Research, 61, 213-238. Berg, van den, I., Pilot, A., & Admiraal, W. (2005). Peer assessment als leermiddel: Voorbeelden uit het hoger onderwijs. Utrecht: Universiteit Utrecht (IVLOS). Boaler, J. (2016). Mathematical Mindsets: Unleashing students' potential through creative math, inspiring messages and innovative teaching. Jossey-Bass. Boer, C., & Schors, van der, J. (2016). Het leren van 21st century skills bij wiskunde met behulp van peerfeedback via Microsoft OneNote. Hogeschool van Amsterdam. Ongepubliseerd verslag. Camerer, C., Loewenstein, G., & Weber, M. (1989). The curse of knowledge in economic settings: an experimental analysis. The Journal of Political Economy, 97, 1232-1254. Chen, W. (2017). Knowledge convergence among pre-service mathematics teachers through online reciprocal peer feedback. Knowledge Management & E-Learning, 1(9), 1-18. Chi, M. T., Feltovich, P. J., & Glaser, R. (1981). Categorization and representation of physics problems by experts and novices. Cognitive Science, 5, 121-152. Cho, K., & Schunn, C. D. (2007). Scaffolded writing and rewriting in the discipline. Comnputers and Education, 48, 409-426. Cito. (2017). Verslag van de examencampagne 2017 voortgezet onderwijs. Arnhem: Stichting Cito Instituut voor Toetsontwikkeling Arnhem . Crampton, C. (2001). The mutual knowledge problem and its consequences for dispersed collaboration. Organization Science, 346-371. Crowley, M. L. (1987). The van Hiele model of the development of geometric thought. 1-16. Cushing, A., Abbott, S., & Lothian, D. (2011). Peer feedback as an aid to learning – What do we want? Feedback. When do we want it? Now! Medical Teacher(33), 105-112. de Volkskrant. (2013, 14 12). Plofklassen. Opgeroepen op 3 21, 2017, van de Volkskrant: http://www.volkskrant.nl/archief/plofklassen~a3561991/ Deci, E. L., Koestner, R., & Ryan, R. M. (2001). Extrinsic Rewards and Instrinsic Motivation in Education: Reconsidered Once Again. Review of Educational Research, 1(71), 1-27. Donk, van der, C., & Lanen, van, B. (2016). Praktijkonderzoek in de school. Bussem: Uitgeverij Coutinho. Drijvers, P. (2011). Wat bedoelen ze toch met... denkactiviteiten? Nieuwe Wiskrant, 2(31), 1-3. Drost, M., & Verra, P. (2012). Handboek RTTI. In Handboek RTTI. Bodegraven: Uitgeverijplus BV. EenVandaag. (2013, 11 15). Politieke reactie op onderzoek klassengrootte. Opgeroepen op 3 21, 2017, van EenVandaag Jongerenpanel: http://jij.eenvandaag.nl/uitslagen/47845/politieke_reacties_op_onderzoek_klassengrootte 52 Enthoven, M., & Oostdam, R. (2014). De functie en zin van praktijkgericht onderzoek door studenten van educatieve hbo-opleidingen. Tijdschrift voor Lerarenopleiders, 35(3), 46-60. Freedman, S. W., Greenleaf, C., & Sperling, M. (1987). Response to student writing. Getal en Ruimte. (2016). Getal & Ruimte 11 e editie havo B deel 1: Parate en productieve vaardigheden per paragraaf. Groningen: Noordhoff Uitgevers bv. Gibbs, G., & Simpson, C. (2004). Conditions under which assessment supports students' learning. Learning and Teaching in Higher Education, 1, 3-31. Gielen, S. (2010). Improving the effectiveness of peer feedback for learning. Learning and Instruction, 20, 304-315. Hartley, S. S. (1977). Meta-analysis of the effects of individually paced instruction in mathematics. Unpublished Ph.D., University of Colorado at Boulder, CO. Hattie, J. A. (2014). Leren zichtbaar maken. Rotterdam: Bazalt Educatieve Uitgaven. Hattie, J. A., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81-112. Hinds, P. J. (1999). The curse of expertise: The effects of expertise and debiasing methods on predictions of novice performance. Journal of Experimental Psychology, 5(2), 205-211. Inspectie van het onderwijs. (2014). De staat van het onderwijs, onderwijsverslag 2012-2013. Utrecht. Jong, K. D. (2016). F`ormatief evalueren: Meer leerlingbetrokkehgeid en betere resultaten. Levende Talen Magazine, 103(4), 16-19. Kibler, J. (2011). Cognitive disequilibrium. Encylopedia of Child Behavior and Development, 380-380. Leraren in Actie. (2017, 1 21). Petitie tegen overvolle klaseen. Opgeroepen op 3 8, 2017, van Stop de overvolle klassen: https://www.stopdeovervolleklassen.nl/index.html Liu, M. F., & Carless, D. (2006). Peer feedback: The learning element of peer assessment. Teaching in Higher Education, 3(11), 279-290. Miyake, N. (1986). Constructive interaction and the iterative process of understanding. Cognitive Science , 10, 151-177. Narciss, S. (2008). Feedback strategies for interactive learning tasks. In Handbook of research on educational communications and technology (pp. 125-143). New York: Erlbaum. Nuthall, G. (2005). The cultural myths and realities of classroom teaching and learning: A personal journey. Teachers College Record, 5(107), 895-934. Polya, G. (1945). How to solve it, A new aspect of mathematical method. Princeton: Princeton University Press. Popta, van, E. (2017, januari 31). Leerlingen elkaar feedback laten geven: peer feedback. Opgehaald van https://docplayer.nl/42934816-Leerlingen-elkaar-feedback-laten-geven-peerfeedback.html Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of instrinsic motivation, social development, and well-beiing. American psychologist, 55(1), 68. 53 Schors, van der, J. (2018). Het implementeren van het peerfeedback OneNote model in de sectie wiskunde. Amsterdam: Hogeschool van Amsterdam. Stein, M., Engle, R., Smith, M., & Hughes, E. (2008). Orchestrating Productive Mathemactical Discussions: Five Practices for Helping Teachers Move Beyond Show and Tell. Mathematical Thinking and Learning, 313-340. Stuchlikova, I., Hospesova, A., Papacek, M., Petr, J., Rokos, L., Zavodska, R., & Zlabkova, I. (2017). Formative peer-assessment in biology and mathematics inquiry lessons by Czech student. ESERA 2017 Conference (pp. 1-3). Dublin: Dublin City University. Sukumaran, K., & Dass, R. (2014). Students’ Perspectives on the Use of Peer Feedback in an English as a Second Language Writing Class. Journal of Interdisciplinary Research in Education , 4(1), 2740. Thijs, A., Fisser, P., & Hoeven, van der, M. (sd). 21e eeuwse vaardigheden in het cirriculum van het funderend onderwijs. Enschede: SLO. Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68, 249-276. Tversky, A., & Kahneman, D. (1973). Availability: a heuristic for judging frequency and probability. Cognitive Psychology, 5, 207-232. Valk, van der, A. (2015). Feedback. In M. Ruijters, & R.-J. Simons, Canon van het leren (pp. 235-248). Deventer: Vakmedianet. Vedder, P. (1985). Cooperative learning: A study on processes and effects of cooperation between primary school children. Stichting voor Onderzoek van het Onderwijs. Groningen: Rijksuniversiteit Groningen. VOS/ABB. (2014, 4 2). Initiatief tegen ‘plofklassen’ strandt in Tweede Kamer. Opgeroepen op 3 21, 2017, van VOS/ABB: https://www.vosabb.nl/tag/plofklassen/ Weijters, B., Cabooter, E., & Schillewaert, N. (2010). The effect of rating scale format on response styles: The number of response categories and response category labels. International Journal of Research in Marketing, 3(27), 236-247. Yang, M. (2006). A comparative study of peer and teacher feedback in a Chinese EFL writing class. Journal of Second Language Writing, 14, 179-200. 54 Appendix A: Operationalisatietabellen 55 Appendix B: Enquête peerfeedback (deel 1) De originele enquête vragen komen uit het artikel ‘Students’ Perspectives on the Use of Peer Feedback in an English as a Second Language Writing Class’ (Sukumaran & Dass, 2014) in het artikel wordt peerfeedback gebruikt als alternatief voor feedback van de docent op een papieren schrijfopdracht. Er wordt gebruikt gebruik gemaakt van 19 likertschaal stellingen (1 tot 4) waarbij het gebruik van peerfeedback met “1” overeenkomt met een sterke bevestiging en “4” betekent dat er geen overeenkomst is (2,5 zal dus de neutrale waarde zijn). De 19 items waren oorspronkelijk verdeelt over drie subschalen, te weten: Positieve ervaring subschaal (PES), Online ervaring subschaal (OES) en de Negatieve ervaring subschaal (NES). De Pes subschaal bevatte 12 items waarbij er vooral werd gevraagd naar: mening van leerlingen over het nut van peerfeedback tijdens het leren (PES.1), het verbeteren van de samenwerking in de klas (PES.2) en de aspecten van redelijkheid (PES.3). Deze indicatoren komen niet geheel overeen mijn dimensies van peerfeedback, namelijk het geven, ontvangen en verwerken van peerfeedback. Daarom zal ik in de uiteindelijke enquête gebruik maken van eigen vragen zodat ik in de uiteindelijke enquête meet, wat ik wil meten. De OES subschaal bevat vijf items en gaat grotendeels over de PES subschaal alleen dan over de voordelen van in een online omgeving feedback geven ten opzichte van schriftelijk feedback geven. Omdat in mijn onderzoek alleen naar peerfeedback in de online omgeving OneNote wordt gekeken gebruik ik het begrip peerfeedback alsof het online peerfeedback is. De laatste NES subschaal heeft maar twee items die peerfeedback op een negatieve manier. Het gaat dan om de tijdsinvestering die peerfeedback kost en mening van leerlingen over wie verantwoordelijk is voor het geven van feedback. In de tabel hieronder staan in de eerste kolom de originele items nummers en in de tweede kolom de originele bijbehorende vragen. In de derde kolom staan de vragen in het Engels, maar zijn ze aangepast naar mijn eigen context. Op deze manier sluiten de enquête vragen aan op mijn wiskundige lessenserie in plaats van een Engelse schrijfvaardigheid. Tot slot zijn de vragen terugvertaald naar het Engels door een medestudent [naam] Dit proces van het aanpassen en het backward terugvertalen naar het Engels verhoogd instrumentele validiteit van de enquête (Baarda, 2014). De betrouwbaarheid van de enquête is 0.69 en wordt door de auteurs accepteerbaar genoemd. Mede omdat dit het eerste instrument is dat peerfeedback onderzoekt. Voor in de toekomst wijzen de auteurs erop dat het instrument moeten worden aangepast. item nr Originele vragen Aangepaste vragen naar lokale context Vertaling naar Nederlands 1 Peer feedback is helpful in improving the quality of my written work Adapting peerfeedback is helpful in improving the quality of my math work Het verwerken van de peerfeedback zorgt ervoor dat de kwaliteit van mijn wiskundehuiswerk verbetert 2 Peer feedback makes me understand more about the teacher’s requirement for a written work Adapting peerfeedback makes me understand more about the teacher’s requirement for the math homework Het verwerken van de peerfeedback zorgt ervoor dat ik beter begrijp wat de leraar belangrijk vindt voor mijn wiskundehuiswerk Peerfeedback makes me understand more about the teacher’s requirement for the final math test Peerfeedback zorgt ervoor dat ik beter begrijp wat de leraar belangrijk vindt voor de eindtoets wiskunde 2B Terugvertaling naar Engels 56 3 Providing feedback for others can improve my skills in assessing my own written work Providing feedback for others can improve my skills in assessing my own math work Het geven van feedback aan klasgenoten kan ervoor zorgen dat ik beter mijn eigen wiskunde werk kan beoordelen 4A Peer feedback activities motivate me to learn to write better Peerfeedback activities motivate me to learn to do my math homework better Het geven van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken 4B 5A Het ontvangen van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken Peer feedback activities increase the interaction between my teacher and me Peerfeedback activities increase the interaction between my teacher and me 5B 6A Het ontvangen van peerfeedback zorgt voor meer interactie tussen mij en de leraar Peer feedback helps me develop a sense of participation in my writing class Peerfeedback helps me develop a sense of participation in my math class 6B 7A Het geven van peerfeedback zorgt voor meer interactie tussen mij en de leraar Het geven van peerfeedback zorgt ervoor dat ik meer betrokken ben bij de wiskundeles Het ontvangen van peerfeedback zorgt ervoor dat ik meer betrokken ben bij de wiskundeles Peer feedback activities increase the interaction between my classmates and me Peerfeedback activities increase the interaction between my classmates and me 7B Het geven van peerfeedback zorgt voor meer interactie tussen mij en mijn klasgenoten Het ontvangen van peerfeedback zorgt voor meer interactie tussen mij en mijn klasgenoten 8 I think using peer feedback is a useful method in providing feedback to students I think using peerfeedback is a useful method in providing feedback to students Ik denk dat het gebruik van peerfeedback een goede methode is om feedback te geven aan leerlingen 13 Peer feedback activities help me understand what other classmates think Processing peerfeedback activities help me better understand what other classmates think Het verwerken van peerfeedback zorgt ervoor dat ik beter begrijp wat andere leerlingen denken 57 14 Having a criteria for peer feedback helps me to construct meaningful feedback Having a criteria for peer feedback helps me to construct meaningful peerfeedback Richtlijnen voor het geven van peerfeedback zorgen ervoor dat ikzelf betere peerfeedback kan geven 15 Students should participate in the development of criteria for peer feedback activities Students should participate in the development of criteria for peer feedback activities Leerlingen zouden betrokken moeten zijn bij de ontwikkeling van de criteria voor peerfeedback 17 There should be a sample essay and sample feedback given to help with the peer feedback process There should be a sample math homework and sample feedback given to help with the peerfeedback process Om betere peerfeedback te geven zou er een voorbeeld som moeten worden gegeven met voorbeeld peerfeedback. 9 Online peer feedback activities can be timesaving 10 Online peer feedback activities can increase the interaction among classmates 11 Online peer feedback activities can increase the interaction between the teacher and students 12 Online peer feedback activities is a fair method when used to provide feedback to students Peerfeedback activities is a fair method when used to provide feedback to students Peerfeedback is een goede methode om feedback te geven aan leerlingen. 16 The aspect of anonymity in online peer feedback activities enable me to provide a more critical feedback The aspect of anonymity in peerfeedback activities enable me to provide a more critical feedback Het zelfstandig mogen geven van peerfeedback zorgt ervoor dat ik meer kritische feedback geef. 17 I think students should not be responsible for providing feedback on peers’ written work I think students should not be responsible for providing feedback on peers’ math homework Ik denk dat leerlingen niet verantwoordelijk mogen zijn om peerfeedback te geven op het wiskundehuiswerk van andere leerlingen 18 Online peerfeedback is time-consuming Giving peerfeedback takes too much time and is therefore not worth it Het geven van peerfeedback kost teveel tijd en is daardoor niet de moeite waard 58 Appendix C: Enquête peerfeedback (deel 2) Omdat de in Appendix B bijgevoegde enquête weinig negatieve items bevat ben ik opzoek gegaan naar een enquête met meer negatief geformuleerde statements. Tevens kwam ik een aantal positief geformuleerde statements tegen die niet in de enquête in Appendix B zaten, deze 8 items heb ik toegevoegd in onderstaande tabel. De vragen komen uit het artikel ‘Peer feedback as an aid to learning – What do we want? Feedback. When do we want it? Now!’ (Cushing, Abbott, & Lothian, 2011). Waarbij studenten aan een medische opleiding in een peerfeedback achtige werkvorm direct feedback op elkaar moesten geven in een medisch rollenspel. Hierbij wij steeds één iemand de student, één iemand de observator en één iemand de examinator. Omdat mijn leerlingen niet direct, maar op door henzelf vastgestelde momenten feedback moesten geven, gebruik ik hier het woord peerfeedback iets consequenter dan in de originele vragenlijst. Daarnaast heb ik bewust items uit de vragenlijst niet opgenomen omdat die niet voldeden aan mijn context (ik gebruik 14 van de 20 items). Ook hier wordt van een 4 punts likertschaal gebruik gemaakt waarbij “1” een sterke overeenkomst is en “4” betekent totaal niet mee eens. Over de betrouwbaarheid van de enquête wordt helaas niets vermeld in het artikel. item nr Originele vragen Aangepaste vragen naar lokale context Vertaling naar Nederlands 1 Feedback helps me to understand issues better Adapting peerfeedback helps me to understand my math homework better Het verwerken van peerfeedback zorgt ervoor dat ik beter mijn wiskundehuiswerk begrijp 2 Feedback helps me to improve Adapting peerfeedback helps me to improve my math skills Het verwerken van peerfeedback zorgt ervoor dat ik mijn wiskundige vaardigheden verbeter 3 I found it difficult giving feedback to my colleagues I found it difficult giving feedback to my peers. Ik vond het moeilijk om peerfeedback aan mijn groepsgenoten te geven 4 I listen carefully to feedback I read carefully to the peerfeedback I reserve Ik lees zorgvuldig the peerfeedback die ik heb gekregen 5 I will use the feedback I will use the to go over my peerfeedback to go performance over my performance Ik gebruik de peerfeedback om mijzelf te verbeteren 6 I learnt new things whilst being an examiner Ik leer zelf nieuwe dingen als ik peerfeedback geef aan medeleerlingen 7 I felt that I was able to I felt that I was able to be honest in my be honest in my feedback peerfeedback Ik had het gevoel dat ik eerlijk kon zijn bij het geven van peerfeedback 8 I would learn better if I had more in-depth feedback Ik zou meer leren als de kwaliteit van de peerfeedback beter was I learnt new things when I’m producing peerfeedback. I would learn better if I had more in depth peerfeedback Terugvertaling naar Engels 59 9 When I got things wrong or misunderstood, I did not receive much guidance When I got things wrong or misunderstood, I did not receive much guidance Als ik iets niet begreep of fout had, ontving ik weinig hulp 10 The feedback I received was not useful I have had little of the peerfeedback I received Ik heb weinig gehad aan de peerfeedback die ik ontving 11 Feedback mainly tells me how well I did compared to others Peerfeedback mainly De peerfeedback die ik tells me how well I did ontving, ging vaak over hoe compared to others ik het deed ten opzichte van de andere groepsgenoten 12 I did not understand some of the feedback I did not understand some of the peerfeedback Ik begreep niet altijd de peerfeedback die ik ontving 13 I would prefer feedback from tutors rather than my colleagues I would prefer feedback from teachers rather than my peers Ik zou het fijner vinden om feedback van een leraar te krijgen dan van medeleerlingen 14 Feedback is not likely to be much help for the future performances Peerfeedback is not likely to be much help for the future math performances. Peerfeedback gaat mij waarschijnlijk niet veel helpen in mijn toekomstige wiskundige prestaties 60 Appendix D: Uiteindelijke enquête Peerfeedback Mijn uiteindelijke enquête is een samenvoeging van de enquêtes in appendices B tot en met E. Bij de variabele peerfeedback wil ik kijken naar de dimensies geven, ontvangen en verwerken van de peerfeedback. De nummering in de eerste kolom verwijst naar de originele enquête. Waarbij het eerste cijfer verwijst naar de enquête deel 1 (Appendix B) of deel 2 (Appendix C). Het tweede nummer verwijst naar het originele item nummer en de eventuele letter erachter duidt erop dat deze vraag ik aangepast op de drie dimensies, geven, ontvangen en verwerken van peerfeedback. In de tweede kolom staat de huidige nummering die ik aanhoud in SPSS en in de verwerking van de resultaten in onderzoeksmethoden 3. De originele enquête had een vier punts Lickert scale. Bij een vier punts Lickert scale wordt de geënquêteerde gedwongen om stelling te nemen, want een neutrale optie bestaat er niet. Na overleg met Rene Reumerman, docent Statistiek aan de Master opleiding wiskunde van de Hogeschool van Amsterdam, heb ik besloten om over te gaan op een 5 punts Lickert scale. De leerlingen kunnen namelijk nu noch mee eens/noch mee oneens zijn met een stelling. Door het toevoegen van deze optie zouden leerlingen minder snel gedemotiveerd raken tijdens het invullen van de enquête omdat je niet altijd stelling hoeft te kiezen. Ook als je twijfelt. Onderstaande codering heb ik aangehouden voor het invullen van de enquête. 1 punt 2 punten 3 punten 4 punten 5 punten Sterk mee eens Mee eens Noch mee eens/noch mee oneens Mee oneens Sterk mee oneens De originele enquête is via deze koppeling te bekijken in de online omgeving van Jotform https://form.jotformeu.com/71092013327345 nr org enq nr n enq Vraag 1.4A PF.G.1 Het geven van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken 1.5A PF.G.2 Het geven van peerfeedback zorgt voor meer interactie tussen mij en de leraar 1.6A PF.G.3 1.7A PF.G.4 Het geven van peerfeedback zorgt ervoor dat ik meer betrokken ben bij de wiskundeles Het geven van peerfeedback zorgt voor meer interactie tussen mij en mijn klasgenoten 1.8 PF.G.5 Ik denk dat het gebruik van peerfeedback een goede methode is om feedback te geven aan leerlingen 1.3 PF.G.6 Het geven van feedback aan klasgenoten kan ervoor zorgen dat ik beter mijn eigen wiskunde werk kan beoordelen 1.14 PF.G.7 Richtlijnen voor het geven van peerfeedback zorgen ervoor dat ikzelf betere peerfeedback kan geven 61 1.15 PF.G.8 Leerlingen zouden betrokken moeten zijn bij de ontwikkeling van de criteria voor het geven van peerfeedback 1.17 PF.G.9 Om betere peerfeedback te geven zou er een voorbeeld som moeten worden gegeven met voorbeeld peerfeedback 1.16 PF.G.10 Het zelfstandig mogen geven van peerfeedback zorgt ervoor dat ik meer kritische feedback geef 1.17 PF.G.11 Ik denk dat leerlingen niet verantwoordelijk mogen zijn om peerfeedback te geven op het wiskundehuiswerk van andere leerlingen 1.18 PF.G.12 Het geven van peerfeedback kost teveel tijd en is daardoor niet de moeite waard 2.3 PF.G.13 Ik vond het moeilijk om peerfeedback aan mijn groepsgenoten te geven 2.6 PF.G.14 Ik leer zelf nieuwe dingen als ik peerfeedback geef aan medeleerlingen 2.7 PF.G.15 Ik had het gevoel dat ik eerlijk kon zijn bij het geven van peerfeedback 1.4B PF.O.1 Het ontvangen van peerfeedback motiveert mij om te leren hoe ik mijn wiskundehuiswerk beter kan maken 1.5B PF.O.2 1.6B PF.O.3 Het ontvangen van peerfeedback zorgt voor meer interactie tussen mij en de leraar Het ontvangen van peerfeedback zorgt ervoor dat ik meer betrokken ben bij de wiskundeles 1.7B PF.O.4 Het ontvangen van peerfeedback zorgt voor meer interactie tussen mij en mijn klasgenoten 2.4 PF.0.5 Ik lees zorgvuldig the peerfeedback die ik heb ontvangen 2.8 PF.0.6 Ik zou meer leren als de kwaliteit van de peerfeedback beter was 2.10 PF.0.7 Ik heb weinig gehad aan de peerfeedback die ik ontving 2.11 PF.0.8 De peerfeedback die ik ontving, ging vaak over hoe ik het deed ten opzichte van de andere groepsgenoten 2.12 PF.0.9 Ik begreep niet altijd de peerfeedback die ik ontving 2.13 PF.0.10 Ik zou het fijner vinden om feedback van een leraar te krijgen dan van medeleerlingen 1.2B PF.V.1 Het verwerken van peerfeedback zorgt ervoor dat ik beter begrijp wat de leraar belangrijk vindt voor de eindtoets wiskunde 1.2A PF.V.2 Het verwerken van peerfeedback zorgt ervoor dat ik beter begrijp wat de leraar belangrijk vindt voor mijn wiskundehuiswerk 1.13 PF.V.3 Het verwerken van peerfeedback zorgt ervoor dat ik beter begrijp wat andere leerlingen denken 1.1 PF.V.4 Het verwerken van de peerfeedback zorgt ervoor dat de kwaliteit van mijn wiskundehuiswerk verbetert 2.1 PF.V.5 Het verwerken van de peerfeedback zorgt ervoor dat ik beter mijn wiskundehuiswerk begrijp 62 2.2 PF.V.6 Het verwerken van de peerfeedback zorgt ervoor dat ik mijn wiskundige vaardigheden verbeter 2.5 PF.V.7 Ik gebruikte de peerfeedback om mijzelf te verbeteren 2.14 PF.V.8 Peerfeedback gaat mij waarschijnlijk niet helpen in mijn toekomstige wiskundige prestaties extra PF.V.9 Het is mij altijd gelukt om de peerfeedback te verwerken 63 Appendix E: Lesontwerp peerfeedback Het is belangrijk om de leerlingen goed voor te bereiden op het geven van peer feedback. Daarom is de eerste les volledig gericht op het informeren over en oefenen van peer feedback. Het eerste formulier dat we hebben gemaakt is een invulformulier waarbij we gebruik maken van een video van Ron Berger over kritiek en feedback gevonden op de blog van Esther Popta (onderzoekster HAN). Dit formulier staat onder het lesplan. In onderstaand schema zie je uit welke onderdelen onze les bestaat en welke doelen en 21st century skills daaraan gekoppeld zijn. Les 1: Appendix A Introductie Filmpje Ron Berger over feedback • • Noem drie dingen die je goed vindt aan de manier van feedback geven in de video. Leg uit waarom. Kun je twee nadelen noemen van deze manier van feedback geven? Leg uit waarom. Opstellen van feedbackafspraken • Welke afspraken wil je maken voor het geven van feedback in je groepje. Oefening feedback • Welke feedback zou je geven op onderstaande opdracht van een leerling. Doelen 1. Toelichten waarom we peer feedback gaan gebruiken en wat de leerlingen hiervan kunnen leren. 2. Toelichten hoe het proces gaat verlopen en wat we wanneer verwachten. 3. Het bespreken van de beoordelingscriteria van de opdracht in overleg met de studenten. 4. Modelleren hoe peer feedback verloopt. 5. Het ontwikkelen van feedbackvaardigheden van de leerlingen door: o Het bespreken van de beoordelingscriteria en relateren aan voorbeelden van peer feedback. o Het doorlopen van voorbeelden van peer feedback. 6. Het opstellen van feedbackafspraken in overleg met de studenten. 21st century skills • • Communiceren Kritisch denken • • Samenwerken Sociale vaardigheden Communiceren • 7. Het ontwikkelen van feedbackvaardigheden van leerlingen door: o Het geven van peer feedback op een gezamenlijk voorbeeld en vergelijken en bespreken dit onderling met elkaar. • • • Probleemoplossend vermogen Kritisch denken Creativiteit Naam: ….................................................................................................................................. 64 Noem drie dingen die je goed vind aan de manier van feedback geven in de video. Leg uit waarom. 1. ….................................................................................................................................. ….................................................................................................................................. 2. ….................................................................................................................................. ….................................................................................................................................. 3. ….................................................................................................................................. ….................................................................................................................................. Kun je twee nadelen noemen van deze manier van feedback geven? Leg uit waarom. 1. ….................................................................................................................................. ….................................................................................................................................. 2. ….................................................................................................................................. ….................................................................................................................................. Welke afspraken wil je maken voor het geven van feedback in je groepje. 1. ….................................................................................................................................. ….................................................................................................................................. 2. ….................................................................................................................................. ….................................................................................................................................. 3. ….................................................................................................................................. ….................................................................................................................................. 65 Welke feedback zou je geven op onderstaande opdracht van een leerling. ….................................................................................................................................. ….................................................................................................................................. ….................................................................................................................................. ….................................................................................................................................. ….................................................................................................................................. ….................................................................................................................................. 66 Appendix F: Interviewleidraad Introductie: Voor de kerstvakantie hebben we hoofdstuk over analytische meetkunde behandeld. Tijdens het hoofdstuk hebben we gewerkt met Microsoft OneNote om in groepjes met elkaar te kunnen samenwerken. Elke week heb je een opdracht in OneNote gezet, bij één iemand in je groepje peerfeedback gegeven vervolgens je ontvangen peerfeedback verwerkt In het kader van mijn studie wil ik onderzoeken hoe jij dit hebt ervaren. Het interview ga ik opnemen zodat ik mij volledig kan focussen op ons gesprek. Achteraf ga ik alles uitschrijven. Tijdens het uitschrijven gebruik ik niet jouw naam, je wordt geanonimiseerd en zal worden genoemd leerling X. Tijdens dit interview ben ik nieuwsgierig naar jouw persoonlijke ervaringen, maar wil ik ook meer te weten komen over je standpunten. Hierbij geldt altijd dat er geen goede of foute antwoorden bestaan, je kunt werkelijk alles zeggen. Hiermee kan je namelijk mijn onderzoek helpen. Topiclijst: o Geven van peerfeedback o Betrokkenheid o Motivatie (zelf nogmaals proberen) o Begrijpen (voorbeeld opgave met uitwerkingen) o Interactie o Ontvangen van peerfeedback o Interactie o Kwaliteit van de peerfeedback o Verwerken van peerfeedback o Effectiviteit (voor het leren) o Begrijpen (doelstellingen van de toets) o OneNote (als tool waarmee gewerkt is, evt. ervaringen over het gebruik) o Keuzevrijheid (autonomie, opgaven, groepsgenoten, inlever momenten) o Uitwerkingen (in de uitwerkingen waren de vragen voor de OneNote opdracht zwart gelakt) Vragenlijst 1. Kun je vertellen wat er goed ging aan het geven/ontvangen/verwerken van peerfeedback? 2. Kun je vertellen wat er minder goed ging aan het geven/ontvangen/verwerken van peerfeedback? 3. Wat heb je geleerd van het geven/ontvangen/verwerken van peerfeedback? Afsluiting: Ik wil je bedanken voor het interview. Als ik het interview heb uitgeschreven zal ik je een kopie geven zodat je het zelf nog kan nalezen en eventueel aanvullingen kunt doen. Vragen bij vastlopen van interview: 1. Welk gevoel had je toen je een medeleerling moest beoordelen? 2. Waarom denk je dat we voor dit hoofdstuk gekozen hebben voor peerfeedback? 3. Zijn er ook problemen of bezwaren bij het gebruik van peerfeedback? 4. Wat is je standpunt over het gebruik van peerfeedback bij wiskunde? 67 Appendix G: werkschema Werkschema 5 havo wiskunde B bij het onderwerp analytische meetkunde. 68 Appendix H: resultaten OneNote opdracht Hieronder staan de resultaten van de peerfeedback opdracht. Per week was de maximumscore 0,3. Onder elke kolom staat de gemiddelde score vermeld. Onder de totaalkolom staat de gemiddelde somscore vermeld. De gemiddelde somscore is 0,49 en had bij alles volledig juist maken 0,9 kunnen zijn. Huiswerkquiz klassement 2016-2017 5 Havo wiskunde B J.L.S. van der Schors Leerlingen Felice Gijs Sander Kevin Chantal Anouk Daisy Riecardo Syenna Joyce Tristan Sanne Wouter Tom Tom Robin Henk-Jan Myron Cuno Stella Lanko Anne Tim Beertje Max Julot Elwin Harm Jelle Arjen Tamara Michael week 1 0,2 0,2 0,25 0,15 0,1 0,15 0,15 0,15 0,15 0,3 0,15 0,1 0,3 0,2 0,25 0,1 0,2 0,1 0,25 0,15 0,1 0,25 0,2 0,2 0,25 0,15 0,15 0,15 0,15 0,25 0,2 0,25 0,184375 week 2 0,25 0,3 0,25 0,15 0,25 0,15 0,1 0,2 0,1 0,1 0,15 0,15 0,2 0,05 0,2 0 0,05 0,25 0,3 0,25 0,05 0,25 0,25 0,3 0 0,2 0,2 0,15 0,2 0,2 0,2 0,2 0,1765625 week 3 0,25 0,25 0,3 0 0 0,05 0,3 0,2 0,25 0,3 0 0,05 0,15 0,2 0,05 0 0 0,25 0,2 0,15 0,25 0,2 0,25 0,15 0 0,15 0,3 0,1 0,2 0,25 0,2 0,25 0,1640625 opdracht 1 totaal gedaan 0,7 gedaan 0,75 0,8 gedaan 0,3 0,35 0,35 gedaan 0,55 0,55 gedaan 0,5 gedaan 0,7 0,3 gedaan 0,3 gedaan 0,65 gedaan 0,45 0,5 0,1 0,25 0,6 gedaan 0,75 0,55 0,4 gedaan 0,7 0,7 0,65 0,25 gedaan 0,5 0,65 0,4 gedaan 0,55 gedaan 0,7 gedaan 0,6 gedaan 0,7 0,525 69 Appendix I: Schoolexamencijfers meetkunde Hieronder zijn de cijfers van de leerlingen uit 5 havo wiskunde B verzamelt. De gegevens zijn geupdate op 7-72017. Helaas kunnen de cijfers niet worden gekoppeld aan de enquêteresultaten. Dit omdat de enquête echt anoniem is afgenomen. Wat wel interessant is om te onderzoeken of de leerlingen significante verbetering hebben gemaakt tijdens de OneNote interventie in hoofdstuk 10 t.o.v. de andere twee meetkunde hoofdstukken hoofdstuk 3 en 7. Verder heb ik de verzamelcijfers vermeld in de vierde EDR4 en in de vijfde klas EDR5 en tot slot het SE en CE cijfer. 2 toets H3 Felice Gijs Sander Kevin Chantal Anouk Daisy Riecardo Syenna Joyce Tristan Sanne Wouter Tom Tom Robin Henk-Jan Myron Cuno Stella Lanko Anne Tim Beertje Max Julot Elwin Bob Harm Jelle Arjen Tamara Michael 2 so H7 8,8 3,6 8,7 7,1 5,2 5,4 4 1,6 4,6 4,2 5,1 4,3 3,8 5,8 6,2 4,3 4,6 6,4 5,6 7,1 6,2 8,8 5,6 4,9 6,2 3,3 5,4 5,1 6,1 4,5 6,4 4,3 8,1 7,8 3,5 6,6 5,1 5,3 4,4 6,9 5,5 6,2 8,4 2,4 4,8 5,7 6,9 6,9 2,8 6,4 8 6,2 7,1 7,3 8 6,9 8,4 8,4 7,1 8 6,2 5,3 7,1 6,4 4,6 5,5 6 sameng sameng toets H10 EDR4 EDR5 SE 9,1 8,1 8,9 6,8 5,2 7,3 8,3 7,6 8,6 5,8 5,8 5,7 5,7 5,9 6,8 7 4,7 6,6 8,6 6,5 7 5,6 3,9 6,7 9 4,9 7,5 7,9 6 7,9 3,8 5,1 5,4 6,2 5 6,7 7,1 5,4 7,3 7,2 5,4 6,5 7,5 6,3 6,8 5,2 3,9 6,3 5,3 5,3 6,9 9,5 6,8 8 6,7 5,6 7,3 9,1 7,1 8,7 7,6 7,3 7,3 4,8 7 5,9 10 7 9,6 5,6 5,6 6,2 9,8 6,8 8,1 3,3 6,2 4,7 6,3 6,4 7 6,9 6 6,1 7,3 6,1 6,6 5,2 6,2 6 7,5 6,2 7 8,1 5,4 6,6 9,4 6,7 7,7 50% 50% CE 8,4 6,2 7,5 5,5 6,2 5,5 5,8 5,6 6 6,7 5,7 5,1 6,7 5,5 5,5 5,4 5,8 7,7 7 7,5 7,1 6,4 8,7 6,4 7 5,5 6,8 5,6 5,8 6 6,4 5,5 6,2 7,3 8,9 7,8 7,7 6,9 6,1 6,7 5,3 6,5 7,7 8 7,4 6,7 7,8 7 8,6 7,5 7,5 7,8 9,3 9,2 7 9,9 6,5 7,8 7,4 9 8,6 5,8 4,5 7,4 5,9 7,7 5,49393939 6,24545455 7,06666667 5,98181818 7,02121212 6,32424242 7,43030303 70 Appendix J: Wolf gegevens 2017 Hieronder staan de Wolf gegevens van 5 havo wiskunde B van het examen havo wiskunde B. Alle scores waarachter een sterretje staat verschillen de scores ten opzichte van het landelijk gemiddelde met een 95% betrouwbaarheidsinterval. Zoals is af te lezen in de tabel verschillen de scores op het domein meetkunde en analyse met een 95% betrouwbaarheidsinterval ten opzichte van het landelijk gemiddelde. Hoewel ik dit niet mag vergelijken met de voorgaande jaren vanwege een wijziging in het examenprogramma in het domein meetkunde, is dit een opmerkelijk verschil. In de afgelopen vier jaar heb ik nooit een significant verschil gehad ten opzichte van het landelijk gemiddelde in het domein meetkunde. Sterker nog vaak lagen mijn procentuele scores onder het landelijk gemiddelde. 71 Appendix K: Interview leerling M In tabel M.1 zijn de axiale en open codes met relevante passages gegeven. Onder deze tabel is een groot deel van het 30 minuten durende interview met leerling M uitgeschreven. Delen die zijn overgeslagen zijn aangegeven in het transcript. Om de interne validiteit van dit interview te verhogen is het interview na het uitschrijven voorgelegd aan de betreffende leerling voor aanvulling en goedkeuring. De betreffende leerling heeft aangegeven geen aanvullingen te willen doen en dat het interview juist is opgeschreven. Het interview is afgenomen op 31 mei om 11:15 op het Amstelveen College. Er was geen tijdsdruk en het interview is in een speciale gespreksruimte afgenomen. Tijdens het interview hebben er geen onderbrekingen of andere storingen plaatsgevonden. De interviewleidraad die bij dit interview hoort is terug te vinden in Appendix I. Tabel M.1: Codering open en axiaal met relevante passages interview met leerling M. Axiale codering effectiviteit kwaliteit van de feedback kwaliteit van de feedback Open codering Gemakkelijk te zien wat er fout ging en verbeteren relevante passages Als je nadenkt over het geven van peerfeedback aan mensen in je groepje, kun je dan vertellen wat daar goed aan ging? Eh nou als iemand iets fout had gedaan was het makkelijk om feedback te geven. Je kon gelijk zien, oke hij heeft dit stapje overgeslagen dus komt niet op het goede antwoord uit. Kun je gelijk duidelijk ernaast schrijven. Als iemand het Van je eh je hebt dit en dit verkeerd gedaan en op deze manier. Als je het de volgende keer zo doet kun je het niet juist heeft fout doen. Maar als je niets fouts ontdekt dan gaat het gedaan is het lastig feedback t feedback geven wat minder en dat heb ik ook ervaren. In de tweede week dat we feedback gaven gaf ik aan een geven andere leerling feedback, maar die had het helemaal compleet goed gedaan dus er viel geen feedback te geven toen. Oke en eh kun je ook vertellen of je iets geleerd hebt van het geven van peerfeedback? beter kijken naar andermans Ehm beter kijken naar ander werk om te kijken of je zelf werk iets kunt verbeteren denk ik. Hoe vond je de oefening van voorafgaand aan het geven van peerfeedback? begrijpen van de opdracht nuttig om te oefenen met geven van feedback en een lijst te hebben met punten kwaliteit van de feedback Bij het ontvangen van feedback. Kun je vertellen wat daar goed aan ging? Dus de feedback die jij hebt Je hebt een fout ontvangen? gemaakt en moet kijken hoe Het filmpje vond ik niet nuttig, maar de oefening om feedback op elkaar te geven was wel nuttig. Hierdoor ging je tijdens het feedback geven die standpunten af als dat kon. 72 spieken je het beter kunt Ehm ja, ja het was duidelijk dat als ik iets fout had gedaan gaan doen van ja eh je hebt een foutje gemaakt. Je moet dus kijken hoe je het beter kunt gaan doen enzovoort. De een had aangeven als je dit nou beter doet dan kom je wel goed Ik had gespiekt uit. Eh ja maar tweede week had ik gespiekt bij iemand anders want ik kwam er niet uit. Ik liep vast en zag iets hoe het moest niet. Ik kwam niet uit op die hoek geloof ik. Dus ik had om eruit te gespiekt hoe het moest en toen kwam ik wel weer in een komen. keer uit. En de feedback die je ontving was dat altijd feedback waarmee je wat kon? Kwaliteit van de Ging niet voor feedback/motivatie de hoge bonus, dus feedback was kortaf De OneNote opdrachten motivatie/betrok- zorgde ervoor kenheid dat ik thuis serieus opdrachten maakte. begrijpen van de opdracht begrijpen van de opdracht Nee, het ligt er echt precies aan wie het doet. Want de een was echt, die had er niet zoveel zin in. Dus die ging niet echt voor de echt de hoge bonus, die ging voor een paar puntjes. Dan was het echt kort af. En de ander die had het voluit geschreven en daar kon je wat mee. En heeft het naast zeg maar dat je af en toe het kon verwerken omdat het goede feedback was. Heeft het je nog meer opgeleverd. In de zin van dat je anders tegen de opgaven bent gaan aankijken Ik ben zeker niet beter mijn huiswerk gaan bijhouden. Want dat eh heb ik in die twee jaar niet veel gedaan. En ja het hielp wel want ik maakte hierdoor wel echt opdrachten thuis. En ik maakte ze echt serieus. Dat als ik zeggen maar een kwartier bezig om het zo goed mogelijk te doen. Dus ik denk dat het wel heeft geholpen bij het hoofdstuk. Denk je als je terugkijkt naar dit project dat je een hoger cijfer hebt gehaald voor de toets of het beter bent gaan begrijpen door dit project? Aantal fouten eruit gehaald door opgaven te Ja een hoger cijfer zeker. Want ik heb er een aantal fouten maken. uit gehaald door die opgaven te maken. Denk dat ik wel een half puntje hoger heb gehaald daardoor. OneNote opdrachten zijn moeilijkere opdrachten, als je die begrijpt krijg je meer inzicht. Denk je dat daardoor je cijfer op het centraal schriftelijk op de meetkunde onderdelen daardoor hoger is? Want de OneNote opdrachten zijn toch echt de moeilijkere opdrachten zijn en zodra je die begrijpt dan krijg je meer inzicht vooral voor meetkunde om het te maken. Dus ik denk wel een vraag extra scheelt. J: Als je nadenkt over het geven van peerfeedback aan mensen in je groepje, kun je dan vertellen wat daar goed aan ging? 73 M: Eh nou als iemand iets fout had gedaan was het makkelijk om feedback te geven. Je kon gelijk zien, oke hij heeft dit stapje overgeslagen dus komt niet op het goede antwoord uit. Kun je gelijk duidelijk ernaast schrijven. Van je eh je hebt dit en dit verkeerd gedaan en op deze manier. Als je het de volgende keer zo doet kun je het niet fout doen. Maar als je niets fouts ontdekt dan gaat het feedback geven wat minder en dat heb ik ook ervaren. In de tweede week dat we feedback gaven gaf ik aan een andere leerling feedback, maar die had het helemaal compleet goed gedaan dus er viel geen feedback te geven toen. J: Oke en als je dan geen feedback kan geven en je vergelijkt je dat antwoord met dat van jezelf. Kwam het dan 100% overeen? Of zaten er nog verschillen tussen? M: Ehm ja misschien in de netheid, maar voor de rest. Dan had de één een schets en de ander niet. J: Oke, heb je ook wel eens gehad dat het lastig was om feedback te geven? M: Ja als je gewoon niets fout was dan was het een beetje van je hebt dit goed gedaan. Die schets kan misschien een beetje netter en dat is het dan eigenlijk. J: Maar je had niet moeite met feedback te geven, je begon ook heel snel met het was makkelijk te zien als er een stapje fout was. Het was niet lastig om dit te vinden? M: Nee J: Hoe kwam dat dan? M: Nou gewoon duidelijk tewerk gaan met kleurtjes aangeven van deze fout is gemaakt en kun je verbeteren door dit beter te doen. J: Oke en eh kun je ook vertellen of je iets geleerd hebt van het geven van peerfeedback? M: Ehm beter kijken naar ander werk om te kijken of je zelf iets kunt verbeteren denk ik. J: Heb je achteraf nog eens fouten eruit gehaald? M: Achter mijn eigen werk? J: Ja, dus dat je keek naar het werk van iemand anders en dat je dan nog even terug keek naar je eigen werk om te zien of alles klopte M: Ja, ik heb wel gekeken en zag dan dat ik met minnetjes fouten had gemaakt en daardoor op een verkeer antwoord uitkwam. J: Oke en heb je het dan ook nog verbeterd voordat je feedback terug kreeg? M: Nee ik heb gewoon mijn verbeterde versie verbeterd. J: Oke, prima prima. Bij het ontvangen van feedback. Kun je vertellen wat daar goed aan ging? Dus de feedback die jij hebt ontvangen? M: Ehm ja, ja het was duidelijk dat als ik iets fout had gedaan van ja eh je hebt een foutje gemaakt. Je moet dus kijken hoe je het beter kunt gaan doen enzovoort. De een had aangeven als je dit nou beter doet dan kom je wel goed uit. Eh ja maar tweede week had ik gespiekt bij iemand anders want ik kwam er niet uit. Ik liep vast en zag iets niet. Ik kwam niet uit op die hoek geloof ik. Dus ik had gespiekt hoe het moest en toen kwam ik wel weer in een keer uit. J: En had je dan gespiekt binnen je eigen groep of binnen andere groep. 74 M: Mijn groepje was niet zo snel, was van op het laatste moment, dus gespiekt bij een andere groep. J: Dus het was toch wel handig dat je bij andere groepen kon kijken. M: Ja het heeft wel geholpen. J: En de feedback die je ontving was dat altijd feedback waarmee je wat kon? M: Nee, het ligt er echt precies aan wie het doet. Want de een was echt, die had er niet zoveel zin in. Dus die ging niet echt voor de echt de hoge bonus, die ging voor een paar puntjes. Dan was het echt kort af. En de ander die had het voluit geschreven en daar kon je wat mee. J: Oke en hoe zou je dat kunnen voorkomen, dat sommige mensen het een beetje afraffelen? Want ik weet niet hoe je dat zelf ervaart? M: Ja de mensen die er echt veel mee willen gaan doen, die bij elkaar zetten en mensen die er niets mee willen gaan doen, die bij elkaar zetten. Want dan voorkom je gewoon het probleem J: Maar jullie mochten groepjes maken aan het begin. Dus eh M: Ja. Ik klaag ook niet ik had 0,7 van de 0,9. J: Ja dat is heel netjes. Maar had je dan achteraf als je terugkijkt andere groepsgenoten gekozen dan aan het begin van het project? N: Nee denk het niet. J: Dus helemaal voorkomen lukt dan denk ik niet. M: Nee. J: Je hebt altijd in een groepje een paar mensen die zich wat makkelijker ervan afmaken en wat mensen die wat meer werk doen. M: Iedereen heeft het gemaakt. Dat was al een verbazing. Ik had niet verwacht dat een paar mensen het hadden gedaan in één week. J: Hoe komt dat dan? M: Met de mensen kennen die altijd alles op het laatste moment doen. Dus ik had verwacht een iemand skipt het waarschijnlijk. J: Ja. En heeft het naast zeg maar dat je af en toe het kon verwerken omdat het goede feedback was. Heeft het je nog meer opgeleverd. In de zin van dat je anders tegen de opgaven bent gaan aankijken. Of serieuzer bent gaan maken of beter je huiswerk bent gaan bijhouden? M: Ik ben zeker niet beter mijn huiswerk gaan bijhouden. Want dat eh heb ik in die twee jaar niet veel gedaan. En ja het hielp wel want ik maakte hierdoor wel echt opdrachten thuis. En ik maakte ze echt serieus. Dat als ik zeggen maar een kwartier bezig om het zo goed mogelijk te doen. Dus ik denk dat het wel heeft geholpen bij het hoofdstuk. J: Oke, maakte je dan alleen de opgaven die in je OneNote moest inleveren of ook de opgaven tussendoor? M: Nee alleen de OneNote opgaven. J: Oke dus je hebt nooit de opgaven tussendoor gemaakt? Geen een? 75 M: Nee J: Ohhh. En als je er dan niet eruit kwam, dacht je dan niet laat ik eens een opgave die er net voorzit maken om te kijken of ik die begrijp? M: Nee, geen zin in ik ging gewoon voor die OneNote opdrachten voor de bonuspunten. J: Je had ook nog een heel goed cijfer voor je meetkunde toets. Hoe komt dat dan? M: Eh op de laatste dag nog even wat dingen maken en doornemen. Om te kijken wat ik niet snap. En dat ging wel. En toen kwam er twee tussenuren voor de toets en toen kwam Tim je moet dit en dit weten. En toen heeft die dat nog uitgelegd. En toen kwam precies die twee opdrachten erin voor. En ik had ook nog mazzel tijdens de toets zelf. Want de opdracht die ik thuis had gemaakt kwam in de toets voor. Dus ik wist nog helemaal hoe het moest. Dat scheelde dus ookal een opdracht. Voor de rest vond ik het niet zo heel moeilijk. Ik heb maar een opgave fout gemaakt. Dat was die zijdehoogte. Toen had ik de verkeerde zijde gepakt. Ik dacht dat ik die zijde ook kon gebruiken, maar ik kon het niet gebruiken. J: Ik vind het wel knap dat je zo weinig opgaven maakt. Want het was eigenlijk de bedoeling om te stimuleren dat jullie natuurlijk meer opgaven zouden maken. Maar dat is bij jou dus absoluut niet gelukt. M: Nee, hahaha. J: En normaal maak je ook geen opgaven. M: Nee niets. Een beetje tijdens de les. En dan ligt het eraan of het een ED toets is. Want voor een ED toets ga ik wel een paar dagen van te voren de vragen doorgeneomen. Anders dacht ik anders heb ik echt een 2. Maar ja meer niet. Voor geen ander vak eigenlijk ook niet. J: Vind je dat niet zonde zelf, persoonlijk. Valt eigenlijk buiten het interview. Maar dan kan je veel hoger scoren dan je nu doet. M: Nou ja wat moet ik er mee. Ik ga niet naar vwo dus ik hoef niet 7-ens of 8-en te halen. En cijfers maken niet zoveel uit voor je opleiding. Ik ben waarschijnlijk volgende week toch al aangenomen. En daarna kijkt niemand meer naar je cijfers. Dus ik zie niet echt een reden om echt hoger te gaan halen. Zolang ik maar mijn diploma heb. Ik sta nul onvoldoendes dus … J: Als je dan feedback had, je moest iets verbeteren, er zat een fout in je opgave. Hoe pakte je dat dan aan? M: Ik ging kijken bij iemand anders van hoe die het had gedaan en kijken op welk antwoord hij kwam. En ik ging het vergelijken met mijn eigen antwoorden en dan zag ik van oke ik heb hier iets verkeerds gedaan. Verkeerd de afgeleide geformuleerd of iets en eh dan verder werken. Kijken of ik het de volgende keer wel goed doe. … J: Kun had je niet de beschikking over uitwerkingen. Hoe kreeg je voor jezelf de bevestiging dat je het goed had gedaan? M: Bij de leerlingen kijken die hoog staan voor wiskunde. Ik wilde voordat ik het opstuurde in OneNote weten of ik het goed had of niet. Meestal kun je aan het antwoord al zien of het goed is of 76 niet. Bij het examen had ik bij de ene vraag van meetkunde wist ik dat het antwoord langer moest zijn dan 83 cm en ik kwam uit op 77 uit en toen dacht ik hehhhh klopt niet. J: En wat doe je dan op zo’n moment? M: Terugkijken of de manier die ik heb gebruikt kon. Nah die kon dus toen dacht ik er zit ergens anders een fout in. Toen had ik het nog een keer ingetikt op mijn rekenmachine en toen kwam ik weer op 77 uit en toen dacht ik van nee nee nee nee nee. En toen zag ik even later dan moet ik die 8 meter nog bij die eenheidszijde optellen. Dus ik had een te korte zijde voor de eenheidszijde ingevoerd. En toen kwam ik wel goed uit. … J: Hoe vond je OneNote omgeving? M: Prima. J: Had je al eerder in OneNote gewerkt? M: Nee J: Zou je in de toekomst zelf het programma gaan gebruiken. M: Als er iets is waarvoor ik kan gebruiken wel. J: Waarvoor zou je het kunnen gebruiken? M: Planning, team met mensen. Voor op werk. Makkelijk het rooster aanpassen zodat iedereen het kan zien. School gerelateerd, geen idee. … J: Denk je als je terugkijkt naar dit project dat je een hoger cijfer hebt gehaald voor de toets of het beter bent gaan begrijpen door dit project? M: Ja een hoger cijfer zeker. Want ik heb er een aantal fouten uit gehaald door die opgaven te maken. Denk dat ik wel een half puntje hoger heb gehaald daardoor. J: Denk je dat daardoor je cijfer op het centraal schriftelijk op de meetkunde onderdelen daardoor hoger is? M: Ja. Want de OneNote opdrachten zijn toch echt de moeilijkere opdrachten zijn en zodra je die begrijpt dan krijg je meer inzicht vooral voor meetkunde om het te maken. Dus ik denk wel een vraag extra scheelt. J: Dus voor de toekomst, zou jij zeggen altijd het meetkunde hoofdstuk met OneNote? M: Ja. Meetkunde is niet lastig, maar je moet echt het inzicht hebben om het te zien, vind ik persoonlijk. J: En hoe zou je dat inzicht dan kunnen krijgen? M: Opdrachten maken. Zodat je ziet wanneer iets kan gebruiken. Zoals de sinusregel of cosinusregel. … J: Er is nog iets dat je mist en wilt toevoegen? 77 M: Het systeem van de bonus vond ik wel goed. Dat zorgde ervoor dat ik het ging maken. Want als ik er niets voor kreeg had ik gedacht ammehoela. Het was ook wel echt heel veel bonus. Ik denk dat het wel minder zou kunnen een half puntje. Want ik had er gewoon 0,7 bij. Dus dat wel wel echt heel veel. … J: Hoe vond je de oefening van voorafgaand aan het geven van peerfeedback? M: Het filmpje vond ik niet nuttig, maar de oefening om feedback op elkaar te geven was wel nuttig. Hierdoor ging je tijdens het feedback geven die standpunten af als dat kon. 78 Appendix L: Interview leerling B In tabel B.1 zijn de axiale en open codes met relevante passages gegeven. Onder deze tabel is een groot deel van het 15 minuten durende interview met leerling B uitgeschreven. Om de interne validiteit van dit interview te verhogen is het interview na het uitschrijven voorgelegd aan de betreffende leerling voor aanvulling en goedkeuring. De betreffende leerling heeft aangegeven geen aanvullingen te willen doen en dat het interview juist is opgeschreven. Het interview is afgenomen op 13 juli 2017 om 20:20 op het Amstelveen College. Het interview is na de diploma uitreiking afgenomen in een leeg lokaal. Tijdens het interview hebben er geen onderbrekingen of andere storingen plaatsgevonden. De interviewleidraad die bij dit interview hoort is terug te vinden in Appendix I. Tabel B.1: Codering open en axiaal met relevante passages interview met leerling M. Axiale codering Open codering relevante passages Als je terugdenkt aan geven van peerfeedback aan mensen in je groepje, kun je dan vertellen wat daar goed aan ging? kwaliteit van de feedback / begrijpen van de opdracht bij een andere oplossingsstrategie kon ik niet het antwoord controleren Als iemand anders dezelfde strategie had gebruikt als ik dan eh was het makkelijk om te zien waar het fout ging. Met kleurtjes kon je in dit programma heel overzichtelijk werken. Ik kon dan het antwoord met dat van mij vergelijken. Maar als iemand een andere strategie gebruikte, dan wist ik niet zeker of alles goed ging. Kun je vertellen of je iets geleerd hebt van het geven van peerfeedback? motivatie / begrijpen van de opdracht het zien van meerdere oplossingsstrategieën motiveerde mij als ik vastliep Ja, ik dacht altijd dat er maar één manier bestond om een wiskundesom op te lossen, maar ik zag in het groepje dat er meerdere manieren zijn om één probleem op te lossen. Ook tijdens de les bij het bespreken van het huiswerk liet je verschillende oplossingsmogelijkheden zien. Dat motiveerde mij om door te gaan als ik het zelf even niet zag. Verder ben ik netter mijn uitwerkingen gaan noteren, nu ik zie hoe vervelend het is als je een stapje mist. Heb je zelf wat gehad aan de feedback die je ontving? effectiviteit slordigheidsfouten uit antwoorden gehaald door peerfeedback Jazeker, soms vergat ik het eindantwoord in het juiste aantal decimalen te zetten. Nu ik hierop met het huiswerk ben gewezen zal ik dit niet fout doen tijdens de toets. In week 2 79 kwaliteit van de feedback geen feedback gekregen of alles goed had ik alles goed en in week 3 had ik geen feedback gekregen van een groepsgenoot. Heb je nog gespiekt binnen je eigen groep of binnen andere groep? spieken in de laatste week heb ik bij een andere groep gekeken Niet binnen mijn eigen groep, die waren namelijk wat trager dan ik. Ik heb in de laatste week wel even bij een andere groep voor een stapje gekeken. Toen ik dat stapje had kon ik weer door Heeft dit project nog invloed gehad op de manier waarop je je huiswerk maakte? motivatie /effectiviteit beetje invloed op het maken van huiswerk door wekelijks bijhouden Een beetje, ik maakte altijd mijn huiswerk. Maar soms liep ik achter en dan verloor ik een beetje de motivatie om het nog te maken. Nu met dit project moest ik elke week voor de deadline mijn huiswerk inleveren en als je het bijhoud is het toch beter te volgen. Denk je dat daardoor je cijfer op het centraal schriftelijk op de meetkunde onderdelen daardoor hoger is? Oef dat vind ik een lastige vraag . Ehm ik weet het niet zeker, maar ik denk het wel. Waarom denk je dat? weglakken van uitwerkingen Niet het antwoord kon opzoeken dus zelf meer moest nadenken Nou omdat ik niet meteen het antwoord kon opzoeken dus meer zelf heb nagedacht of heb lopen zoeken bij andere leerlingen. J: Als je terugdenkt aan geven van peerfeedback aan mensen in je groepje, kun je dan vertellen wat daar goed aan ging? B: Als iemand anders dezelfde strategie had gebruikt als ik dan eh was het makkelijk om te zien waar het fout ging. Met kleurtjes kon je in dit programma heel overzichtelijk werken. Ik kon dan het antwoord met dat van mij vergelijken. Maar als iemand een andere strategie gebruikte, dan wist ik niet zeker of alles goed ging. J: Hoe loste je dat dan op? B: Door dit op te schrijven, “Geen idee wat er gebeurt, maar het ziet er goed uit”. J: Wat zou je kunnen doen als je niet weet wat er gebeurt? 80 B: Eh… Met diegene overleggen wat die precies gedaan heeft. Als die het uitlegt snap ik het misschien beter. Soms slaan andere kinderen namelijk stappen over en dan is het heel lastig te volgen. J: Kun je vertellen of je iets geleerd hebt van het geven van peerfeedback? B: Ja, ik dacht altijd dat er maar één manier bestond om een wiskundesom op te lossen, maar ik zag in het groepje dat er meerdere manieren zijn om één probleem op te lossen. Ook tijdens de les bij het bespreken van het huiswerk liet je verschillende oplossingsmogelijkheden zien. Dat motiveerde mij om door te gaan als ik het zelf even niet zag. Verder ben ik netter mijn uitwerkingen gaan noteren, nu ik zie hoe vervelend het is als je een stapje mist. J: Heb je zelf wat gehad aan de feedback die je ontving? B: Jazeker, soms vergat ik het eindantwoord in het juiste aantal decimalen te zetten. Nu ik hierop met het huiswerk ben gewezen zal ik dit niet fout doen tijdens de toets. In week 2 had ik alles goed en in week 3 had ik geen feedback gekregen van een groepsgenoot. J: Hoe vond je het dat je geen feedback had gekregen? B: Jammer wat ik heb er wel veel tijd in gestopt en dan vind ik het jammer als mijn groepsgenoten hun werk niet serieus nemen. Gelukkig heb ik dit wel teruggezien en de scores voor het huiswerk. J: Klopt je hebt inderdaad heel mooi in OneNote gewerkt, dat heeft zelfs mij geïnspireerd om meer uit mijn tekentablet te halen. En je goed een goed huiswerkcijfer B: Ja het is even oefenen, maar mijn vader is ontwerper, dus wij hebben die dingen thuis liggen en zo leer je veel. J: Als je wel feedback kreeg, hoe verbeterende je je werk dan? B: Ik nam dan een bijzondere kleur, zoals roze en gaf aan dat ik hiermee de verbeteringen aangaf. Dan ging ik tussen mijn gemaakte huiswerk met de roze kleur de verbeteringen noteren. J: Heb je nog gespiekt binnen je eigen groep of binnen andere groep? M: Niet binnen mijn eigen groep, die waren namelijk wat trager dan ik. Ik heb in de laatste week wel even bij een andere groep voor een stapje gekeken. Toen ik dat stapje had kon ik weer door. J: Dus het was toch wel handig dat je bij andere groepen kon kijken. B: Ja het heeft wel geholpen. Maar het zou misschien wel eerlijker zijn als je alleen bij je eigen groepje kan kijken. Nu hebben er wel veel leerlingen gebruik gemaakt van de leerling die als eerste zijn huiswerk uploadde. J: Heeft dit project nog invloed gehad op de manier waarop je je huiswerk maakte? B: Een beetje, ik maakte altijd mijn huiswerk. Maar soms liep ik achter en dan verloor ik een beetje de motivatie om het nog te maken. Nu met dit project moest ik elke week voor de deadline mijn huiswerk inleveren en als je het bijhoud is het toch beter te volgen. J: Denk je als je terugkijkt naar dit project dat je een hoger cijfer hebt gehaald voor de toets of het beter bent gaan begrijpen door dit project? B: Ik denk het wel, hoewel wiskunde en meetkunde toch wel lastig onderdelen voor mij zijn. Daarom had ik niet zo een hoog cijfer voor de toets. 81 J: Denk je dat daardoor je cijfer op het centraal schriftelijk op de meetkunde onderdelen daardoor hoger is? B: Oef dat vind ik een lastige vraag . Ehm ik weet het niet zeker, maar ik denk het wel. J: Waarom denk je dat? B: Nou omdat ik niet meteen het antwoord kon opzoeken dus meer zelf heb nagedacht of heb lopen zoeken bij andere leerlingen. J: Vond je het moeilijk om peerfeedback te geven aan je groepsgenoten? B: Meestal niet J: Waardoor kwam dat? B: Omdat meestal iedereen dezelfde methode had gebruikt. Behalve in week 2. Toen wist ik echt niet zeker of alles goed was. J: Er is nog iets dat je mist en wilt toevoegen? B: Nee ik denk dat ik alles wel heb gezegd. 82 Appendix M: Hoe hebben de leerlingen in OneNote gewerkt (week 2 en 3)? M.1 Kwaliteit van het gemaakte werk (week 2) Er zijn twee leerlingen met een overtuigende juiste uitwerking, dit zijn Beertje en Chantal. Julot heeft naar aanleiding van de feedback van Beertje een nieuwe versie gemaakt die overeenkomt met het werk van Beertje. In figuur M.1 zien we de uitwerking van Beertje. Als hulpsteun is de 30∘ − 60∘ − 90∘ driehoek getekend en met kleurgebruik laat ze zien op welke driehoek in het figuur ze dit toepast. Ze berekent op twee verschillende manieren de lengte van zijde MD. De eerste manier gaat direct 𝑀𝐷 = 𝑟. De tweede manier gaat met behulp van de groene 30∘ − 60∘ − 90∘ driehoek. Chantal in figuur M.2 kiest een andere aanpak. Zij berekent AB op twee manieren. Dit is ook de methode die door de docent tijdens de lessen is geleerd. In het algemeen berekenen de leerlingen volgens deze methode op twee verschillende manieren dezelfde lengte. De eerste keer is de lengte gegeven door een getal. In dit geval 𝐴𝐵 = 6. De tweede keer bereken je AB maar dan uitgedrukt in x. Dat de x eenzelfde functie heeft als de r heeft Chantal nog niet door. Want ze werkt consequent met een x waar ze ook met een r had kunnen werken. Chantal maakt een slordigheidsfout in het gelijkstellen van MD aan 1. Waar ze vervolgens volledig niets mee doet. In figuur M.3 is het huiswerk van Kevin weergegeven. Kevin heeft een schets gemaakt zonder geodriehoek en verklaard niet hoe hij tot het eindantwoord komt. Julot loopt in haar eerste versie vast omdat ze niet goed werkt met verhoudingen. Net als Kevin schrijft ze 𝐴𝐷 = √3, terwijl dit moet zijn 𝐴𝐷 = 𝑟 ⋅ √3. Hierdoor vindt ze niet het juiste antwoord. Figuur M.1: Huiswerk van Beertje. M.2 Kwaliteit van de feedback (week 2) Het huiswerk van Kevin is door Chantal voorzien van feedback. Chantal merkt dat het er rommelig uitzien omdat som 27 door som 21 loopt. Verder geeft Chantal de tip om meer met verhoudingen te werken. Julot krijgt feedback van Beertje. Beertje merkt op dat de berekening kort is en voegt eraan toe dat de berekening wel klopt. Dit is niet helemaal juist. Julot voert wel een aantal stappen uit die in de richting komen van de juiste oplossingsstrategie, maar de notatie is foutief waardoor ze onnodig veel fouten maakt. Beertje krijgt van Julot alleen positieve feedback, er worden geen fouten gevonden of verbeterpunten gevonden. Chantal krijgt van Kevin positieve feedback dat het er netjes uitziet. Het gedeelte waarbij Chantal zaken x noemt en vervolgens AD uitdrukt in x wordt niet door Kevin begrepen. Wat hij niet begrijpt specificeert hij verder niet. 83 Figuur M.2: Huiswerk van Chantal M.3 Manier waarop de feedback is verwerkt (week 2) In de verbeterde versie heeft Kevin som 21 en som 27 uit elkaar gehaald. De schets is nog steeds zonder geodriehoek gemaakt. Met de andere tip om meer met verhoudingen te werken heeft Kevin niets gedaan. Kevin vindt niet het eindantwoord. Julot neemt de tips van Beertje niet over, maar haar uitwerking. Hierdoor herstelt Julot niet de fout in haar eigen schets omdat ze alleen het algebra gedeelte van Beertje heeft overgeschreven. Beertje had geen feedback en daardoor geen verbeterde versie. Chantal heeft de feedback van Kevin over de onduidelijkheid geïnterpreteerd als onduidelijkheid over het kruislings vermenigvuldigen. In de verbeterde versie heeft ze er een tabel van gemaakt en beschreven dat ze kruislings heeft vermenigvuldigd. Figuur M.3: Huiswerk van Kevin M.4 Kwaliteit van het gemaakte werk (week 3) In totaal hebben alle vijf de groepsleden en poging gedaan om opgave 58 op te lossen. Een leerling heeft de opgave opgelost en de andere vier hebben de opgave niet opgelost. Wat opvalt is dat de leerling die de opgave heeft opgelost gebruik heeft gemaakt van een schets. De overige vier groepsgenoten hebben geen gebruik gemaakt van een schets. In figuren M.5 tot en met M.7 geven we het huiswerk weer van drie leerlingen. In figuur M.5 staat het huiswerk van Felice. In figuur M.6 het huiswerk van Anne en in figuur M.7 het huiswerk van Tom. Wat opvalt is dat deze groep ook een schema heeft gemaakt waarin de leerlingen hebben bijgehouden of ze aan alle drie de stappen van het feedbackproces hebben voldaan, zie figuur M.4. Toen een groepje dit schema had bedacht, hebben meerdere groepjes het schema gekopieerd. 84 FiguurM.4: Huiswerkschema groep 7 Wat opvalt in de schets van Felice, is dat het echt een grove schets is. Zo liggen de punten M en B niet logisch ten opzichte van elkaar. Uit haar schets kan ze wel een stappenplan halen om de som op te lossen. Eerst rekent ze het middelpunt en de straal uit van de cirkel. Vervolgens schrijft ze op de manier die het boek uitlegt de formule op van de lijn loodrecht op lijn k. Het berekenen van de snijpunten van deze twee lijnen doet ze door een stelsel van twee lineaire vergelijkingen op te lossen. Het snijpunt van deze twee lijnen noemt ze A en vervolgens berekend ze de afstand tussen A en M. Het uiteindelijke antwoord vindt ze door van de afstand tussen A en M de straal van de cirkel af te halen. Bij Anne ontbreekt de schets van de situatie. Ze begint met het berekenen van de straal en middelpunt van de cirkel. Vervolgens wil ze de afstand berekenen tussen het middelpunt van de cirkel en de lijn k. Hierbij loopt ze vast, ze weet dat ze een nieuwe lijn moet opstellen waarvan de richtingscoëfficiënt loodrecht moet staan op de richtingscoëfficiënt van lijn k. Dit doet ze door de richtingscoëfficiënt af te lezen door de formule te herleiden tot de vorm 𝑦 = 𝑎𝑥 + 𝑏. Ondanks dat ze het goed aanpakt schrijft ze zelf ernaast op dat ze vast was gelopen en niet wist hoe ze verder moest. Tom heeft dezelfde aanpak als Felice, echter ontbreekt de schets. Alle stappen gaan goed echter berekent hij niet de afstand tussen de cirkel en lijn k, maar de afstand tussen M en lijn k. Wouter heeft direct lijn k in de cirkelvergelijking gesubstitueerd en deze vergelijking foutief opgelost met behulp van de abc-formule. Anouk is niet verder gekomen dan het berekenen van de straal en het middelpunt van de cirkel. 85 FiguurM.5: Huiswerk van Felice M.5 Kwaliteit van de feedback (week 3) De feedback bij het huiswerk van Felice is gegeven door Anne. Anne geeft een compliment over het maken van de schets. Echter heeft Anne zelf niet een schets gemaakt. Voor de rest heeft Anne alleen positieve feedback over het netjes werken. Felice heeft feedback gegeven op het huiswerk van Anne. Dit doet ze puntsgewijs, ze benoemt wat Anne heeft gedaan of wat ze zou moeten doen. In tekst geeft ze een recept voor Anne. In het stappenplan geeft ze alleen niet concreet feedback op de stap die Anne miste. Anne miste namelijk de stap van het berekenen van het begingetal in haar formule. Voor de rest was alles volledig juist. Verder geeft ze de vervolgstappen aan die nodig zijn om het eindantwoord te berekenen. Anne heeft feedback gegeven op het huiswerk van Tom. Ze doet dit door haar antwoorden te vergelijken met die van hem. Ze concludeert dat ze hetzelfde middelpunt en straal hebben voor de cirkel dus dat het moet kloppen. Ze schrijft dat ze het eindantwoord niet kan controleren omdat ze zelf nog niet zover was. Wel geeft ze nog een stukje corrigerende feedback over het gebruik van de hoofdletter R in plaats van de kleine letter r voor de straal van de cirkel. Wouter krijgt van Tom feedback. Tom begint met een compliment over het overschrijven van de gegevens, hiermee creëert hij overzicht voor zichzelf aldus Tom. Hij merkt ook op dat zijn verdere uitwerking niet helemaal klopt en rijkt hem de alternatieve stappen aan. Zoals het uitrekenen van het middelpunt en de straal van de cirkel. De stappen die hij erna geeft zijn niet helemaal juist. Anouk krijgt feedback van Wouter. Wouter begint ook met positieve feedback over het netjes en overzichtelijk werken. Helaas lukt het Wouter niet om een passende tip te geven over hoe ze verder kan werken. Hij schrijft "Je moet volgens mij 2 stelsel aan elkaar gelijkstellen. Dan zou je op het antwoord moeten komen". Echter had Anouk geen vergelijkingen om in een stelsel te zetten. De enige leerling die geen feedback heeft gegeven is Anouk. Daarom heeft Anne twee keer feedback gegeven. Dankzij Anne hebben alle groepsgenoten feedback gekregen. 86 FiguurM.6: Huiswerk van Anne M.6 Manier waarop de feedback is verwerkt (week 3) Alleen Felice had geen feedback gekregen op haar opdracht en hoefde dus geen feedback te verbeteren. Er is wel in het groen op haar werk bijgeschreven. Dit is door de docent achteraf erbij geschreven voor de beoordeling. Anne heeft een nieuwe verbeterde versie gemaakt. Ze is op de alternatieve wijze van Felice verder gegaan. Dit betekent dat ze niet meer de richtingscoëfficiënten in de lineaire formules losmaakt, maar dat ze op de manier van het boek een loodrechte formule opstelt. Alle overige stappen doet ze foutloos. Alleen het eindantwoord herleid ze op een verkeerde manier en dit is door de docent verbeterd. Zelf geeft ze aan dat ze niet helemaal de stap begrijpt over het opstellen van de loodrechte lijnen. Omdat Tom van Anne feedback heeft gekregen en Anne niet wist of hij alles goed deed heeft Tom geen verbeterde versie gemaakt. Wouter heeft een nieuwe verbeterde versie gemaakt. Hij is met de strategie van Tom opnieuw de som gaan maken. Zijn verbeterde versie en de versie van Tom zijn daarmee exact hetzelfde. Anouk heeft ondanks de feedback niets verbeterd, zoals aangegeven is in het schema figuur M.7. 87 FiguurM.7: Huiswerk van Tom. 88