presentatie van Patris van Boxel…. - E

Online peer en docentfeedback in Turnitin
Praktijkvoorbeelden uit Sociale Wetenschappen
Patris van Boxel
Informatiemanager FSW
Afdelingshoofd SOLO (Support Onderzoek, Labs en Onderwijs)
E-merge bijeenkomst 4 juni 2015
Academiegebouw Universiteit Leiden
Inhoud
Gebruikerservaringen bij Sociale
Wetenschappen
•
•
•
•
PeerMark voor feedback door medestudent
GradeMark voor feedback door docent
Docent- en studentervaringen
Lessons learnt
1. Online peer reviewen met PeerMark
Wat is peer review?
• Studenten beoordelen elkaars werk,
vaardigheden of bijdrage aan groepsopdracht
• Hebben gelijke status
• Student is zowel gever als ontvanger feedback
• Meestal formatief karakter
– gericht op verbeteren van conceptversies
– assessment as learning
Peer review
Bron: http://edorigami.wikispaces.com/Bloom's+Digital+Taxonomy
4
Voorbeeld FSW: Peer review bij ‘Consciousness’
• Verplicht 2e jaars Psychologie vak
• 1e versie paper ingeleverd via Turnitin
• Studenten schrijven 2 peer reviews a.d.h.v.
beoordelingscriteria
• Eindversie ingeleverd via Turnitin (met
verwerkte peer reviews)
Doelstellingen peer review opdracht
bij ‘Consciousness’
• Voor studenten
– Extra feedback
– Leren om kritisch te zijn
– Leren door reviewen
• Voor docenten
– Tijdsbesparing
– Triviale fouten gefilterd
– Sneller nakijken eindversie
Peer review cyclus in PeerMark
• Docent maakt ‘PeerMark assignment’ aan met
deadlines, paper distributieregels, review vragen
• Student levert (concept) paper in
• PeerMark verdeelt papers onder (x aantal) reviewers
• Student voert (x) aantal reviews uit
• Student ontvangt (x) aantal reviews
Docent monitort
proces
• Student verwerkt (aantoonbaar) feedback en levert
eindversie in
• Docent beoordeelt paper en evt kwaliteit reviews
PeerMark – student assignment inbox
PeerMark- student review formulier
Lessons learnt by ‘Consciousness’
• Resultaten overall positief > vaste werkvorm in
het vak
• Communicatie naar studenten
– (leer)doel van de review
• Reviewen zelf leerzamer dan reviews krijgen
– Meer informatie over hoe een review geschreven
moet worden
– Duidelijke review criteria
– Stukje verantwoordelijkheid ligt bij student
• niet schrijven van een review ’benadeeld’ medestudent
– Feedback geven moet je leren
Gebruik PeerMark tool
• Voordelen
– Automatische distributie van papers
– Maakt werkvorm mogelijk voor grote groepen
• Ontbreekt
–
–
–
–
reviews laten beoordelen door studenten
dialoog tussen feedbackgever en -ontvanger
gebruik van rubrics
(groep)reviews van multimedia producten
2. Online nakijken met GradeMark
Feedback op geschreven werk geven
• Tijdsintensief
• Repetitief
• Handschriften slecht leesbaar
• Bijwijlen inconsistent
• Logistieke rompslomp
‘Old skool’ inleveren bij FSW
Online nakijken met GradeMark
•
•
•
•
•
•
•
Digitaal inleveren van werkstukken
Overzicht van ingeleverd/nagekeken werk
Default scan op plagiaat
Verschillende vormen van tekstuele feedback
Audio feedback
iPad grading (offline)
Delen van feedback bibliotheek/criteria met andere
docenten
Voorbeeld FSW:
Digitaal nakijken bij ‘Rationele Keuzetheorie’
•
•
•
•
•
•
Politologie vak
1 hoofddocent, 5 werkgroepdocenten
Werkgroepen bleken niet efficiënt
Vervangen door 5 paper opdrachten
Wekelijkse feedback en cijfer
Video docentervaringen
Lessons learnt
• Minder rompslomp, meer transparantie
• Efficiëntie en tijdsbesparing stijgen naarmate
Grademark wordt gebruikt in een vak, én door meer
docenten in een opleiding
• Verwachting dat kwaliteit feedback gaat toenemen
met ervaring/handigheid
• Feedback wordt meer gelezen in digitale vorm
• Stijgende lijn per week in de werkstuk cijfers
• Effect van feedback?
Studentervaringen GradeMark
Studentervaringen GradeMark
Studentervaringen GradeMark
n=74
Gebruik GradeMark tool
• Voordelen
– Werkt intuïtief
– Rijke feedbackmogelijkheden
– Integratie met Blackboard
• Ontbreekt
– Mogelijkheid beoordelen groepswerk
– Makkelijk delen van feedback tussen docenten
– One-way docent>student feedback
Belang van dialoog over feedback
There are wide discrepancies between lecturers and students in their perceptions of
how effective feedback is: most lecturers think their feedback helps understanding
and learning, whereas students often disagree.It has been previously argued that
feedback should encourage an exchange between the teacher and the student in order to
maximise student understanding.
If written feedback continues to be seen as a one-way flow of information from tutor
to student, then it is unlikely that the tutor will learn what the student requires and
whether the statements made will be understood. In addition, sensitive students may
not perceive the feedback in the way that it was intended. In the absence of the tutor
receiving feedback from the student, it is likely that the tutor will continue to make
the same mistakes in the future.
Stone, A. (2014), Online assessment: what influences students to engage with feedback?. The Clinical Teacher, 11: 284–289.
doi: 10.1111/tct.12158
Conclusies
• PeerMark en GradeMark goed inzetbaar bij
grote groepen & onderwijsvormen FSW
• Beiden dragen bij aan beheersing nakijklast
• Dienen verschillende doelen
– Peer review
• Activerende werkvorm
– Digitaal nakijken
• Efficiente werkwijze die leidt tot meer consistentie en
transparantie