PowerPoint-presentatie - Vereniging Hogescholen

Inspiratiesessie deelname
onderzoekspilot:
Implementatie van het protocol
Beoordelen is mensenwerk.
Verbeteren en Verantwoorden
van afstuderen in het HBO
Dr. Daan Andriessen, Lector Methodologie van
Praktijkgericht Onderzoek, Hogeschool Utrecht
Dr. Dominique Sluijsmans, Lector Professioneel Beoordelen,
Zuyd Hogeschool
Agenda
•
•
•
•
Kennismaking
Toelichting Beoordelen is mensenwerk
Toelichting Pilot Protocol Afstuderen
Vragen
KENNISMAKING
Kennismaking deelnemers:
• Wie bent u?
• Welke opleiding / hogeschool vertegenwoordigt
u?
• Waarom bent u er vandaag bij?
Doelstellingen Pilot Protocol Afstuderen
• Er is kennis ontwikkeld over manieren om het
protocol te implementeren en methodieken die
daarvoor kunnen worden gebruikt
• Er is kennis ontwikkeld over de wijze waarop
afstudeerprogramma’s van de pilotopleidingen
zijn vormgegeven en de 12 vragen uit het
protocol zijn beantwoord
• Pilotopleidingen kunnen het afstudeerprogramma
volgens het protocol ontwikkelen en
implementeren
• Er is kennis ontwikkeld over de toepassing van
participatief ontwerpgericht onderzoek in het hbo
TOELICHTING BEOORDELEN
IS MENSENWERK
Vreemde Ogen Dwingen, 2012
• Voordelen landelijk examen wegen niet op tegen
nadelen
• Overgenomen aanbevelingen:
– Externe validering van toetsen via pilots met
gemeenschappelijk toetsen
– Externe validering via certificering van
examinatoren en opleiding van docenten door
ontwikkeling van een Basis- resp.
Seniorkwalificatie examinering (BKE/SKE)
– Duurzame kennisuitwisseling
– Externe validering van eindwerkstukken door
een gezamenlijk bottom-up opgesteld protocol
bij individuele eindscripties en bij qua niveau
en importantie vergelijkbare eindwerkstukken
Opdracht Expertgroep Protocol
• “Onderzoek de wenselijkheid en mogelijkheid van
een gezamenlijk, bottom-up opgesteld protocol of
protocollen voor het beoordelen van
(kern)werkstukken en adviseer over de wijze
waarop deze tot stand dienen te komen en aan
welke kwaliteitseisen deze dienen te voldoen”
Samenstelling Expertgroep Protocol
Principes van afstuderen
Afstudeerprogramma
moet blijken uit
Beroeps-
bekwaamheid
verwoord in
Eindkwalificaties
Prestatie
(s)
Prestaties in het hbo zijn beroepsproducten
1. Advies
Mogelijke
oplossing of een
plan
2. Ontwerp
Verbeelding van
een eindproduct
3. Eindproduct
Fysiek of digitale
uitwerking van
een ontwerp
4. Handeling
Professioneel
gedrag naar
cliënt of publiek
 Organisatieadvies
 Pedagogisch
advies
 Financieel
advies
 Bouwontwerp
 Technisch
ontwerp
 Bestemmingsplan
 Ondernemingsplan





 Les geven
 Archeologisch
 Voorstelling
rapport
uitvoeren
 Laboratorium
 Hulpverlenen
rapport
 Verplegen
 Forensisch
rapport
 Therapie
geven
 Leiding geven
 Ondernemen
Schilderij
ICT applicatie
Apparaat
Film
Journalistieke
tekst
Wat is het belangrijkste beroepsproduct
waarvoor jullie studenten worden opgeleid?
5. Onderzoek
Antwoorden en
conclusies
Naar Losse (2012)
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie
(s)
leiden tot Beroepsopdracht
(en)
Beroepsopdrachten in het hbo zijn zoveel mogelijk:
• Authentiek:
– Authentieke taak
– Authentieke omstandigheden
• Representatief:
– Complexiteit (cognitief en context)
– Zelfstandigheid
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie
(s)
beoordeeld
door
Examinatoren
leiden tot Beroepsopdracht
(en)
Examinator is deskundig
• Examinator is deskundig op:
– De te beoordelen bekwaamheid
– Het beoordelingsproces
• Beoordelen is mensenwerk!
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Prestatie
(s)
Eindkwalificaties
geoperationaliseerd in
Prestatiecriteria en
beoordelingsschalen
Beoordelingsmodel(len)
beoordeeld
door
helpen de
Examinatoren
leiden tot Beroepsopdracht
(en)
Beoordelingsmodel ondersteunt de examinator
• Beoordelingsmodel helpt bij beoordelen van:
– Kwaliteit beroepsproduct
– Kwaliteit verantwoordingsverslag
– Kwaliteit van het proces
• Beoordelingsmodel bevat:
– Prestatiecriteria
– Beoordelingsschalen
– Beslisregels
• Beoordelingsmodel is:
– Valide
– Inzichtelijk
– En draagt bij aan betrouwbaarheid beoordeling
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Prestatie
(s)
leidt tot conclusie over
Eindkwalificaties
geoperationaliseerd in
Prestatiecriteria en
beoordelingsschalen
Beslissingsprocedure(s)
Beoordelingsmod
el(len)
beoordeeld
door
helpen de
Examinatoren
bepalen scores
leiden tot Beroepsopdracht
(en)
Doel van het protocol
• Opleidingen in het hbo helpen om samen te
werken aan het valide, betrouwbaar en voor
studenten inzichtelijk toetsen van de beoogde
eindkwalificaties, zoals beoogd in standaard 3
van de NVAO en het rapport ‘Vreemde ogen
dwingen’ van de commissie Bruijn.
– Duidelijkheid scheppen over terminologie en
inrichting van het afstuderen.
– Een kader scheppen voor gezamenlijk leren en
verbeteren.
– Een kader scheppen voor borging en
verantwoording.
Vraag
• Welke van de volgende 12 vragen uit het protocol
vindt u het moeilijkste te beantwoorden?
Inhoud van het protocol (1)
• Eindkwalificaties
1. Weerspiegelen de eindkwalificaties van de
opleiding zowel de eisen vanuit het werkveld
als de eisen aan het hbo-niveau?
2. Heeft de opleiding het vereiste niveau voor
onderzoekend vermogen beschreven in de
eindkwalificaties?
3. Toetst de opleiding alle eindkwalificaties in
het afstudeerprogramma en, indien het
meerdere afstudeeronderdelen betreft, is het
duidelijk waar wat getoetst wordt?
Inhoud van het protocol (2)
• Beroepsopdrachten
4. Zijn de beroepsopdrachten die studenten
uitvoeren in het afstudeerprogramma
geschikt voor het aantonen van de te
verwerven eindkwalificaties?
5. Bewaakt de opleiding dat de complexiteit van
de beroepsopdrachten voor alle studenten
dezelfde is en dat er een vergelijkbare mate
van zelfstandigheid van hen verwacht wordt
bij de uitvoering hiervan?
Inhoud van het protocol (3)
• Beoordeling
6. Waarborgt de opleiding dat elke examinator bekwaam
is om een onderbouwd oordeel van de prestaties van
studenten tot stand te brengen?
7. Bieden de gehanteerde beoordelingsmodellen
voldoende garantie op een valide, betrouwbare en
transparante beoordeling en zijn ze tegelijkertijd
werkbaar voor examinatoren?
8. Borgt de opleiding een gemeenschappelijke
interpretatie van de beoordelingsmodellen door de
examinatoren?
9. Is de beoordelingsprocedure voor alle betrokkenen
transparant en werkbaar en bevordert deze een zo
betrouwbaar mogelijke beoordeling?
Inhoud van het protocol (4)
• Randvoorwaarden
10. Zorgt de opleiding ervoor dat het
afstudeerprogramma door alle betrokkenen
binnen de beschikbare tijd en mogelijkheden
uitgevoerd kan worden?
• Verantwoording en ontwikkeling kwaliteit
11. Geeft de opleiding invulling aan het ‘vreemde
ogen’-principe om de kwaliteit van het
afstudeerprogramma aantoonbaar te
bevorderen?
12. Overlegt de opleiding bij een visitatie
bewijzen die samen een transparant en
representatief beeld geven van het
afstudeerprogramma en het gerealiseerde
eindniveau van studenten?
Onderzoekend vermogen aanleren
• 2009: HBO raad (2009) “Kwaliteit als opdracht”:
“In onze moderne samenleving is het cruciaal dat
hbo-bachelors over een onderzoekend vermogen
beschikken dat leidt tot reflectie, tot evidence
based practice, en tot innovatie”.
Expertgroep Protocol (2014):
• Reflectie: dit betreft het terugkijken op
het eigen handelen in de
beroepspraktijk, signaleren wat er niet
goed ging, dat proberen te verklaren
vanuit de kennisbasis en in diezelfde
kennisbasis ook de uitgangspunten
vinden voor een betere aanpak;
• Evidence-based practice: dit betreft
het gebruiken van de kennisbasis om
de juiste handelingen te kiezen;
• Innovatie: dit betreft het ontwikkelen
van nieuwe handelingen om de
beroepspraktijk te verbeteren.
VERANTWOORDEN
ONDERBOUWEN
VERNIEUWEN
Onderzoekend vermogen =
• Onderzoekend houding
Zie bijvoorbeeld Bruggink & Harinck 2012
Bruggink & Harinck 2012
1. Nieuwsgierig zijn / Willen weten / Je dingen afvragen
2. Een open houding / Op zoek naar eigen
vooronderstellingen / Oordeel kunnen uitstellen
3. Kritisch zijn: is het wel zo? / Zaken in twijfel trekken
4. Willen begrijpen / Tot inzicht willen komen / Willen
doorgronden
5. Bereid zijn tot perspectiefwisseling
6. Distantie nemen van routines / Vraagtekens bij het
vanzelfsprekende / Gebaande paden durven verlaten /
Eigen richting durven kiezen
7. Gerichtheid op bronnen / Willen voortbouwen op eerdere
opvattingen en ideeën
8. Gerichtheid op zeker weten / Goede bronnen willen
gebruiken / Nauwkeurig willen zijn
9. Willen delen met anderen / Onderdeel willen zijn van
leergemeenschappen.
Onderzoekend vermogen =
• Onderzoekend houding
(Zie bijvoorbeeld Bruggink & Harinck 2012)
• Onderzoeksresultaten van anderen toepassen
• Onderzoek doen
Een definitie van onderzoek doen
• Onderzoek doen is het methodisch
beantwoorden van vragen dat leidt tot
relevante kennis.
30
OV ondersteunt beroepsproduct
1. Advies
Mogelijke
oplossing of een
plan
2. Ontwerp
Verbeelding van
een eindproduct
3. Eindproduct
Fysiek of digitale
uitwerking van
een ontwerp
4. Handeling
Professioneel
gedrag naar
cliënt of publiek
 Organisatieadvies
 Pedagogisch
advies
 Financieel
advies
 Bouwontwerp
 Technisch
ontwerp
 Bestemmingsplan
 Ondernemingsplan





 Les geven
 Archeologisch
 Voorstelling
rapport
uitvoeren
 Laboratorium
 Hulpverlenen
rapport
 Verplegen
 Forensisch
rapport
 Therapie
geven
 Leiding geven
 Ondernemen
Schilderij
ICT applicatie
Apparaat
Film
Journalistieke
tekst
Wat is het belangrijkste beroepsproduct
waarvoor jullie studenten worden opgeleid?
5. Onderzoek
Antwoorden en
conclusies
Naar Losse (2012)
OV ondersteunt het beroepsproduct
Methodisch werken
Probleemstelling
V
Diagnose
A
V
A
Plan
V
A
Onderzoekscyclus
Onderzoekscyclus
Onderzoekscyclus
Probleemverkennend
onderzoek
Diagnostisch
onderzoek
Ontwerponderzoek
Onderzoeken
Ingreep
V
A
Onderzoekscyclus
Monitoring
onderzoek
Evaluatie
V
A
Onderzoekscyclus
Evaluatieonderzoek
Naar Leen (2012)
Drie niveaus van onderzoekend vermogen
Methodische grondigheid (MG)
Praktische relevantie (PR)
Naar Butter (2013)
Drie niveaus van onderzoekend vermogen
Methodische
grondigheid
Praktische relevantie
Relevant voor het
vakgebied
Relevant voor
wetenschap en
maatschappij
Praktische relevantie (PR)
Relevant voor de
situatie /
opdrachtgever
Bescheiden
Diepgaander
Uitgebreid
Methodische grondigheid (MG)
BA
MA
PhD
Naar Butter (2013)
Opleiding bepaalt zelf het niveau
Bescheiden
Diepgaander
Uitgebreid
Methodische grondigheid (MG)
Gebruik literatuur
Vakliteratuur vs Wetenschappelijke literatuur
Nederlands vs Engels
Bewijskracht
(Van Yperen, in press)
Theoretisch, Indicatief, Causaal
Generalisatie
Geen, Beperkte groep, Grote groep
Body of Knowledge
Vereiste kennis van onderzoeksdesigns en -methoden
TOELICHTING PILOT
PROTOCOL AFSTUDEREN
Doelstellingen Pilot Protocol Afstuderen
• Er is kennis ontwikkeld over manieren om het
protocol te implementeren en methodieken die
daarvoor kunnen worden gebruikt
• Er is kennis ontwikkeld over de wijze waarop
afstudeerprogramma’s van de pilotopleidingen
zijn vormgegeven en de 12 vragen uit het
protocol zijn beantwoord
• Pilotopleidingen kunnen het afstudeerprogramma
volgens het protocol ontwikkelen en
implementeren
• Er is kennis ontwikkeld over de toepassing van
participatief ontwerpgericht onderzoek in het hbo
Vraagstellingen Pilot Protocol Afstuderen
• Wat hebben hbo-opleidingen nodig om het
protocol afstuderen succesvol te kunnen
implementeren?
• Op welke wijze worden de vragen uit het protocol
beantwoord en tot welke (her) ontwerpen van het
afstudeerprogramma leidt dat?
• Op welke wijze is participatief ontwerpgericht
onderzoek mogelijk in het hbo dat zowel kennis
oplevert als stimulerend werkt op de
verandering?
Hoofdlijnen Pilot Protocol Afstuderen
Implementatiedeel
• Pilotopleidingen
analyseren hun
programma en stellen
een diagnose
• Ontwerpen
verbeteringen
• Implementeren
verbeteringen
• Evalueren
verbeteringen
Onderzoeksdeel
• Pilotopleidingen
verzamelen
onderzoekgegevens
• Vooraf over de context
van implementatie
• Over de diagnosefase
• Over het
verbeterplanfase
• Over de implementatie
• Over de evaluatie
Onderzoeksteam en Pilot teams
Onderzoeksteam
• Daan Andriessen (HU)
• Mirjam Snel (HU)
• Dominique Sluijsmans
(Zuyd)
• Fleurie Nievelstein
(Zuyd)
Pilotteams
• Eén projectleider
• Eén onderzoeker
• Aantal leden (minimaal
twee) dat betrokken is
bij de afstudeerfase
• Het team is zelf
eindverantwoordelijk
voor het implementeren
van het protocol en
voor het aanleveren van
de juiste gegevens aan
het onderzoeksteam
Voorwaardelijke criteria
• Er kunnen maximaal 7 opleidingen deelnemen. Selectie
gebeurt door VH
• Deelnemende opleidingen nemen deel aan het onderzoek
van januari 2015 tot januari 2017
• Deelnemende opleidingen stellen zelf een pilot team samen
• Deelnemende opleidingen bekostigen zelf geïnvesteerde
uren van de teamleden
• Het pilot team committeert aan:
– actieve deelname aan een kick-off bijeenkomst en vier
uitwisselbijeenkomsten waarin deelnemende
pilotopleidingen kennis uitwisselen
– het implementeren van het protocol en het aanleveren
van onderzoeksgegevens aan het onderzoeksteam
• Er is commitment voor deelname van de leidinggevende
• Er is een voornemen om vreemde ogen mee te laten kijken
op een van de niveaus uit tabel 3 van Beoordelen is
mensenwerk
Selectiecriteria
• Een mix van opleidingen uit alle 7 domeinen
• Een mix qua regio
• Een mix qua voornemen tot vreemde ogen
(niveau 2,3 en 4)
• Mix in mate van volwassenheid van
afstudeerprogramma
• Bij meerdere opleidingen van één hogeschool in
de top-7 volgt het verzoek aan het CvB om er één
aan te wijzen
Buitenring
• Opleidingen die niet zijn geselecteerd kunnen
deelnemen aan een buitenring.
• Deze opleidingen gaan zelf aan de slag met
implementatie van het protocol
• Zij krijgen periodiek informatie uit de pilot
• Er is 3 x een bijeenkomst van alle leden van de
buitenring voor het uitwisselen van ervaringen
(eerste keer september 2015)
Aanmelden en Achtergrondinformatie
• Achtergrondinformatie en het aanmeldformulier
via website Vereniging Hogescholen vanaf
4 december
• Het protocol Beoordelen is mensenwerk via
website Vereniging Hogescholen
• Deadline van aanmelden is 23 januari
• Bericht van selectie half februari
• Kickoff bijeenkomst en diagnosebijeenkomst: 3
maart 2015 Domstad, Utrecht
• Planbijeenkomst: 21 april 2015 Domstad, Utrecht
• Planning rest volgt
DISCUSSIE EN VRAGEN
Dank voor uw getoonde interesse!
• [email protected]
• [email protected]