Presentatie Daan Andriessen Expertgroepen

Beoordelen is mensenwerk
Mogelijkheden van gezamenlijke protocollen voor
afstuderen in het hbo
Amersfoort
19 juni 2014
Dr. Daan Andriessen
Lector Methodologie van Praktijkgericht Onderzoek
Hogeschool Utrecht
Agenda
1.
2.
3.
4.
Aanleiding Expertgroep Protocol
Model voor examinering in het hbo
Mogelijkheden tot protocoleren
Protocol Verbeteren en Verantwoorden van
afstuderen in het HBO
Naar een alternatief voor landelijke examens
1. Aanleiding Expertgroep Protocol
Motie Beertema (27/3/2012)


De Kamer, verzoekt de regering, per opleiding of
cluster van opleidingen samen met het bedrijfsleven
of betrokken werkveld kernvakken te laten vaststellen,
landelijke eindtermen te bepalen voor de
kenniscomponent van deze kernvakken en die te
examineren via landelijke toetsing die
onafhankelijk wordt geborgd,
en gaat over tot de orde van de dag.
Vreemde Ogen Dwingen
(mei 2012)


Voordelen landelijk examen wegen niet op tegen nadelen
Overgenomen aanbevelingen:
1.
Externe validering van toetsen via pilots met
gemeenschappelijk toetsen
2.
Externe validering via certificering van examinatoren
en opleiding van docenten door ontwikkeling van een
Basis- resp. Seniorkwalificatie examinering
(BKE/SKE).
3.
Duurzame kennisuitwisseling
4.
Externe validering van eindwerkstukken door een
gezamenlijk bottom-up opgesteld protocol bij
individuele eindscripties en bij qua niveau en
importantie vergelijkbare eindwerkstukken.
Opdracht Expertgroep Protocol

“Onderzoek de wenselijkheid en mogelijkheid van een
gezamenlijk, bottom-up opgesteld protocol of
protocollen voor het beoordelen van
(kern)werkstukken en adviseer over de wijze waarop
deze tot stand dienen te komen en aan welke
kwaliteitseisen deze dienen te voldoen”
Samenstelling Expertgroep
Protocol
•Daan Andriessen (voorzitter)
•Petra Manders (secretaris)
•Dan Greve
•Peter Hermans
•Linda Jakobs
•Lucie te Lintelo
•Karin Neijenhuis
•Gerard Straetmans
Hogeschool Utrecht
Saxion
Hogeschool Utrecht
Cito / Artez
Hogeschool Arnhem Nijmegen
Hogeschool van Amsterdam
Hogeschool Rotterdam
Cito / Saxion
Afstuderen in het hbo is veel meer dan het schrijven van een
werkstuk
2. Model voor examinering in het hbo
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
Prestaties in het hbo zijn
beroepsproducten
1.
Advies
2.
Ontwerp
Mogelijke
Verbeelding van
oplossing of een een eindproduct
plan
• Organisatie• Bouwontwerp
advies
• Bestemmingspl
• Pedagogisch
an
advies
• Ondernemingsp
• Financieel
lan
advies
3.
Eindproduct
Fysiek of digitale
uitwerking van
een ontwerp
• Schilderij
• ICT applicatie
• Apparaat
• Film
• Journalistiek
tekst
4.
Handeling
5.
Onderzoek
Professioneel
Antwoorden en
gedrag naar
conclusies
cliënt of publiek
• Les geven
• Archeologisch
• Voorstelling
rapport
geven
• Laboratorium
• Hulp verlenen
rapport
• Verplegen
• Forensisch
• Therapie geven rapport
• Leiding geven
• Ondernemen
(Naar Losse, 2012)
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
leiden tot
Beroepsopdracht (en)
Beroepsopdrachten in het hbo
zijn zoveel mogelijk:


Authentiek:
 Authentieke taak
 Authentieke omstandigheden
Representatief:
 Complexiteit (cognitief en context)
 Zelfstandigheid
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
beoordeeld
door
Examinatoren
leiden tot
Beroepsopdracht (en)
Examinator is deskundig


Examinator is deskundig op:
 De te beoordelen bekwaamheid
 Het beoordelingsproces
Beoordelen is mensenwerk!
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
beoordeeld
door
geoperationaliseerd in
Prestatiecriteria en
beoordelingsschalen
Beoordelingsmodel(len)
helpen de
Examinatoren
leiden tot
Beroepsopdracht (en)
Beoordelingsmodel
ondersteunt de examinator



Beoordelingsmodel helpt bij beoordelen van:
 Kwaliteit beroepsproduct
 Kwaliteit verantwoordingsverslag
 Kwaliteit van het proces
Beoordelingsmodel bevat:
 Prestatiecriteria
 Beoordelingsschalen
 Beslisregels
Beoordelingsmodel is:
 Valide
 Inzichtelijk
 En draagt bij aan betrouwbaarheid beoordeling
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
leidt tot conclusie over
Eindkwalificaties
Prestatie(s)
beoordeeld
door
geoperationaliseerd in
Prestatiecriteria en
beoordelingsschalen
Beslissingsprocedure(s)
Beoordelingsmodel(len)
helpen de
bepalen scores
Examinatoren
leiden tot
Beroepsopdracht (en)
Niet alles kan landelijk worden afgesproken
3. Mogelijkheden tot protocolleren
Vier niveaus in hbo




Niveau 1: Alle opleidingen van alle instellingen;
Niveau 2: Alle opleidingen met hetzelfde
opleidingprofiel / CROHO-nummer van alle
instellingen;
Niveau 3: Beperkt aantal opleidingen met hetzelfde
opleidingprofiel / CROHO-nummer die
onderwijsinhoudelijk overeenkomen;
Niveau 4: Binnen één instelling.
Mogelijk en wenselijk
Niveau 1: landelijk
Wel
 Gestandaardiseerde
wijze van verslaglegging
over het afstudeerprogramma als geheel
 Betekenis en
minimumeisen
Onderzoekend Vermogen
Niet
 Eén beoordelingsmodel
voor afstudeerprestaties
Mogelijk en wenselijk
Niveau 2: per CROHO
Wel
 Body of knowledge &
skills Onderzoekend
Vermogen
 Gezamenlijk reviewen
van de afstudeerprogramma’s
Niet
 Eén beoordelingsmodel
voor afstudeerprestaties
(tenzij de opleidingen
dezelfde eindkwalificaties
én afstudeerprogramma
hebben)
Mogelijk en wenselijk
Niveau 3: groep verwante opleidingen
Wel
 Gezamenlijke invulling
van (delen van) het
afstuderen
 Gezamenlijk
beoordelingsmodel per
afstudeerprestatie
 Inzetten van waarnemers
en examinatoren
 Gezamenlijk reviewen
van afstudeerprogramma’s
Niet
Mogelijk en wenselijk
Niveau 4: binnen één hogeschool
Wel
 Reviewen van
afstudeerprogramma’s
door collega’s of het
werkveld
Niet
 Gezamenlijk
beoordelingsmodel per
afstudeerprestatie
Protocol als middel voor systematische kwaliteitszorg en externe
validering van afstuderen
4. Protocol Verbeteren en
Verantwoorden van afstuderen in het
HBO
Doel van het protocol

Opleidingen in het hbo helpen samen werken aan het
valide, betrouwbaar en voor studenten inzichtelijk
toetsen van de beoogde eindkwalificaties, zoals
beoogd in standaard 3/16 van de NVAO en het
rapport ‘Vreemde ogen dwingen’ van de commissie
Bruijn.
1.
Duidelijkheid scheppen over terminologie en
inrichting van het afstuderen.
2.
Een kader scheppen voor gezamenlijk leren en
verbeteren.
3.
Een kader scheppen voor borging en
verantwoording.
Opzet van het protocol



Een opsomming van 12 vragen over het afstudeerprogramma waar een opleiding een goed antwoord op
moet hebben om een goede beoordelings- en
beslissingskwaliteit in het afstuderen te garanderen.
In een verantwoording van het afstudeerprogramma
beschrijft en verantwoordt de opleiding de
antwoorden.
Vragen zijn afgeleid van
 Standaard 1 en standaard 3/16 van de NVAO en
de relatie tussen beide
 Theorie over toetsen
 Eis van onderzoekend vermogen
Inhoud van het protocol (1)

Eindkwalificaties
1.
Weerspiegelen de eindkwalificaties van de
opleiding zowel de eisen vanuit het werkveld als
de eisen aan het hbo-niveau?
2.
Heeft de opleiding het vereiste niveau voor
onderzoekend vermogen beschreven in de
eindkwalificaties?
3.
Toetst de opleiding alle eindkwalificaties in het
afstudeerprogramma en, indien het meerdere
afstudeeronderdelen betreft, is het duidelijk waar
wat getoetst wordt?
Inhoud van het protocol (2)

Beroepsopdrachten
4.
Zijn de beroepsopdrachten die studenten
uitvoeren in het afstudeerprogramma geschikt
voor het aantonen van de te verwerven
eindkwalificaties?
5.
Bewaakt de opleiding dat de complexiteit van de
beroepsopdrachten voor alle studenten dezelfde
is en dat er een vergelijkbare mate van
zelfstandigheid van hen verwacht wordt bij de
uitvoering hiervan?
Inhoud van het protocol (3)

Beoordeling
6.
Waarborgt de opleiding dat elke examinator bekwaam
is om een onderbouwd oordeel van de prestaties van
studenten tot stand te brengen?
7.
Bieden de gehanteerde beoordelingsmodellen
voldoende garantie op een valide, betrouwbare en
transparante beoordeling en zijn ze tegelijkertijd
werkbaar voor examinatoren?
8.
Borgt de opleiding een gemeenschappelijke
interpretatie van de beoordelingsmodellen door de
examinatoren?
9.
Is de beoordelingsprocedure voor alle betrokkenen
transparant en werkbaar en bevordert deze een zo
betrouwbaar mogelijke beoordeling?
Inhoud van het protocol (4)


Randvoorwaarden
10. Zorgt de opleiding ervoor dat het
afstudeerprogramma door alle betrokkenen binnen
de beschikbare tijd en mogelijkheden uitgevoerd
kan worden?
Verantwoording en ontwikkeling kwaliteit
11. Geeft de opleiding invulling aan het ‘vreemde
ogen’-principe om de kwaliteit van het
afstudeerprogramma aantoonbaar te bevorderen?
12. Overlegt de opleiding bij een visitatie bewijzen die
samen een transparant en representatief beeld
geven van het afstudeerprogramma en het
gerealiseerde eindniveau van studenten?
Dank voor uw aandacht



[email protected]
www.methodologie.hu.nl
@onderzoekcoach.nl