PowerPoint Presentation - Erkennen van Competenties

EVC-kennisnetwerk 17 juni 2014
Het gebruik van standaarden en de kwaliteit van
assessmentinstrumenten
Programma :
10.00-10.30u ‘Principes en uitgangspunten EVC-standaarden’ (Ingrid Vanhoren-AKOV)
10.15u-10.45u ‘Overzicht van assessmentinstrumenten en methodologie van de standaarden’ (Robin
Vanderelst-AKOV)
10.45u-11.15u ‘Ervaringen vanuit de ervaringsbewijzen en visie op toekomstige standaarden’ (Mark
Troch-VDAB)
11.15-12.00u: ‘Ervaringen met EVC vanuit het volwassenenonderwijs en plannen voor de toekomst’
(Monique De Ridder-Stuurgroep volwassenenonderwijs)
VIP-RUIMTE CONSCIENCEGEBOUW
12-13u middagpauze met broodjes
BOUDEWIJNGEBOUW
13.00-14.30u: Workshops 1, 2 en 3
1. Het gebruik van criteriumgericht interview in een EVC-procedure (Karine Janssens)
LOKAAL 5 E02.
2. De portfoliobeoordeling binnen een EVC-procedure (Robbie Van Kippersluis-CINOP en
kenniscentrum EVC Nederland)
LOKAAL 3 E12
3. Het opstellen en afnemen van een praktijkproef: Good practice vanuit de
ervaringsbewijzen (Wim Van Ammel-vzw Web, WEB-consult)
LOKAAL 2 E01
14.30u- 16.00u: Parallelle workshops
Principes en
uitgangspunten EVCstandaarden
INGRID VANHOREN
AKOV
1. Inleiding
Vaststellingen EVC-praktijk
• Bronnen
• IDEA Consult studie 2011: EVC in het volwassenenonderwijs
• IDEA Consult studie 2014: EVC vanuit bedrijfsperspectief
• Jaarrapport Ervaringsbewijzen 2013
• Vaststellingen
• Gescheiden EVC-praktijken onderwijs en arbeidsmarkt
• Beperkt civiel effect en uitwisselbaarheid
• Beperkte bekendheid en gebruik van ervaringsbewijs bij
ondernemingen
• Nood aan formalisering en standaardisatie van EVC-procedures en
instrumenten binnen onderwijs
• Ontbreken van kwaliteitsborging: competentiegerichte standaarden,
betrouwbaarheid en validiteit van instrumenten, deskundigheid
begeleiders en beoordelaars
1. Inleiding
Antwoorden op vaststellingen
• Ontbreken van competentiegerichte standaarden met civiel
effect
VKS als uniek referentiekader
• Nood aan formalisering en standaardisatie van EVCprocedures in onderwijs
Gemeenschappelijke modulaire trajecten
• Ontbreken van kwaliteitsborging
 EVC-standaarden
1. Inleiding
Relatie VKS en EVC
• VKS (beroeps- en onderwijskwalificaties) =
referentiekader voor opleidingen en voor EVC
• Ontwikkeling van gemeenschappelijk modulaire opleidingstrajecten
• Ontwikkeling van EVC-standaarden
• Leidt tot twee vormen van EVC
• Onderwijs: in functie van vrijstellingen
• Arbeidsmarkt: in functie van certificering en kwalificering
2. Modulaire trajecten:
Doelstelling en meerwaarde
• Vlaamse kwalificatiestructuur als nieuw referentiekader
= uniek moment voor afstemming tussen opleidingsverstrekkers
in aanbod van beroepsgerichte opleidingen
• Meerwaarde voor lerende
•
•
•
Transparant aanbod
Flexibele trajecten
Uitwisselbaar
• Methode succesvol gehanteerd voor opleidingsprofiel/structuren secundair volwassenenonderwijs en leren en werken
(hout en bakkerij)
2. Modulaire trajecten:
Proces
• Modularisering op basis van erkende beroepskwalificatie(s)
• Hanteren van algemene methode
• Inbreng van alle partners in de ontwikkeling van modulaire
opleidingstrajecten
• Instellingsoverschrijdend en onderwijsniveauoverschrijdend
opleidingsprofiel
• Uitwisselbaarheid modules
2.Modulaire trajecten:
Beroepenclusters
Hout
Ruwbouw
Slagerij
Bakkerij
Kleding en
confectie
Logistiek (magazijn)
Koeling en
warmte
Beroepencluster hout
Houtbewerking - Schrijnwerk - Interieur
Beroepskwalificatiedossier
Houtbewerking - Schrijnwerk - Interieur
Opbouw beroepskwalificatiedossier
Houtbewerking - Schrijnwerk - Interieur
Beroepskwalificatiedossier
Houtbewerking - Schrijnwerk - Interieur
2. Modulaire trajecten:
Cluster: hout
2. Modulaire trajecten
Cluster: hout
2. Modulaire trajecten
Cluster: hout
2. Modulaire trajecten:
Consequenties voor EVC
• EVC in functie van vrijstellingen en verkorte opleidingstrajecten
•
•
•
Automatische vrijstellingen op basis van reeds gevolgde (modules van)
opleidingen
Bij opleidingsverstrekkers met gemeenschappelijke modulaire
opleidingstrajecten in formeel onderwijs: volwassenenonderwijs, leren en
werken (DBSO), BuSO OV3
Uitbreiding naar VDAB en Syntra Vlaanderen (leertijd)
3. EVC-standaarden:
Inhoud
• Omschrijving van beroep, vereiste competenties en context
• Vaardigheden als concreet oberveerbare gedragscriteria
• Kennis als concrete kennis, specifiek voor de beroepen waar de standaard
voor beschreven is
• Omschrijving van hanteerbare mix van assessmentmethoden
(per standaard of per module)
• Omschrijving van richtlijnen voor het afnemen van assessment
(context van het beroep, locatie en voorzieningen)
3. EVC-standaarden:
Doelstelling en meerwaarde
• Kwaliteitskader voor het toepassen en ontwikkelen van
assessmentmethoden en –instrumenten
• Standaardisering van format en methodologie voor EVC-standaarden
• Voorwaarden voor kwaliteitsborging
• Basis voor professionalisering
• Meerwaarde voor de EVC-aanbieder
•
•
•
Transparant EVC-kader
Vereenvoudiging van procedures
Handvaten voor EVC-praktijk
3. EVC-standaarden:
Proces
• Op basis van erkende beroepskwalificaties en
opleidingsprofielen
• Hanteren van algemene methode
• Inbreng van alle partners in de ontwikkeling van EVCstandaarden
• Beleidsdomein- en onderwijsniveauoverschrijdend
3. EVC-standaarden:
Consequenties
• Certificering van competenties BK: kwalificatiebewijs
• Certificering van competenties modules OP: delen van
kwalificatiebewijzen?
• Certificering van competenties activiteitenblokken BK:
bewijzen van competenties?
Overzicht van
assessmentmethodes en de
methodologie van standaarden
ROBIN VANDERELST
AKOV
Een kleine test…
• Uit hoeveel vragen moet een meerkeuzetoets minstens
bestaan om voldoende betrouwbaar te zijn?
a)
b)
c)
d)
30
40
50
60
• Wanneer je minstens 3 van de 40 antwoorden niet weet bij
een meerkeuzetoets, vanaf wanneer kan je statistisch gezien
dan best gokken?
a)
b)
c)
d)
Altijd
Wanneer je één antwoord kan uitsluiten
Wanneer je twee antwoorden kan uitsluiten
Nooit
Project ‘Ontwikkelen standaarden’
Achtergrond
• Nood aan formalisering en standaardisatie van EVCprocedures en instrumenten binnen onderwijs
• Ontbreken van kwaliteitsborging: competentiegerichte
standaarden, betrouwbaarheid en validiteit van instrumenten,
deskundigheid begeleiders en beoordelaars
Waarom dit project?
• Besparing van tijd en middelen
• Vergemakkelijken van de uitwisselbaarheid van modules
tussen de verschillende partners door vertrouwen te
scheppen
Project ‘Ontwikkelen standaarden’
• Mogelijkheid om expertise te verhogen en de kwaliteit van
instrumenten te verhogen
• Vergroten van civiel effect door vertrouwen tussen partners en
door samenwerking met sectoren
Verloop
1. Vergelijkende landenanalyse
2. Inhoud en format standaard
3. Richtlijnen
4. Assessmentmethodes
5. Ontwikkelen kwaliteitskit
1. Vergelijkende landenanalyse
• Finland
•
•
•
Lange traditie in erkennen van ervaring
Studieloopbaan en arbeidsmarktloopbaan lopen door elkaar
Aansturing vanuit ministerie van onderwijs is sterk aanwezig
• Schotland
•
•
Initiatief, ontwerp en opstellen gebeurt door sectoren
Centrale coördinatie verzekerd door centrale Scottish Qualification
Authority
1. Vergelijkende landenanalyse
• Frankrijk
•
•
Lange traditie in erkenning
Sterke aansturing en specifieke aanpak per beleidsdomein
• Nederland
•
•
•
Traditioneel vertrekt initiatief vanuit sectoren
Vanaf 2005 met kwaliteitscode EVC gecoördineerd door overheid
Grote vrijheid qua initiatief, format en invulling van standaarden
1. Vergelijkende landenanalyse
Inhoud standaarden buitenland
• Minimum opgenomen: omschrijving van het beroep, kennis,
vaardigheden, context
• Vaardigheden en kennis worden concreet omschreven:
•
•
Vaardigheden als concreet oberveerbare gedragscriteria
Kennis als concrete kennis, specifiek voor de beroepen waar de
standaard voor beschreven is
• Finland en Schotland, net als Vlaanderen (ervaringsbewijs), nemen
concrete richtlijnen op rond het afnemen van assessment betreffende
locatie, voorzieningen en context van het beroep. Dit is niet het geval in
Nederland
1. Vergelijkende landenanalyse:
Inhoud standaarden buitenland
• Finland en Schotland: concrete instrumenten opgenomen in
standaard:
•
•
•
Omschrijven welk instrument voor welke activiteit/module gebruikt wordt
Omschrijven context, locatie, voorzieningen voor de test
Beoordelingshandleiding voorzien voor assessor in de standaard
• Nederland en Frankrijk: concrete instrumenten worden niet
opgenomen in standaarden
•
Wel methodes per activiteit omschreven
• Vb. praktijkonderzoek, portfolio, …
2. Inhoud en format standaard:
Vlaanderen
• Wenselijk om een format te voorzien om duidelijkheid,
vergelijkbaarheid en uitwisselbaarheid te garanderen
• Activiteiten uit de BK’s overnemen in standaarden
• Vaardigheden letterlijk overnemen. Wel bewaken dat ze steeds
concreet observeerbaar zijn
• Kennis expliciet apart opnemen in de standaarden
3. Richtlijnen:
Methodologische vragen
• Hoe wordt cesuur bepaald? Moet er een voldoende zijn voor
alle activiteiten om te slagen? Moeten er per activiteit voldaan
zijn aan alle beoordelingscriteria?
• Concrete richtlijnen rond locatie, voorzieningen en context bij
het afnemen van een assessment opnemen?
• Standaarden geven per activiteitenblok aan welke
assessmentmethode gehanteerd wordt? Of in het geheel van
de standaard?
4. Assessmentmethodes:
Overzicht
• Observatie in authentieke setting
• Observatie in gesimuleerde setting
• Rollenspel
• Productproef
• Interview: semigestructureerd, gesloten, criteriumgericht
• Portfolio
• Kennistoets: essayvragen, meerkeuzevragen
4. Assessmentmethodes:
Inhoud
• Uitleg instrument
• Toepassingsgebied
• Aandachtspunten in de ontwikkeling van het instrument
• Aandachtspunten in het gebruik van het instrument
• Gevolgen voor een standaard
4. Assessmentmethodes
Rollenspel
• Een simulatie van een interpersoonlijke beroepssituatie
• Met een van tevoren vastgestelde rol, volgens een bepaald
scenario en met standaardreacties
• De kandidaat dient gepaste acties tentoon te spreiden
• Veelal een specifieke beroepsgerelateerde casus: een
specifiek probleem, exemplarisch voor het beroep, wordt
omschreven. Vb begeleider buitenschoolse kinderopvang
4. Assessmentmethodes:
Rollenspel
Toepassingsgebied
• Afhankelijk van het probleem of de situatie die in de
specifieke casus omschreven wordt
• Afhankelijk van de rol die de kandidaat in de casus dient aan
te nemen
• Nadruk op beslissingen nemen, analyse en
probleemoplossende vaardigheden
• Maar ook sociale vaardigheden en commerciële
vaardigheden
4. Assessmentmethodes:
Rollenspel
• Kennis komt onrechtstreeks aan bod.
• Kennis kan rechtstreeks getoetst worden door het onderwerp
van de betreffende casus goed te kiezen en het scenario
zorgvuldig uit te schrijven
Aandachtspunten bij de ontwikkeling
Validiteit
• Belangrijk om een authentieke context te creëren
• Sluit het scenario aan bij de realiteit van het werkveld?
4. Assessmentmethodes:
Rollenspel
• Worden relevante taken opgenomen?
• Worden alle vaardigheden die relevant zijn voor de
competentie via de taak/opdracht gemeten?
• Rollenspel is casusspecifiek : de kandidaat werkt in een
rollenspel aan een enkele casus.
• Beperkte predictieve validiteit
4. Assessmentmethodes:
Rollenspel
Betrouwbaarheid
• Nood aan een gestandaardiseerd scenario: de simulant dient
in elke afgenomen proef op dezelfde wijze te reageren op
dezelfde stimulansen van kandidaten
•
•
Nood aan een goed uitgeschreven scenario
Nood aan een training van de simulant
• De opdrachten, taken moeten helder zijn voor alle
betrokkenen
4. Assessmentmethodes:
Rollenspel
• Het werken met authentieke taken maakt het voorspellen van
de taakuitvoering lastig
• Door assessoren te trainen interpretaties in dezelfde richting
laten gaan
• Meestal met vrij globale scoringsrubrieken gewerkt en wordt
aan de assessor overgelaten in welke rubriek een
gedragsaspect gescoord dient te worden
4. Assessmentmethodes:
Rollenspel
Aandachtspunten gebruik
• Voorbereiding en uitvoering vragen tijd en werk van
beoordelaar en kandidaat
• Een verhoogd niveau van aandacht en een goede training
van de simulant
• Observeren en beoordelen van de gestelde acties van de
kandidaat en de interactie met de simulant, vraagt een
verhoogde aandacht van de assessor
• Nood aan voldoende middelen om een testomgeving te
creëren en om de nodige tijd en personeelsuren vrij te
maken
4. Assessmentmethodes:
Rollenspel
Gevolgen voor de standaard
• Duidelijke criteria beschikbaar zijn voor het scoren van
gedrag
• Er dient al een basisscenario te worden opgenomen in de
standaard
• Eventueel de setting opnemen in de standaard
• Het scenario dient verder uitgeschreven te worden
4. Assessmentmethodes:
Koppeling aan BK’s
• BK’s dmv descriptorelementen toegewezen aan VKS-niveau
• Descriptorelementen opgedeeld in vb. probleemoplossende
vaardigheden, motorische,…
• Deze koppelen aan het toepassingsgebied van
assessmentmethodes
• Opstellen evaluatiematrix, geen exacte wetenschap!
4. Assessmentmethodes:
Evaluatiematrix
1
2
3
4
5
6
7
8
Informatie met concrete en abstracte
gegevens uitbreiden of met
ontbrekende gegevens aanvullen,
begrippenkaders hanteren, bewust
zijn van de reikwijdte van de kennis.
Kennis transfereren en procedures
flexibel en inventief aanwenden
Kennis en inzichten uit een specifiek
domein kritisch evalueren en
combineren
Kennis en inzichten integreren en
herformuleren
Bestaande kennis uitbreiden of
herdefiniëren
Toegepaste,
praktische maar
ook
theoretische
kennis, analyse,
inzicht
Hoge
theoretische
kennis:
integreren,
meerkeuzetoets
essaytoets
portfolio
Criteriumgericht
interview
Gesloten interview
semigestructureerd
interview
productproef
toegepaste,
praktische
kennis:
herkennen,
begrijpen,
onderscheiden
rollenspel
Materialen, informatie, begrippen en
regels herkennen
Informatie, begrippen en procedures
begrijpen
Informatie, begrippen, wetten,
formules , methodes begrijpen en
hoofd- en bijzaken onderscheiden
Concrete en abstracte gegevens
(informatie en begrippen)
interpreteren
Observatie:
authentiek
beslissingsboom
Observatie:
gesimuleerd
Kennis
Descriptorelementen
4. Assessmentmethodes:
Voorbeeld
• Voorbeeld BK binnenschrijnwerker
• Erkend en ingeschaald op niveau 3
• Vooral praktische kennis
• Gesloten interview, meerkeuzetoets
5. Ontwikkelen kwaliteitskit
• Verdergaand op handleiding standaarden
• Ontwikkelen kwaliteitskit voor het ontwikkelen van
assessmentinstrumenten op basis van:
– Verder verloop project: ontwikkelen testdossiers met sectoren
– Samenwerking met ESF-projecten
– Wetenschappelijke onderbouwing door studenten KUL olv professor
Dochy
Meer informatie?
Agentschap voor Kwaliteitszorg in Onderwijs en Vorming
(AKOV)
Afdeling projecten: EVC - Curriculum - Kwalificaties
Koning Albert II-laan 15
1210 Brussel
http://www.ond.vlaanderen.be/wegwijs/akov/
Nieuwe website VKS en EVC vanaf september 2014 !