‘WAKKEREN’ Deze instructie heeft tot doel assessorenzo objectief en betrouwbaar mogelijk te laten beoordelen. Met objectief wordt hier bedoeld: met uitsluiting van vooroordelen en persoonlijke voorkeuren. Met betrouwbaar wordt hier bedoeld: met uitsluiting van toevalsinvloeden. Om aan deze doelen te kunnen beantwoorden is training noodzakelijk, niet alleen om de stappen in het beoordelingsproces te oefenen, maar ook om vertrouwd te raken met het instrumentarium en een gezamenlijke beoordelingstaal te leren en –‘cultuur’ te ontwikkelen. De beoordelingsprocedure wordt onderverdeeld in de zes stappen van de WAKKER methode: - Waarnemen - Aantekeningen maken - Klassificeren - Kwantificeren - Evalueren - Rapporteren De successieve uitvoering van de stappen biedt een optimale (zij het zeker niet complete) waarborg tegen verschillende gangbare beoordelingsfouten (zie volgende paragraaf). Zo helpt het in eerste instantie concentreren op feitelijk gedrag tegen het insluipen van vooroordelen wat dreigt als men direct interpreteert. En zo helpt het los beoordelen van verschillende gedragscompetenties tegen “halo-effecten’. Verder is de volgorde van de WAKKER-methode van groot belang. Het is bijvoorbeeld funest als de assessoren onmiddellijk na een rollenspel beginnen hun ervaringen en indrukken uit te wisselen. Zij moeten voor een correct beoordelingsproces eerst individueel klassificeren en kwantificeren. Tot slot verdient het aanbeveling de feedback voor de student te bewaren tot na de beoordeling. 1. Waarnemen Het gaat hierbij vooral om het kijken en het luisteren naar de te beoordelen persoon. Er wordt gericht gelet op feitelijk, waarneembaar gedrag dat iets zegt over de te beoordelen gedragscompetenties. Wakkeren pag .1 2. Aantekeningen maken Tijdens het observeren maakt de assessor aantekeningen. Idealiter is het mogelijk om met behulp van de aantekeningen het gebeurde tot in details te reconstrueren. Als de asessor teveel aantekeningen maakt, bestaat het risico dat delen van het gedrag niet worden waargenomen. Maakt de assessor te weinig aantekeningen, dan is het risico dat te veel vergeten wordt. Doorgaans werkt het gebruik van steekwoorden het best. Ook kan het helpen als de assessor vaste, persoonlijke gewoontes ontwikkelt (bijv. codes voor toon, tempo, soort interventie etc. en/of vaste plaatsen voor verbaal en non-verbaal gedrag). In deze methode is het belangrijk om in eerste instantie zoveel mogelijk concreet gedrag te beschrijven en nog zo weinig mogelijk te interpreteren. De kwaliteit van de interpretaties die naderhand zullen plaatsvinden is er immers mee gediend als eerst overeenstemming is bereikt over de feiten. 3. Klassificeren Deze stap vindt plaats na de opdracht. Klassificeren houdt in dat de waargenomen gedragingen geplaatst worden in de beoordelingsschalen. Dit gebeurt niet tijdens de uitvoering van de opdracht omdat het steeds moeten kiezen en zoeken van de juiste plaats in de beoordelingsschalen teveel de aandacht van het gebeuren zou afleiden. ‘Cognitieve overbelasting’ van de assessor is volgens recent onderzoek een belangrijke bottleneck voor de kwaliteit van het assessment. Op de beoordelingsformulieren wordt onderstreept wat is waargenomen. Wat niet is waargenomen, of wat niet van toepassing is wordt niet onderstreept. Voorbeelden van de onderstreepte omschrijvingen worden genoteerd. Andere waarnemingen, die niet bij de omschrijvingen op de beoordelingsschaal staan, maar die wel op deze schaal betrekking hebben, worden genoteerd op de vrij ruimte van het formulier. In een aantal gevallen kan een zelfde waarneming bij meer dan één beoordelingsschaal worden ondergebracht. Bij voorkeur wordt dan gekozen waar dit het best kan gebeuren. Bijvoorbeeld: het stellen van een vraag kan betrekking hebben op Opmerken (uit de vraag blijkt dan dat een subtiel signaal is opgemerkt), Initiëren ( de vraag snijdt een nieuw onderwerp aan), luisteren, (de vraag stimuleert de ander om door te praten), Informatie verzamelen (de vraag zorgt ervoor dat een lege plek in het informatieplaatje wordt ingevuld), Analyseren, (uit de vraag blijkt dat een verband worden gelegd, confronteert bijv. de gesprekspartner met een tegenstrijdigheid) of Coachen (de vraag stimuleert de ander om door te denken over een geopperde belemmering op weg naar een doel). 4. Kwantificeren De assessor geeft per schaal een kwantitatieve beoordeling door 1, 2, 3, 4 of 5 te omcirkelen. Hij doet dit op grond van de onderstrepingen en genoteerde aanvullingen. De ‘norm’ is verdisconteerd in de omschrijvingen en de moeilijkheidsgraad en het niveau van de opdracht. Soms zullen de waarnemingen verschillende kanten opwijzen. Bij luisteren kan het bijvoorbeeld voorkomen dat iemand een slechte luisterhouding heeft (kijkt de ander niet aan, moedigt niet aan, etc.) terwijl tegelijkertijd blijkt dat de inhoud Wakkeren pag .2 van het gezegde heel goed gevolgd wordt. In zo’n geval kan een drie als beoordeling gegeven worden. Het is daarbij van belang de waarnemingen aan de student terug te koppelen. 5. Evalueren Eén van de wezenlijke kenmerken van beoordelen is, dat de student door meer dan één assessor beoordeeld wordt. Het is de bedoeling dat de rollenspeler ook voor zichzelf zijn beoordelingen op de gedragscompetenties en de belangrijkste argumenten/opmerkingen opschrijft. Bij het evalueren leggen de assessoren hun kwantitatieve beoordelingen naast elkaar. Als ze overeenkomen kan worden volstaan met een korte resumering van de belangrijkste waarnemingen. Als de beoordelingen verschillen, discussiëren de assessoren hierover op basis van de aantekeningen over het waargenomen gedrag. Doorgaans (mits de assessoren vertrouwd zijn met de methode en beoordelingsschalen) valt het verschil te verklaren als de assessoren elkaars waarnemingen aanvullen. Met elkaar stellen de assessoren per schaal de beoordeling vast. De evaluatie van de student wordt meegenomen in de eindbespreking. Deze kan gebruikt worden om onduidelijkheden toe te lichten. Eventuele relevante aanvullingen kunnen nog worden meegenomen in de eindbeoordeling. De evaluatie wordt ook meegenomen in de beoordeling over het reflecteren van de student. 6. Rapporteren De assessoren schrijven voor elke student een rapport met de kwantitatieve beoordelingen en per gedragscompetentie de belangrijkste waarnemingen. Aan het eind van het rapport wordt een eindbeoordeling gegeven m.b.t. de taakcompetentie die in het assessment aan de orde is (de uitgevoerde opdracht). Het rapport wordt met de student besproken. De assessor vertelt de student per opdracht de resultaten en licht deze toe. Vervolgens krijgt de student de gelegenheid om vragen te stellen en zijn gedrag toe te lichten. Eventueel kan later met een studieloopbaanbegeleider verder worden gepraat over bijvoorbeeld de consequenties van het assessment. Wakkeren pag .3