Versie 0.7 Compendium prestatiecriteria afstudeeropdracht hbo Dan Greve & Daan Andriessen In het examenprogramma van een hbo opleiding wordt getoetst of de student de vereiste competenties beheerst op het vereiste niveau. Vaak is het verrichten van een beroepsopdracht of proeve van bekwaamheid onderdeel van dat examenprogramma. Tijdens de beroepsopdracht wordt een specifieke set van competenties integraal getoetst. De student voert een opdracht uit die zoveel mogelijk lijkt op een opdracht die later ook in de beroepspraktijk zal worden uitgevoerd. Deze authentieke opdracht leidt tot een beroepsproduct met daarbij een verantwoordingsverslag. Het beroepsproduct en verantwoordingsverslag worden beoordeeld op een aantal prestatiecriteria die samen het beoordelingskader vormen. Veel opleidingen in het hbo worstelen met de vraag welke indicatoren dat moeten zijn en hoe hoog de lat moet liggen. Bij het bepalen van prestatiecriteria is het uitgangspunt dat ze zijn afgeleid uit de te toetsen competenties. Anders is de beoordeling niet valide. Dat betekent dat de prestatiecriteria opleidingsspecifiek zijn. De afgelopen vier jaar hebben zij vele beoordelingskaders bestudeerd. Op basis daarvan hebben wij een compendium van prestatiecriteria samengesteld dat gebruikt kan worden bij het samenstellen van een beoordelingskader. Dit compendium is gebaseerd op inventarisaties die zijn gedaan tijdens trainingen Begeleiden van (afstudeer) onderzoek, op criteria die worden gehanteerd door Technische bedrijfskunde aan de Hogeschool Utrecht, op het POKI model (Greve et al.,2009) en op de criteria van Andriessen (2013). Ze zijn getoetst aan de criteria van de NVAO-Commissie Onderzoek Hogeschool Inholland van 2011. De criteria voldoen aan de eis dat duidelijk is wat het object is waarop het criterium van toepassing is, dat er sprake is van een criterium en dat een aantal indicatoren wordt benoemd weermee kan worden vastgesteld of aan het criterium wordt voldaan. De criteria zijn onderverdeeld naar vier fasen imn het afstuderen: oriënteren, aanpak kiezen, aanpak uitvoeren en verantwoorden & reflecteren. De kleuren verwijzen naar de vier processen in het POKI model : Produceren, Organiseren Kennis mobiliseren, en Interacteren. 1. Oriënteren Kwestie Object Criterium Context Volledig Aanleiding Volledig Verstrekte opdracht Analyse van de kwestie Beschreven Volledig (Analyse van de kwestie door de ogen van de student. Dit is bij een aanvraag nog summier maar in de scriptie volledig uitgezocht. Dit kan verschillen van de opdracht zoals verstrekt door de organisatie.) Indicatoren Beschrijving van soort, omvang en structuur van de organisatie die de opdracht heeft gegeven Beschrijving van het onderdeel waarvan de opdracht afkomstig is Overzicht van de gebeurtenissen die aanleiding zijn geweest voor de opdrachtgever om een opdracht te formuleren Weergave van de opdracht zoals door de organisatie is aangedragen Student geeft inzicht in: Wat is de kwestie? Voor wie is het een kwestie? Wat is de gewenste situatie? Bij een probleem: Waaraan zie je dat het een probleem is? Wat zijn mogelijke oorzaken van het probleem? Wat zijn de gevolgen van het probleem? Bij een kans: Wat wil de organisatie met de kans bereiken? Hoe wil de organisatie de kans bereiken? Wat is daarvoor nodig? Versie 17 november 2013 Doelstelling van de opdracht Object Criterium Doelstelling Onderbouwd Doelstelling Open Doelstelling Afgebakend Doelstelling HBO-niveau Indicatoren Er wordt beredeneerd hoe de doelstelling volgt uit de analyse van de kwestie De oplossing zit niet al in de doelstelling ingebouwd. Er is nog ruimte om op zoek te gaan naar de oorzaak van het probleem en de verstrekte opdracht daarop bij te stellen Realiseren van de doelstelling vereist onderzoek door de student waarin verschillende opties worden onderzocht en afgewogen. Beoordeelbaar (niet zodanig geheim dat docenten alle stuken in kunnen zien) Het soort opdracht is duidelijk Descriptief onderzoek: het antwoord op een descriptieve vraag met eventueel een aanbeveling hoe iets verbeterd kan worden. Advies of Ontwerp: een onderbouwd en uitgewerkt advies hoe iets verbeterd kan worden en/of ontwerp voor een systeem, apparaat, software etc. Eventueel met implementatieplan. Product of proof of concept: ontwerp en realisatie van een system, product, software Realisatie doelstelling vraagt om Bloom niveau: Analyseren: Informatie systematisch kunnen onderzoeken en met elkaar in verband leggen. Evalueren: Informatie kunnen beoordelen en een standpunt kunnen formuleren. Creëren: Informatie tot een nieuw geheel kunnen samenvoegen. Centrale vraag Object Criterium Centrale vraag Relevant Centrale vraag Precies Centrale vraag Afgebakend Centrale vraag Inhoudelijk verankerd Centrale vraag Functioneel Indicatoren Verwoordt op juiste wijze welke kennis en informatie nodig is om de doelstelling te realiseren Kennis en informatie is nog niet beschikbaar Duidelijkheid wordt verschaft over: De centrale begrippen en hun definitie De eventuele relatie tussen de centrale begrippen Is qua complexiteit op hbo-niveau: De vraag houdt verband met een kwestie met meerdere aspecten of vakdisciplines die op elkaar in werken. De vraag is niet te beantwoorden met ‘uitzoeken’ maar vereist onderzoek waarin verschillende opties worden onderzocht en afgewogen. Beantwoorden van de vraag moet haalbaar zijn in de projectperiode. Uitleg wordt gegeven bij welk kennisdomein, vakgebied en / of ontwerpaanpak de vraag aan sluit Uitleg wordt gegeven bij welk kennisdomein, vakgebied en / of ontwerpaanpak mede antwoorden gezocht gaan worden De centrale vraag maakt duidelijk wat de onderzoeksfunctie is. Onderzoeksvragen zijn er in zes varianten afhankelijk van de functie van het onderzoek: Descriptief (definiëren, beschrijven, vergelijken, evalueren, verklaren) Prescriptief (Ontwerpen) Interactie Object Actoren Criterium Indicatoren In beeld Bedrijfsbegeleider (Begeleider HBO niveau+) Haalbaar Beantwoorden van de vraag moet voldoende werk opleveren gedurende de onderzoeksperiode, rekening houdend met de beschikbaarheid van informatie en het aantal betrokken stakeholders, afdelingen en processen Beantwoorden van de vraag moet haalbaar zijn in de onderzoeksperiode, gegeven de hiervoor genoemde factoren de opdrachtgever akkoord gaat met een afweging van relevante sociaal-maatschappelijke, wetenschappelijke en ethische aspecten (komt uit Dublin discriptor oordeelvorming) Organisatie Planning (Afspraken over looptijd) Verstrekte opdracht Duurzaam 2 Versie 17 november 2013 2. Aanpak kiezen Gewenste resultaten (beoogde oplossing) van de opdracht Object Criterium Resultaten Resultaten Projectgrenzen Criteria van de resultaten Criteria van de resultaten Specifiek Onderbouwd Afgebakend Meetbaar Herleidbaar Criteria van de resultaten Afgebakend Indicatoren Wat de opdrachtgever kan verwachten Er wordt beredeneerd hoe de resultaten volgen uit de analyse van de kwestie Vaak in de vorm van wat NIET wordt gerealiseerd. De criteria voor de (eind)producten zijn gebaseerd op (onderzoek naar) wensen van de opdrachtgever (onderzoek naar ) wensen gebruiker Normen en richtlijnen uit het vakgebied. Normen van de wetgever Overzicht van de grenzen op gebied van functionaliteit, mate van gedetailleerdheid van het resultaat. Aanpak Produceren Afhankelijk van het soort opdracht: bij Advies/Ontwerp (2), Product (3) en Proof of Concept (4) een ontwerpmethode(n) kiezen. Hieruit komen deelresultaten en deelvragen voort. bij onderzoeksopdrachten(1) komen de deelvragen direct voort uit de centrale vraag en zijn de criteria voor de ontwerpmethode(n) en de (deel)producten niet relevant. Object Criterium Indicatoren Ontwerpmethode (n) Geëxpliciteerd Ontwerpmethode (n) Ontwerpmethode (n) Volledig Passend Ontwerpmethode (n) Onderbouwd (deel) resultaten Beschreven (deel) resultaten (deel) resultaten Doelgericht Relevant (deel) resultaten Efficiënt Student geeft aan via welke methodische stappen het ontwerp wordt gemaakt en evt. gerealiseerd en getest Verwoordt het volledige oplospad Past bij de doelstelling Past binnen de randvoorwaarden Past bij de organisatie Student beargumenteert waarom de gekozen methode passend is Student verwijst hierbij naar literatuur De (deel) resultaten zijn beschreven met een beschrijving van de onderlinge samenhang, Gekozen (deel) resultaten leiden tot het gestelde doel (deel) resultaten zijn dekkend, alle (deel) resultaten tezamen zijn noodzakelijk en volledig om de doelstelling te bereiken Er zijn niet meer (deel) resultaten gepland dan nodig is Aanpak Kennis mobiliseren Object Deelvragen Criterium Deelvragen Inhoudelijk verankerd Relevant Deelvragen Precies Onderzoeksmethoden Geëxpliciteerd Onderzoeksmethoden Passend Onderzoeksmethoden Onderbouwd Onderzoeksmethoden Haalbaar Indicatoren De deelvragen zijn afgeleid uit de centrale vraag of uit de gehanteerde ontwerpmethodiek of uit de theorie Deelvragen zijn dekkend, het antwoord op de deelvragen geeft alle informatie voor beantwoorden van de centrale vraag Alle deelvragen dragen bij tot beantwoording van de centrale vraag Duidelijkheid wordt verschaft over: De centrale begrippen en hun definitie De eventuele relatie tussen de centrale begrippen Student geeft per deelvraag aan via welke methoden van dataverzameling en –analyse antwoord wordt gegeven op de vraag Past bij de deelvraag in kwestie Past binnen de randvoorwaarden Past bij de organisatie Student beargumenteert waarom de gekozen onderzoeksmethode passend is Student verwijst hierbij naar literatuur Is haalbaar binnen de tijd en de randvoorwaarden 3 Versie 17 november 2013 Aanpak Interacteren Object Criterium Indicatoren Communicatie met de opdrachtgever Communicatie met de opdrachtgever Communicatie met de opleiding Verantwoord Geborgd Verantwoord Communicatie met de opleiding Geborgd De student verantwoordt hoe de communicatie met de opdrachtgever gaat/is verlopen De communicatie en afstemming met de opdrachtgever/ bedrijfsbegeleider moet door mijlpalen en afstemmingsmomenten geborgd zijn. De student verantwoordt hoe de communicatie met de opleiding gaat/is verlopen De communicatie en afstemming met de opleiding moet door mijlpalen en afstemmingsmomenten geborgd zijn. Aanpak Organiseren Object Criterium Indicatoren Ontwerpmethode(n) Onderzoeksmethoden (deel) resultaten Haalbaar Haalbaar Gepland Deel vragen Gepland Interactieactiviteiten Gepland Randvoorwaarden Kwaliteitsbewaking Risico’s Beschreven Beschreven Beschreven 3. Is haalbaar binnen de tijd, beschikbare uren en randvoorwaarden Is haalbaar binnen de tijd, beschikbare uren en randvoorwaarden Alle (deel) resultaten zijn beschreven met de mijlpalen en een fasering in de tijd met een schatting van de te besteden uren. Alle (deel) vragen zijn beschreven met de mijlpalen en een fasering in de tijd met een schatting van de te besteden uren. Alle interactieactiviteiten zijn beschreven met de mijlpalen en een fasering in de tijd met een schatting van de te besteden uren. worden de (functionele) kwaliteitcriteria uit de afstudeerleidraad bewaakt. de eventuele risico’s zijn met te nemen/genomen maatregelen; Aanpak uitvoeren Uitvoering Produceren (Ontwerp & realisatie) Object Criterium Uitvoering Ontwerp & Realisatie Vakkundig Logisch Controleerbaar Keuze uit alternatieven Valide Explorerend Creatief Indicatoren De gekozen ontwerpmethode en de eventuele realisatie is zo uitgevoerd dat deze: Effectief was, dus leidt tot een beroepsproduct Efficiënt was, dus met minimaal mogelijke inspanning Toelaatbaar was, dus voldeed aan in het vakgebied gebruikelijke gedragsregels Redeneringen zijn vrij van: inhoudelijke redeneerfouten onzakelijke argumenten gegoochel met betekenissen compleet achteraf nog gedetailleerd te volgen transparant, duidelijk gecommuniceerd Realiseren van de resultaten vereist onderzoek door de student waarin verschillende opties worden onderzocht en afgewogen. De voorgestelde aanbevelingen getuigen van: Originaliteit Eigenheid Out of the box aanpak Onafhankelijk denken Ideeën kunnen genereren Gevoel voor innovatie Uitvoering Kennis mobiliseren Object Criterium Mobiliseren van kennis Vakkundig Mobiliseren van kennis Betrouwbaar Indicatoren De gekozen onderzoeksmethode zijn zo uitgevoerd dat deze: Effectief waren, dus leidt tot beantwoording van de vragen Efficiënt waren, dus met minimaal mogelijke inspanning Toelaatbaar waren, dus voldeden aan de Gedragscode Praktijkgericht Onderzoek voor het HBO De uitvoering van het onderzoek is niet ongewenst beïnvloed door de toevallige: Voorgeschiedenis of gesteldheid van de onderzoeker Omstandigheden in de context Onvolkomenheden in instrument of procedure Situatie waarin of het toevallige tijdstip waarop het onderzoek plaats vond 4 Versie 17 november 2013 Mobiliseren van kennis Controleerbaar Het onderzoek is zo uitgevoerd dat de rapportage van de resultaten: Compleet is Gedetailleerd is In alle openheid naar voren wordt gebracht Uitvoering Organiseren Afwijkingen van PvA Afwijkingen van PvA Verantwoord Onderbouwd Afwijkingen van PvA Verankerd 4. Worden verantwoord Worden onderbouwd met gegevens die door Kennis mobiliseren zijn verzameld Zijn goedgekeurd door de opdrachtgever Opleveren, reflecteren en verantwoorden Beroepsproducten Object Criterium Beroepsproduct Indicatoren Adequaat Gevonden resultaat: levert een daadwerkelijke oplossing verankerd in de probleemcontext toelaatbaar en duurzaam Gevonden resultaat: geaccepteerd in probleemcontext acceptabel in het probleemdomein conceptueel onderbouwd goed verklaard generaliseringen aannemelijk gemaakt De voorgestelde oplossing: Veroudert niet te snel Is weinig belastend voor natuur en milieu Valide Duurzaam Verantwoording produceren Object Criterium Indicatoren Gemaakte keuzes Gemaakte keuzes Geëxpliciteerd De keuzes die in het ontwerpproces zijn gemaakt worden expliciet gepresenteerd Onderbouwd Gemaakte keuzes Reflectie Reflectie Logisch Reflectie Zelfreflectief De keuzes die in het ontwerpproces zijn gemaakt worden onderbouwd met gegevens die door Kennis mobiliseren zijn verzameld Hierbij is ook gebruik gemaakt van theorie De gemaakte keuzes leiden logisch van doelstelling via ontwerp en eventueel realisatie naar het beoogde doel Geeft een evaluatie van de procesgang Geeft een genuanceerd beeld van verschillen tussen beoogde en gerealiseerde procesgang Geeft de gevolgen aan van deze verschillen voor de eindproducten geeft inzicht in eigen werkwijze en het proces bevat een reflectie over de eigen plaats in het project geeft inzicht in wat de student heeft geleerd Volledig Kritisch Verantwoording Kennis mobiliseren Object Criterium Literatuuronderzoek Relevant Literatuuronderzoek Adequaat Analyse van de verzamelde data Helder beschreven Conclusies Conclusies Conclusies Volledig Verankerd Valide Aanbevelingen Verankerd Indicatoren Literatuur draagt bij aan het nemen van besluiten in het ontwerpproces Literatuur draagt bij aan het beantwoorden van de onderzoeksvragen Behandeling literatuur is gefocusseerd op de kernzaken De oorspronkelijke bron wordt, voor zover mogelijk geraadpleegd en vermeld in de bibliografie Meerdere contrasterende visies worden afgewogen Bronnen worden kritisch besproken Systematisch is aangegeven wat de student bij de analyse heeft gedaan Hoofdzaken worden van bijzaken gescheiden Overzichtelijk en eenduidig Kernachtig Geven een antwoord op alle deelvragen Zijn gebaseerd op de verzamelde gegevens Het gevonden antwoord doet recht aan Centrale begrippen Verklaringsregels Generaliseringsregels Zijn gebaseerd op de verzamelde gegevens en de conclusies 5 Versie 17 november 2013 Aanbevelingen Adequaat Aanbevelingen Haalbaar Aanbevelingen Duurzaam Aanbevelingen Creatief leveren een daadwerkelijke bijdrage zijn toelaatbaar De voorgestelde aanbevelingen zijn te realiseren gegeven de: Omgeving waarin ze moeten functioneren De mensen die ze moeten uitvoeren Beschikbare tijd, budget etc. De voorgestelde aanbevelingen: Verouderen niet te snel Zijn weinig belastend voor natuur en milieu De voorgestelde aanbevelingen getuigen van: Originaliteit Eigenheid Out of the box aanpak Onafhankelijk denken Ideeën kunnen genereren Gevoel voor innovatie Uitvoering Interacteren (presentatie en verdediging) Object Criterium Presentatie adequaat Discussie/verdediging onderbouwd Indicatoren Opbouw presentatie toont ordening van hoofd- en bijzaken Presentatie heeft een toegevoegde waarde in relatie tot scriptie Doelmatige inzet van audiovisuele hulpmiddelen. Leesbaarheid, verstaanbaarheid, taalgebruik en vormgeving vormen geen belemmering voor communicatie en presentatie De presentatie is verantwoord afgestemd op het aanwezige publiek Vragen over: de aanpak van de opdracht; het PvA, de planning de aanleiding en de context de gebruikte methoden en technieken de gemaakte (ontwerp)keuzes het beroepsproduct; de evaluatie van het afstudeerwerk. Worden mondeling voorzien van een duidelijke en beredeneerd antwoord en eventuele onduidelijkheid wordt verhelderd Toont daarbij een lerende houding: Maakt in discussie optimaal gebruik van opgedane kennis, vaardigheden en houding Geeft heldere grenzen aan waar inzicht,kennis en attitude eventueel verbeterd en/of uitgebreid kunnen worden Uitvoering Interacteren (vormgeving, taal en stijl) Deze zijn eventueel te hanteren als “ontvankelijkheidseisen”. Indien de scriptie hier niet aan voldoet dan is hij onvoldoende en wordt de rest niet beoordeeld. Verantwoordingsverslag Criterium Omslag is compleet Verantwoordingsverslag Inhoud goed gecommuniceerd Indicatoren Titel Naam/ studentnummer Naam Begeleider(s) Datum Plaats Opleiding (naam vt dt etc.) De gekozen stijl van schrijven past bij een onderzoeksverslag: Objectief Precies Zorgvuldig Helder Beknopt Zakelijk Goed Nederlands 6 Versie 17 november 2013 Verantwoordingsverslag Volledig Verantwoordingsverslag Logisch Verantwoordingsverslag Verzorgd Het onderzoeksverslag bevat: Inleiding met probleemstelling, deelvragen en toelichting Beschrijving van de methodologie Literatuurverslag , theoretisch kader en eventueel conceptueel model Resultaten Conclusies en eventueel discussie Eventuele aanbevelingen en/of beroepsproducten Het verslag heeft een logische opbouw. De redeneringen zijn vrij van: Inhoudelijke redeneerfouten Onzakelijke argumenten Gegoochel met betekenissen De uiterlijke verzorging doet recht aan regels voor: Spelling en interpunctie Redactionele vormgeving Literatuurlijst en bronvermelding 7