Management, finance en recht Oefenen met nieuwe kwaliteitscriteria door reviewen van plannen van aanpak Probleemstelling, deelvragen, methodologie Hogeschool Utrecht Institute for Business Economics Health Centre Hoenderdaal Driebergen-Rijsenburg 18 januari 2012 Dr. Daan Andriessen Lector Intellectual Capital Hogeschool Inholland Agenda 1. Wat is onderzoek in de HBO bachelor? 2. Kwaliteitscriteria voor onderzoek 3. Oefenen met nieuwe kwaliteitscriteria door reviewen van plannen van aanpak 2 Wat is onderzoek in de HBO bachelor? 3 Formele definitie van onderzoek (1) ‘Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan’ (Verschuren, 1994). 4 Formele definitie van onderzoek (2) Doelbewust: vanuit probleemveld, gericht op beantwoorden van probleemstelling en deelvragen Methodisch: systematisch en volgens erkende methoden en wetensch. criteria te werk gaan Vragen: ‘zonder vragen geen...’ Plan: methodologie en onderzoekplan (acties, instrumenten, tijd en geld) 5 Onderzoek op HBO bachelor niveau? Nieuwe kennis= nieuw voor de wereld met bredere geldigheid dan het individuele geval of Nieuwe kennis= nieuw voor de opdrachtgever en relevant voor het individuele geval HBO Bachelor 6 Oké, maar dat doen we toch al jaren? Wat is het verschil met bv. projectmanagement en projectonderwijs? 7 De handelingscyclus (Van Strien, 1986) 1. Probleemkluwen 2. Probleemkeuze 3. Diagnose/analyse 4. Plan/ontwerp 5. Ingreep/ implementatie 6. Evaluatie Strien, P.J. van (1986) Praktijk als wetenschap. Methodologie van het sociaalwetenschappelijk handelen. Assen: Van Gorcum, 1986 De handelingscyclus bij praktijkgerichte vraagstukken OP BASIS VAN DIAGNOSE OP BASIS VAN ONTWERP VOORSTEL VOOR VOORSTEL VOOR IMPLEMENTATIE OP BASIS VAN EVALUATIE VOORSTEL VOOR De onderzoekscyclus Rapportage & Presentatie Conclusies & Aanbevelingen Data analyse Doelstelling Probleemstelling Deelvragen 1e deel literatuurstudie Onderzoeksplan: •Methodologie •Tijdsplanning Data verzameling (waaronder nadere literatuurstudie) = Plan van Aanpak Onderzoek in HBO = handelingscyclus plus onderzoekscyclus (Leen, 2011) OP BASIS VAN DIAGNOSE OP BASIS VAN ONTWERP VOORSTEL VOOR 6 5 4 3 1 2 Onderzoekscyclus IMPLEMENTATIE VOORSTEL VOOR 6 5 4 3 EVALUATIE VOORSTEL VOOR 6 1 5 4 2 Onderzoekscyclus OP BASIS VAN 3 1 2 Onderzoekscyclus Leen, Jan (2011) Mondelinge communicatie 6 5 4 3 1 2 Onderzoekscyclus Veel voorkomende combinaties (1) Hoe kan … verbeterd worden? (functie: ontwerpen) OP BASIS VAN DIAGNOSE ONTWERP VOORSTEL VOOR 6 5 4 3 1 2 Onderzoekscyclus Veel voorkomende combinaties (2) Wat is het effect van … (functie: evalueren) IMPLEMENTATIE OP BASIS VAN EVALUATIE 6 5 4 3 1 2 Onderzoekscyclus Veel voorkomende combinaties (3) Hoe goed is plan …? (functie: evalueren) OP BASIS VAN ONTWERP IMPLEMENTATIE 6 5 4 3 1 2 Onderzoekscyclus EVALUATIE Veel voorkomende combinaties (4) Hoe kan … verbeterd worden en wat zijn daarvan de effecten? (functie: ontwerpen & evalueren) OP BASIS VAN OP BASIS VAN DIAGNOSE IMPLEMENTATIE ONTWERP VOORSTEL VOOR 6 5 4 3 1 2 Onderzoekscyclus EVALUATIE Kwaliteitscriteria voor onderzoek 16 Kwaliteitscriteria zijn hoeksteen bij afstuderen 1. Kwaliteitscriteria vertellen student aan welke eisen het eindproduct moet voldoen -> vooraf geven en mee laten oefenen 2. Student kan zich dan afvragen: wat moet ik allemaal doen in het onderzoek om deze kwaliteit te realiseren? 3. Docent kan criteria als leidraad gebruiken bij de begeleiding 4. Dezelfde kwaliteitscriteria worden gebruikt bij het beoordelen van het eindproduct Goede kwaliteitscriteria voldoen aan 3 eisen Een kwaliteitscriterium heeft: • Een object (wat moet kwaliteit hebben? Bv. probleemstelling of literatuurstudie) • Een criterium (welke kwaliteit moet het hebben? Bv. relevant of functioneel) • Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?) 18 19 Kwaliteitscriteria •Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost, 1999; Oost & Markenhof, 2002) •Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008) •Getoetst aan en aangevuld met criteria NVAO (Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2010) •In handzaam formulier gezet door cluster Finance Inholland •Aangepast voor HU IBE 20 NVAO heeft bij ons getoetst op: 1. theoretische vorming / onderbouw 2. overzicht en inzicht, het kunnen plaatsen van problemen in de context 3. reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance 4. creativiteit en/of vermogen tot conceptualisering 5. vermogen om helder te communiceren 6. vermogen om efficiënt en resultaatgericht te werken 21 22 Onderliggende criteria met indicatoren zijn beschikbaar 23 1. Inleiding en onderzoeksopzet A. Probleemstelling en deelvragen zijn inhoudelijk verankerd, relevant, afgebakend, precies en functioneel. B. De gebruikte methodologie is functioneel, betrouwbaar en relevant m.b.t. de afzonderlijke deelvragen. 24 Probleemstelling • “Onderzoek begint met iemand die iets niet weet of snapt. Die vraag houdt hem bezig, ergert hem, prikkelt zijn nieuwsgierigheid. (…) De vraag is te moeilijk om snel even te beantwoorden. (…) Die moeilijk te beantwoorden vraag wordt de probleemstelling genoemd.” (Oost en Markenhof, 2002) • Begripsverwarring: - Probleemstelling = vraagstelling = onderzoeksvraag = hoofdvraag - Veldprobleem ≠ probleemstelling - Doelstelling = einddoel van het onderzoek - Veldprobleem → doelstelling → probleemstelling → deelvragen • Een probleemstelling is een zin met een vraagteken! Van veldprobleem naar probleemstelling1 (1) Veldprobleem = het probleem in de praktijk (vaak gegeven door opdrachtgever) Problemen bestaan niet. Een situatie is pas een probleem als iemand dat ervan maakt (Vermaak, 2009) Belangrijke vraag: wie bepaalt dat iets een probleem is? Veldprobleem Kennisprobleem Probleemstelling 1) Andriessen, D. (2011) Veldprobleem, kennisprobleem, deelvragen, in: Van Aken en Andriessen, Handboek ontwerpgericht onderzoek, Den Haag: Boom Lemma 26 Van veldprobleem naar probleemstelling (2) Veldprobleem = een verschil tussen een bestaande en een gewenste situatie Dit maakt een diagnose noodzakelijk: 1. Wat is de feitelijke situatie? Wat is de gewenste situatie? Wat is het gat tussen de feitelijke en de gewenste situatie? 2. Wat zijn de oorzaken van dit gat? Veldprobleem Kennisprobleem Probleemstelling 27 Van veldprobleem naar probleemstelling (3) Veldprobleem oplossen vereist: •Mensen & Middelen •Tijd & Gelegenheid •Kennis Student richt zich alleen op het aanleveren van (een deel van) de kennis Kennisprobleem = het gat tussen de bestaande en de benodigde kennis om het probleem (deels) op te lossen Veldprobleem Kennisprobleem Probleemstelling 28 Van veldprobleem naar probleemstelling (4) Kennisprobleem is vaak heel groot De student moet dus een keuze maken Probleemstelling = de vraag die het deel van het kennisgat verwoordt dat in het onderzoek wordt opgevuld Vereist: •Kennis van zaken (literatuurstudie) •Focus •Onderhandelen Veldprobleem kennis Kennisprobleem focus Probleemstelling 29 Kwaliteitscriteria probleemstelling Functioneel Inhoudelijk verankerd Relevant Afgebakend Precies Een probleemstelling is functioneel Definiëren Beschrijven Vergelijken Evalueren Verklaren Ontwerpen Bron: Oost & Markenhof, 2002 Een probleemstelling is functioneel (2) Onderzoeksfunctie Exploratief Hypothese toetsend Definiëren Tot welke klasse van fenomenen behoort dit? Behoort dit fenomeen bij deze klasse? Beschrijven Wat zijn de eigenschappen van X? Heeft X deze eigenschappen? Vergelijken Wat zijn de verschillen tussen X en Y? Zijn X en Y verschillend? Evalueren Hoe succesvol is deze interventie? Is deze interventie een succes? Verklaren Waarom Y? Is het waar dat X Y verklaart? Ontwerpen Wat draagt bij aan de oplossing van Z? Draagt X bij aan de oplossing van Z? Bron: Oost & Markenhof, 2002 Probleemstelling bepaalt het soort antwoord dat je zoekt Onderzoeksfunctie Soort antwoord Definiëren Indeling (A behoort bij B) Beschrijven Beschrijving (A is….) Vergelijken Vergelijking (A is op die en die punten anders/ hetzelfde als B) Evalueren Oordeel op basis van normen (A is goed/slecht, effectief/niet effectief, mooi/lelijk etc.) Verklaren Verklaring (B wordt veroorzaakt door A) Ontwerpen Een oplossing (Als je in situatie A doel B wilt bereiken moet je C doen) Reviewen van 2 Plannen van Aanpak Financiële prestatiemaatstaven binnen zorginstellingen Werkwijze teams Rechtenopbouw 34 Doelstelling1 “Voor het realiseren van prestatiemanagement binnen zorginstellingen in de care sector zullen prestatie-indicatoren bepaald moeten worden”. (p.3) “Het doel van dit onderzoek is ontdekken of er een uniforme werkwijze gehanteerd kan worden binnen de verschillende teams van Rechtenopbouw die verantwoordelijk zijn voor de processen van waardeoverdrachten, zodanig dat ze een team kunnen worden.” (p.2) 1) NVAO: Wat willen we (laten) bereiken met dit project: onderzoeksdoelen? 35 Functioneel: Maakt de scriptie duidelijk wat de onderzoeksfunctie van de probleemstelling is? Wat is de onderzoeksfunctie in scriptie 1 en 2? “ Welke financiële prestatiemaatstaven worden toegepast binnen zorginstellingen, hoe zijn de zij verankerd in de bedrijfsvoering, zijn de financiële prestatiemaatstaven toekomstbestendig en welke ruimte voor verbetering is er op dit gebied mogelijk?” (p.3) “Wat zijn de verschillen en overeenkomsten binnen de diverse systemen van de teams Rechtenopbouw in Locatie A en locatie B en eventuele welke digitale systemen kunnen helpen bij het uniform werken.” (p.2) Onderzoek in HBO = handelingscyclus plus onderzoekscyclus (Leen, 2011) OP BASIS VAN DIAGNOSE OP BASIS VAN ONTWERP VOORSTEL VOOR 6 5 4 3 1 2 Onderzoekscyclus IMPLEMENTATIE VOORSTEL VOOR 6 5 4 3 EVALUATIE VOORSTEL VOOR 6 1 5 4 2 Onderzoekscyclus OP BASIS VAN 3 1 2 Onderzoekscyclus Leen, Jan (2011) Mondelinge communicatie 6 5 4 3 1 2 Onderzoekscyclus Functioneel bij HU IBE “Onderzoeksfunctie is ontwerpen/voorschrijven, d.w.z. de oplossing wordt als een advies voor de te nemen maatregelen of acties gegeven.” 38 Functioneel: De deelvragen bepalen de onderzoekstructuur • De probleemstelling is uitgewerkt in deelvragen waarvan een deel theoretisch zijn en een deel empirisch • De deelvragen zijn volledig, dwz door de deelvragen te beantwoorden krijg je alle informatie die nodig is voor het beantwoorden van de probleemstelling • De logische volgorde klopt - Vraag 1 gaat vooraf aan vraag 2 als vraag 1 een antwoord oplevert dat nodig is om vraag 2 te beantwoorden • Samen vormen de deelvragen de onderzoeksstructuur • Met behulp van de deelvragen bepaal je de onderzoekstrategieën die je gaat gebruiken Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: DEFINIEREN Beschrijvende deelvragen: Wat zijn de kenmerken van A? Wat zijn de kenmerken van de familie of klasse? Vergelijkende deelvragen: Wat zijn de overeenkomsten van A en B? Wat zijn de verschillen tussen A en B? Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: VERGELIJKEN Beschrijvende deelvragen: Wat zijn de kenmerken van A? Wat zijn de kenmerken van B? Vergelijkende deelvragen: Wat zijn de overeenkomsten van A en B? Wat zijn de verschillen tussen A en B? Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: EVALUEREN Beschrijvende deelvragen: Wat zijn de kenmerken van A? Wat zijn de kenmerken van de norm? Vergelijkende deelvragen: Wat zijn de overeenkomsten van A en de norm? Wat zijn de verschillen tussen A en de norm? IMPLEMENTATIE OP BASIS VAN EVALUATIE Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur:ONTWERPEN ONTWERP Beschrijvende deelvragen: Ontwerpende deelvragen: - Wat zijn de kenmerken van situatie A? - Wat zijn de kenmerken van de norm? - Welke oplossingen zijn er bekend? - Welke eisen stellen we aan de oplossing? Vergelijkende deelvragen: Vergelijkende deelvragen: - Wat zijn de overeenkomsten van A en de norm? - Wat zijn de verschillen tussen A en de norm? Evalueren Evalueren DIAGNOSE - Wat zijn de overeenkomsten van de oplossing en de eisen? - Wat zijn de verschillen tussen de oplossing en de eisen? Verklarende deelvragen: Verklarende deelvragen: - Wat maakt dat er verschillen zijn tussen A en de norm? - Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van het probleem?43 De onderzoeksstructuur van 1. 2. Is de probleemstelling uitgewerkt in deelvragen waarvan een deel theoretisch is en een deel empirisch? Vormen de deelvragen samen een onderzoekstructuur die past bij de onderzoeksfunctie? 1. Welke rol speelt de financiële functie bij zorginstellingen? 2. Welke financiële prestatiemaatstaven worden toegepast binnen zorginstellingen en in hoeverre zijn zij verankerd in de bedrijfsvoering? 3. Aan welke criteria moeten financiële prestatiemaatstaven voldoen om toekomstbestendig te zijn? 4. Welke ruimte voor verbetering is er op het gebied van financiële maatstaven mogelijk en hoe kan deze ingevuld worden? De onderzoeksstructuur van 1. 2. Is de probleemstelling uitgewerkt in deelvragen waarvan een deel theoretisch is en een deel empirisch? Vormen de deelvragen samen een onderzoekstructuur die past bij de onderzoeksfunctie? 1. Hoe verloopt het proces van waardeoverdracht momenteel binnen de verschillende teams? 2. Wat zijn de verschillen en overeenkomsten tussen de diverse systemen die worden gebruikt door deze teams en wat is de beste wijze van uniformeren van deze systemen (wordt de systeemgelijkstelling of systeemintegratie gerealiseerd )? 3. Welke systemen zijn er nodig om deze systeemgelijkstelling/integratie te faciliteren? 4. Wat is de toegevoegde waarde van de eenwording van de verschillende teams? 5. Wat verandert er concreet aan de te verrichten werkzaamheden en hoe zullen deze eruit zien? 6. Hoe kijken de medewerkers naar het uniform werken? Probleemstelling is inhoudelijk verankerd Uitleg wordt gegeven over: • Het kennisgebied waarop het onderzoek betrekking heeft (bv. ondernemerschap, zakelijke dienstverlening) • Het thema waar het onderzoek over gaat (bv. acquisitie bij Private Banking, solvabiliteitsregelgeving de verzekeringsbranche) • Hoe het thema aansluit bij de problematiek van organisatie waarin het onderzoek plaats vindt en de context (sociaal, maatschappelijk, cultureel, economisch, internationaal) PvA 1 en 2? Een probleemstelling is relevant Probleemstelling: - Heeft betrekking op een problematische situatie in de beroepspraktijk - Kan bij beantwoording een bijdrage leveren aan oplossing van de problematische situatie - Is nog niet beantwoord - Is geaccepteerd door de klant PvA 1 en 2? Probleemstelling is afgebakend Aannemelijk wordt gemaakt dat de probleemstelling een optimaal bereik heeft. • Vraag moet qua complexiteit op hbo-niveau zijn • Beantwoorden van de vraag moet voldoende werk opleveren gedurende de onderzoeksperiode, rekening houdend met: • Beschikbaarheid van informatie • Aantal betrokken stakeholders, afdelingen, processen • Beantwoorden van de vraag moet haalbaar zijn in de onderzoeksperiode gegeven bovenstaande factoren PvA 1 en 2? Een probleemstelling is precies Wat is het domein? • Waar gaat de vraag over? Wat zijn de centrale begrippen en zijn ze goed gedefinieerd? • Welke begrippen worden gebruikt om iets over het domein te zeggen? • Hoe goed gedefinieerd zijn die? Wat is de eventuele relatie tussen de centrale begrippen en is die te onderzoeken? Een probleemstelling is precies Wat is het domein? • Financiële prestatiemaatstaven bij zorginstellingen Wat zijn de centrale begrippen en zijn ze goed gedefinieerd? • verankerd in de bedrijfsvoering, • toekomstbestendig • ruimte voor verbetering Wat is de eventuele relatie tussen de centrale begrippen en is die te onderzoeken? • zijn de FP’s verankerd in de bedrijfsvoering en toekomstbestendig en is er ruimte voor verbetering Een probleemstelling is precies Wat is het domein? • de diverse systemen van de teams Rechtenopbouw in Locatie A en locatie B Wat zijn de centrale begrippen en zijn ze goed gedefinieerd? • systemen • teams rechtenopbouw • digitale systemen • uniform werken Wat is de eventuele relatie tussen de centrale begrippen en is die te onderzoeken? • Zijn er verschillen en kunnen digitale systemen helpen bij het uniform werken Kwaliteitscriteria methodologie Functioneel Betrouwbaar Methodologie: functioneel Functioneel •Er is sprake van een sluitende onderzoeksopzet waarin de stappen systematisch leiden naar het beoogde antwoord De deelvragen bepalen de onderzoekstructuur en vormen basis voor methodologie Bv. Wat is de gemiddelde lengte van deze groep? Theoretische deelvragen: - Wat is lengte? - Wat is de eenheid van lengte? - Hoe kan lengte betrouwbaar worden gemeten? - Hoe bereken je een gemiddelde? Empirische deelvragen: - Hoeveel mensen zitten er in de groep? - Hoe lang is ieder lid van de groep? Methodologie • literatuuronderzoek •Tellen •Meten met meetlat Functioneel: Onderzoeksplan Probleemstelling Deelvraag Deelvraag 1 Deelvraag 2 Deelvraag n PvA 1 en 2? Methode van dataverzameling Methode van data analyse Bronnen Functioneel: Onderzoeksplan Methode van data analyse Bronnen Deelvraag Methode van dataverzameling “Welke rol speelt de financiële functie bij zorginstellingen?” • semigestructureerd interview • desk research • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties “Welke financiële • semiprestatiemaatstaven worden gestructureerd toegepast binnen interview zorginstellingen en in hoeverre • desk research zijn zij adequaat toegerust in de bedrijfsvoering?” • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties “Aan welke criteria moeten financiële prestatiemaatstaven voldoen om toekomstbestendig te zijn?” • semigestructureerd interview • desk research • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties “Welke ruimte is er voor verbetering op het gebied van financiële maatstaven en hoe kan deze ingevuld worden?” • semigestructureerd interview • desk research • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties Methodologie: functioneel 1. De werking van de verschillende systemen die gebruikt worden voor waardeoverdrachten bestuderen en extra informatie opvragen bij de medewerkers; 2. Door systeembenadering de werking van de diverse systemen vergelijken en onderzoek doen naar het beste systeem in verband met doelmatigheid en doelgerichtheid; 3. Onderzoeken naar de rollen van applicatie 1 en systemen 2 en 3; 4. Toetsen en beoordeling van het uniform maken van de systemen door de voor- en nadelen hiervan te bepalen en tegen elkaar op te wegen; 5. De stappen van de geüniformeerde werkwijze vaststellen; 6. Kwalitatieve interviews houden met de medewerkers evenals het managementteam. Methodologie: Betrouwbaar Betrouwbaar • Betrouwbaarheid is een kenmerk van een methode: - Betrouwbaar wil zeggen dat bij herhaling min of meer de zelfde gegevens worden gevonden. • Validiteit is een kenmerk van een conclusie of andere uitspraak - Valide wil zeggen dat de uitspraak voldoende recht doet aan de werkelijkheid Betrouwbaar Werkwijze: •Waarborgen inbouwen zodat de resultaten van het onderzoek niet afhangen van toevallige omstandigheden Bv. Zorg voor vaste methoden voor dataverzameling en –analyse - Gespreksprotocol - Standaard vragenlijst (bij voorkeur bestaande vragenlijst) - Goede steekproeftrekking - Analyseschema Betrouwbaar ? Methode van data analyse Bronnen Deelvraag Methode van dataverzameling “Welke rol speelt de financiële functie bij zorginstellingen?” • semigestructureerd interview • desk research • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties “Welke financiële • semiprestatiemaatstaven worden gestructureerd toegepast binnen interview zorginstellingen en in hoeverre • desk research zijn zij adequaat toegerust in de bedrijfsvoering?” • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties “Aan welke criteria moeten financiële prestatiemaatstaven voldoen om toekomstbestendig te zijn?” • semigestructureerd interview • desk research • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties “Welke ruimte is er voor verbetering op het gebied van financiële maatstaven en hoe kan deze ingevuld worden?” • semigestructureerd interview • desk research • controller, zorgmanagers en teamleiders bij 2 instellingen • Aantal publicaties Betrouwbaar? 1. De werking van de verschillende systemen die gebruikt worden voor waardeoverdrachten bestuderen en extra informatie opvragen bij de medewerkers; 2. Door systeembenadering de werking van de diverse systemen vergelijken en onderzoek doen naar het beste systeem in verband met doelmatigheid en doelgerichtheid; 3. Onderzoeken naar de rollen van applicatie 1 en systemen 2 en 3; 4. Toetsen en beoordeling van het uniform maken van de systemen door de voor- en nadelen hiervan te bepalen en tegen elkaar op te wegen; 5. De stappen van de geüniformeerde werkwijze vaststellen; 6. Kwalitatieve interviews houden met de medewerkers evenals het managementteam. Voor meer infromatie: [email protected] 62