Ontwerpgericht wetenschappelijk onderzoek. Inleiding: Er zijn verschillende leerinterventies mogelijk als het gaat om het leren in en van organisaties (Ruijters, 2006). Bij het kiezen van de juiste leerinterventie (vorm van het leren) is het van belang om zaken als de leervraag, de leeroriëntatie (de functie van het leren) en het leerprofiel van de lerende in ogenschouw te nemen. Hierbij is de functie van het leren leidend, m.a.w. vorm volgt functie. Een leerinterventie zoals ‘opleiden’ kan bijvoorbeeld heel goed worden toegepast om kennis te vergroten. Als leerinterventie om de uitvoering in de dagelijkse praktijk te verbeteren, is deze leervorm echter minder geschikt. Er ontstaat bij de leerinterventie ‘opleiden’ namelijk vaak een transferprobleem tussen werken en leren (Ruijters, 2006). Ruijters bedoelt hiermee dat in dergelijke gevallen de transfer van de kennis en inzichten opgedaan tijdens de scholing naar de praktijksituatie niet goed verloopt. Ze geeft als verklaring hiervoor dat ‘opleiden’ niet het juiste instrument is om verandering in de praktijk mee te bewerkstelligen. Het is slechts één stap in die verandering, namelijk het aanreiken van nieuwe kennis, het onderzoeken van eigen en nieuw gedrag, het onderzoeken van wat er gebeurt als je anders gaat handelen. De oriëntatie (functie) van een opleiding is het ‘onderzoeken’ van nieuwe kennis, inzichten, perspectieven, handelingsmogelijkheden en dergelijke, niet het ‘praktiseren’, niet het vormgeven van een verandering in de praktijk. Daarvoor is een leerinterventie zoals ‘actieonderzoek’ beter geschikt. Actieonderzoek: Wat is onderzoek: ‘Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan’ (Verschuren, 1994). Hierbij richt fundamenteel onderzoek zich op het oplossen van kennisproblemen en onderzoekt men met praktijkonderzoek de ontwikkeling, uitvoering en evaluatie van oplossingen voor praktijkproblemen (Tijmstra & Boeije, 2011). Actieonderzoek valt dus onder de categorie ‘praktijkonderzoek’. Bij actieonderzoek onderzoekt men de eigen werkpraktijk. Dat betekent dat men bijvoorbeeld de eigen manier van werken of de eigen praktijktheorieën onderzoekt, of reflecteert op ervaringen in de praktijk met de bedoeling nieuwe kennis of inzichten te verkrijgen. Ook kan het gaan om expliciete leeractiviteiten in het werk. Het element van onderzoek vraagt om afstand nemen, observeren, monitoren en reflecteren (Ruijters, 2006). Whitehead omschrijft het proces van actieonderzoek als volgt (Whitehead, 1993): 1 I reach a critical point in my practice; I feel the need to act; I act in a chosen direction; I monitor and evaluate my actions; I change the direction of my actions in the light of my evaluation. Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Actieonderzoek kan dus ingezet worden als men in de eigen praktijksituatie, middels bepaalde interventies, verbeteringen wil bewerkstelligen. Naast oog voor de gewenste resultaten van de interventie, is het dan ook van belang om aandacht te hebben voor de onderliggende redenering waarom de interventie tot de gewenste veranderingen zal leiden. Het gaat hierbij om het expliciteren van de verandering zelf en wat deze teweeg brengt. Dit expliciteren kan belangrijke sturingsinformatie opleveren voor de innovatiepraktijk of de kennisontwikkeling van de organisatie (Berg, Hoeve, & Zitter, 2012). Ontwerponderzoek: Naast fundamenteel wetenschappelijk onderzoek is er dus ook wetenschappelijk onderzoek dat gedreven wordt door de wil om veldproblemen op te lossen, waarvoor nog onvoldoende generieke kennis bestaat. (Andriessen & Aken, 2011) Onder generieke kennis wordt abstracte kennis verstaan, waarvan verondersteld wordt dat die algemeen geldend is. Abstracte kennis wordt, in tegenstelling tot concrete kennis, uitgedrukt in meer algemene termen en daardoor op velerlei vlakken (los van de context) toepasbaar. Generieke kennis heeft een bepaald geldigheids- of toepassingsdomein. Specifieke kennis is kennis die slechts geldig is voor één specifieke situatie of geval. Een veldprobleem is een situatie in de werkelijkheid die volgens belanghebbenden verbeterd kan of moet worden. Kennis over generieke oorzaken en oplossingen van veldproblemen, is kennis die gebruikt kan worden als instrument om een betere wereld te realiseren (Andriessen & Aken, 2011). Bij verklarend praktijkgericht onderzoek beperkt het onderzoek zich tot het beschrijven van veldproblemen en het verklaren van hun oorzaken. Dit type praktijkgericht onderzoek kan de klassieke methodologie gebruiken van het sociaalwetenschappelijk onderzoek. Ontwerpgericht praktijkonderzoek daarentegen richt zich niet alleen op het beschrijven en verklaren van typen veldproblemen maar ook op het ontwikkelen en testen van generieke oplossingen voor die veldproblemen. Omdat dit onderzoek door haar generieke aard geen kant-en-klare oplossingen biedt maar input voor het ontwerpen van specifieke oplossingen, wordt deze vorm van praktijkgericht onderzoek ook wel ontwerpgericht wetenschappelijk onderzoek genoemd. Omdat het ontwerpgerichte onderzoek in zoveel aspecten anders is dan het beschrijvende en verklarende onderzoek, kan gesproken worden over een ander onderzoeksparadigma en is er een andere methodologie nodig dan voor het beschrijvende en verklarende praktijkgerichte onderzoek (Andriessen & Aken, 2011). In ontwerpgericht onderzoek kunnen kennisstroom en praktijkstroom niet zonder elkaar. Alléén de praktijkstroom is actieonderzoek, alléén de kennisstroom is regulier wetenschappelijk onderzoek. De combinatie maakt onderzoek tot ontwerpgericht wetenschappelijk onderzoek. Daarbij spelen gevalstudies vaak een belangrijke rol. 2 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Paradigma: een samenhangend stelsel van modellen en theorieën die een denkkader vormen waarbinnen de 'werkelijkheid' geanalyseerd en beschreven wordt. Een paradigma bestaat uit waarden die voor waarheid worden aangenomen en die niet meer worden getest (Kuhn, 1962). De reden dat bij praktijkgericht onderzoek in de sociale wereld onderzoek vaak beperkt blijft tot beschrijven en verklaren is volgens Andriessen en van Aken (2011) toe te schrijven aan de problemen in de sociale wereld bij het evalueren van specifieke oplossingen voor veldproblemen en bij het generaliseren van die oplossingen tot generieke oplossingen. Deze problemen worden op hun beurt veroorzaakt door de problemen bij het voorspellen van toekomstig menselijk gedrag. M.b.t. het verleden kun je ook in de sociale wereld het gedrag van systemen goed evalueren en tevens onderzoeksresultaten op basis van een steekproef generaliseren naar een populatie. Wat gebeurd is, ligt vast; je kunt het analyseren, er patronen in ontdekken en meer algemene conclusies trekken. Maar een wetenschappelijk onderbouwde generieke principeoplossing voorstellen betekent een wetenschappelijk verantwoorde uitspraak doen over de toekomst en dat is in de sociale wereld nu eenmaal lastiger dan in de materiële wereld van de geneeskunde en techniek. In essentie worden de problemen bij het evalueren en generaliseren van oplossingen in de sociale wereld veroorzaakt door de menselijke handelingsvrijheid. In de materiële wereld bestaan er universele, invariante, gedragsbepalende wetmatigheden. Dit zijn wetmatigheden, die overal gelden, niet over de tijd veranderen en geen ruimte laten voor de beschreven entiteiten om het een keertje anders te doen. In de sociale wereld bestaan deze wetmatigheden, als gevolg van de menselijke handelingsvrijheid, echter niet (Andriessen & Aken, 2011). Ook het menselijk handelen is, als gevolg van factoren zoals opvoeding, leerervaringen en sociale context, niet steeds volledig vrij en willekeurig en vertoont contextgebonden regelmatigheden en patronen die gebruikt kunnen worden om realistische verwachtingen over toekomstig handelen te ontwikkelen en zelfs om expliciete uitspraken te doen over toekomstig menselijk handelen. Het gedrag van een machine is vaak te berekenen, dit geldt echter niet voor menselijk gedrag. Het doen van uitspraken over toekomstig menselijk handelen is een zaak van beoordelen (Andriessen & Aken, 2011). Het vermogen om in sociale contexten het gedrag van anderen, al dan niet in reactie op eigen gekozen gedrag, te voorspellen is een vrijwel universele menselijke eigenschap. Dit vermogen wordt ontwikkeld door ervaringsleren (Kolb, 1984). Wetenschappelijk verantwoorde benaderingen van beroepsmatig handelen kunnen volgens Andriessen en van Aken (2011) gebaseerd worden op geobjectiveerd en systematisch ervaringsleren. Dat is leren op basis van onder meer systematisch en gecontroleerd waarnemen vanuit diverse perspectieven, zorgvuldig analyseren van die waarnemingen, methodisch trekken van conclusies en deze laten beoordelen door betrokkenen en door derden. 3 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Toekomstig menselijk gedrag kan dus niet ‘berekend’ worden maar dient voorspeld te worden op basis van het beoordelen van vergelijkbare gevallen, m.a.w. op basis van inductie. Met inductie wordt, zowel in de huidige filosofische als in de wetenschappelijke betekenis een manier van redeneren bedoeld, die dient als bewijstechniek. Bij inductief redeneren komt men tot een algemene regel, generalisatie geheten, op grond van een aantal specifieke waarnemingen. Ontwerpgericht onderzoek wil resultaten leveren die professionals in staat stellen om in hun specifieke setting effectief te handelen. Dat betekent generieke kennis leveren die het beoordelingsvermogen van de professional ondersteunt. Rijke, gedetailleerde gevalstudies kunnen het sociale beoordelingsvermogen en het gevalgebaseerd redeneren vaak veel beter ondersteunen dan reductionistische kwantitatieve modellen omdat hierdoor veel meer informatie gegeven wordt over de aard van de interventie en de sociale context waarbinnen deze zijn uitwerking moet hebben (Andriessen & Aken, 2011). Ontwerpgericht praktijkonderzoek levert generieke kennis voor het ontwerpen van specifieke oplossingen, voor specifieke veldproblemen, door de professionals die met die problemen te maken hebben. Ontwerpgericht wetenschappelijk onderzoek richt zich op generieke kennis ten behoeve van een generiek veldprobleem (Andriessen & Aken, 2011). Ontwerpgericht onderzoek is gericht op het systematisch oplossen van praktijkproblemen en tegelijkertijd op het ontwikkelen van kennis over de kenmerken van de oplossing en het proces om tot de oplossing te komen. Ontwerpgericht wetenschappelijk onderzoek heeft volgens Andriessen en Aken (2011) de volgende eigenschappen: 4 Het onderzoek wordt gedreven door de wens om veldproblemen op te lossen en niet door zuivere kennisproblemen: het gaat niet primair om waarheid maar om verbeteren. Het onderzoek werkt vanuit het perspectief van de professional die het veldprobleem moet oplossen. Wat moet die professional weten om het probleem op te kunnen lossen? Het onderzoek is oplossingsgericht, het beperkt zich niet tot het beschrijven en verklaren van veldproblemen, maar levert ook werkzame principeoplossingen. De onderzoeksresultaten worden verantwoord op basis van pragmatische validiteit, dat wil zeggen op basis van het bewijsmateriaal dat aantoont dat de onderzochte oplossingen of interventies inderdaad in het aangegeven toepassingsdomein de beoogde uitkomsten geeft. Het gaat hier dus niet, of niet primair, om verklarende validiteit; de eerste vraag is niet of het waar is, maar of het werkt. Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Een voor ontwerpgericht wetenschappelijk onderzoek zeer belangrijke ontwikkeling is volgens Andriessen en van Aken (2011) die in de richting van Evidence Based Practice (EBP). EBP houdt in dat je bij professioneel handelen zorgvuldig gebruikmaakt van zo compleet mogelijke, valide en actuele kennis. Ontwerpgericht wetenschappelijk onderzoek levert kennis m.b.t. principeoplossingen, ofwel generieke interventies, zoals bepaalde acties, procedures, informatiesystemen en constructies die toegepast kunnen worden om een (generiek) type veldprobleem aan te pakken. Deze kunnen worden gepresenteerd in een ontwerpstelling waarin die generieke interventie wordt beschreven om het type veldprobleem aan te pakken, tezamen met de uitkomsten die je kunt verwachten en een verklaring waarom die interventie in de beschreven context die uitkomst zal genereren (Andriessen & Aken, 2011). Voor het vergelijkbaar maken van actieonderzoek en het systematisch ontwikkelen van ontwerpkennis kan het format behorende bij de CIMO-logica gebruikt worden (Andriessen & Aken, 2011). Bij praktijkonderzoek is het vaak onmogelijk om alle variabelen onder controle te brengen en de causale keten is vaak lang (zie afbeelding 1). Afbeelding 1 (Denyer, Tranfield, & Aken, 2008) De redeneerketen volgens de CIMO-logica kan dan een oplossing bieden (zie afbeelding 2). Afbeelding 1 (Denyer, Tranfield, & Aken, 2008) 5 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. In het kort komt de CIMO-logica op het volgende neer: “Voor dit probleem-in-Context is het nuttig om deze Interventie toe te passen, die door deze Mechanismen de volgende Outcomes zal genereren.” (Denyer, Tranfield, & Aken, 2008). Berg, Hoeve en Zitter zeggen hierover: ‘de CIMO-logica slaat als het ware een brug tussen de interventie en de beoogde uitkomsten. De ‘black box’ wordt geopend door het expliciteren van de verklaring voor die uitkomsten. Ofwel: door te beschrijven wat de onderliggende mechanismen zijn. Mechanismen helpen de oorzaak-gevolg keten bloot te leggen. Als A de oorzaak is van B, hoe kunnen we dat dan aannemelijk maken en hoe wordt A dan veroorzaakt?’ (Berg, Hoeve, & Zitter, 2012). Kennis van de generatieve mechanismen die de beoogde uitkomsten genereren is zeer belangrijk bij het toepassen van een ontwerpstelling (Andriessen & Aken, 2011). Wat is een mechanisme? ‘Mechanismen helpen om de gewenste uitkomsten te verklaren. Zij vormen een verklarend raamwerk waarmee de relatie tussen fenomenen en (namelijk de interventie en de uitkomst) plausibel kan worden gemaakt. Mechanismen zijn een aaneenschakeling van directe uitkomsten die worden uitgelokt door de interventie. Mechanismen kunnen worden beschreven als een proces, of als een aaneenschakeling van elkaar opvolgende processen. Een beschrijving van een mechanisme bestaat uit actoren (bijvoorbeeld leerkrachten) en processen (dat wat de actoren doen of voelen). Een mechanisme is onderbouwd door een theorie die bij voorkeur ook empirisch is getoetst en zo is geformuleerd dat empirische toetsing mogelijk is.’ (Berg, Hoeve, & Zitter, 2012) Enkele onderzoeksvragen behorende bij de CIMO-logica zijn weergegeven in afbeelding 3. Afbeelding 3 (Zitter & Hoeve, 2011) 6 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Afbeelding 4 (Denyer, Tranfield, & Aken, 2008) Ontwerp en ontwerpen in de materiele wereld: Wat is ontwerpen? Ontwerpen is het proces van het vaststellen van de eisen waaraan de te realiseren entiteit moet voldoen en het maken van het ontwerp voor die entiteit. Wat is een ontwerp? Een ontwerp is een model van een nog te realiseren entiteit, gemaakt als instructie voor de volgende stap in het ontwerp- en realisatieproces. Het geeft alle informatie die de deelnemers aan de volgende stap van het ontwerp- en realisatieproces nodig hebben om hun taak goed en volgens de bedoelingen van de ontwerper uit te kunnen voeren. Deze entiteit kan een gebouw zijn, een jurk maar ook een productieproces of een proces voor waterzuivering. De volgende stappen in het ontwerp- en realisatieproces kunnen zijn het verder uitdetailleren van (delen van) het ontwerp, het voorbereiden van het realisatieproces en uiteindelijk het realisatieproces zelf. Bij een goed ontwerpproces worden drie ontwerpen gemaakt: het procesontwerp: het plan voor alle activiteiten van de ontwerper(s) zelf om het object- en realisatieontwerp te maken; het objectontwerp: model van de te realiseren entiteit; het realisatie ontwerp: het plan voor alle activiteiten die nodig zijn om het ontwerp van papier naar de werkelijkheid om te zetten; Na het ontwerpproces vindt het realisatieproces plaats. Voorafgaand aan het ontwerpproces vindt een ‘voorspel’ plaats, waarin de globale inhoud van het project en de organisatiepolitieke steun ervoor wordt ontwikkeld. 7 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Als die steun er komt, resulteert dit in een beslissing om te starten, het toewijzen van de middelen ervoor en het opstellen van een projectdefinitie. De projectdefinitie bevat onder meer de probleemstelling of een waargenomen en gevalideerde behoefte aan iets nieuws, de ontwerpeisen voor het te maken ontwerp, de samenstelling en organisatie van het ontwerpteam en een leverdatum. Deze projectdefinitie is bepalend voor het maken van respectievelijk het proces-, het object- en het realisatieontwerp. Het ontwerpen van sociale systemen, structuren en processen Ontwerpgericht wetenschappelijk onderzoek levert kennis m.b.t. principeoplossingen, ofwel generieke interventies, zoals bepaalde acties, procedures, informatiesystemen en constructies die toegepast kunnen worden om een (generiek) type veldprobleem aan te pakken. Generieke kennis wordt bij ontwerpgericht wetenschappelijk onderzoek in veel gevallen ontwikkeld op basis van wat geleerd is bij het ontwerpen en realiseren van één of meer specifieke sociale systemen. Ook bij het ontwerpen en realiseren van specifieke sociale systemenBij een goed ontwerpproces worden drie ontwerpen gemaakt: het procesontwerp: het plan voor alle activiteiten van de ontwerper(s)/veranderaar(s) zelf voor het maken van het objectontwerp en het veranderplan; het objectontwerp: model van het te realiseren systeem; het realisatie ontwerp of veranderplan; Ontwerp: model van een te realiseren sociaal systeem Principiële verschillen tussen het ontwerpen en realiseren in de materiele en sociale wereld m.b.t. komen primair voort uit de verschillen in het realiseren van materiële en sociale systemen. Deze verschillen vinden hun oorsprong in de menselijke handelingsvrijheid. Door deze verschillen zijn er bij het ontwerpen en realiseren in de sociale wereld speciale eisen aan het proces-, object- en realisatieontwerp. In de sociale wereld hebben de interpretatie van het gemaakte ontwerp door de ontvangers van verandering en hun motivatie om hun gedrag te laten beïnvloeden door dat ontwerp een beslissende invloed op de prestaties van het gerealiseerde sociale systeem. Daarom is het in de sociale wereld beter om voor het ontwerp en veranderproces niet een representatiefocus te hanteren maar een leerfocus. Daarmee is het ontwerp geen doel, maar primair een middel om de ontvangers van verandering te ondersteunen bij het leveren van de beoogde prestaties. 8 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Representatiefocus: alle inspanningen zijn in de materiële wereld tijdens het ontwerpproces gericht op het realiseren van het model van de te realiseren entiteit. Het maken van een succesvol objectontwerp is het centrale doel van het hele proces. Ontvangers van verandering: dit zijn de leden van het herontworpen sociale systeem De input voor het ontwerpproces van een sociaal systeem: analyse van de ontwerpopgave en van het type op te lossen probleem; de ontwerpeisen; een contextanalyse; analyse van het primaire proces van het te (her)ontwerpen systeem; de wetenschappelijke kennis over het type probleem en de context ervan ontwerpmodellen Wanneer het bij het ontwerpen van een sociaal systeem gaat over het herontwerpen van een bestaand systeem is ook het volgende een zeer belangrijke input: een model van het te herontwerpen systeem. Wat niet in dit model is opgenomen, blijft in het algemeen ook buiten beeld in het herontwerp. Daarom verdient ook deze input veel aandacht. Het formele systeem: datgene wat is opgenomen in het door de ontwerper gemaakte eerste (her)ontwerp en vastgelegd is in de officiële documentatie van de betrokken organisatie (en daarmee goedgekeurd door de leiding) en voor zover dat alles ook in de sociale werkelijkheid is gerealiseerd. Het formele systeem betreft echter altijd slechts een fractie van de totale sociale werkelijkheid. Die werkelijkheid heeft talloze voor het officiële ontwerp verborgen eigenschappen, eigenschappen die in de sociale werkelijkheid bestaan, maar die niet zichtbaar zijn in dat officiële ontwerp. Het informele systeem: de voor het formele systeem verborgen eigenschappen. Dit informele systeem ontstaat door aanvullingen en veranderingen van het formele systeem bij de interpretatie van het formele ontwerp door de ontvangers van verandering, bij het vervolgens door hen maken van het tweede (her)ontwerp en tijdens de fase van het leren presteren. Daarbij kunnen de ontvangers van verandering zich inzetten om een zo goed mogelijke invulling van de bedoelingen van de ontwerpers te maken, naar zij kunnen daarbij ook proberen hun eigen doelen en wensen zo goed mogelijk te realiseren. In de sociale wereld heeft het informele systeem een beslissende invloed op de prestaties van het systeem als geheel. 9 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Het is daarom van belang voor de veranderaars om de vorming van het informele systeem tijdens het maken van het tweede (her)ontwerp - het tweede (her)ontwerp wordt samen met de ontvangers van verandering op basis van het eerste (her)ontwerp gemaakt - en het leren presteren goed te volgen en waar nodig bij te sturen. Te weinig aandacht voor details in het objectontwerp levert het gevaar dat het informele systeem te veel ruimte krijgt om af te wijken van de bedoelingen van de ontwerper(s). Te veel details in het formele objectontwerp zorgen voor het te nauw voorschrijven van het gewenste gedrag. Dit kan tot demotivatie leiden en mogelijk tot pogingen om het formele systeem te ondermijnen. Ook kan het leiden tot het frustreren van het leren presteren door het belemmeren van aanpassingen van de feitelijke organisatie gedurende de leerperiode. M.b.t. het procesontwerp betekent dit dat het ontwerpen ervan in dialoog met de ontvangers van verandering plaats moet vinden. Dit kan zowel de kwaliteit als de acceptatie van het procesontwerp ten goede komen en daardoor het op een gewenste wijze ontwikkelen van het informele systeem stimuleren. Voor ontwerpgericht wetenschappelijk onderzoek kan het valideren van het gemaakte generieke ontwerp door middel van veldtesten of peer review (Andriessen & Aken, 2011) blz. 58. Bij ontwerpgericht wetenschappelijk onderzoek wil je weten hoe het probleem in elkaar zit (verklarend en beschrijvend onderzoek) en weten hoe je het probleem moet oplossen en waarom die oplossing werkt (ontwerpgericht onderzoek). Ontwerpgericht wetenschappelijk onderzoek Afbeelding 5: Stokes diagram 10 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. De ontwerper heeft vaak de keuze uit een aantal oplossingsalternatieven, waarbij de keuze afhankelijk is van de gestelde ontwerpeisen. De ontwerpeisen worden meestal in overleg tussen opdrachtgever en ontwerper vastgesteld, daarbij dient de probleemdefinitie als uitgangspunt. Categorieën ontwerpeisen: Randvoorwaarden: eisen die niet te beïnvloeden zijn en waar het ontwerp onvoorwaardelijk aan moet voldoen; Functionele eisen t.a.v. de prestaties van het ontwerp: dit is wat het ontwerp moet doen, worden opgesteld door opdrachtgever in samenspraak met de ontwerper; Operationele of gebruikseisen die gelden voor de toepassing of het gebruik van het ontwerp: geven de gebruiksvriendelijkheid en de geschiktheid aan. Ontwerpbeperkingen: zijn beperkingen die de opdrachtgever geeft m.b.t. mogelijke oplossingen voor het ontwerpprobleem; Aandachtspunten: zijn relevant voor de kwaliteit van het ontwerp maar er hoeft niet perse aan te worden voldaan. Ontwerpresultaten: in ontwerpgericht onderzoek trachten we fenomenen te laten optreden door de acties en condities te benoemen die nodig zijn om dit te laten gebeuren. We zoeken een oplossing voor een veldprobleem waarbij het doel is te komen tot een verbeterde situatie ten opzichte van voorheen. Ook willen we weten waarom deze acties en condities tot het optreden van desbetreffende fenomenen leiden. Het ontwerp is het resultaat van een analytisch en creatief proces. Ontwerpstellingen (middel-doelbeweringen): de bestudering van de theorie kan resulteren in potentiële ontwerpstellingen of ontwerpregels. Een ontwerpstelling heeft vaak de volgende vorm (CIMO-logica): “Voor dit probleem-inContext is het nuttig om deze Interventie toe te passen, die door deze Mechanismen de volgende Outcomes zal genereren.” De ontwerpstelling geeft een bepaalde interventie-gevolg logica die in bepaalde situaties of contexten kan gelden. Een dergelijke stelling kan in de praktijk uit worden geprobeerd, waarbij zal blijken of hij wel of niet werkt. Men noemt dit het valideren of testen van de stelling. Het verschil tussen een interventie-gevolg redenering en een oorzaakgevolgredenering, zoals in de verklarende natuurwetenschappen vaak wordt gehanteerd, is dat bij de laatste redenering de causale factoren reeds aanwezig en vaak niet veranderbaar zijn in de werkelijkheid, terwijl in de ontwerpstelling de interventie kunstmatig moet worden gecreëerd om de gewenste resultaten te krijgen. Daarbij spelen andere factoren (actoren, context) mede een rol, waardoor de ontwerpstelling holistisch en contextafhankelijk is (Andriessen & Aken, 2011) blz. 64. 11 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Ontwerpprincipe: een algemene richtlijn die geldig is in een bepaalde context maar nog niet direct vertaalbaar naar een concrete handeling voor een specifiek geval. Ontwerpprincipes worden in algemene zin geformuleerd en kunnen gelden voor meerdere specifieke problemen. Het voordeel van een ontwerpprincipe is dat het niet steeds hoeft te worden geëxpliciteerd. Rivaliserende verklaringen voor uitkomsten van interventies kunnen leiden tot onjuiste claims over de werking van een bepaald ontwerp. De validatieresultaten van de ontwerpstelling dienen daarom goed geanalyseerd te worden. (Andriessen & Aken, 2011) hoofdstuk 16. Arrangementen van interventies: hiervan is sprake indien er meerdere interventies nodig zijn om het veldprobleem op te lossen. Kennisstroom en praktijkstroom Ontwerpgerichte onderzoeksactiviteiten kunnen in twee typen worden verdeeld die plaatsvinden in twee verschillende stromen, een generieke en een specifieke stroom. In de generieke kennisstroom vinden de activiteiten plaats die gericht zijn op het mobiliseren van bestaande kennis en het ontwikkelen van nieuwe, generieke kennis. In de specifieke praktijkstroom vinden activiteiten plaats die zijn gericht op een concreet praktijkgeval waarin een generiek ontwerp wordt getest in een specifieke situatie. De combinatie van beide stromen is een van de kenmerkende eigenschappen van ontwerpgericht onderzoek. Ontwerpgericht onderzoek combineert handelen en onderzoek in één onderzoek. Het onderzoek heeft als doel nieuwe kennis te ontwikkelen. Het handelen heeft als doel die kennis in de praktijk op te doen en te testen. De onderzoeker werkt dus afwisselend in de ‘kennisstroom’ (het onderzoeken) en in de ‘praktijkstroom’ (het ontwerpen en implementeren van nieuw onderwijs). 12 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Logboek 13 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Kennisstroom: Kennis mobiliseren: ontwikkelen van een theoretisch kader (stap 1). De modellen en concepten uit dit kader worden gebruikt om naar de werkelijkheid te kijken. ‘Witte vlekken’ in dit theoretisch kader geven aanleiding tot het formuleren van een onderzoeksagenda, die weergeeft wat we nog niet weten over het praktijkprobleem (stap 2). Het theoretisch kader is ook de bron van kennis voor het ontwerpen van een generieke oplossing voor het probleem (stap 3). Kennisontwikkeling is onder te verdelen in reflectie (stap 9) en kennisontwikkeling (stap 10). Onderzoekers reflecteren op hun bevindingen met het testen van de generieke oplossing in de praktijk. Dit leidt enerzijds tot het aanpassingen in het ontwerp (pijl naar links bij stap 9). Anderzijds ontwikkelen onderzoekers nieuwe kennis over wat wel en niet werkt in de praktijk bij het oplossen van het probleem in kwestie (pijl naar rechts in stap 9). Praktijkstroom: In de praktijkstroom gaan onderzoekers aan de slag met de generieke oplossing in een specifiek geval. De activiteiten in de praktijkstroom zijn verwant aan bepaalde vormen van actieonderzoek. Vaak is er in de praktijkstroom sprake van een probleemeigenaar die een oplossing zoekt voor een bepaald probleem. Iedere gevalstudie is uniek en ontwerpgerichte onderzoekers sluiten zo veel mogelijk aan bij de specifieke context door een grondige diagnose te maken van de situatie (stap 4). Daarbij proberen de probleemeigenaren vaak de probleemdefinitie te beïnvloeden vanuit hun eigen agenda. Na de diagnose ontwerpen de onderzoekers een specifieke oplossing die veelal een uitwerking en aanpassing is van de generieke oplossing. Dit is de stap van de actieplanning (stap 5). Daarna wordt de specifieke oplossing geïmplementeerd (stap 6) en geëvalueerd (stap 7). Op basis van de evaluatie wordt vastgesteld wat de geleerde lessen zijn (stap 8). Soms leidt dit tot een andere kijk op het probleem en gaan de onderzoekers weer terug naar stap 4. (Andriessen & Aken, 2011) blz. 82 Bij het stellen van een diagnose is altijd sprake van een norm en een situatie die niet aan die norm voldoet. Vastleggen van ervaringen tijdens de implementatiefase kan door: logboek, observaties en interviews. 14 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. De optimale situatie is als zowel de onderzoeker(s) als de probleemeigenaren voordeel hebben bij het experiment. (Het commitment om mee te werken aan de implementatie is dan groter). (Leerkrachten hebben baat bij het gericht oefenen omdat dit hun competenties vergroot en zorgt voor betere leerresultaten van de leerlingen). Ontwerpgericht onderzoek vereist drie rollen van de onderzoeker: Onderzoeker Ontwerper Veranderaar De praktijkstroom bestaat meestal uit één of meerdere gevalstudies waarin de generieke oplossing wordt getest. Het gebruik van de CIMO-logica om kennis expliciet te maken Ontwerpgericht onderzoek kan ook toegepast worden als onderdeel van verbeter- of vernieuwingstrajecten. Het verzamelen van kennis uit dergelijke projecten is een vorm van ‘practice-based evidence’ (Barkham & Mellor-Clark, 2003). Het toevoegen van onderzoeksactiviteiten aan een verbeter- of vernieuwingsproject maakt het mogelijk om enerzijds iets te kunnen zeggen over de effecten van het project en anderzijds de aanpak die in het project is gehanteerd overdraagbaar te maken voor anderen. Andriessen en Aken noemen deze methode Ontwerpgericht Projecten Expliciteren met de Redeneerketen Aanpak en gebruiken hiervoor het acroniem ‘OPERA’ (Andriessen & Aken, 2011). Bij het expliciet maken van de kennis die in het project is opgedaan staat ook nu weer de CIMO-logica centraal. Deze logica kan zowel gebruikt worden om wetenschappelijke theorie te analyseren als om vooronderstellingen die in de praktijk gebruikt worden expliciet te maken (Andriessen & Aken, 2011). OPERA is gebaseerd op vier uitgangspunten (Andriessen & Aken, 2011): in ieder initiatief tot verbetering of vernieuwing van een sociaal systeem worden meerdere interventies gepleegd (het arrangement) waarvan de verwachting is dat die samen leiden tot een bepaalde beoogde uitkomst; het succes van dit arrangement is sterk afhankelijk van de context waarin het wordt toegepast. De ontwerpkennis is dus contextafhankelijk en de kennis m.b.t. de context dient daarom bij het expliciet maken en overdragen van deze ontwerpkennis mee overgedragen te worden; voor iedere interventie uit het arrangement kan een redeneerketen opgesteld worden. 15 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Bij onderzoek in de praktijk is het vrijwel onmogelijk om alle variabelen onder controle te brengen. Door inzicht te genereren in de veronderstelde causale ketens tussen interventie en uitkomsten is het mogelijk om de geloofwaardigheid van uitspraken over de effectiviteit van de interventie te vergroten. Bij het werken volgens de methode OPERA wordt een kennisstroom aan het project toegevoegd door het uitvoeren van 9 stappen (Andriessen & Aken, 2011). OPERA Activiteit Stap 1 Stap 2 Stap 3 Stap 4 Beschrijven van de context. Diagnose maken van de situatie. Opstellen van een redeneerketen. Beschrijven van het arrangement. Beschrijven van de context en arrangement van interventies. Vaststellen van variabelen en indicatoren voor de resultaatevaluatie. Bepalen van de benchmark. Uitvoering en meting. Resultaatevaluatie. Procesevaluatie. Stap 5 Stap 6 Stap 7 Stap 8 Stap 9 Vaststellen van de resultaten. Evaluatie arrangement. Tabel 1: de 9 stappen van OPERA (Andriessen & Aken, 2011) De resultaten van de 9 stappen van OPERA kunnen worden vastgelegd in een praktijkbeschrijving (Andriessen & Aken, 2011). De opbouw van zo’n praktijkbeschrijving is weergegeven in afbeelding 7. Deel 1 Deel 2 Deel 3 Deel 4 Deel 5 Context beschrijving Redeneerketens Operationalisatie van het arrangement Resultaat evaluatie Proces evaluatie en eindoordeel Uitvoering Afbeelding 7: opbouw van een praktijkbeschrijving (Andriessen & Aken, 2011) 16 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Het maken van een praktijkbeschrijving helpt om systematisch te reflecteren op het project en daarmee nieuwe kennis op te doen over wat er wel en niet werkt en waarom dat zo is. Ook draagt het bij aan het overdraagbaar maken van het arrangement aan andere organisaties en worden gegevens verzameld voor een eventuele cross case-analyse (Andriessen & Aken, 2011). 17 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. 18 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Literatuur: Andriessen, D., & Aken, J. v. (2011). Handboek ontwerpgericht wetenschappelijk onderzoek. Den Haag: Boom Lemma. Bakker, M., Gerrits, P., & Theil, J. (2012). Resultaat met rekenen: handvatten voor een goede rekenles. Amersfoort: CPS. Barkham, M., & Mellor-Clark, J. (2003). Bridging evidence-based practice and practice-based evidence: developing a rigorous and relevant knowledge for the psychological therapies. Clinical Psychology & Psychotherapy, 10(6), 319–327,. Benammar, K. (2011). Reflectietools. Den Haag: Boom Lemma. Berg, J. v., Hoeve, A., & Zitter, I. (2012, april). Op zoek naar wat werkt. Zichtbaar maken van innovatieopbrengsten. MESO magazine(183), 18 - 22. Bronkhorst, L. e. (2014). Deliberate practice in teacher education. European journal of teacher education, 37(1), 18 - 34. Chambliss, D. F. (1989). The mundanity of excellence: An ethnographic report on stratification and Olympic swimmers. Sociological Theory(7), 70-86. Denyer, D., Tranfield, D., & Aken, J. v. (2008). Developing design propositions through research synthesis. Organization Studies, 29(3), 393 - 415. Drewes, T., & van Dael, H. (2013). Goed onderwijs: Praktijkboek Basisonderwijs Amsterdam. Amsterdam: Gemeente Amsterdam Dienst Maatschappelijke Ontwikkeling. Dunn, T., & Shriner, C. (1999). Deliberate practice in teaching: what teachers do for selfimprovement. Teacher and teacher education.(15), 631 - 651. Ericsson, K. A. (1993). The role of deliberate practice in the acquisition of expert performance. Psychological Review(100(3)), 363 - 406. Ericsson, K. A. (2006). Cambridge handbook of expertise and expert performance. New York: Cambridge University Press. Hagger, H. (2008). Practice makes perfect? Learning to learn as a teacher. Oxford review of education, 34(2), 159 - 178. Hambrick, D. Z. (2013). Deliberate practice: Is that all it takes to become an expert? Intelligence, Article in press. Hattie, J. (1999, Augustus 2). Influences on student learning. Inaugural Lecture: Professor of Education . Auckland: University of Auckland. 19 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Hattie, J. (2003). Teachers make a difference: what is the research evidence? Australian Council for Educational Research (pp. 1 - 17). Auckland: University of Auckland. Hattie, J. (2008). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge. Hattie, J., & Gan, M. (2011). Instruction based on feedback. In R. Mayer, & P. Alexander, Handbook of Research on Learning and Instruction (pp. 250 - 272). New York: Routledge. Hattie, J., & Yates, G. (2014). Visible learning and the science how we learn. Londen: Routledge. Jaspers, M., & Heijmen-Versteegen , I. (2004). Toetswijzer competentiegericht begeleiden & beoordelen in het Hoger Onderwijs. Eindhoven: Fontys facilitair bedrijf, afdeling onderwijs: Centrum voor onderwijsinnovatie en onderzoek. Kolb, D. (1984). Experiential learning: Experience as the source of learning and development. Englewood Cliffs: Prentice-Hall. Kuhn, T. (1962). The structure of scientific revolutions. Chicago: University of Chicago Press. Leenders, Y., Naafs, F., & Oord, I. v. (2007). Effectieve instructie: leren lesgeven met het activerende directe instructiemodel. Amersfoort: CPS. Marzano, R. (2010, December). Art & Science of teaching: what teachers gain from deliberate practice. Educational leadership, 68(4), 82 - 85. Ruijters, M. (2006). Liefde voor leren: Over diversiteit van leren en ontwikkelen in en van organisaties. Deventer: Kluwer. Schulz, R., & Curnow, C. (1988). Peak performance and age among super-athletes: Track and field, swimming, baseball, tennis and golf. Journal of Gerontology, Psychological Sciences(43), 113 120. Slavin, R. E. (2012). Educational Psychology. Upper Saddle River, New jersey: Pearson. Thorndike, E. L. (1921). The psychology of learning. New York: Columbia University. Tijmstra, J., & Boeije, H. (2011). Wetenschapsfilosofie in de context van de sociale wetenschappen. Den Haag: Boom Lemma. Trowbridge, M. H., & Cason, H. (1932). An experimental study of Thorndike's theory of learning. Journal of General Psychology(7), 245 - 288. Verhoeven, N. (2007). Wat is onderzoek? Purmerend: Boomonderwijs. Vermunt, J. (1992). Leerstijlen en sturen van leerprocessen in het hoger onderwijs. Naar procesgerichte instructie in zelfstandig denken. Amsterdam/Lisse: Swets & Zeitlinger. Verschuren, P. (1994). De probleemstelling voor een onderzoek. Utrecht: Het Spectrum B.V. 20 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014 Ontwerpgericht wetenschappelijk onderzoek. Whitehead, J. (1993). The growth of educational knowledge: creating your own living educational theories. Bournemouth: Hyde. Yoshida, M., & Fernandez, C. (2004). Lesson Study: A Japanese Approach To Improving Mathematics Teaching and Learning. New Jersey: Lawrence ErlbaumAssociates, Publishers. Zitter, I., & Hoeve, A. (2011, april 5). (16) Instrumentarium zelfonderzoek onderwijsinnovatie. Opgeroepen op februari 19, 2014, van Kennis in ontwikkeling: http://www.kennisinontwikkeling.nl/inzicht/16 21 Ontwerpgericht wetenschappelijk onderzoek - Peter Snijders – 19 februari 2014