Inventarisa0e methoden voor prak0jkgericht onderzoek

Transcriptie

1 Inventarisa0e methoden voor prak0jkgericht onderzoek Adrie Spruijt Paul Bassant Verschillen in soorten onderzoek en de gevolgen voor de opbouw en fasering van het onderzoek De rela9e tussen de prak9jkstroom en de kennisstroom De opva<ngen van Verschuren 2 1

2 Onderzoek HBO à Prak0jkgericht Wetenschappelijk Onderzoek (WO) - Kernvraag: Is het waar? - Specialisme (vanuit een vakgebied) diepgang Prak0jkgericht Onderzoek (PGO) - Kernvraag: Werkt het? - Voornamelijk mul0dimensionaal 3 Vergelijkend overzicht van drie wetenschapsfilosofische stromingen Verschuren (2009) wetenschapsfilosofische benadering empirisch-analytisch fenomenologisch kritischemancipatorisch Mens als object geconditioneerd intentioneel geconditioneerd Soort kennis Positie onderzoeker waardevrij reductionistisch nomothetisch causale verklaring objectiverend technocratisch waardeverhelderend holistisch ideografisch finale verklaring interpreterend begrijpend waardegebonden holistisch ideografisch historische verklaring ingrijpend emancipatorisch Soort onderzoek kwantitatief kwalitatief (Q-type) kwalitatief + kritisch analytisch 4 2

3 Defini0e PGO Onderzoek waarbij een veldprobleem wordt onderzocht dat wordt ingegeven door de professionele prak9jk in zowel de profit- als de non- profitsectoren. Het onderzoek genereert vervolgens kennis, inzichten en producten die bijdragen aan het oplossen van de veldproblemen in de beroepsprak9jk en/of aan de ontwikkeling van deze beroepsprak9jk (Aken / Andriessen 2011) 5 Uit een rapport van drie hogescholen Prak0jkgerichte onderzoeken richten zich op een vraag uit het werkveld, al wil dat niet zeggen dat het al0jd gaat om het vinden van concrete oplossingen voor die vraag. Vaak gaat het ook om het verkrijgen van inzicht. Ze kunnen op induc0eve wijze bijdragen aan theorievorming. 6 3

4 Verschillen in opzet verklarend en prak0jkgericht onderzoek Onderzoeker Kennis- bestand Onderzoeker Kennis- bestand Werkelijkheid Werkelijkheid Vermoeden hypothese Ontwerp van de oplossing Toetsing Weerlegging c.q. beves0ging Maatregel Waargenomen probleem Empirie Prak0jksitua0e Probleem 7 Aanpak in stappen (de Leeuw) Klassiek 1. Probleemstelling Doelstelling Vraagstelling Randvoorwaarden 2. Opzet van het onderzoek Theore0sch kader en de opsplitsing van de vraagstelling in deelvragen Vertaling van de zo verkregen inhoudelijke vragen in methodische vragen 3. Verzamelen van data 4. Analyse 5. Rapportage Ontwerp 1. Productspecifica0e (probleemstelling) Doelstelling van het ontwerp Specifica0e Randvoorwaarden 2. Genereren van alterna0eve oplossingen 3. Kiezen van een (oplossings)rich0ng 4. Realiseren 5. Toetsen 8 4

5 Typen onderzoek volgens de Leeuw (1996) 1. Wetenschappelijk onderzoek 2. Maatschappelijk relevant onderzoek 3. Beleidsrelevant onderzoek 4. Beleidsondersteunend onderzoek à indringende analyse van het probleem van de klant 5. Probleemoplossend onderzoek T G O P G O 9 Beleidsondersteunend onderzoek ( de Leeuw) Beleidsondersteuning Onderzoek waarvan de ra9onaliteit van het beleidsproces in termen van effec9viteit, doelma9gheid en betekenis voor de actoren wordt vergroot Beleidsondersteunend = deelgebied Grotere afstand tot de klant / opdrachtgever Niet integraal maar par0eel Beoogt concrete, in de probleemstelling gedefinieerde, bruikbare deelkennis te leveren 10 5

6 Probleemoplossend ( de Leeuw) Probleemoplossend onderzoek neemt per defini0e het totale probleem van een concrete klant in beschouwing. Het beoogt een antwoord te geven op de volledige kennisbehoeee voor oplossing van dat probleem. Maatregelen aanreiken om de afname in afzet een halt toe te roepen Concurren0e? Verouderd product? Prijs? Service? Bekwaamheid personeel? Mo0va0e personeel? Etc Alles hangt met alles samen à Toch verantwoorde agakening, zonder de hele wereld erbij te halen. Vraag meestal: ontwerp een systeem dat het probleem niet meer heee Er wordt diep in het probleem van de opdrachtgever gedoken 11 Voorbeeld beleidsondersteunend Kenmerken van topmanagers? Mo0verende factoren voor het personeel? Effect van 360⁰ beoordeling op mo0va0e personeel? Mate van consisten0e van het totale complex van beleidsmaatregelen? Wat is het effect van een marke0ng campagne op de posi0e van het product in de markt? 12 6

7 Aanpak prak0jkgericht onderzoek per type (de Leeuw) Beleidsondersteunend 1. Vooronderzoek à Probleem stellen 2. Theore0sch kader à PS & deelvragen 3. Inhoudelijke vragen omzenen naar methodische vragen 4. Data verzamelen 5. Verwerking & Analyse 6. Rapportage Probleemoplossend 1. Diagnose (pluriform bekijken, beoordelen, beschrijven à Hoofdprobleemstelling 2. Ontwerpen (Aangeven waar de schoen wringt & kiezen oplossingsrich0ng met decomposi0e op basis van rela0ef onaoankelijke delen) 3. Veranderen / implementeren 4. Evalueren 13 Nog meer verschillen Verklarend onderzoek Geheel gebaseerd op een onderzoeksvraag. Vaak vanuit specifieke theorie Vaak logische keten van doelstelling naar opzet en analyse. Betrouwbaarheid en validiteit. Is het waar? Ontwerpgericht Is er weinig theorie te vinden à verklarende deel groter dan ontwerpende deel Veel theorie dan is ontwerpende deel dominant Eclec0sch te werk Werkt het? Itera0ef en crea0eve sprong Pragma0sche validiteit. Werkt het? Meer kans op ethische en poli0eke problemen 14 7

8 Defini0e Ontwerpgericht onderzoek (Aken / Andriessen 2011) Methodologie van onderzoek waarin onderzoekers op wetenschappelijke wijze een oplossing voor een veldprobleem ontwerpen en testen. Bij ontwerpgericht onderzoek is vaak sprake van een vage of in algemene termen beschreven doelstelling, die later kan worden aangescherpt. 15 Beoordelen Probleemhebbersanalyse Instrumenenten / Best prac0ces Aanpak van een probleemoplossing de Leeuw Probleem Pluriform kijken Typeren Hoe zit de probleemkluwen in elkaar? Waar wringt de schoen? Ontwerp Veranderen Realiseren Beschrijven Hoofdprobleemstelling O n t w e r p D i a g n o s e V e r a n d e r e 16 n 8

9 Ontwerpgerichte onderzoeksopzet Omgeving ontwerpgericht onderzoek kennisbasis Context Mensen Organisa0e- systemen Technische systemen Problemen & mogelijkheden relevan9ecirke l vereisten veld testen Bouwen Ontwerpoplossingen en - processen Ontwerp circel Evalueren Ontwerpoplossingen en - processen Geldigheids cirkel gronden in KB toevoegen aan KB Fundering wetenschappelijke theorieën & methoden ervaring & exper0se meta- artefacten (ontwerpproducten & ontwerpprocessen Drie cirkels van ontwerpgericht wetenschappelijk onderzoek (Hevner, 2007) 17 Opmerkingen Het is vooral een itera0ef proces! Actoren kunnen par0ciperen! Poli0ek en macht spelen in overzichtelijke sociale systemen een grote rol! 18 9

10 Probleemstelling bij PGO Veel nadruk op de fase vooraf Dus feitelijk twee probleemstellingen 1. Diagnos0sche probleemstelling: Wat is het managementprobleem? 2. Na diagnose à Hoofdprobleemstelling: Voor welk managementprobleem moet een oplossing worden gezocht? Feitelijk kun je spreken van twee onderzoeken 19 Ontwerpend onderzoek heee ingewikkelde onderzoekstructuur Deel 1 Valt uiteen in twee delen (zie volgende dia) een diagnose van de probleemsitua0e het ontwerp van een oplossing Bij het maken van een diagnose hanteren ontwerpgerichte onderzoekers drie onderzoeksfunc0es: 1. Beschrijven kenmerken van de bestaande situa9e. 2. Evalua9e bestaande situa9e door deze te vergelijken met een norm. Deze norm is per defini0e subjec0ef en van groot belang is dan ook van wie de norm asoms0g is. Wat de één een probleem vindt, hoee voor de ander helemaal geen probleem te zijn. Hier spelen macht en belangen vaak een rol, zeker in organisa0ekundig onderzoek. 3. Waardoor is de problema9sche situa9e veroorzaakt? Het verklaren van het probleem helpt bij het vinden van oplossingen die niet alleen de symptomen aanpakken maar ook de onderliggende oorzaken

11 Probleemstelling bij ontwerpgericht onderzoek Kennisstroom loopt parallel aan het prak0jkdeel Stap 1 Het theore0sch kader. Theorie speelt immers een rol in de diagnose van het probleem en het iden0ficeren van het probleem plus het ontwikkelen en oplossen van de oplossing Stap 2 Formulering van het kennisprobleem = probleemstelling van het onderzoek. Het lijkt erop dat in veel situa0es de probleemstelling slechts een onderdeel is van het ontwerpgerichte onderzoek en veel minder centraal staat dan bij wetenschappelijk onderzoek. 21 Voorbeeld Management wil de marktgerichtheid vergroten. Medewerkers voeren hun taken naar behoren uit, maar reageren niet of mondjesmaat op de ingezene maatregelen Er wordt van alles gemeten en er zijn in diverse afdelingen meerdere onderzoeken gedaan. Er is nu het gevaar dat het medewerkers meer naar de zin wordt gemaakt of dat zij keihard worden afgerekend op hun presta0es à Schijnoplossing. Zonder goede diagnose is de kans op symptoombestrijding groot of ontstaat het gevaar dat er een oplossing wordt ontworpen op zoek naar een probleem Breed kijken d.m.v. een goede uitgebreide diagnose!!! 22 11

12 Onderzoeksstructuur van ontwerpgericht onderzoek Fase Onderzoeksfunc9e Voorbeeldvragen DIAGNOSE Beschrijvende vragen (over de probleemsitua0e) Wat is de bestaande situa0e? Wat is de gewenste situa0e? Evaluerende vragen (over de probleemsitua0e) Wat is de waarde van? Hoe goed werkt het? Wat zijn posi0eve punten? Wat zijn de nega0eve punten? Hoe geschikt is het? Hoe wenselijk is het? Wat zijn de voordelen? Wat zijn de nadelen? Verklarende vragen (over de probleemsitua0e) Waarom is het zo? Hoe komt het dat? Wat zijn oorzaken? Waar is dit een gevolg van? Welke redenen zijn er? Wat zijn de achtergronden? Hoe kon dit gebeuren? ONTWERP Ontwerpende vragen Wat kan er aan gedaan worden? Hoe kan het verbeterd worden? Hoe moet het? Wat zijn geschikte maatregelen? Wat moet er wel en niet gebeuren? Evaluerende vragen (over de oplossing) Werkt de oplossing? Is de oplossing effec0ef? Is de implementa0e goed verlopen? Verklarende vragen (over de oplossing) Waarom gaat het werken/werkt het? Welke mechanismen worden getriggerd? Onder welke omstandigheden werkt het wel en niet? 23 (Gebaseerd op Oost & Markenhof, 2002) Deel 2 van de onderzoekstructuur Drie onderzoeksfunc0es van ontwerpgericht onderzoek 4. Ontwerpen principeoplossing op basis van theorie, prak0jkliteratuur en (eigen) ervaringen = eerste schets van een aanpak die mogelijk kan helpen in de geschetste problema0sche situa0e 5. Evalueren gekozen oplossing door hem in de prak0jk te testen of door een oordeel te vragen van experts. 6. Verklaren waarom de oplossing werkt (of niet werkt) en welke omstandigheden daar een bijdrage aan leveren

13 Prak0jk Andriessen Aken Prak0jk probleem Draagvlak Specifieke oplossing Imple- menta9e Bevindingen ervaringen forma0ef Bijstelling Evalua9e Theorie Kennis- probleem reflec0e (Her)Ontwerpen Komen tot Ontwerpprincipes Reflec0e Verbetering Contradic0es Wenselijkheid Rol par0cipanten Ontwerp kennis lokaal Theorie 25 Onderzoeksmodel binnen Crea0eve Ac0emethodologie - Delnooz Theorie Mogelijke ac0es Selecteren van ac0es Probleem = Theorie = Construc0e van de werkelijkheid Toetsen van ac0es Doel = Theorie = Gewenste construc0e van de werkelijkheid 26 13

14 De typerende kenmerken van de diverse methodologische stromingen (Delnooz 2010) a. De empirisch- analy9sche opva<ng (empirische cyclus, regula9eve cyclus) De werkelijkheid is objec0ef (intersubjec0ef) kenbaar. Het doel is om theorieën te ontwikkelen; hieruit voorspellingen af te leiden; en zo (in)direct na te gaan of de theorieën juist zijn. Het doel is om op het spoor te komen van theorieën die algemeen geldig zijn (wetma0gheden). Het oplossen van prak9sche problemen wordt aan anderen overgelaten. b. De interpreta9eve opva<ng: De werkelijkheid is zoals die geïnterpreteerd wordt. Door deze interpreta0es in kaarne brengen wordt het gedrag begrijpelijk (Verstehen). Het doel is om deze interpreta0es op het spoor te komen en aldus het gedrag te verstehen. Het doel is om op het spoor te komen van theorieën die algemeen geldig zijn (wetma0gheden), maar dat is waarschijnlijk niet haalbaar. Het oplossen van prak9sche problemen wordt aan anderen overgelaten. c. Het ac9e- onderzoek: De werkelijkheid is zoals die geïnterpreteerd wordt. Door deze interpreta0es in kaart te brengen wordt het gedrag begrijpelijk (Verstehen). De werkelijkheid wordt ter discussie gesteld. Er wordt democra0sch vastgesteld hoe de werkelijkheid eruitziet (theorieontwikkeling). Het doel is het oplossen vaneen prak0sch probleem (handelen). Het doel is een leerproces op gang te brengen (empowerment). De onderzoeker is mede- verantwoordelijk (een norma9eve keuze) voor de oplossing van het prak9sche probleem. 27 Verschuren 28 14

15 Probleemstelling (Verschuren, 1986) Probleemstelling = doelstelling + vraagstelling Doelstelling = Probleemanalyse & onderzoeksdoel specificeert wat de opdrachtgever van de onderzoeker kan verwachten (het contract tussen opdrachtgever en onderzoeker) Probleemanalyse In de doelstelling wordt vastgelegd 1. over welk probleemsysteem gaan de onderzoeksuitkomsten 2. welk type product moet het onderzoek opleveren. De doelstelling is het instrument waarmee het onderzoek qua func9e en vorm van de uitkomsten (niet qua inhoud van de uitkomsten) geëvalueerd kan worden. Vraagstelling en conceptueel model Om inzicht te krijgen in de kennis die nodig is om de doelstelling te bereiken, dient de probleemsitua9e te worden geanalyseerd aan de hand van een conceptueel (causaal) model. De probleemstelling is geen vraagstelling. Deze vloeit voort uit de probleemstelling en is een stuk concreter geformuleerd. 3 W s: Wie, Wat en Waar? 29 Eisen aan probleemstelling De Leeuw Relevan0e. Wat is de werkelijke waarde voor de klant als het onderzoek klaar is? Onderzoekbaarheid. Ben je in staat om binnen de randvoorwaarden een deugdelijk (toetsbaar en consistent) product te maken? Doelma0gheid. Is er een redelijke verhouding tussen kosten van het onderzoek en de baten? Verschuren Efficiën0e. Kwaliteit van de onderzoeksvragen dient zodanig te zijn dat de antwoorden precies die kennis oplevert die daadwerkelijk van nut is bij het oplossen van het handelingsprobleem. Sturing. Zodanig concreet en toegespitst dat de onderzoeker eruit kan afleiden wat er in het onderzoek moet gebeuren. Afleiden van de deelvragen Definiëring van de kernbegrippen uit de doel- en vraagstelling Vermijding van hoe kan vragen 30 15

16 Stadia PGO (Verschuren 2009) Analyse Ontwerp Uitvoering I II III I Probleem- analyse Conceptueel ontwerp Technisch ontwerp Onderzoeks- strategie 31 Itera9ef ontwerpen van een onderzoek = confronta9e Doelstelling Probleemanalyse Onderzoeksdoel Onderzoeksop9ek Theore0sch kader Wetenschappelijke posi0e Vraagstelling Onderzoeksvragen Begripsdefini0es Conceptueel ontwerp Technisch ontwerp Technisch ontwerp Onderzoeksstrategie Data/kennisgenerering Kwaliteit resultaten Validiteit Bruikbaarheid 32 16

17 Macrosociale en biologisch- gene9sche factoren: sociale klasse, intelligen9e, temperament, etc. Conceptueel model van probleem- gedrag van een kind Risicovolle gezinssitua9e gezinsconflict /- probleem communica9egebrek onveilig klimaat gebrekkige begeleiding sociaal zwakke ouders Risicovolle schoolsitua9e mo9va9eproblemen presta9egebrek probleemrela9es ineffec9eve schoolcultuur / onderwijss9jl Risicovolle vriendensitua9e slechte vrienden riskante vrije9jdsbesteding probleemrela9es Risicovolle persoonlijkheid gebrek zelfcontrole zelfover /- onderscha<ng externe zel`epaling inefficiënte zelcandhaving Internaliseren somberheid angsten sociale angst P R O B L E E M G E D R A G Externaliseren overbeweeglijk agressief an9- sociaal sociale omgeving persoon Conceptueel model (meervoudig risicomodel), Scholte 1999 Generieke modellen voor probleemoplossing (Verschuren 2009) Interven9ecyclus 1. Probleemanalyse 2. Diagnose 3. Oplossingsvoorwaarden 4. Interven0eplan 5. Uitvoering 6. Evalua0e Ontwerpcyclus 1. Aanzet / Doelstelling 2. Ontwerpeisen / assump0es 3. Structurele specifica0es 4. Prototype 5. Implementa0e 6. Testen 34 17

18 Verschillende problemen met verschillende onderzoeksbenaderingen De Leeuw 1. Wetenschappelijk onderzoek 2. Beleidsondersteunend onderzoek 3. Probleem oplossend onderzoek Verschuren 1. Wetenschappelijk 2. Interven0e 3. Construc0e Aken / Andriessen 1. Ontwerpgericht komt overeen met Probleemoplossend Delnooz Lijkt op probleemoplossend / Ac0eonderzoek, maar pleit voor een kri0sch gebruik van de theorie en crea0viteit Eerder door ons genoemde indeling lijkt overeen te komen 1. Empirisch / Probleemsignalerend 2. Verbeteren / Probleem is bekend / deelgebied 3. Innoveren / complex / onzeker / proberen en leren. 35 Conclusies Prak0jkgericht onderzoek legt veel nadruk op diagnose! Mul0disciplinair aanvliegen Brainstormtechnieken en Krachtenveldanalyses! Het is vooral een itera0ef proces, vooral bij ontwerpen / construc0e / probleemoplossend / innoveren Baarda is prima bij het verantwoord uitvoeren van onderzoek Begeleiding van docenten vraagt een andere rol en kennis Tijdsduur is een beperkende factor 36 18

19 Vragen Welke typen opdrachten zijn acceptabel? Wat zijn geschikte instrumenten om de kwaliteit van de diagnose te verbeteren? Moeten we gezien de beperkte 0jdsduur wel verlangen dat een student de complete cyclus doorloopt? Moeten we gezien de beperkte studieduur wel verlangen dat een student zelfstandig onderzoek kan opzenen? 37 Probleemstellingen 38 19

20 Probleemstelling Welke kennis, inzichten en informa9e dienen met het onderzoek te worden beantwoord ten einde de doelstelling van het onderzoek te behalen of dichterbij te brengen. Centrale vraag waarop de onderzoeker antwoord wil geven. Ontbrekende kennis om het doel te kunnen behalen. 39 Diverse probleemstellingen Er zijn onder andere verklarende, adviesgerichte, beschrijvende en evaluerende probleemstellingen. Verklarende à een oorzaak of gevolg. Adviesgerichte à advies. Beschrijvend à informa0e over bijvoorbeeld feiten of cijfers conceptueel model zal hier geen of beperkte rol spelen Evaluerendà oordeel 40 20

21 Formulering probleemstelling (de Leeuw) Klassieke variant Wat wil je weten voor wie en waarom? Randvoorwaarden Met behulp van welke maatregelen kan de overtollige voorraad worden weggewerkt? Ontwerp variant Wat wil je voor wie maken? Aan welke eisen moet dat voldoen? Welke beperkingen gelden? Ontwerp met een terugverdien0jd van twee jaar een methode om de overtollige voorraden weg te werken en te voorkomen. 41 Doelstelling en vraagstelling - Verschuren Doelstelling. Wat wil de opdrachtgever bereiken? In Verschuren (1988) speelt het onderscheid tussen de doelstelling in het onderzoek (centrale vraagstelling) en de doelstelling van het onderzoek (Globaal onderwerp & Wat wil ik bereiken / gaan doen?) een voorname rol, maar lang niet alle vormen van prak0jkgericht onderzoek worden daar behandeld. In Verschuren & Doorewaard (1995) worden meer vormen van prak0jkgericht onderzoek besproken, maar speelt het onderscheid niet of nauwelijks een rol. Misschien omdat de doelstellingen in en van een onderzoek nogal eens door elkaar lopen, in het verlengde van elkaar liggen of sterk vervlochten zijn, waardoor een scherp onderscheid gekunsteld of geforceerd zou kunnen aandoen

22 Probleemstelling bij Probleemoplossend / Ac0eonderzoek Probleemstelling betreu het genereren van kennis over de noodzakelijke maatregelen of in elke geval het genereren van voldoende maatregelen om het managementprobleem op te lossen Beoogt een antwoord te geven op de volledige kennisbehoeue m.b.t. de oplossing van het probleem Neemt per defini0e het totale probleem van een klant in beschouwing In tegenstelling tot beleidsondersteunend dus integraal Integrale diagnose, opsplitsen in deelproblemen, oplossen daarvan en weer samenbrengen Kan in plaats van een vraag ook een opdracht zijn. (Leeuw p 179) 43 22