Hogeschool van Amsterdam

Transcriptie

1 Hogeschool van Amsterdam Visie op Praktijkgericht Onderzoek bij het Instituut voor Sociale en Culturele Beroepen Augustus 2007 Pieter van Vliet

2 INHOUDSOPGAVE 1. Inleiding Achtergrond en status van deze notitie Praktijkgericht onderzoek Verhouding onderzoek, implementatie van nieuw beleid, methodiekontwikkeling; kwaliteitsverbetering Projectmatig werken Wat is praktijkgericht onderzoek Wetenschappelijk onderzoek en praktijkgericht onderzoek Kennisgericht en handelingsgericht onderzoek Kwalitatief en kwantitatief onderzoek Onderzoek is systematisch en methodisch Onderzoeksopzet / het projectplan / startdocument / initiatiefrapport Het doorslaggevende belang van een goede probleemstelling Probleemformulering Doelstelling Vraagstelling Het formuleren van deelvragen Onderzoeksmethoden, methoden van dataverzameling Kwantitatieve en kwalitatieve methoden Literatuur & documentenonderzoek Interviews en enquêtes Experts en sleutelfiguren raadplegen Panelgesprekken Participerend onderzoek Andere onderzoeksmethoden Van onderzoeksgegevens naar conclusies & aanbevelingen Methodisch werken en analyseren Regelmatig terugkoppelen De Delphi methode De opdrachtgever De opdracht, vraag van de opdrachtgever De student als adviseur, adviesvaardigheden PGO werkt al tijdens het onderzoek Draagvlak creëren De presentatie Het onderzoeksrapport De presentatie Literatuur Praktijkgericht Onderzoek bij het ISCB - versie 2.0 1

3 PRAKTIJKGERICHT ONDERZOEK BIJ HET INSTITUUT VOOR SOCIALE EN CULTURELE BEROEPEN De betekenis van praktijkgericht onderzoek bij de minoren van het ISCB 1. Inleiding 1.1. Achtergrond en status van deze notitie Het afgelopen decennium is er bij de drie opleidingen van het ISCB veel ervaring opgedaan met onderzoek in het kader van de externe opdracht, een vast onderdeel in het 4 e jaar van de opleidingen MWD, SPH en CMV. Inmiddels is de externe opdracht op verschillende manieren in de curricula van de ISCB opleidingen geïntegreerd. Bij SPH en MWD is het onderdeel geworden van de minor; bij CMV is het de standaard werkwijze geworden van de verschillende praktijkopdrachten die in de loop van de opleiding moeten worden uitgevoerd. In het coördinatorenoverleg minoren ontstond de behoefte deze gezamenlijke ervaring en de daaruit ontwikkelde kennis over onderzoek vast te leggen in een notitie, waarmee de gedeelde uitgangspunten met betrekking tot het onderzoek dat door ISCB studenten wordt gedaan, worden geformuleerd. Deze notitie is het voorlopige resultaat van de opdracht die op basis van deze vraag is geformuleerd. Over onderzoek in het HBO en de verhouding met wetenschappelijk onderzoek wordt de laatste tijd veel gediscussieerd, maar de discussie is nog maar net begonnen. In deze notitie wordt daarover op een aantal punten een positie ingenomen, waarvoor de schrijver verantwoordelijk is. Hierover zal binnen het ISCB nog verder en uitgebreid gediscussieerd moeten worden. Ook komen veel aspecten aan de orde die verdere uitwerking behoeven. Wat dat betreft is deze notitie slechts een eerste stap op weg naar een visie van het ISCB over praktijkgericht onderzoek Praktijkgericht onderzoek Het onderzoek dat onze studenten uitvoeren in het kader van (externe) opdracht of minor werd en wordt verschillend benoemd. Zo wordt er gesproken over: leeronderzoek, praktijkonderzoek, praktijkgestuurd onderzoek, toegepast onderzoek, handelingsonderzoek, actieonderzoek, ontwikkelingsgericht onderzoek, ontwerpgericht onderzoek, etc. In deze notitie wordt de voorkeur gegeven aan de term praktijkgericht onderzoek, omdat het nog de meest algemene en neutrale term is om het type onderzoek aan te duiden dat hier bedoeld wordt: onderzoek dat gebaseerd is op vragen die in de (beroeps)praktijk aan de orde zijn. Het resultaat van het onderzoek is altijd een antwoord waar men in de (beroeps)praktijk iets mee kan. Dat het onderzoek vervolgens vele verschillende vormen aan kan nemen en op veel verschillende manieren kan worden uitgevoerd, afhankelijk van de opgeworpen vraag en probleemstelling, is evident. Bij praktijkgericht onderzoek dat als externe opdracht wordt uitgevoerd gaat het altijd om een glijdende schaal van onderzoek naar product, waarbij het product van alles kon zijn: van een onderzoeksrapport met aanbevelingen via een methodiekbeschrijving tot de organisatie van een evenement of het uitvoeren van een cursus. Aan het product gaat altijd onderzoek vooraf; soms bestaat het grootste deel van de opdracht uit onderzoek; soms gaat het om een klein vooronderzoek en gaat het meeste werk zitten in de organisatie en uitvoering van een evenement. Ook in de nieuwe situatie, waarbij de externe opdracht meer in het reguliere onderwijs Praktijkgericht Onderzoek bij het ISCB - versie 2.0 2

4 geïntegreerd is, zal de aard en intensiteit van de onderzoeksactiviteiten sterk van elkaar verschillen. Deze diversiteit komt deels voort uit de verschillen tussen de opleidingen, de verschillen tussen de minoren en de verschillende manieren waarop opdrachtgevers een rol spelen. Maar voor een belangrijk deel is de diversiteit ook het gevolg van de aard van praktijkgericht onderzoek, dat immers altijd in opzet en uitvoering afhankelijk is van het type vraag dat de basis van het onderzoek vormt en het soort probleem dat beantwoord moet worden Verhouding onderzoek, implementatie van nieuw beleid, methodiekontwikkeling; kwaliteitsverbetering Het praktijkgericht onderzoek dat hier bedoeld wordt moet antwoord(en) opleveren voor een vraag of probleem dat in de (beroeps)praktijk gesteld wordt en dat derhalve aanwijzingen geeft voor het handelen van professionals in die beroepspraktijk. De bedoeling is natuurlijk dat het professionele handelen daardoor verbetert. Het gaat dus om handelen en verbeteren (Nijk, 1984) of om beter handelen. Dat handelen heeft veelal betrekking op de manier waarop de professionals hun werk doen: verbetering van het methodisch handelen of methodiekontwikkeling. Soms gaat het (ook) om de wijze waarop organisaties het werk anders kunnen inrichten (organisatieontwikkeling), of om voorstellen om het werk op andere dingen te richten en dus om andere doelen te stellen (beleidsontwikkeling). Vaak gaat het ook om een combinatie van deze verschillende aspecten. We spreken dan wel over beroepsinnovatie en kwaliteitsverbetering. Deze notitie over praktijkgericht onderzoek heeft betrekking op de hele cyclus van onderzoek: van het ontwerpen van een probleemstelling (zie 2.6), het verzamelen van gegevens ( 3), het analyseren van onderzoeksgegevens, het trekken van conclusies en het doen van aanbevelingen ( 4). Maar ook het onderhandelen met de opdrachtgever ( 5) hoort bij praktijkgericht onderzoek en het presenteren van het onderzoek ( 6). Ook wanneer studenten zelf op basis van onderzoek een beroepshandeling of activiteit ontwikkelen en uitvoeren (geven van voorlichting, ontwerpen en uitvoeren van een cursus, maken van een tentoonstelling of website, organiseren van een evenement), kan dat beschouwd worden als onderdeel van praktijkgericht onderzoek. Zeker als die activiteit gevolgd wordt door een systematische evaluatie, waaruit weer conclusies getrokken kunnen worden en aanbevelingen geformuleerd Projectmatig werken Over het algemeen zal het onderzoek uitgevoerd worden door een groepje van enkele studenten. Het is beter zo n groepje niet te groot te maken (maximaal 4 studenten) anders is het risico groot dat groepsdynamiek het werk gaat overheersen en daardoor te veel tijd gaat kosten. Een onderzoek kan ook individueel gedaan worden, maar de mogelijkheid om elkaar te ondersteunen en door onderlinge discussie verder te komen wordt dan gemist. Overigens gelden bij verschillende minoren andere regels. Een onderzoek ontwerpen en uitvoeren is te beschouwen als een project, waarbij de werkwijze en uitgangspunten van projectmatig werken gelden. Maak in ieder geval een goed werkplan (startdocument, initiatiefrapport) met alles wat daarbij komt kijken. Er zijn meerdere goede boekjes over projectmatig werken beschikbaar: zie bijv. Spanjer, De eenvoud van projectmatig werken (1999) of Verhaar, Projectmatig werken (2005) Praktijkgericht Onderzoek bij het ISCB - versie 2.0 3

5 2. Wat is praktijkgericht onderzoek 2.1. Wetenschappelijk onderzoek en praktijkgericht onderzoek Er zijn boekenkasten vol geschreven over onderzoek en het doen van onderzoek. Elke auteur heeft zo zijn eigen manier om te formuleren wat onderzoek eigenlijk is: Onderzoeken is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen (Verschuren, 1992) of: Onderzoek is een zoekproces gebaseerd op denken, intuïtie en creativiteit, waarin op een systematische manier gegevens worden verkregen, gebruikt en geanalyseerd, met als doel kennis te verzamelen (Migchelbrink, 2000). Eén van de vragen bij het formuleren van de betekenis van praktijkgericht onderzoek is de verhouding met wetenschappelijk onderzoek. Bij wetenschappelijk onderzoek staat het zoeken en vinden van nieuwe kennis voorop. Binnen de uitgebreide traditie van (sociaal)wetenschappelijk onderzoek functioneert een groot stelsel van regels waaraan het onderzoeksontwerp en het onderzoeksproces moet voldoen om voor het predikaat wetenschappelijk in aanmerking te komen, zodat de door het onderzoek verkregen kennis ook als echte (wetenschappelijke, ware) kennis kan worden beschouwd. De voornaamste normen zijn de eis van betrouwbaarheid en geldigheid (validiteit) van de verzamelde onderzoeksgegevens. Daarvan zijn een aantal (statistische) regels afgeleid waaraan het verzamelen van onderzoeksgegevens (data) moet voldoen. Hoewel de begrippen betrouwbaarheid en geldigheid ook bij praktijkgericht onderzoek een rol spelen, gelden in het algemeen minder strenge regels dan in de formele academische wetenschapsbeoefening. Het doel van wetenschappelijk onderzoek is het produceren van (nieuwe) kennis. Daarbij speelt de (kennistheoretische) vraag naar het waarheidsgehalte van die kennis altijd een grote rol en dus zijn de formele eisen die gesteld worden aan de betrouwbaarheid van de onderzoeksgegevens hoog. Bij praktijkgericht onderzoek gaat het minder om het waarheidsgehalte van de onderzoeksresultaten, maar meer om de vraag of de onderzoeksresultaten verbeteringen in de (beroeps)praktijk mogelijk maken. De mogelijkheden van implementatie van de voorgestelde verbeteringen zijn altijd onderdeel van het onderzoek. Daarbij is onder meer van belang dat de conclusies en aanbevelingen van het onderzoek (h)erkend worden door betrokkenen en aanwijzingen geven voor verbetering van het handelen. Anders geformuleerd: praktijkgericht onderzoek wordt gelegitimeerd door vragen die in de (beroeps)praktijk aan de orde zijn en heeft tot doel die vragen zodanig te beantwoorden dat verbeteringen mogelijk worden Kennisgericht en handelingsgericht onderzoek Vaak wordt het onderscheid tussen wetenschappelijk en praktijkgericht onderzoek of tussen academisch of HBO onderzoek geduid in termen van fundamenteel en toegepast onderzoek. Meer verhelderend is het onderscheid tussen kennisgericht en handelingsgericht onderzoek. Bij praktijkgericht onderzoek is het doel van onderzoek niet in eerste instantie het zoeken naar nieuwe kennis, maar het beantwoorden en oplossen van vragen uit de beroepspraktijk en het verbeteren van het beroepsmatig handelen (methodisch of beleidsmatig). Daarmee is niet gezegd dat wetenschappelijk onderzoek niet gericht is op oplossingen of dat bij praktijkgericht onderzoek geen kennis wordt geproduceerd. Wel dat er een accentverschil is wat betreft het voornaamste doel van het onderzoek. Een praktijkgericht onderzoek is ( ) een onderzoek waarbij het niet gaat om kennis om de kennis zoals in theoriegericht Praktijkgericht Onderzoek bij het ISCB - versie 2.0 4

6 onderzoek ( ), maar waarin u de bedoeling heeft een bijdrage te leveren aan een interventie ter verandering van een bestaande praktijksituatie. (Verschuren en Doorewaard, 2005). Bij praktijkgericht onderzoek gaat het er met andere woorden niet zozeer om of de uitkomst van het onderzoek waar is, maar of het werkt Kwalitatief en kwantitatief onderzoek Soms wordt ten onrechte gesteld dat praktijkgericht onderzoek per definitie kwalitatief van aard is. Ook praktijkgericht onderzoek kan kwantitatieve gegevens verzamelen, of op z n minst kwantitatieve gegevens in het onderzoeksontwerp meenemen. Bij kwantitatief onderzoek worden gegevens (data) verzameld en geanalyseerd die in getallen zijn uit te drukken (wijkbewoners met bepaalde kenmerken, een enquête met gesloten vragen, tevredenheids-meting op een 5-punts schaal, aantallen personen die een bepaalde mening zijn toegedaan, observaties waarbij geturfd wordt, etc.). In de wetenschappelijke (empirisch-analytische) variant van kwantitatief onderzoek is er een uitgebreid statistisch instrumentarium beschikbaar om de verzamelde getallen te analyseren, meestal door de gevonden gegevens met elkaar te vergelijken en aan elkaar te relateren. De wijze van gegevensverzameling en analyse (onderzoeksmethode en -techniek) moet dan aan een aantal strikt omschreven regels voldoen, o.a. eisen m.b.t. de grootte en samenstelling van de steekproef. Tegenwoordig wordt voor de verwerking van dergelijke gegevens bijna altijd het statistische computerprogramma SPSS gebruikt. Bij kwalitatief onderzoek gaat het om gegevens die niet in getallen zijn uit te drukken: via een interview verzamelde meningen en verhalen van mensen, beschrijvingen van situaties, observaties die niet in getallen worden uitgedrukt, een schriftelijke enquête met open vragen, een paneldiscussie, etc.). Vaak zal praktijkgericht onderzoek opgebouwd zijn uit een combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden. Zo kan het zinvol zijn de deelnemers aan een cursus te vragen een enquête met gesloten vragen in te vullen over tevredenheid en frequentie van deelname en die gegevens te vergelijken met leeftijd, geslacht en/of etnisch achtergrond. Om daarna op basis van die gegevens diepte-interviews te doen met klanten, deelnemers en professionals met als doel de cursus te verbeteren. De kwantitatieve gegevens die bij praktijkgericht onderzoek dat onze studenten uitvoeren worden verzameld zijn over het algemeen niet zo omvangrijk dat gebruik van een programma als SPSS noodzakelijk is. Ook dient het verzamelen van kwantitatieve gegevens een ander doel dan bij puur kwantitatief/statistisch onderzoek. Het gaat er niet om de werkelijkheid zo nauwkeurig mogelijk te beschrijven, maar om een indicatie te krijgen van wat er in een bepaalde situatie aan de hand is: Wat vinden de mensen van een situatie, zijn ze tevreden en wie lijken het minst/meest tevreden. Bij praktijkgericht onderzoek volgt na die analyse altijd een volgende stap: hoe kunnen we die situatie verbeteren. Om die stap te maken zullen veelal kwalitatieve gegevens nodig zijn Onderzoek is systematisch en methodisch Over verschillende soorten van onderzoek en de verschillende tradities en scholen van onderzoekers zijn behalve de volgeschreven boekenkasten ook vele en langdurige gevechten geleverd. Een heel kleine selectie is te vinden in de literatuuropgave. Een deel van de hier kort aangehaalde thema s behoort eigenlijk tot het domein van de kennistheorie of wetenschapsfilosofie. Voor liefhebbers een interessant gebied, maar Praktijkgericht Onderzoek bij het ISCB - versie 2.0 5

7 niet voor iedereen toegankelijk en het is ook niet nodig om in detail op de hoogte te zijn van alle controverses die zich daarbij afspelen. Wel van belang is dat elk type onderzoek, dus ook praktijkgericht onderzoek, systematisch en methodisch wordt ontworpen en uitgevoerd. En dat de gekozen systematiek en methode zorgvuldig verantwoord moet worden, zodat het voor de lezer navolgbaar is hoe de onderzoeker aan zijn of haar conclusies is gekomen. Misschien is dit wel het belangrijkste aspect van onderzoek, waardoor onderzoeksmatig werken zich onderscheid van gewoon doen Onderzoeksopzet / het projectplan / startdocument / initiatiefrapport Bij het doen van onderzoek is het maken van een goed onderzoeksplan een eerste vereiste. In dit onderzoeksplan wordt de probleemstelling geformuleerd en de onderzoeksopzet of het onderzoeksontwerp uitgewerkt. Een onderzoeksplan geeft een duidelijk en realistisch antwoord op de vraag WAAROM, WAT, WAAR, HOE, HOEVEEL en WANNEER onderzocht gaat worden (Verschuren 1992, Verhoeven 2007). Ook moeten allerlei zaken die te maken hebben met de projectmatige structuur worden geregeld en vastgelegd: natuurlijk de tijdsplanning, maar ook eventuele samenwerkingsafspraken, afspraken met de opdrachtgever, financiën, e.d. In elk boekje over projectmanagement zijn lijstjes te vinden wat allemaal in een projectplan moet (kan) staan. We hebben het ook vaak over een startdocument of initiatiefrapport (afhankelijk van het boek of de docent die je gebruikt). Bij een project waarbij zowel onderzoek gedaan wordt en op basis daarvan ook een concreet project ontworpen en georganiseerd wordt (een cursus, tentoonstelling, voorlichtingsbijeenkomst, evenement), is het verstandig een onderscheid te maken tussen het onderzoeksplan en het projectplan. Het onderzoeksplan kan dan beperkt worden tot probleemstelling (doel en vraagstelling), deelvragen, methoden van gegevens verzamelen, analyse, en de tijdsplanning van het onderzoek Het doorslaggevende belang van een goede probleemstelling Veel studenten hebben de neiging om bij onderzoek meteen te denken aan enquêtes of interviews. Terwijl dat enkel methoden zijn om gegevens te verzamelen als je precies weet wat je wilt onderzoeken. Elk onderzoek staat of valt met het maken van een goede probleemstelling en dat geldt zeker voor praktijkgericht onderzoek. Vaak wordt over het hoofd gezien dat onderzoek in de eerste plaats betekent zoeken. De probleemstelling wordt dan geformuleerd in termen van verdiepen in, ingaan op, of zich bezighouden met. Achter dergelijke vrijblijvende formuleringen gaat een onjuist beeld van onderzoek schuil. ( ) Beter is te formuleren om iets te gaan veranderen, dat wil zeggen leemten in onze kennis aan te vullen of een maatschappelijk probleem op te lossen. 1 Dat is ook de kern van onze opvatting over praktijkgericht onderzoek, namelijk dat het een bijdrage moet leveren aan verbetering van het (methodisch en/of beleidsmatig) handelen in de beroepspraktijk. Om een onderzoek scherp te krijgen en te houden is de formulering van de probleemstelling essentieel. In de onderzoeksliteratuur wordt verschillend met het begrip probleemstelling omgegaan. Wat sommigen de vraagstelling noemen, heet bij anderen doelstelling of probleemstelling 2. Sommige onderzoekers maken geen onderscheid tussen doel- en vraagstelling; bij anderen is dat juist essentieel. In deze notitie gaan we uit van een model waarbij de probleemstelling opgebouwd is uit vier 1 Verschuren, P.J.M., De probleemstelling voor een onderzoek, 1992, pag Verhoeven (2004) kiest bijvoorbeeld voor de term probleemomschrijving die bestaat uit een probleemstelling en een doelstelling (pag. 61). Wat in deze notitie vraagstelling is, heet bij haar probleemstelling. Praktijkgericht Onderzoek bij het ISCB - versie 2.0 6

8 lagen: het onderwerp; het motief, de doelstelling en de vraagstelling van het onderzoek. De eerste twee lagen: onderwerp en motief worden geformuleerd in de probleemformulering. Vervolgens wordt de doelstelling en de vraagstelling zo scherp mogelijk apart geformuleerd Probleemformulering In de probleemformulering wordt bondig het onderwerp van het onderzoek samengevat: welke instelling of organisatie opdrachtgever is, wat de oorspronkelijke onderzoeksvraag was (met welke vraag de onderzoeker in eerste instantie geconfronteerd werd), wie probleemeigenaar is, wat de aanleiding voor het onderzoek is, etc. Ook wordt het motief voor het doen van het onderzoek vermeld. Dat kan dichtbij de aanleiding liggen, maar hoeft niet. Het gaat hierbij niet om het motief van de student om het onderzoek te doen, maar eerder om het maatschappelijk belang of het belang van de instelling of organisatie die als opdrachtgever functioneert. Een probleemformulering moet wel bondig omschreven, maar mag geformuleerd worden in een verhaaltje Doelstelling De doelstelling geeft de richting van het onderzoek aan. Het is een compacte formulering van het WAAROM van het onderzoek (Verschuren, 1992). De meest algemene formulering van een doelstelling luidt: Dit onderzoek beoogt een bijdrage te leveren aan de oplossing van probleem X bij organisatie Y. Het probleem van deze formulering is dat het nog veel te algemeen gesteld is. Bij de formulering van de doelstelling is de regel dat deze zo specifiek en nauwkeurig mogelijk gesteld moet worden. Hoe scherper hoe beter. Als van te voren al duidelijk is in welke richting de oplossing gezocht moet gaan worden kan dat beter in de doelformulering worden meegenomen (wel oppassen voor vooringenomenheid). Als de doelstelling algemeen blijft, kan het onderzoek alle kanten op gaan en bestaat het risico dat het onderzoek gaat zwabberen. Het wordt lastig een goede vraagstelling te formuleren en je weet niet precies wat je moet gaan onderzoeken, omdat het doel vaag is. Soms is de doelstelling meerledig of kent verschillende aspecten. Het is goed dat dan ook zo te formuleren. Het kan nodig zijn de doelstelling toe te lichten (als de formulering zo compact is dat voor de buitenstaander niet duidelijk is wat er allemaal achter zit). Vaak is het ook handig het beoogde resultaat van het onderzoek expliciet te benoemen. Bijvoorbeeld: dit onderzoek doet aanbevelingen om het handelen van de medewerkers van afdeling X in organisatie Y te verbeteren Vraagstelling De centrale vraagstelling is de kern van het onderzoeksontwerp. In de vraagstelling wordt zo nauwkeurig mogelijk geformuleerd wat precies uitgezocht moet worden om de doelstelling te bereiken. Het is de compacte formulering van het WAT van het onderzoek. 4 Meer nog dan bij de formulering van de doelstelling geldt ook hier: hoe specifieker en hoe nauwkeuriger deze formulering is, hoe beter het onderzoek wordt. In principe is elk woord in de formulering van de vraagstelling belangrijk en er moet 3 Je kunt dus onder het hoofdkopje probleemstelling, drie subkopjes maken: probleemformulering, doelstelling, vraagstelling. Maar ook kan je onder het kopje probleemstelling de probleemformulering schrijven, als een soort inleiding op doel- en vraagstelling en dan apart doel- en vraagstelling formuleren. 4 Om het onderscheid tussen doel- en vraagstelling aan te geven, gebruikt Verschuren (1992) ook de formulering: doel van het onderzoek (= doelstelling) en doel in het onderzoek (= vraagstelling). Dit onderscheid kan verhelderend zijn, maar wordt niet altijd door iedereen begrepen. Praktijkgericht Onderzoek bij het ISCB - versie 2.0 7

9 dus over elk woord nagedacht worden (is dit wel het juiste woord?; is dit echt precies wat we willen weten?); ook de volgorde en de toonzetting van de formulering is belangrijk. Neem dus de tijd voor het precies formuleren van doel en vraagstelling en ga er van uit dat je deze enkele keren moet herformuleren om het zo nauwkeurig mogelijk te krijgen. Dat betaalt zich in het vervolg van de onderzoeksopzet en de uitvoering dubbel en dwars terug Het formuleren van deelvragen Wanneer de vraagstelling eenmaal is geformuleerd en vastgesteld, kan begonnen worden met de uitwerking van de centrale vraagstelling in deelvragen: wat moeten we allemaal te weten komen om een antwoord te kunnen formuleren op de centrale vraag. Dit is een belangrijke stap, omdat hier eigenlijk de basis wordt gelegd van de te ondernemen onderzoeksactiviteiten en de te gebruiken onderzoeksmethoden. Het gaat erom de centrale vraagstelling systematisch te ontleden in deelaspecten, rekening houdend met de doelstelling. Als in de vraagstelling een instelling of organisatie genoemd wordt, ligt het voor de hand de vraag te stellen: wat is dit voor organisatie en wat willen ze. Als er verwezen wordt naar overheidsbeleid, is de vraag: hoe ziet dat beleid er uit. Daarbij moet de omvang van de vraag (en dus het antwoord dat gezocht wordt) steeds gerelateerd worden aan de doelstelling van het onderzoek ( is het echt nodig om dit allemaal te weten? ). Wanneer de deelvragen goed, d.w.z. systematisch zijn geformuleerd en geclusterd (welke deelvragen horen bij elkaar en/of kunnen in samenhang beantwoord worden), ligt de verdere uitwerking van het onderzoeksopzet meestal voor de hand. De deelvragen moeten beantwoord worden binnen een bepaalde tijd. Voor elke deelvraag (of cluster van deelvragen) moet een manier bedacht worden om de vraag te beantwoorden. Daarbij wordt gebruik gemaakt van een bepaalde onderzoekstechniek of -methode. Dat heet in onderzoeksjargon gegevens- of dataverzameling. Praktijkgericht Onderzoek bij het ISCB - versie 2.0 8

10 3. Onderzoeksmethoden, methoden van dataverzameling Om (onderzoeks)vragen systematisch te beantwoorden zijn verschillende methoden en technieken voor handen. De technieken van dataverzameling zijn in te delen in drie hoofdgroepen: ondervragen, observeren en inhoudsanalyse (Migchelbrink, 2000, pag. 79). De verschillende methoden van onderzoek zijn vrijwel allemaal uitgebreid gedocumenteerd, maar het begint steeds met logisch nadenken, vooral als het gaat om de keuze van een bepaalde methode. Vaak wordt als een soort vanzelfsprekendheid naar de techniek van de enquête gegrepen, terwijl veel sneller en meer informatie verkregen kan worden door een paneldiscussie met enkele direct betrokkenen te voeren of enkele sleutelfiguren te raadplegen. Hieronder worden enkele veel gebruikte onderzoekstechnieken kort genoemd. Voor een zorgvuldig omgaan met deze technieken moet andere literatuur geraadpleegd worden (zie bijlage) Kwantitatieve en kwalitatieve methoden Kwantitatieve data, dus gegevens die in cijfers zijn uit te drukken, kunnen of simpelweg voorhanden zijn (in bestaande nota s of via internet). Bijv, als het gaat om aantallen bewoners in een wijk, aantal cliënten van een instelling en de verdeling naar achtergrond. Ook kunnen gegevens zelf verzameld worden d.m.v. tellen, turven of via een enquête. Het verwerken en analyseren van kwantitatieve gegevens is een vak apart en (als het om veel data gaat) meestal tamelijk tijdrovend. Vooral de regels waaraan voldaan moet worden om de onderzoeksgegevens in wetenschappelijke zin valide en betrouwbaar te krijgen zijn tamelijk complex. Bedenk dus van te voren of het echt nodig en of het de moeite waard is. Vaak kom je al een heel eind met bestaande gegevens of door een beredeneerde schatting te maken. Bij praktijkgericht onderzoek is de informatie die je op basis van kwantitatief onderzoek vergaart, meestal pas de eerste stap in de beantwoording van de vraagstelling en zal aanvullend kwalitatief onderzoek meestal nodig zijn. Bij kwalitatieve onderzoeksmethoden gaat het eigenlijk om alle manieren van het verzamelen van gegevens waarbij de uitkomst niet meteen in cijfers is uit te drukken. Bijvoorbeeld bij het verzamelen van meningen, ideeën of verhalen van mensen. Ook bij kwalitatief onderzoek zijn er regels en standaarden ontwikkeld om de gegevens uit het onderzoek te analyseren en uitkomsten van het onderzoek als geldig en betrouwbaar te kunnen verantwoorden. Een veel gebruikte manier is het labelen en coderen van uitspraken in teksten en interviews (zie o.a. Migchelbrink 2000, Verhoeven 2004, 2007). Daarvoor zijn inmiddels ook computerprogramma s, zoals MAXqda2, beschikbaar. ISCB studenten die praktijkgericht onderzoek uitvoeren zullen bij hun gegevensverzameling en -analyse vrijwel nooit kunnen voldoen aan alle wetenschappelijke criteria voor betrouwbaarheid en validiteit van hun onderzoeksresultaten. Om dit tekort te ondervangen moeten de gemaakte keuzes helder en inzichtelijk verantwoord worden en de gebruikte onderzoeksmethoden zorgvuldig worden gebruikt Literatuur & documentenonderzoek In vrijwel elk onderzoek zal het bestuderen van bestaande teksten een belangrijke bron van gegevens zijn. Literatuuronderzoek is vrijwel altijd een vast onderdeel van de onderzoeksopzet (Verhoeven, 2004, 2007). Het kan daarbij gaan om algemene literatuur over het onderwerp: wat is al eerder over dit onderwerp onderzocht en Praktijkgericht Onderzoek bij het ISCB - versie 2.0 9

11 geschreven; en om documenten die specifiek gaan over de organisatie waar de onderzoeksopdracht wordt uitgevoerd en/of het beleid waar het onderzoek betrekking op heeft voor zover dit relevant is voor het beantwoorden van de centrale vraagstelling of de deelvragen. Vaak is het bestuderen van literatuur nodig om een goede probleemstelling te ontwerpen. Wanneer de literatuurstudie vooraf gaat en nodig is voor het ontwikkelen van een goede probleemstelling spreken we ook wel van een vooronderzoek. Het is meestal onmogelijk om alle relevante literatuur die over een onderwerp is verschenen bij het onderzoek te betrekken. De grondregel is hierbij steeds: verantwoord hoe je aan de literatuur bent gekomen en waarom deze is gebruikt. Steeds vaker wordt het internet (Google) als bron van informatie gebruikt. Het is in veel gevallen een snelle manier om aan veel informatie te komen. Dat is prima, maar de informatie is niet altijd even betrouwbaar en soms zo omvangrijk dat je door de bomen het bos niet meer ziet 5. Ook hier geld de belangrijkste grondregel: verantwoord hoe je aan je informatie bent gekomen Interviews en enquêtes Interviews en enquêtes zijn zo n beetje de bekendste onderzoeksmethoden bij het grote publiek en iedereen krijgt er ook regelmatig mee te maken. Vooral de telefonische enquête is bij veel onderzoeksbureaus erg populair en actualiteitenprogramma s maken veelvuldig gebruik van deze methoden om even snel de mening van het Nederlandse volk over het één of ander te peilen. Met name in verkiezingstijd beheersen dergelijke onderzoeken de media volledig. Toch is het maken en verwerken van een enquête of het ontwerpen en uitvoeren van een interview geen makkelijke zaak en liggen er vele voetangels en klemmen op de loer. Voor praktijkgericht onderzoek is een enquête vaak ook niet de beste manier om gegevens boven tafel te krijgen, al kan het soms nuttig zijn om bij een overzichtelijke populatie via een eenvoudige enquête wat basisgegevens te verzamelen. Het interview is bij praktijkgericht onderzoek vaak een onmisbare manier om informatie te vergaren, maar het houden van een goed interview moet geleerd en getraind worden. Ook bij het houden van interviews is van belang dat je van te voren bepaalt hoe je de interviews gaat verwerken. Het opnemen van het interview is tijdens het gesprek handig (je kunt je concentreren op het gesprek) en alle informatie is opgeslagen, maar de uitwerking is behoorlijk tijdsintensief. Er zijn zowel over het ontwerpen, uitvoeren en verwerken van enquêtes als het houden van interviews veel goede boekjes op de markt. Ook Migchelbrink, Baarda en Verhoeven hebben er veel zinnigs over te melden. En: oefening baart kunst Experts en sleutelfiguren raadplegen Bij praktijkgericht onderzoek is het vrijwel altijd nuttig en vaak ook de snelste methode om die mensen op te zoeken die van het onderwerp veel weten. Bijvoorbeeld omdat ze ervaring hebben, en/of erg betrokken zijn bij het onderwerp (sleutelfiguren), of omdat ze over het onderwerp zelf onderzoek gedaan hebben en daarover gepubliceerd (experts). Een goede voorbereiding en een goede interviewtechniek voor het gesprek met deze deskundigen is noodzakelijk. Belangrijk is in ieder geval om voor het gesprek te formuleren wat voor soort informatie je van hen wilt krijgen en wat je precies te weten wilt komen. 5 Zie voor een aantal aanwijzingen voor het zoeken van informatie op Internet o.a. Verhoeven (2004), pag Praktijkgericht Onderzoek bij het ISCB - versie

12 3.5. Panelgesprekken In veel gevallen werkt het sneller en lever het meer informatie op wanneer je informanten niet één op één interviewt, maar betrokkenen gezamenlijk in een panelgesprek of -discussie ondervraagt. Mensen kunnen elkaar prikkelen en komen daardoor soms sneller tot te kern van een probleem. Ook kunnen dilemma s en tegenstellingen die vaak een essentiële rol spelen bij een praktijkprobleem eerder boven tafel komen. Het goed leiden van een panelgesprek is niet eenvoudig en een goede voorbereiding is ook hier weer het halve werk. Het is verstandig een dergelijke discussie met minimaal twee onderzoekers te begeleiden: één als voorzitter/ gespreksleider en één voor observatie en aantekeningen. Meer informatie over het voeren van panelgesprekken en het werken met focusgroepen is te vinden bij Migchelbrink (2000), hst. 22, pag Participerend onderzoek Bij bepaalde problemen kan het noodzakelijk zijn om als onderzoeker zelf deel te nemen aan de situatie of het proces dat wordt onderzocht. Het kan belangrijk zijn een bepaalde situatie van binnen uit, op een directe manier waar te nemen en ervaren. Het is informatie uit de eerste hand. (Migchelbrink, 2000) Er zijn vele manieren om participerend onderzoek te doen. Belangrijk is dat de onderzoeker zich bewust is van de verschillende rollen die hij in neemt: onderzoeker en deelnemer. Belangrijk is ook dat van te voren bepaald wordt waar precies op gelet wordt en dat de waarnemingen zo zorgvuldig mogelijk worden geregistreerd, benoemd en verantwoord. Zie voor meer informatie over participerend onderzoek: Migchelbrink (2000, 2007) en I. Maso (1989), Kwalitatief onderzoek Andere onderzoeksmethoden Naast de hier kort aangestipte methoden van gegevensverzameling zijn er nog talloze andere onderzoeksmethoden bedacht en ontwikkeld die op vele manieren zijn gedocumenteerd. Een groot aantal van die methoden en technieken is te vinden in de literatuur die aan het eind van deze notitie wordt vermeld (paragraaf 8). Een wetenschappelijk verantwoord overzicht van een groot aantal methoden en technieken van sociaalwetenschappelijk onderzoek is te vinden in Alan Bryman, Social Research Methods, Oxford University Press, Oxford Speciaal voor praktijkgericht onderzoek in onze sector wordt een uitgebreide verzameling methoden en technieken beschreven in het laatste boek van Ferdie Migchelbrink: Actieonderzoek voor professionals in zorg en welzijn (2007). Praktijkgericht Onderzoek bij het ISCB - versie

13 4. Van onderzoeksgegevens naar conclusies & aanbevelingen 4.1. Methodisch werken en analyseren Wanneer de onderzoeksgegevens verzameld zijn: de literatuur is bestudeerd, de interviews zijn gedaan, de panelgesprekken gevoerd, volgt de ingewikkelde stap naar het analyseren van de gegevens en het trekken van conclusies. Over het analyseren van kwantitatieve gegevens is erg veel onderzoeksliteratuur voorhanden, maar dat gaat veelal om statistische procedures die nogal wat wiskundige kennis vereisen en/of behoorlijke kennis van SPSS. Het analyseren van kwalitatieve gegevens is wellicht nog ingewikkelder. Ook hierover is in de onderzoeksliteratuur wel het één en ander te vinden (bijvoorbeeld het coderen, labelen en ordenen van uitspraken), maar soms wordt gesuggereerd dat als de gegevens maar correct verzameld zijn de conclusies vanzelf naar voren komen. In de praktijk is dat lang niet altijd het geval. Met name het analyseren van kwalitatief materiaal is complex en vaak zijn meerdere interpretaties mogelijk. Veelal is ook het (subjectieve) oordeel van de onderzoekers min of meer verantwoordelijk voor de precieze verwerking van onderzoeksgegevens naar conclusies. Dat is ook niet altijd te vermijden, en hoeft ook niet erg te zijn, mits een aantal regels van zorgvuldigheid in acht worden genomen. De belangrijkste regel is weer: verantwoord wat je doet. Op welke manier ben je tot die conclusies gekomen; hoe ben je te werk gegaan. In deze fase van het onderzoek helpt het enorm als je met meerdere onderzoekers werkt en elkaar scherp kan ondervragen: klopt dit wel, zijn er ook andere conclusies mogelijk. Over het algemeen is het verstandig om een duidelijk onderscheid aan te brengen tussen conclusies en aanbevelingen, waarbij de conclusies zo feitelijk mogelijk worden gehouden ( de meerderheid van de geïnterviewden gaf te kennen dat. ) en de aanbevelingen, waarin de opvattingen van de onderzoekers scherper naar voren komen Regelmatig terugkoppelen Om te voorkomen dat het onderzoek teveel op basis van de eigen ideeën en opvattingen van de onderzoekers wordt gestuurd, is het verstandig om regelmatig feedback te vragen van de opdrachtgever en/of andere betrokkenen bij het onderzoek. De belangrijkste vragen daarbij zijn: zitten we nog op de goede weg, zien we dingen over het hoofd, hoe kunnen we de resultaten bruikbaar(der) maken? 4.3. De Delphi methode Een bijzondere vorm van regelmatig terugkoppelen heet de Delphi-methode. Hiervan zijn vele varianten meer of minder uitgebreid beschreven (zie o.a. Migchelbrink, 2000, Verhoeven, 2004, even Googelen). Maar in de kern komt het er op neer dat een bepaalde analyse van een praktijkprobleem en eventueel suggesties voor een oplossing in conceptvorm voorgelegd worden aan een forum van deskundigen en op basis van hun commentaar een verbeterde versie wordt gemaakt, die weer opnieuw wordt voorgelegd, etc. De meest eenvoudige vorm van deze methode is om de conceptversie van het onderzoeksrapport voor te leggen aan de opdrachtgever en/of andere deskundigen voordat de definitieve versie wordt gepresenteerd. Bijkomend voordeel hiervan is dat het draagvlak voor de voorgestelde aanbevelingen op deze manier georganiseerd wordt. Praktijkgericht Onderzoek bij het ISCB - versie

14 5. De opdrachtgever 5.1. De opdracht, vraag van de opdrachtgever De vragen die in de vorm van een onderzoeksopdracht aan de basis liggen van het onderzoek zijn heel divers. Soms zijn ze door het ISCB of de minor verzameld via een algemene mailing of via een rechtstreeks contact. Soms zijn studenten zelf actief op zoek gegaan om een opdracht te verwerven. Soms ligt de opdracht in het verlengde van een stage of een eerdere opdracht. De verwachtingen van de opdrachtgever kunnen ook heel verschillend zijn. Eén ding is echter altijd zeker: de oorspronkelijke vraag van de opdrachtgever is (vrijwel) nooit precies gelijk aan de centrale vraagstelling van het uiteindelijke onderzoeksontwerp. Dat kan verschillende oorzaken hebben: de opdrachtgever weet niet precies wat hij kan verwachten, de vraag is veel te complex of juist veel te simpel, achter een snel geformuleerde vraag ligt een heel ander probleem (dat komt heel vaak voor), achter een ogenschijnlijk simpele vraag ligt een mijnenveld van meningsverschillen en/of machtstrijd binnen de organisatie of een combinatie van deze dingen. Dit betekent dat in de oriënterende beginfase van het onderzoek, wanneer het onderzoeksontwerp geformuleerd moet worden, er onderhandeld wordt tussen onderzoekers en opdrachtgever over de meest wenselijke vraagstelling van het onderzoek (zie 2.6.). In het meest extreme geval kan het zijn dat de opdracht moet worden teruggegeven, als studenten en opdrachtgever het niet eens kunnen worden over de definitieve probleemstelling van het onderzoek (en ook bijvoorbeeld in geval van een strategisch conflict en/of interne machtsstrijd) De student als adviseur, adviesvaardigheden Instellingen en organisaties hebben vaak de neiging om de student-onderzoekers als stagiaires te zien en dien overeenkomend te behandelen. In feite zijn studenten die een onderzoeksopdracht uitvoeren beter te beschouwen als (junior) externe adviseurs en horen zij onafhankelijk ten opzichte van de organisatie te staan. Dit vereist specifieke competenties die ontwikkeld moeten worden. Bij de verschillende opleidingen zijn onderwijsprogramma s en/of trainingen die je op die rol voorbereiden. Twee goede boeken over dit onderwerp staan in de literatuuropgave genoemd (Nathans 2005, Ter Haar 2002). Het is naast om wat in 5.1 staat, ook hierom belangrijk je goed voor te bereiden op het eerste gesprek met de opdrachtgever, omdat daar de toon wordt gezet voor de samenwerking en je je daar in je rol van adviseur moet presenteren PGO werkt al tijdens het onderzoek Het komt vaak voor dat al tijdens het onderzoek dingen gaan veranderen binnen instellingen omdat er binnen de organisatie over het onderzoek gepraat wordt of door wat er in interviews aan de orde komt. Medewerkers kunnen daardoor anders over dingen gaan denken en hun handelen al tijdens het onderzoek gaan verbeteren. Dat is een positief neveneffect van praktijkgericht onderzoek. Als je zoiets constateert, schroom dan niet om daar gebruik van te maken en dat als onderzoeksresultaat te claimen Draagvlak creëren Omdat het doel van praktijkgericht onderzoek altijd gericht is op verbeteringen en verbeteren van handelen, is de implementatie van verbetervoorstellen minstens zo belangrijk als de analyse van het probleem. Het is daarom van belang al tijdens het Praktijkgericht Onderzoek bij het ISCB - versie

15 onderzoek de voorwaarden te ontwikkelen voor een succesvolle implementatie. Het creëren van draagvlak binnen de organisatie voor de verbeterplannen is één van de belangrijkste voorwaarden. Het is dus verstandig al tijdens het onderzoek, als onderdeel van de onderzoeksstrategie, zoveel mogelijk geledingen binnen de organisatie bij het onderzoek te betrekken en hen zo mogelijk aan de uitkomsten te committeren. 6. De presentatie 6.1. Het onderzoeksrapport In het onderzoeksrapport worden de onderzoeksresultaten gerapporteerd en verantwoord. In de inleiding (of in het eerste hoofdstuk) wordt de probleemstelling nogmaals geformuleerd en daarna de gekozen onderzoeksmethode verantwoord. Als de onderzoeksopzet logisch in elkaar zit is het bijna altijd mogelijk voor de hoofdstukindeling van het eindrapport de volgorde van de (geclusterde) deelvragen aan te houden. Soms is het handig elk hoofdstuk af te sluiten met deelconclusies. Tot slot volgen dan de conclusies en aanbevelingen (zie 4.1). Het is belangrijk om hier apart te verantwoorden hoe de onderzoekers tot deze conclusies en deze aanbevelingen zijn gekomen. Vaak is het lastig afwegen welke gegevens in het hoofdrapport komen en wat in de bijlagen. Over het algemeen kunnen de meeste onderzoeksgegevens in de bijlagen geplaatst worden en is het beter het rapport kort en bondig te houden. Vanzelfsprekend moet aandacht besteed worden aan verzorging, vormgeving en layout; ook het uiterlijk van het rapport draagt bij aan de acceptatie De presentatie De presentatie van het onderzoeksrapport is de formele afsluiting van het onderzoek. Bij de presentatie, die bij voorkeur plaats vindt in de instelling waar het onderzoek is gedaan, is in ieder geval de opdrachtgever aanwezig. Het is verstandig om zoveel mogelijk betrokkenen bij het onderzoek bij de presentatie uit te nodigen; in ieder geval degenen waar het onderzoek direct betrekking op heeft (bijv. de medewerkers en/of vrijwilligers en/of klanten van een instelling). Dit vergroot het draagvlak en de acceptatie van de onderzoeksresultaten en een presentatie voor een volle zaal heeft meer status dan een presentatie voor twee personen. Ook de presentatie moet vanzelfsprekend professioneel vorm gegeven worden. Pieter van Vliet Praktijkgericht Onderzoek bij het ISCB - versie

16 7. Literatuur Een aantal toegankelijke boekjes over projectmatig werken zijn: - Grit, R., Projectmanagement, Wolters-Noordhoff, Groningen Kor, R., Werken in projecten, Kluwer Bedrijfsinformatie, Deventer Spanjer, M., De eenvoud van projectmatig werken, Bohn Stafleu Van Loghum, Houten/Diegem Verhaar, J, Projectmanagement 1 en 2, Boom, 2000, Verhaar, J, Projectmatig werken, Boom, Wijnen, G., W. Renes & P. Storm, Projectmatig werken, Het Spectrum, Utrecht Enkele goed bruikbare titels op het gebied van (praktijkgericht) onderzoek zijn: - Baarda, D.B. & M.P.M. de Goede en J. Theunissen, Basisboek kwalitatief onderzoek, Stenfert Kroese, Houten Berkers, W., Praktijkgericht onderzoek en methodiekontwikkeling, Bohn Stafleu Van Loghum, Houten/Diegem Bersselaar, V. van den & H.J. Hoeksema, Discursieve vaardigheden, Coutinho, Bussum Bryman, A, Social Research Methods, Oxford University Press, Oxford Landsheer, H., H. t Hart, M. de Goede en J. van Dijk, Praktijkgestuurd onderzoek. Stenfert Kroese, Groningen Migchelbrink, F., Praktijkgericht onderzoek in zorg en welzijn, swp, Amsterdam, augustus 2000 (5e herziene/uitgebreide druk) - Migchelbrink, F., Actieonderzoek voor professionals in zorg en welzijn, SWP, Amsterdam, Tilanus, V.P.G., Onderzoeksmethoden bij agogisch handelen, uitgeverij SWP, Utrecht Verhoeven, N., Wat is onderzoek, Boom, 2004, 2e herziene druk: Verschuren, P.J.M., De probleemstelling voor een onderzoek, Aula, 1986, 1992, Verschuren, P. en Doorewaard, H., Het ontwerpen van een onderzoek, Lemma, 2005 Verschillende bij het uitvoeren van praktijkgericht onderzoek te kiezen invalshoeken worden behandeld in: - Bersselaar, V. van den, Wetenschapsfilosofie in veelvoud: fundamenten voor professioneel handelen, Coutinho, Bussum, 2e herziene druk Goede publicaties over het hanteren van je positie als (relatief) externe adviseur/onderzoeker zijn: - Nathans, H., Adviseren als tweede beroep, Kluwer BedrijfsInformatie, Deventer Ter Haar, M., Professionals in de beleidsarena, van Gorcum, Assen, 2002 Praktijkgericht Onderzoek bij het ISCB - versie