Methodologie NWO Erasmus Academie

Transcriptie

1 Methodologie NWO Erasmus Academie Introductie Wetenschap Methodologie Onderzoeksproces Dataverzameling Data-analyse De ui van Mark Saunders Onderzoeksrapport Literatuur

2 Introductie Wetenschap: een systematisch geheel van kennis verworven door systematisch, d.w.z. planmatig te werk te gaan door een logische samenhang van methoden aan te brengen in de uitspraken en door het gebruik van een aantal technieken bij het doen van onderzoek. Methoden: de manieren van onderzoek doen; zij vertalen systematisch en dus planmatig een chaotische veelheid van verschijnselen in de wetenschappelijke gegevens die kunnen worden geanalyseerd. - de methode telt en niet het onderwerp van onderzoek Theorie: een (logisch) samenhangend stelsel van uitspraken waarmee empirische regelmatigheden beschreven, verklaard en voorspeld kunnen worden. - een stelsel met zowel abstracte/algemene als meer concrete/specifieke uitspraken

3 Het belang van wetenschap Het probleem van onafhankelijkheid is niet nieuw, maar wel groeiend > Wetenschap heeft enorm maatschappelijk gezag (een waarlijke kennis- en interpretatiemonopolie ) > Wetenschap is big business geworden: er staan grote financiële belangen en veel banen op het spel > Wetenschap (vooral de sociale) commodificeert in hoog tempo; het wordt handelswaar met een korte shelf life en een hoge innovatiedruk > Nieuwe wetenschapsgebieden (w.o. bedrijfskunde) zijn vaak expliciet dienstbaar aan maatschappelijke deelbelangen (Managerialism) > Weber: sociale wetenschap is onvermijdelijk waarderelevant (probleem-selectie en kennistoepassing) naast de vereiste waarderingsvrijheid (onbevooroordeeld in uitvoering van onderzoek) > Zeg mij wie uw opdrachtgever is en ik zal u zeggen wat er uit komt ; keuze en gebruik van theorieën en methoden kan al particuliere belangen dienen. Moeten we dan maar geen opdrachtonderzoek meer doen? > Algemene methodologie heeft een blinde vlek voor belangen in/rond onderzoek

4

5

6 Empirische cyclus in fundamenteel wetenschappelijk onderzoek Observatie: kennisprobleem vaststellen Inductie: zoeken naar theorie Deductie: afleiden van voorspellingen Toetsing: hypothesen mogelijk falsificeren Evaluatie Soorten onderzoek (III) Bestaat vooraf de nodige kennis, samengevat in een (volledige) theorie of niet? o Explorerend: het te onderzoeken verschijnsel is grotendeels onbekend en wordt verkend ( hoe zit het -vragen) - fasen: m.n. observaties inductie o Toetsend: vooraf geformuleerde hypothesen worden onderzocht en zo mogelijk gefalsificeerd ( is het zo dat -vragen) - fasen: m.n. deductive toetsing - evaluatie

7 Methodologieën/ onderzoeksopvattingen Empirisch-analytisch (kwantitatief) Interpretatief (kwalitatief) Voorbeeld Natuurwetenschappen Geesteswetenschappen - Kritisch- Emancipatoir Soort kennis of epistemologie Algemeen geldende uitspraken: nomothetisch Kennis die het eigene beschrijft: idiografisch Kennis die bevrijdt en achtergestelde groepen vooruit helpt: emancipatoir Werkelijkheidsbeeld of ontologie Objecten hebben kenmerken die afzonderlijk geanalyseerd kunnen worden (reductionistisch) Elk object moet als geheel geanalyseerd worden (holistisch) - Waarden en normen Onderzoek vermijdt het vellen van oordelen: waardevrijheid Onderzoeker probeert eigen waarden duidelijk te maken: waardeverheldering Onderzoeker is betrokken: waardegebonden Criteria Controleerbaarheid Herkenbaarheid, geloofwaardigheid Wederkerige adequaatheid Methoden m.n. experiment en survey m.n. casestudie, etnografie handelingsonderzoek

8

9

10 Het onderzoeksproces Selecteer onderwerp en doorzoek literatuur Geef een kritische literatuurbespreking en stel onderzoeksprobleem en vragen vast Ontwerp het onderzoek en stel een aanpak (inzet van methoden gezien je paradigma) op Verzamel onderzoeksdata (primair en/of secundair, kwalitatief en/of kwantitatief) Analyseer en interpreteer onderzoeksdata (kwalitatief of kwantitatief gezien paradigma) Schrijf onderzoeksrapport Op welk(e) punt(en) grijpen belangen in binnen dit proces van onderzoek? Aangeven voor jezelf moelijk is de afbakening en moelijk is het formuleren van een goede en precieze onderzoeksvraag

11 Soorten onderzoek Meerdere dimensies Naar gebruik: fundamenteel/zuiver toegepast Naar aard van methode: kwalitatief kwantitatief Naar redeneerwijze: deductief inductief Naar doel/inzet: Beschrijvend: determinerend, ontwikkeling begrippenkader Exploratief: patroonherkenning, inductief, theorievormend Verklarend: verbanden leggend (causaal, intentioneel, rationeel) Voorspellend: anticiperend op toekomst, deductief Normatief: kritisch/legitimerend voor beleid of methoden Naar belang: technisch praktisch emancipatorisch

12 SOORTEN ONDERZOEK Soorten onderzoek (I) Doel Werkwijze Fundamenteel Praktijkgericht Alledaags Kennisprobleem oplossen Volgens wetenschappelijke spelregels Praktijkprobleem oplossen Volgens wetenschappelijke spelregels Generaliseren altijd soms niet Praktijkprobleem oplossen Volgens praktijknormen Soorten vraagstellingen in onderzoek (II) o o niet causaal: Beschrijvend: inventarisatie van een verschijnsel ( wat -vragen) causaal: Verklarend: vragen naar oorzaken van een verschijnsel ( waarom - vragen) Voorspellend: vragen naar gevolgen van een verschijnsel ( wat gebeurt er als gevolg van -vragen)

13 Dataverzameling Kwalitatief 1. Weinig eenheden op heel veel kenmerken onderzoeken + gedetailleerde meting (interne validiteit) - reactiviteit (interne validiteit) 2. Open, flexibele onderzoeksprocedure participerende observatie (half) open interview (topic, life-history, elite, expert) + relevante gegevens (interne validiteit) - lage controleerbaarheid (betrouwbaarheid) 3. Doelgerichte selectie van eenheden Herhaalde selectie: theoretische selectie, sneeuwbal steekproef Selectie van gevallen: uniek, kritisch, extreme, typisch geval, maximale variatie, homogene trekking, convenience sampling - Lage generaliseerbaarheid (externe validiteit) Kwantitatief 1. Veel eenheden op weinig of veel kenmerken onderzoeken 2. Wat en hoe je meet vooraf vastleggen (quasi-) experiment enquête (survey) 3. Selectie op basis van toeval: kanssteekproef ofwel aselecte steekproef

14 Sterkten / zwakten methoden Enquête (open) interview Observatie Documentanalyse Datarijkdom Klein Groot Variabel (afh. van doel) Klein Kosten / Tijdsbeslag Laag Hoog (vooral in uitwerking) Hoog Variabel Validiteit Veelal laag Mogelijk zeer hoog Variabel (door bias) Variabel Betrouwbaarheid Hoog Laag Laag Hoog Bias Onderzoeker selectiebias (non)responsbias Onderzochten responsbias Onderzoeker selectiebias Onderzoeker bron

15 Controle interne validiteit kwalitatief onderzoek 1. Methodische verantwoording: opschrijven hoe de onderzoeker te werk is gegaan; (methodische) memo s. 2. Reflectie op rol als onderzoeker: onderzoeker denkt expliciet na over mogelijke invloed van eigen achtergrond en persoon op onderzoek; (reflexieve) memo s. 3. Triangulatie: meer metingen vanuit verschillende invalshoeken a) verschillende theorieën, b) verschillende soorten data, c) verschillende (analyse)methoden, d) verschillende onderzoekers (onderzoekerstriangulatie, waaronder peer debriefing). 4. Terugkoppeling naar participanten (member checks of member validation) gegevens en resultaten voorleggen aan onderzochten.

16 Kwalitatief 1. Interpretatie als analyse: redenen/motieven als verklaring 2. Bottom up werkwijze (inductief): analyse beginnen met gegevens Data-analyse Kwantitatief 1. Statistische analyse: causale verklaring 2. Vooraf operationaliseren (deductief): analyse beginnen met theorie 3. Voorlopige vraagstelling 3. Vooraf vastgelegde hypothesen 4. Dataverzameling en data-analyse als cyclisch proces: empirische cyclus meerdere malen doorlopen 5. Analyseren is coderen, categoriseren: codes vormen hiërarchie van abstract tot concreet 6. Analyseren is constant vergelijken: zoeken naar unieke typering voor (een soort) eenheden 7. Aard van uitkomst: uitgebreide beschrijvingen, typologie, concepten, veronderstellingen over de relatie tussen kenmerken 4. Dataverzameling afronden vóór de analyse: (deel van) empirische cyclus eenmalig doorlopen 5. Analyseren is kenmerken tellen en samenhang berekenen / bepalen 6. Analyseren is (meestal) groepen definiëren op één kenmerk en ze vergelijken op andere kenmerken 7. Aard uitkomst: overzicht van kenmerken of verwerpen /aannemen van hypothesen Kernverschil: vooraf niet of wel zaken vastleggen i.v.m. controleerbaarheid

17 Soorten kwalitatief onderzoek Taal en communicatieprocessen Taal construeert sociale werkelijkheid en identiteit Alleen taal wordt onderzocht Soorten: 1. Etnomethodologie: overkoepelend begrip, vaak conversatieanalyse 2. Conversatieanalyse: analyse van de manier waarop conversaties verlopen 3. Discoursanalyse: meestal analyse van documenten die met elkaar te maken hebben Interpretatieve variant Mens handelt in sociale context Taal, gedrag, achtergrond, sociale context wordt onderzocht Soorten: 1. Etnografische studie: portret schetsen van een culturele groep, participerende observatie 2. Gevalsstudie of casestudie: een verschijnsel (de case) bestuderen in de natuurlijke context; combinatie van dataverzamelingsmethoden 3. Gefundeerde theoriebenadering (ground theorie): theorie ontwikkelen voor een bepaalde situatie, starten zonder theorie als uitgangspunt; interview als methode.

18 Enquête (survey) Soorten Naar tijd: eenmalig, trend survey, panelstudie. Naar reikwijdte: census versus steekproef. Naar dataverzamelingsmethode: persoonlijk, telefonisch en zelfinvullijst Voor- en nadelen: Veldwerk Vragenlijst Kwaliteit data (1) Persoonlijke enquête (face to face) Tijdrovend Lang, complexe vragen Sociaal- wenselijke antwoorden (2) Telefonische enquête Snel Kort, simpele vragen Lage bereikbaarheid, non-respons (3) Zelfinvullijsten (self-administered, self completion) uitreiken, per post of internet Lange looptijd Minder kort, matig complexe vragen Non-respons

19 Weergave van interviewdata Vormen van verslaglegging open interviews: Indirecte samenvatting (relatief goedkoop ) Verbatim transcriptie (relatief tot zeer tijdrovend) Zonder non-verbale signalen Met non-verbale signalen Nauwkeurigheid van verslaglegging bepaalt de validiteit van interviews als methode Het belang van non-verbale signalen: Merendeel van communicatie is non-verbaal Verschil tussen wat iemand zegt (uiting) en bedoelt (strekking); humor, sarcasme, e.d., maar ook verspreking. Je kan iemand volkomen misverstaan als je hem letterlijk neemt. Betekenis komt tot stand in sociale context (= pragmatiek van communicatie: taalgebruik is zelf een soort sociaal gedrag) Inzicht in interactie tussen interviewer en geïnterviewde (machtsverhouding e.d.) Notatieconventies voor non-verbale informatie: Pauzes: (0.4) in tienden van seconden (.) minder dan 2/10e seconde Intonatie: w. dalende intonatie w, licht stijgende intonatie w? stijgende intonatie w snel stijgende intonatie Volume: zs verlaagd volume ZS stemverheffing zs nadruk Snelheid: >zs< versnelling spreektempo <zs> vertraging spreektempo w=w aaneenrijging van woorden k:: rekken van klanken Overige: [zs1] [zs2] overlappende spraak (.k.) niet-lexicale uitingen (bv. kuchjes, grommen, lach) { } toelichtingen (bv. over gedrag van spreker) w = woord, zs = zinsnede, k = klank NB: interviews zijn het gemeenschappelijk product van interviewer en respondent

20 Hoogwaardige (open) interviews Inhoud van gesprek Informatiedoel feiten, meningen, ervaringen, denkpatronen (discours), etc Soort vragen open/gesloten, doorvragen (uitleg, verdieping, relevantie, alternatieven) samenvattende vragen Gevoeligheid onderwerp confrontatie, verdedigend gedrag Relatie gesprekspartners Rol-, machtsverhouding gelijkwaardig dominant deskundigheid gesprekspartners Onderlinge gezindheid conflict gelijkgestemdheid Proces van het gesprek Sfeer zakelijk warm menselijk haast, afleiding rust Non-verbale informatie (observatie) lichaamstaal, aandacht Communicatieve kwaliteit openheid voor het verhaal van de ander Bronnen van misverstand Gebrekkige voorbereiding! Referentiekader gesprekspartners Luistervaardigheid, concentratie Instelling gesprekspartners visueel, auditief, affectief

21

22 Analyse van de vraagstelling Een vraag verzinnen is gemakkelijk; weten wat je vraagt een stuk lastiger!! Soorten vraagstelling: Verkennend Beschrijvend Verklarend Voorspellend Normatief Etc. Empirisch onderzoek richt zich op het vinden van feiten of bestaande meningen/attitudes Normatief onderzoek inventariseert de kracht van argumenten inzake maatstaven voor de juistheid van gedrag of beleid. Bepaal de informatiebehoefte voor een antwoord op de volgende vragen: Welke factoren verklaren een vergrote kans op boekhoudfraude bij beursgenoteerde bedrijven? Hoe vindt boekhoudfraude in verschillende bedrijfstakken plaats? Onder welke voorwaarden zijn organisaties het meest kwetsbaar voor boekhoudfraude? Wat vinden mensen van boekhoudfraude? Welke maatregelen moeten genomen worden ter bestrijding van boekhoudfraude? Inventarisatie van (theoretisch) mogelijke antwoorden bepaalt in hoge mate de gewenste dataverzameling voor onderzoek

23 Onderzoeksvraag Objectief Dat wil zeggen vrij van bias, vooronderstellingen en belangen van stake holders Onderzoeksvraag is de werkelijke opdrachtgever van het rapport, het complete rapport staat uitsluitend ten dienste van het beantwoorden van de onderzoeksvraag

24 Kortom Het rapport heeft dan de volgende hoofdstukken in deze speciale volgorde Introductie H1) Algemene beschrijving van de onderzoekscontext, bvb korte beschrijving over het bedrijf, dan meer typische beschrijving die direct relevant is voor het onderzoeksonderwerp, bvb die ene afdeling of het organisatieproces. Vaak komen hier ook suggesties van een probleem naar boven. H2) Afbakening onderzoek. Dit wordt in het rapport beschreven (helicopter daalt neer) Onderzoeksvraag: Een goede wetenschappelijke onderzoeksvraag is altijd in dienst van zichzelf en niet in dienst van de visie of het belang van een ander. Het onderzoekt wat er echt aan de hand kan zijn, of verlengt een vorig onpartijdig onderzoek.

25 Heeft de onderzoeksvraag deelvragen? Dit zijn kleinere vragen die eerst beantwoord moeten worden om uiteindelijk de hoofdvraag beter te begrijpen en te beantwoorden H3a) Aanpak van onderzoek. Wat voor soort onderzoek is het? Inductief, deductief? Kwalitatief, kwantitatief? Exploratief, verklarend? Welke begrippen komen er in de onderzoeksvraag (deelvragen) naar voren waar je literatuuronderzoek over gaat doen? Ddocument onderzoek, observaties, interviews? H3b) Hoe ga je dit onderzoek doen? Hoe ga je die abstracte begrippen in de empirie (onderzoeksomgeving) daadwerkelijk onderzoeken (zintuigelijk meten ) bijv. hoeveel interviews uit welke groep(en) en waarom juist die? Bij enquêtes hoe kom je aan je vragen en waarom juist die?

26 H4) Ruwe data Het kort en relevant weergeven van de gevonden gegroepeerde onderzoeksbevindingen, maar nog niet geanalyseerd en zonder enige poging om de onderzoeksvraag te beantwoorden. In de bijlage staan de complete (niet verkorte) weergave van de bevindingen. H5) Analyse van de gegevens (hier geen nieuwe gegevens benoemen, al de relevante gegevens die je hiervoor nodig hebt staan in H4) en de beantwoording van de deelvragen en de onderzoeksvraag (1-op-1 beantwoorden van al de vragen in H2) H6) Conclusies en aanbevelingen gebaseerd op H5 en de geraadpleegde literatuur

27 Literatuur Aken,v J.E, Andriessen,D.G,Handboek ontwerpgericht onderzoek,isbn , Boom,Lemma Arbor, I en Bjerke,B Methodology for creating Business Knowledge, 1997,ISBN ,Sage Boeije,H Analyse in kwalitatief onderzoek, 2004 ISBN ,Lermma uitgeverij Doorewaard, H en Verschuren.P Het ontwerpen van een onderzoek, ISBN ,Lemma uitgeverij Dul,J en Hak, T Case study methodology in business research, 2008, ISBN ,Elsevier,Heineman,Butterworth Hart.H,Boeije,H Hox.J Onderzoeksmethoden,23006, ISBN, Saunders.M,Thornhill A, Lewis,Ph,Methoden en technieken van onderzoek ISBN Segers,J, Methoden van de maatschappijwetenschappen, 1998, ISBN , Gorcum 1999 Swanborn.P. Evalueren, 2007, ISBN , Boom uitgeverij Swanborn,P Casestudies Wat,wanneer en hoe ISBN , Yin,R.K Case study research, ISBN