Samenvatting Methoden en Technieken

Transcriptie

1 Samenvatting Methoden en Technieken Samenvatting van het basisboek Methoden en Technieken van Baarda en De Goede (tweede, herziene druk. Derde oplage, 1997) Inhoud 1 Wat is onderzoek? 2 2 Wat is mijn doelstelling en wat mijn probleemstelling? 3 3 Hoe zoek ik informatie? 4 4 Wat voor type onderzoek ga ik doen? 5 5 Hoe ziet mijn onderzoeksontwerp eruit? 6 6 Wat is mijn onderzoekspopulatie en steekproef? 8 7 Welke dataverzamelingsmethode gebruik je? 10 8 Interviewen hoe doe ik dat? 11 9 Observeren hoe doe ik dat? Hoe prepareer ik de data voor de analyse? 15 Samenvatting onderzoeksmethoden 1

2 1 Wat is onderzoek? Empirische toetsing: informatie verzamelen om te controleren of de ideeën wel kloppen. In de doelstelling geef je aan waarom het belangrijk is die informatie te verzamelen, wat de relevantie van de verzamelde informatie is. Bij de doelstelling gaat het om de vraag waarom je iets wilt weten, bij de probleemstelling gaat het om de vraag wat je wilt weten. Normatieve en ethische vragen hebben betrekking op b.v. of iets goed is ja of nee. Verschillende onderzoeken Beschrijvend onderzoek: gaat om het beschrijven van het voorkomen van een of meer kenmerken binnen een specifieke groep. Explorerend onderzoek: het ondekken van verbanden of verschillen tussen kenmerken binnen een specifieke groep. Toetsend onderzoek: het controleren of een verklaring klopt. Soms is de verklaring uitgewerkt in de vorm van een theorie, op basis waarvan hypothesen geformuleerd zijn die vervolgens in het onderzoek getoetst worden. Evaluatief onderzoek: een vorm van toetsend onderzoek, daar er meestal een duidelijke verwachting is over de uitkomst van het onderzoek. Onderzoeksontwerp (empirisch onderzoek) Survey: wanneer je van een persoon of objecten informatie wilt hebben, die je verzamelt met observatie en/of mondelinge of schriftelijke interviews. Bij longitudinale survey vindt minimaal een herhaalde meting plaats. Experiment: Hierbij doe je een ingreep bij de experimentele groep en je gaat na of dat tot verandering bij deze groep leidt, terwijl je dat voor de controle groep in mindere mate of niet verwacht. Populatie: alle eenheden te zamen waarover je een uitspraak wilt doen. Wanneer je alle mensen van de populatie onderzoekt is er spraken van een populatie-onderzoek. Als de populatie te groot is noem je het een steekproefonderzoek. De respondenten zijn de mensen van of over wie je gegevens verzamelt hebt. Desk research: gebruik maken van bestaande gegevens. Interview: mening, kennis of een attitude. Observeren: gedrag Samenvatting onderzoeksmethoden 2

3 2 Wat is mijn doelstelling en wat mijn probleemstelling? Doelstelling: geeft de relevantie van het onderzoek weer, en moet verklaren waarom je het onderzoek doet. Ethisch verantwoord: - De respondent vrijwillig meewerkt en er geen valse voorstelling van zaken wordt gegeven, zijn gegevens anoniem verwerkt worden en de uitkomst voor hem geen nadelig effect heeft - De onderzoeker het onderzoek voor de opdrachtgever op een controleerbaar eerlijk en objectieve manier uitvoert en geen gegevens aan derden verstrekt als de opdrachtgever daar niet mee instemt. In de probleemstelling geef je aan wat je wilt weten. Een belangrijk onderdeel van dit proces is de oriëntatie op het onderzoeksonderwerp aan de hand van deskundige, opdrachtgever en literatuuronderzoek. (Vermijd: hoe en waarom vragen, beleidsvragen en normatieve vragen) Vraagstellingen: - Frequentie: hoeveel - Verschil: vinden. dan - Samenhang: relatie tussen. en. Het is belangrijk onderscheid te maken tussen eenheids- en eigenschapsbegrippen. (eigenschappen zij kenmerken van een eenheid. Eigenschappen kunne variëren eenheden niet) Een verondersteld verband tussen eigenschapsbegrippen kan grafisch worden weergegeven in een conceptueelmodel. Naast centrale begrippen kunnen er in het model ook controlebegrippen worden opgenomen. Controlebegrippen zijn begrippen die van invloed zijn op het verband tussen de centrale begrippen in de probleemstelling. Of we een onderzoek gaan uitvoeren hangt af van de volgende aspecten: - Voldoende tijd - Voldoende geld - Bereidheid en bereikbaarheid van de onderzoeksobjecten - Financiële begroting Samenvatting onderzoeksmethoden 3

4 3 Hoe zoek ik informatie? De belangrijkste reden om literatuuronderzoek te doen is om na te gaan of anderen al een vergelijkbaar onderzoek hebben gedaan. Ook kun je suggesties opdoen voor: - De opzet van je onderzoek - Het definiëren en operationaliseren van je begrippen - Relevante theorieën op je onderzoeksterrein - De vereiste omvang van je steekproef Deskundigen zijn een belangrijke bronnen van informatie. Die deskundige kun je opsporen door te zoeken in: - De Nederlandse onderzoek databank - Titels van sociaal-wetenschappelijk onderzoek van het SWIDOC - Pyterssens almanak Tijdschriften zijn voor onderzoekers meestal de belangrijkste informatiebron. Als je met een nieuw onderzoek begint, is het handig eerst eens naslagwerken zoals, psychologie woordenboeken, te raadplegen. Ze geven je een indruk van belangrijke onderzoekers, begrippen en theorieën op je terrein. Verder geven scripties en proefschriften vaak overzichten van de stand van zaken op een specifiek terrein. In het Steinmetz-archief en bij het CBS vind je onderzoeksdata, die bruikbaar kunnen zijn voor je onderzoek Samenvatting onderzoeksmethoden 4

5 4 Wat voor type onderzoek ga ik doen? Toetsend onderzoek is een type onderzoek, waarbij een hypothesen, meetinstrumenten, populatie en onderzoeksomstandigheden vooraf vastliggen. De hypothesen worden afgeleid uit een theorie. Een theorie is een geheel van beweringen over een afgebakend deel van de werkelijkheid die onderling niet strijdig zijn en waaruit minstens een hypothese afgeleid kan worden die toetsbaar is, inclusief een mechanisme dat het waarom in de hypothese verklaart. Een specifieke of ad hoc-theorie bestaat uit een serie proposities die betrekking hebben op een afgebakend en direct herkenbaar deel van de werkelijkheid in het kader van een concreet onderzoek. Alvorens een algemene theorie kan worden toegepast dient deze te worden vertaald naar het onderwerp van onderzoek. Bij een beschrijvend onderzoek zijn hypothesen en een theorie niet aan de orde. He gaat om de beschrijving en catalogisering van kenmerken van de onderzoekseenheden aan de hand vaan een vooraf gegeven systematiek. Via beschrijvend onderzoek wil men antwoord verkrijgen op open frequentie vragen. Bij een exploratief onderzoek is er vooraf geen theorie en zijn er ook geen scherp geformuleerde hypothese voorhanden. Exploratief onderzoek is juist gericht op de ontwikkeling van een theorie en/of scherpe(re) formulering van hypothesen. Via exploratief onderzoek wil je antwoord krijgen op open verschil en/of samenhangvragen. Samenvatting onderzoeksmethoden 5

6 5 Hoe ziet mijn onderzoeksontwerp eruit? Bij een experiment moet je als onderzoeker systematisch variatie kunnen aanbrengen in een onafhankelijke variabele. Je wilt een causaal verband aantonen tussen een onafhankelijke variabele en een afhankelijke variabele. Je verwacht daarbij dat de onafhankelijke variabele effect heeft op de afhankelijke variabele. Pre-experimentele ontwerp Tijdstip T1 T2 Groep 1 O1 x O2 Bij pre-experimentele ontwerpen is er spraken van een voormeting en een nameting bij een bestaande groep, alleen een nameting bij twee groepen of alleen een nameting bij een bestaande groep. Storende factoren zijn: interne validiteit (meningen worden beïnvloed) tussentijdse externe gebeurtenis(sen) (externe voorvallen) groei (door lange tijd tussen voor en nameting) testeffect (effect van herhaald testen) instrumentatie (externe factoren regressie-effect (statische regressie naar het gemiddelde) Selectie (geen gelijke verdeling tussen exp. groep en controle groep) uitval Zuiver experimentele ontwerpen Tijdstip T1 T2 Groep 1 (exp.) R O1 X O2 Groep 2 (contr.) R O3 O4 Om van een zuiver experimenteel ontwerp te kunnen spreken moet je in ieder geval randomiseren en naast de experimentele groep minstens een controle groep bij het onderzoek betrekken. Randomiseren wil zeggen: random toewijzen van onderzoekseenheden aan groepen en vervolgens op toevalsbasis bepalen welke daarvan als experimentele groep fungeert en welke als controle groep. In combinatie met randomiseren kan gebruik gemaakt worden van matchen: het gelijkmaken van de experimentele en controlegroep. Precisie-matchen: Paren maken die grotendeels gelijk zijn in kenmerken (leeftijd,sekse) waarvan je denkt dat ze invloed hebben op de afhankelijke variabele Glabale matching: frequentie verdeling van een aantal kenmerken Homogeniseren: een of meer homogene groepen We kunnen spreken van hoge interne validiteit wanneer de nameting uitwijst dat de experimentele variabele een effect heeft op de afhankelijke variabele (narandomiseren, matchen, enz). Samenvatting onderzoeksmethoden 6

7 Quasi-experimenteel ontwerp Tijdstip T1 T2 Groep 1 (exp.) O1 X O2 Groep 2 (contr) O2 O4 Quasi-experimentele ontwerpen nemen een positie in tussen pre-experimentele en zuiver experimentele ontwerpen. Veelal wordt gebruik gemaakt van bestaande groepen (schoolklassen, afdelingen) Bij bestaande groepen is random toewijzing van onderzoekseenheden aan de experimentele dan wel controle groep echter niet mogelijk. Karakteristieken voorbeelden zijn de enkelvoudige en meervoudige tijdreeksen zowel voor als na introductie van de experimentele variabele metingen verricht op de afhankelijke variabele. De voorkeur gaat uit naar meervoudige tijdreeksen. Daar is spraken zowel van een experimentele als een controlegroep. Bij enkelvoudige tijreeksen wordt alleen een experimentele groep betrokken. Daarom is het bij de meervoudige tijdreeks mogelijk om de storende factor tussentijdse externe gebeurtenis onder controle te krijgen en bij enkelvoudige tijdreeks niet. Survey-onderzoek Bij survey-onderzoek worden in de regel bij een groot aantal onderzoekseenheden gegevens verzameld over een groot aantal kenmerken. In de meeste gevallen worden gegevens verzameld bij een steekproef van onderzoekseenheden uit een nader omschreven populatie. Voor de verzameling van gegeven wordt gebruik gemaakt van interviews dan wel observatie. Meestal vindt de dataverzameling plaats op een moment of in een periode. Er zijn echter ook vormen van longitudinaal survey-onderzoek: - panelonderzoek (verschillende tijdstippen, dezelfde gegevens, bij dezelfde groep) - trendonderzoek (verschillende tijdstippen, dezelfde gegevens, verschillende groepen) - prospectiefonderzoek (Verschillende tijdstippen, willekeurige verdeling, voorspellingen, nameting) Causaliteit Om van een causaal verband te kunnen spreken moet aan drie voorwaarden worden voldaan: - covariatie of statistische samenhang - tijdsvolgorde - geen derde, verklarend, kenmerk in het spel Het zuivere experiment is de beste grondvorm om aan causaliteitsvoorwaarden te voldoen, gevolgd door het quasi-experimenteel ontwerp (survey minder geschikt). Samenvatting onderzoeksmethoden 7

8 6 Wat is mijn onderzoekspopulatie en steekproef? Onderzoekseenheden zijn personen of objecten waarover in de probleemstelling een uitspraak wordt gedaan en die in het onderzoek worden betrokken (kenmerken kunnen variëren de eenheden niet). Populatie is de afbakening van de onderzoekseenheden die je in een onderzoek wilt betrekken. Universum of theoretische populatie wil zeggen alle voorkomende eenheden die je wilt onderzoeken (bijvoorbeeld alle jongeren over de hele wereld). Als je deze ruime populatie, op grond van je doelstelling en/of probleemstelling inperkt tot bijvoorbeeld alle Nederlandse jongeren in 1995 spreken we van een operationele populatie. Als slechts een deel van de populatie wordt betrokken, spreken we van een steekproef. We onderscheiden aselecte en selecte steekproef. Bij aselecte steekproef hebben alle eenheden in de populatie (meestal) een gelijke of in ieder geval een bekende kans om in de steekproef te komen. Bij een selecte steekproef worden eenheden niet op toevalsbasis uit een populatie getrokken. Steekproefkader is een vorm van administratie waarin onderzoekseenheden en kenmerken van deze eenheden zijn geregistreerd (nodig voor aselecte of kanssteekproef). Bij kanssteekproeven of aselecte steekproeven is de kans voor alle eenheden uit de populatie meestal gelijk (of in ieder geval bekend) om in de steekproef getrokken te worden. Bij een enkelvoudige aselecte steekproef wordt een vooraf bepaald aantal eenheden volstrekt willekeurig uit de populatie getrokken (via loterijmethoden of tabel). Bij een systematische steekproef met aselecte begin wordt de gewenste omvang van de steekproef (n) bepaald. De omvang van de populatie (N) wordt gedeeld door de gewenste omvang van de steekproef (dus: N/n=k). Ieder k e -element in de populatie komt in de steekproef. Via een tabel met toevalsgetallen wordt een randomgetal (a) gekozen De eenheid in de populatie die met a correspondeert wordt als eerste in de steekproef opgenomen, vervolgens a+k, a+2k enz. Indien de populatie bestaat uit zogeheten eerstetrapseenheden, die elk weer bestaan uit tweedetrapseenheden, wordt eerst een enkelvoudige aselecte steekproef getrokken uit de eerstetrapseenheden en vervolgen wordt per eerstetrapseenheden een enkelvoudige aselecte steekproef uit de tweedetrapseenheden getrokken (bijvoorbeeld provincie, gemeente, school, klas, leerling). In die gevallen spreekt men van een twee- of meertrapssteekproef. Bij niet-kanssteekproeven of niet-aselecte steekproeven is de kans voor eenheden uit een populatie om in de steekproef te komen onbekend en zeer waarschijnlijk ongelijk. Als toevallig beschikbare eenheden (b.v. de eerste 100 personen die je op straat tegenkomt) in de steekproef worden betrokken, is er spraken van een toevallige of beschikbare steekproef. Bij een quotasteekproef wordt vooraf bepaald hoeveel eenheden met welke specifieke kenmerken in de steekproef moeten worden opgenomen, bijvoorbeeld 50 mannen en 50 vrouwen. Indien een bepaalde combinatie van eenheden kan worden beschouwd als karakteristiek voor de gehele populatie, wordt deze combinatie (wat omvang betreft uiteraard veelgeringer dan de populatie) als steekproef uit de populatie beschouwd. Men spreekt dan van een doelgerichte steekproef. Bij een sneeuwbalsteekproef wordt aan een of aan een klein aantal personen gevraagd naar een of meer mensen die ze kennen, met bepaalde kenmerken die voor het onderzoek belangrijk zijn. Aan deze personen wordt op hun beurt ook weer gevraagd of zij mensen kennen. Enz Samenvatting onderzoeksmethoden 8

9 De vereiste omvang van een steekproef is afhankelijk van de heterogeniteit van de populatie en de vereiste nauwkeurigheid waarmee je uitspraken wilt doen. Voor een enkelvoudige aselecte steekproef kun je op grond van de omvang van de populatie onder bepaalde condities de vereiste omvang van de steekproef bepalen. Lossere benaderingen: - absolute minimum is 25 (voorzichtigheidshalve 100) - vooruitlopend op de analysefase, nagaan hoeveel cellen een kruistabel van twee variabele zal omvatten. De omvang van de steekproef is dan minimaal: het aantal cellen maal 25 eenheden - De omvang van de steekproef laten afhangen van de tijd die je hebt en het geld waarover je beschikt. Samenvatting onderzoeksmethoden 9

10 7 Welke dataverzamelingsmethode gebruik je? Gebruik maken van bestaande informatie is meestal de goedkoopste en vaak ook een goede manier van onderzoek doen. Is er geen goede informatie voorhanden, dan zul je moeten beslissen om te interviewen of te observeren. Interviewen geniet de voorkeur boven observeren wanneer het gaat om: - Kennis - Houding/attitude - Opinie Observatie geniet de voorkeur wanneer het gaat om: - Gedrag dat frequent voorkomt Observatie heeft weinig zin bij, ongewenst en intiem gedrag. Gestructureerd informatie verzamelen wil zeggen dat je van tevoren precies weet wat voor informatie je wilt hebben en wat voor antwoorden je kunt verwachte. Bij ongestructureerde informatie verzameling liggen de onderwerpen niet exact vast en is ook de informatie niet altijd voorspelbaar. Wanneer je weinig informatie hebt over het onderzoeksveld verdient het aanbeveling eerst ongestructureerd informatie te gaan verzamelen. Wanneer je al veel kennis hebt van het onderzoeksveld en/of onderwerp van onderzoek sterk omlijnd is, kun je met gestructureerde informatieverzameling beginnen. Gestructureerde informatieverzameling geniet meestal de voorkeur boven ongestructureerde, omdat ze vaak minder van toeval afhankelijk is. Soms echter geven losse uitspraken, foto s of videobeelden een beter beeld van het probleem dan cijfers. Over het algemeen genieten directe vormen van informatieverzameling de voorkeur boven indirecte. Bij driegende ontwerpen of onderwerpen waarbij men zich niet bewust is wat men denkt of doet is het soms beter om op indirecte wijze informatie te verzamelen. Wel moet je goed nagaan of je datgene meet wat je beoogt te meten. Samenvatting onderzoeksmethoden 10

11 8 Interviewen hoe doe ik dat? Het interviewen is de aangewezen methode om informatie te verkrijgen over attitudes, opinies of kennis. Het interview kent wel een aantal nadelen: - Mensen niet altijd bewust van de motieven van hun gedrag (informatie niet altijd valide) dit kan voorkomen worden door zo veel mogelijk naar feiten te vragen niet naar meningen - Sociale wenselijkheid - Non-respons Een schriftelijk interview is vrijwel altijd mondeling. Bij een gestructureerd interview moet je de keuze maken tussen mondeling dan wel schriftelijk. Mondeling : voordeel Minder voorbereiding Geschikt voor open en ingewikkelde vragen Emotionele vragen Veel vragen Goede controle op invullen Weinig onvolledige lijsten Mondeling : nadeel Duur Weinig mensen Moeilijk te organiseren Niet erg anoniem Erg gevoelig voor sociale wenselijkheid Schriftelijk : nadeel Veel voorbereiding Geen emotionele opvang Niet te veel vragen Geen controle op invullen Veel onvolledige lijsten Veel non-respons Schriftelijk : voordeel Goedkoop Veel mensen Makkelijk te organiseren Wel anoniem Minder gevoelig voor sociale wenselijkheid Er zijn een aantal bijzondere interviewvormen, die ook nog een aantal specifieke voor en nadelen kennen. Voordelen Nadelen Ongestructureerd Minder tijd Groep remt reactie groepsgesprek Meer mensen Groep lokt reactie uit Groepsgewijze afname Meer respons Kost iets meer tijd vragenlijst Snellere respons Betere controle Telefonisch interview Minder tijd Ongeschikt bij lange of ingewikkelde lijst Makkelijker Van tevoren brief Invloed sociale wenselijkheid Minder groot Snelle verwerking mogelijk Bij complexe en/of abstracte eigenschapsbegrippen is het nodig eerst het begrip goed te definiëren en vervolgens te operationaliseren in een aantal indicatoren/vragen. Belangrijk is na te gaan of er verschillende dimensies aan een begrip te onderscheiden zijn. Als dat het geval is, moet ieder dimensie apart geoperationaliseerd worden. Vuist regel is dat iedere dimensie van een begrip geoperationaliseerd wordt in minstens 10 vragen. Dit om toevalsfactoren zo veel mogelijk te elimineren. Aangezien bij vooronderzoek een deel vaak niet blijkt te voldoen, wordt ernaar gestreefd in eerste instantie 150% van het uiteindelijk benodigde vragen te maken. Samenvatting onderzoeksmethoden 11

12 De voor en nadelen van beide soort vragen zijn: Open vragen Explorerend Weinig voorkennis nodig Geïnterviewde kan vrij antwoorden Doet recht aan geïnterviewde Genuanceerde antwoorden Toeval speelt belangrijke rol Vraagt veel verwerkingstijd Interviewer belangrijk Zeer informatief Minder betrouwbaar Gesloten vragen Inventariserend Veel voorkennis nodig Beperkt antwoordkader Doet minder recht aan geïnterviewde Eenvoudige antwoorden Toeval speelt minder belangrijke rol Vraagt weinig verwerkingstijd Interviewer minder belangrijk Minder informatief Betrouwbaarheid beter dan bij open Voor de vorm van de antwoordmogelijkheden moet je een aantal beslissingen nemen. Allereerst moet je nadenken over het meet niveau waarop de gegevens verkregen worden (zie tabel). Dit heeft consequenties voor de statistische technieken die je bij de analyse kunt gebruiken. Rationiveau Intervalniveau Verhoudingen blijven gelijk Ordinaal Gelijke verschillen Gelijke verschillen niveau Nominaal- Ordening Ordening Ordening Niveau Onderscheid Onderscheid Onderscheid Onderscheid Geslacht opleidingsniveau Bij een even aantal vragen dwing je iemand meestal tot een meting. Verder moet je overwegen of je een aparte categorie geen mening gebruikt. Bij schaalgebruik moet het aantal categorieën aan beide zijden van het midden gelijk zijn en moet er naar gestreefd worden per vraag een gelijk aantal categorieën te gebruiken. In mondelinge interviews moet je antwoordkaatjes of invullijsten gebruiken als er meer alternatieven zijn of wanneer de vragen over bedriegende onderwerpen handelen. Bij de formulering van vragen moet je op de volgende punten letten: - Je moet slecht een ding tegelijk vragen - De vragen moeten niet voor meer dan een uitleg vatbaar zijn - De vragen moeten grammaticaal niet ingewikkeld zijn - Het taalgebruik moet aangepast zijn aan de geïnterviewde - De vragen moeten niet suggestief zijn - De vragen moeten geen kennis of feiten veronderstellen die er niet zijn Zowel een schriftelijk als een mondeling dient als een goed gesprek te verlopen. Je moet oppassen dat antwoorden niet beïnvloed worden zaken die eerder in het interview aan de orde zijn gekomen. Samenvatting onderzoeksmethoden 12

13 Betrouwbaar wil zeggen dat de onderzoeksresultaten zo min mogelijk van toevalligheden afhankelijk zijn. De toevalligheden kunnen gelegen zijn in: - De situatie - De interviewer - De vragenlijst - De geïnterviewde Er zijn een aantal manieren om de betrouwbaarheid van vooral samengestelde maten zoals schaal, test, toetsscores te onderzoeken: - Test-hertest methode (Stabiliteitmeting: meting nogmaals herhalen en resultaten vergelijken) - Split-half methode (homogeen meting) - Item-analyse (samenhang nagaan van de verschillende vragen of indicatoren met het totaal van de antwoorden op de overige vragen) Validiteit wil zeggen dat je meet wat je beoogt te meten. Betrouwbaarheid garandeert niet dat een meting valide is. Wel geldt, dat als een meting niet betrouwbaar is, die ook niet valide is. Daarom kun je het beste eerst de betrouwbaarheid onderzoeken. Validiteit stel je vast door de samenhang van een meting met een ander criterium na te gaan. De validiteit is vooral een probleem bij abstracte en complexe begrippen. Samenvatting onderzoeksmethoden 13

14 9 Observeren hoe doe ik dat? Het grote voordeel van observatie is dat je feitelijk gedrag vaststelt. Observatie is een probleem wanneer het om sporadisch voorkomend gedrag gaat. Het vergt dan nog meer tijd en wordt kostbaarder dan het vaal al is. Verder beidt observeren vrijwel geen mogelijkheden om bijvoorbeeld motieven te onderzoeken, je kunt alleen gedragsmatige aspecten onderzoeken. Ook vraagt observatie vaak nogal wat interpretatie, hetgeen een nadelig effect kan hebben op de betrouwbaarheid. Goede instructies kunnen dit probleem gedeeltelijk opheffen. Als laatste bezwaar werd de invloed genoemd die de aanwezigheid van de observator op het gedrag van de te oberveren persoon kan hebben. Verborgen camera s en participerende observatie kunnen die voorkomen. Het is belangrijk dat je observaties zo snel mogelijk vastlegt. Beoordelingen achteraf zijn riskant. Als onderzoeker dien je de gedragscategorieën duidelijk te omschrijven. De observator moet weten waarop te letten. Je kunt bij gedrag op de frequentie, de duur en de intensiteit letten. Voor de frequentie kun je gebruik maken van de event- of time-sampling-methoden. Voor de beoordeling van de intensiteit wordt nogal eens rating scale gebruikt. De interobservatorbetrouwbaarheid wordt meestal berekend door twee of meer observatoren dezelfde situatie te laten beoordelen. De eenvoudigste betrouwbaarheidsmeting is, het percentage overeenstemming te berekenen. Aangezien dat percentage beïnvloed kan worden door kansfactoren, is het beter cohens kappa te bereken, waarin die verdisconteerd. Wanneer complexe begrippen geoperationaliseerd zijn in te observeren indicatoren, dient de validiteit van de meting vastgesteld te worden. Het valideringsonderzoek is vergelijkbaar met dat bij het interview. Veelal worden interviewgegevens gebruikt voor het valideringsonderzoek van de observatiemeting. Samenvatting onderzoeksmethoden 14

15 10 Hoe prepareer ik de data voor de analyse? We maken onderscheid tussen de voorbewerking van gegevens en de eigenlijke analyse. In de regel gaat het bij (survey-) onderzoek om numerieke gegevens. Om verwerking van deze gegevens met de computer mogelijk te maken, moet je de waarden van elke variabele voorzien van een code. In de vragenlijst zelf of in een code boek wordt aangegeven hoe de onderzoeksgegevens gecodeerd moeten worden. Aan de hand daarvan worden de gegevens vervolgens ingetypt op een informatie op een informatiedrager die door de computer kan worden gelezen, zodat op het verkregen databestand analyses kunnen worden uitgevoerd. Alvorens met de eigenlijke analyse van de data kan worden begonnen, is het soms nodig bepaalde variabelen te hercoderen. Als je een totaalscore of index berekent, is het noodzakelijk dat alle variabelen die daarbij worden betrokken in dezelfde richting geschaald zijn. Het is raadzaam voordat je met de analyse van de data begint, een analyseschema te maken. Eigenlijk is het gewenst om al een analyseschema te maken. Eigenlijk is het gewenst om al een analyseschema vooraf te maken, dus voordat de gegevens worden verzameld. Je zou de definitieve versie van het onderzoeksinstrument (bijvoorbeeld de vragenlijst) pas moeten vaststellen in samenhang met het codeboek en een analyseschema vooraf. Dit om zoveel mogelijk te voorkomen dat je, nadat de gegevens al verzameld zijn, voor ongewenste verrassingen komt te staan. Het is uiteraard afhankelijk van het type onderzoek dat je doet hoe gedetailleerd je het codeboek en het analyseschema vooraf kunt uitwerken. Bij een toetsendonderzoek waarbij je gebruik maakt van een gestructureerd interview met geprecodeerde gegevens is dat vrijwel volledig vooraf te doen. Indien je meer dan een operationalisatie voor een begrip gebruikt en je die tot een score wilt combineren, dan moet je eerst controleren of dit verantwoord is. De verschillende operationalisaties dienen namelijk hetzelfde te meten en dus homogeen te zijn. De homogeniteitindex alpha geeft aan in hoeverre het inderdaad om een homogeen geheel gaat. Met behulp van itemanalyse kun je nagaan of er items zijn die de homogeniteit mogelijk negatief beïnvloeden. Als dat het geval is, kunnen deze beter worden verwijderd. Samenvatting onderzoeksmethoden 15