Basisboek methoden en technieken

Transcriptie

1 Basisboek methoden en technieken Deel 2 van 3 : Hoofdstuk 4 t/m 7 Ook verkrijgbaar : Deel 1 : Hoofdstuk 1 tot en met 3 Ook verkrijgbaar : Deel 3 : Hoofdstuk 8 tot en met 12 Bronvermelding: Titel: Basisboek methoden en technieken: Handleiding voor het opzetten en uitvoeren van kwantitatief onderzoek Vierde druk Auteur: Dr. D.B. Baarda en Dr. M.P.M. de Goede Uitgever: Wolters-Noordhoff ISBN: X Aantal pagina s boek : 376 Aantal hoofdstukken boek : 12 De inhoud van dit uittreksel is met de grootste zorg samengesteld. Incidentele onjuistheden kunnen niettemin voorkomen. Je dient niet aan te nemen dat de informatie die Students Only B.V. biedt foutloos is, hoewel Students Only B.V. dat wel nastreeft. Dit uittreksel is voor persoonlijk gebruik en is bedoeld als wegwijzer bij het originele boek. Wij raden altijd aan het bijbehorende studieboek erbij te kopen en dit uittreksel als naslagwerk erbij te houden. In dit uittreksel worden diverse verwijzingen gemaakt naar het studieboek op basis waarvan dit uittreksel is gemaakt. Dit uittreksel is een uitgave van Students Only B.V. Copyright 2006 StudentsOnly B.V. Alle rechten voorbehouden. De uitgever van het studieboek is op generlei wijze betrokken bij het vervaardigen van dit uittreksel. Voor vragen kan je je wenden per aan info@studentsonly.nl.

2 Inhoudsopgave Hoofdstuk 4 Onderzoeksontwerp pag. 3 Hoofdstuk 5 Onderzoekspopulatie en steekproef pag. 8 Hoofdstuk 6 Dataverzameling pag. 12 Hoofdstuk 7 Bestaande gegevens pag. 14 2

3 Hoofdstuk 4 Onderzoeksontwerp 4.1 Experiment Causale samenhangen kunnen met behulp van een experiment worden onderzocht. Bij een experiment wordt doorgaans het verband tussen twee kenmerken getoetst. Het aantal variabelen zal bij een experimenteel onderzoek niet groot zijn. De variabelen die men toetst zijn de zogenoemde afhankelijke variabele en de onafhankelijke variabele. De afhankelijke variabele is de gevolg- ofwel effectvariabele. De onafhankelijke variabele is de veroorzakende variabele ofwel de experimentele variabele (Baarda & De Goede, 2006). 4.2 Pre-experimentn en storende factoren Pre-experimentele ontwerpen Baarda en De Goede (2006) beschrijven een pre-experimenteel ontwerp (p. 118). Volgens dit onderzoeksontwerp worden verschillende groepen met elkaar vergeleken. Van belang is de interne validiteit. Tijdens het blootstellen van een groep aan de veroorzakende variabele (de onafhankelijke variabele) moet immers worden nagegaan of de onafhankelijke variabele inderdaad de oorzaak van het effect op de groep is. Pre-experimentele ontwerpen gaan uit van een voor- en nameting bij één groep, maar kunnen ook uitgaan van een nameting bij twee groepen of alleen in één groep Storende factoren Met pre-experimenten kan niet zomaar worden vastgesteld dat de verandering (het effect op de afhankelijke variabele) enkel wordt veroorzaakt door de onafhankelijke variabele. De tijd tussen de voor- en nameting is een bepalende factor. Dit betekent dat het resultaat van een voormeting kan veranderen als men de nameting op een ander moment op de dag uitvoert: Deelnemers kunnen aan het eind van de dag vermoeid zijn waardoor de reactie op de blootstelling van de te meten variabele anders kan zijn (zie voorbeeld in Baarda & De Goede, 2006, p ). Het optreden van dit effect wordt een testeffect genoemd. De verschillen die gevonden worden na de voor- en nameting en die dus niet worden veroorzaakt door de onafhankelijke variabele kunnen derhalve worden veroorzaakt door storende factoren. Dit wordt instrumentatie genoemd. Een andere storende factor bij een pre-experiment is het regressie-effect. Dit effect is waarneembaar als de statistische regressie waarbij de score na de nameting afwijkend is van de gemiddelde scores. Het effect is vooral te zien als de scores in een voormeting extreem hoog zijn (zie voorbeeld in Baarda & De Goede, 2006, p. 120). Een volgende storende factor bij een pre-experiment kan voortkomen uit de selectie van de deelnemers. Als de experimentele groep anders van samenstelling is dan de controlegroep, kan deze selectie de resultaten verstoren. Als de tijd tussen de voor- en nameting lang is, zullen er doorgaans minder mensen aan de nameting deelnemen. In de tussentijd kunnen er zelfs mensen zijn overleden. Deze mortaliteit kan de metingen ook storen. De bovengenoemde factoren (tussentijdse gebeurtenissen, groei-effect, testeffect, instrumentatie, regressie-effect, selectie en uitval) zorgen ervoor dat men met een pre-experimenteel ontwerp geen eenduidige uitspraak kan doen over causale verbanden. 3

4 4.3 Zuiver experiment, randomisatie en matchen Zuiver experimentele ontwerpen Bij zuiver experimentele ontwerpen wordt gebruik gemaakt van randomisatie. Dat wil zeggen dat op grond van het toeval onderzoekseenheden aan de onderzoeksgroepen (experimentele groep en controle groep) worden toegewezen. Vervolgens kan men met statistische technieken nagaan in hoeverre de verschillen veroorzaakt worden door toevallige factoren of door de onafhankelijke variabele. In hoofdstuk 11 zullen technieken worden beschreven. Overigens zullen de te vergelijken groepen wel gelijkwaardig aan elkaar moeten zijn. Zuiver experimentele ontwerpen kunnen opgebouwd zijn uit twee tot vier groepen, waarbij sprake kan zijn van nametingen (zie voorbeeld in Baarda & De Goede, 2006, p ) Interne en externe validiteit van experimenten De storende factoren die voorkomen bij pre-experimenten, kunnen door randomisatie worden tegengegaan bij zuivere experimenten. Als alleen het effect wordt waargenomen bij de controlegroep, is het aannemelijk dat dit effect wordt beïnvloed door de experimentele variabele. Dit wordt interpretatie-exclusiviteit genoemd. In dat geval kan er gesproken worden van interne validiteit. 4

5 Een testeffect kan bij zuivere experimenten worden voorkomen door middel van het Solomon design, waarbij bij vier groepen in de twee controlegroepen op verschillende testmomenten wordt gekeken naar het effect van de blootstelling op de variabele. Als er een verschil waarneembaar is op het tweede testmoment bij de ene groep, maar niet bij de andere groep, kan men vaststellen dat er sprake is van een testeffect. Het nadeel van zuivere experimenten is dat de onderzoeksomstandigheden erg kunstmatig zijn, waardoor het de vraag is of de resultaten gegeneraliseerd kunnen worden naar een andere populatie dan de onderzochte populatie onder andere omstandigheden (zie voorbeeld in Baarda & De Goee, 2006, p. 124). Als generalisatie mogelijk is, is er sprake van externe validiteit Randomiseren, matchen en homogeniseren Helaas is het niet altijd mogelijk om door middel van randomisatie storende fatoren te beheersen. In die gevallen zal men de experimentele groepen en de controlegroepen moeten matchen of homogeniseren. Onder matchen ook als gelijkschalen getypeerd wordt verstaan dat de experimentele groep en de controlegroep vergelijkbaar aan elkaar worden gemaakt. Het matchen kan gebeuren door de zogenoemde precisiecontrole en door de frequentieverdelingscontrole. Bij een precisiecontrole is iedere onderzoekseenheid gelijk, zowel voor de experimentele groep als voor de controlegroep. De kenmerken van de eenheden zijn dus in combinatie aan elkaar gelijk. Een frequentieverdelingscontrole wordt ook een globale controle genoemd. De onderzoekseenheden zijn per kenmerk voor de experimentele groep en voor de controlegroep in frequentieverdelingscontroles gelijk. In beide groepen zijn bijvoorbeeld evenveel mannen als vrouwen opgenomen. Met homogeniseren wordt het gelijkstellen van de groepen op grond van een bepaald kenmerk bedoelt, bijvoorbeeld enkel mannen of enkel vrouwen. Het matchen en homogeniseren kan in combinatie met het randomiseren worden uitgevoerd. De technieken zijn dus geen vervangende technieken voor randomisatie (Baarda & De Goede, 2006). 4.4 Quasi-experimentele ontwerpen Een quasi-experimenteel ontwerp is van toepassing als een random toewijzing van een eenheid aan een experimentele groep of controle groep niet uitgevoerd kan worden en een pre-experimenteel ontwerp niet de voorkeur heeft vanwege de mogelijk storende factoren waarover men geen controle heeft. Randomisatie is immers niet altijd mogelijk. Te denken valt bijvoorbeeld aan groepen bestaande uit afdelingen of schoolklassen. In die situaties is manipulatie en random toewijzing niet aan een groep maar aan een variabele een optie Baarda en De Goede (2006) geven drie ontwerpen weer onderzoeken. Het eerste ontwerp betreft een onderzoek sterk gelijkend op het quasi-experimentele onderzoek, waarbij er een voor- en nameting is met een controlegroep zonder randomisatie (p. 127). Het tweede voorbeeld betreft een pre-experimenteel ontwerp met een enkelvoudige tijdreeks. Een enkelvoudige tijdreeks bestaat uit verschillende meetmomenten bij een experimentele groep, zodat men veranderingen over alle periodes kan nagaan en eventueel een afname of toename in een bepaalde periode kan constateren. Er is dus géén controlegroep (p. 129). Het nadeel van dit ontwerp is echter dat het effect van een experimentele variabele niet eenduidig is vast te stellen. Andere gebeurtenissen kunnen dit effect hebben beïnvloed. Het derde ontwerp betreft het quasi-experimentele ontwerp met meervoudige tijdreeksen zonder randomisatie. Dit ontwerp lost het probleem van de enkelvoudige tijdreeksen op, omdat er dan zowel een experimentele groep als een controlegroep bestaat. Op meerdere momenten wordt zowel in de 5

6 controlegroep als in de experimentele groep het effect gemeten (de scores) van de afhankelijke variabele. 4.5 Surveyonderzoek Survey; karakterisering Een surveyonderzoek is nuttig indien er sprake is van een groot aantal onderzoekseenheden waaruit men een steekproef trekt. Bij een survey wordt informatie verzameld via observaties, vragenlijsten of gesprekken. Meestal zal er maar één meetmoment in een bepaalde periode zijn, de momentopname. Tijdens een beschrijvend of exploratief onderzoek kan men gebruik maken van een survey. Een survey is niet geschikt als men geïnteresseerd is in causale verbanden (Baarda & De Goede, 2006) Typen surveyonderzoek Het nagaan of storende factoren invloed hebben is bij een survey nauwelijks mogelijk. Toch kan een onderzoeker door middel van systematische variatie en statistische berekeningen deze storende factoren proberen te beperken. Er zijn verschillende vormen van surveyonderzoek mogelijk, namelijk een longitudinaal surveyonderzoek, een panelonderzoek, een trendonderzoek en een prospectief onderzoek. Panelonderzoeken en trendonderzoeken zijn vormen van longitudinale onderzoeken. Longitudinale onderzoeken bestaan uit surveyonderzoeken waarbij op meerdere tijdstippen gegevens worden verzameld. Als op verschillende tijden dezelfde informatie wordt verzameld, kan er gesproken worden van een panelonderzoek. Als op verschillende tijden dezelfde informatie wordt verzameld bij verschillende andere onderzoekseenheden, kan er gesproken worden van een trendonderzoek. Prospectief onderzoek is gericht op de toekomst en men bestudeert volgens dit ontwerp de gegevens die op verscheidene tijden zijn verkregen. Prospectief onderzoek lijkt op een (quasi) experimenteel onderzoek, omdat men experimentele en controle omstandigheden tracht te kopiëren. Echter, deze groepen bestaan slechts op papier. Op verschillende tijdstippen wordt bekeken of de verwachtingen op papier inderdaad te zien zijn in de nagemaakt experimentele en controlegroep (zie voorbeeld in Baarda & De Gode, 2006, p ). De interne validiteit zal in een surveyonderzoek laag zijn, maar als de stekproef aselect is getrokken kan de externe validiteit hoog zijn. 4.6 Causaliteit en ontwerp van onderzoek Wat is causaliteit? Ook bij een survey kan men spreken van en causaal verband, hoewel een survey niet gericht is op een studie naar causale verbanden. Als er sprake is van een causaal verband bij een survey, dan zal het aan de volgende eisen moeten voldoen: a) De samenhang tussen de kenmerken mag niet vals zijn of schijnbaar en dit moet aangeduid worden b) Er moet sprake zijn van een statistische covariatie tussen de variabelen c) De onafhankelijke variabele moet in tijd vooraf gaan aan de afhankelijke variabele. Het is niet vanzelfsprekend dat bij het bestaan van een covariatie én een tijdsvolgorde er een oorzakelijk verband is tussen de variabelen. Een derde factor kan immers van invloed zijn op de afhankelijke en onafhankelijke variabele. Men spreekt dan van een schijncorrelatie of valse correlatie. Voor een voorbeeld van een schijncorrelatie wordt verwezen naar Baarda en De Goede (2006) pagina

7 4.6.2 Causaliteit en onderzoeksontwerp Het meest geschikte onderzoeksontwerp voor het bestuderen van causale verbanden is het zuivere experiment. Door randomisatie kunnen immers storende factoren worden vermindert tot toevalsfouten en kunnen samenhangen statistisch worden bestudeerd. Ook de tijdsvolgorde heet een onderzoeker in de hand bij een zuiver experiment. Een survey is minder geschikt voor het bestuderen van causale verbanden. Bij een survey kan men echter wel gebruik maken van technieken, zoals het homogeniseren van onderzoekseenheden nadat uit de analyse is gebleken dat er mogelijk sprake is van een beïnvloedende derde variabele. Voor een voorbeeld wordt verwezen naar Baarda en De Goede (2006) pagina

8 Hoofdstuk 5 Onderzoekspopulatie en steekproef 5.1 Onderzoekseenheden en kenmerken In de voorgaande hoofdstukken werd voornamelijk uitgegaan van onderzoekseenheden bestaande uit mensen. Onderzoekseenheden kunnen echter ook dieren, dingen of organisaties zijn. In de onderzoeksopzet zal de onderzoeker duidelijk moeten beschrijven welke onderzoekseenheden in het onderzoek betrokken zullen worden en welke kenmerken van deze eenheden gemeten zullen worden. De daarna te trekken steekproef zal representatief voor deze eenheden moeten zijn. Bovendien is een goede omschrijving van een kenmerk belangrijk voor de te verrichten metingen. Kenmerken worden variabelen genoemd, omdat de kenmerken kunnen veranderen gedurende het onderzoek. Als men bijvoorbeeld de mate van stress wil onderzoeken onder werknemers is stress de te meten variabele en zijn de werknemers de eenheden. Vaak zullen eenheden ook respondenten of participanten worden genoemd als het om mensen gaat, maar men kan niet spreken van respondenten als men geïnteresseerd is in bijvoorbeeld de afdelingen waar de mensen werkzaam zijn (Baarda & De Goede, 2006). 5.2 Populatie en steekproef Een populatie zal ook goed beschreven moeten worden in de onderzoeksopzet. De omschrijving verpleegkundigen is bijvoorbeeld niet toereikend. De onderzoeker zal moeten aangeven uit welke verpleegkundigen de populatie bestaat: uit welk land afkomstig, welk kwalificatieniveau, in welk werkveld werkzaam. Baarda en De Goede (2006) onderscheiden de volgende populaties: de universum of theoretische populatie (bijvoorbeeld alle verpleegkundigen in het land), de operationele populatie (bijvoorbeeld de verpleegkundigen werkzaam in een provincie), de steekproef (het benaderde deel van de populatie), de (aanvankelijke) respons (het gedeelte van de steekproef dat uiteindelijk deelneemt aan het onderzoek) en de dataproducerende steekproef ofwel de uiteindelijke respons (het deel van de steekproef dat in de data-analyse is betrokken). Als de populatie is afgebakend zal men moeten aangeven in hoeverre die populatie in het onderzoek betrokken gaat worden, bijvoorbeeld alle verpleegkundigen werkzaam op een afdeling in een ziekenhuis of slechts een deel daarvan. Dit deel wordt een steekproef genoemd. Een steekproef kan aselect of select zijn. Onder een aselecte steekproef wordt het willekeurig strekken van onderzoekseenheden verstaan, waarbij er voor alle eenheden een gelijke kans is om tot een steekproef te gaan behoren. De aselecte steekproef wordt ook de kanssteekproef genoemd. Onder een selecte steekproef wordt het niet op toeval selecteren van eenheden uit de populatie verstaan. Bij een aselecte steekproef kan men inductieve statistiek gebruiken, dat wil zeggen dat de resultaten statistisch worden onderzocht en er een foutenmarge is voor de generalisatie van de steekproef naar de totale populatie. Een selecte steekproef kan niet gegeneraliseerd worden, omdat men hierbij geen inductie statistiek kan gebruiken en de gegevens alleen gelden voor de gebruikte onderzoekseenheden (Baarda & De Goede, 2006, p. 149). Na een eenduidige vaststelling en omschrijving van de populatie zal een onderzoeker de onderzoekseenheden voor de steekproef moeten selecteren. Deze selectie zal vanuit een steekproefkader gebeuren. Een steekproefkader wordt gevormd door bijvoorbeeld een bestand waaruit de eenheden geselecteerd kunnen worden, zoals een lijst met postcodes of ledenlijsten van organisaties. 8

9 5.3 Aselecte steekproeven Enkelvoudige aselecte steekproef Baarda en De Goede (2006) geven een voorbeeld van een aselecte steekproef op pagina , waarbij ze nogmaals terugkomen op de representativiteit van een steekproef. De auteurs gaan in op enkele wijzen waarop een aselecte steekproef kan worden getrokken, zoals het verkrijgen van eenheden door middel van het programma Exel of SPSS. Met deze programma s kan een onderzoeker uit een bestand getalmatig, bijvoorbeeld om de 100 ingevoerde eenheden, een selectie maken. Ook de loterijmethode kan worden toegepast. Volgens deze methode heeft de onderzoeker alle eenheden op kaarten genoteerd en worden er vervolgens op aselecte wijze kaarten getrokken. Belangrijk bij deze methode is dat er rekening gehouden zal worden met non-respons; de steekproef zal groter moeten zijn dan de bedoelde grootte van de steekproef Systematische steekproef met aselect begin Een steekproef kan systematisch worden getrokken als het moeilijk blijkt te zijn om bestanden te vinden waarbij een enkelvoudige aselecte steekproef kan worden getrokken (Baarda & De Goede, 2006). Er kunnen bijvoorbeeld alleen bestanden gebruikt worden van verschillende bronnen (bijvoorbeeld bestanden van afdelingen van verscheidene ziekenhuizen). In dit geval stelt men eerst de representatieve steekproefgrootte vast om vervolgens random op systematische wijze eenheden uit deze populatie te trekken. Zo kunnen er bijvoorbeeld verpleegkundigen werkzaam zijn in ziekenhuizen in een stad waarvan er 1000 representatief zijn per ziekenhuis. Uit deze totale populatie kan men dan voor de gewenste steekproefgrootte 100 verpleegkundigen selecteren. Op systematische wijze kunnen deze eenheden via een getallengenerator worden bepaald: eenheid 8, 108, 208 enzovoorts tot er een steekproef is van 1000 eenheden Gestratificeerde aselecte steekproef De groepen die vergeleken moeten worden tijdens een onderzoek, moeten gelijkwaardig vertegenwoordigd zijn in de steekproef. Daartoe kan men de populatie in deelpopulaties onderverdelen, ook strata genoemd. Strata bestaan bijvoorbeeld uit mannen (jonge mannen, oudere mannen) en vrouwen (jonge vrouwen, oudere vrouwen). Uit deze vier strata kan de onderzoeker vervolgens een enkelvoudige steekproef trekken. Als de verhouding van deelpopulaties ongelijk blijkt te zijn (bijvoorbeeld meer mannen dan vrouwen) kan men deze ongelijke verhouding ook in de steekproef opnemen, zodat de steekproef toch overeenkomt met de populatie. Dit noemt men een proportioneel gestratificeerde steekproef. Er kan gesproken worden van een disproportioneel gestratificeerde steekproef als de steekproef met de gecombineerde strata niet representatief is voor de totale populatie (Baarda & De Goede, 2006). 5.4 Meertrapssteekproef Als een onderzoeker bijvoorbeeld eerst via bestanden van de gemeente aselect instellingen moet selecteren om vervolgens daaruit aselect deelnemers te kunnen selecteren voor het onderzoek, noemt men dit een meertrapssteekproef. Als daarbij alle deelnemers van een bepaald instelling geselecteerd worden, kan er gesproken worden van een clustersteekproef. Het nadeel van een meertrapssteekproef is het gevaar dat niet iedere deelnemer een gelijke 9

10 kans heeft om in de steekproef terecht te komen. Stel dat men uit een gemeentebestand een aantal huishoudens selecteert en men vervolgens een telefoonlijst maakt van deze huishoudens, dan heeft niet iedere deelnemer uit de populatie huishoudens een kans om in de steekproef terecht te komen, omdat niet iedereen op de telefoonlijst zal voorkomen (zie voorbeeld in Baarda & De Goede, 2006, ). 5.5 Selecte steekproeven Toevallige steekproef Er kan gesproken worden van een toevallige steekproef als de eenheden op basis van toeval in een steekproef terecht komen, bijvoorbeeld omdat men ze op straat aanspreekt. Voor een voorbeeld wordt verwezen naar Baarda en De Goede (2006) pagina Quotasteekproef Voordat een quotasteekproef kan worden getrokken zal men de populatie verdelen in strata. Een quotasteekproef is echter, in tegenstelling tot een gestratificeerde aselecte steekproef, select. De eenheden worden dus per strata vastgesteld Doelgerichte steekproef Een doelgerichte steekproef wordt getrokken als men bijvoorbeeld wil onderzoeken waarom twee groepen uit een populatie van mening verschillen over iets. De onderzoeker trekt dus specifieke eenheden uit de populatie voor de steekproef. Een voorbeeld van een doelgerichte steekproef is een onderzoek naar het stemgedrag van de bevolking (Baarda & De Goede, 2006) Sneeuwbalsteekproef Als de populatie moeilijk benaderbaar is, kan men de sneeuwbalmethode gebruiken. Via andere respondenten komt men hierbij in contact met nieuwe respondenten. De anonimiteit kan gewaarborgd worden door aan de eerdere respondenten een aantal namen te vragen van mogelijke andere respondenten. De onderzoeker kan dan zelf uit deze opgave een keuze maken, zonder dat de eerdere respondenten weten wie men nog meer in het onderzoek gaat betrekken (Baarda & De Goede, 2006). 5.6 Hoe kies ik een steekproef en hoe groot mot die zijn? Keuze van een steekproef Bij kleine populaties kan men ervoor kiezen om de populatie geheel tot de steekproef te laten behoren. Als en steekproef getrokken kan worden, zal men het type steekproef dat gebruikt gaat worden moeten overwegen. Aselecte steekproeven zijn te gebruiken als een populatie makkelijk benaderbaar is. Op basis van de doelstelling en de vraagstelling van het onderzoek kan men nagaan óf en welke strata gebruikt worden (Baarda & De Goede, 2006). 10

11 5.6.2 Steekproefgrootte De steekproefgrootte is afhankelijk van de volgende aspecten: a) De nauwkeurigheid b) Het soort onderzoek c) De heterogeniteit van de populatie. Statistisch kan er worden uitgegaan van een 95% zekerheid en een betrouwbaarheidsmarge van 4%. Baarda en De Goede (2006) leggen dit uit aan de hand van een voorbeeld: 50% van ondervraagde werknemers ervaart een hoge werkdruk en volgens de statistische betrouwbaarheid kan de onderzoeker nu stellen dat 46% tot 54% van de werknemers in de populatie een hoge werkdruk ervaart (Baarda & De Goede, 2006, pagina 166). Het voorbeeld van de auteurs laat zien dat de nauwkeurigheid bij een grote steekproef toeneemt, terwijl deze afneemt bij een kleine steekproef. De volgende overwegingen spelen bij het vaststellen van de steekproefgrootte een rol: a) Als er gebruik gemaakt wordt van een kruistabel omdat in deze tabel de geoperationaliseerde begrippen gemeten kan worden moet er minimaal sprake zijn van 25 eenheden per cel. b) Er moet een minimum van 30 eenheden zijn, omdat het anders niet meer mogelijk is om statistische berekeningen uit te voeren. c) De beschikbare financiële middelen en tijd. 11

12 Hoofdstuk 6 Dataverzameling 6.1 Definiëren en operationeren Variabelen zijn begrippen die in meetbare termen zijn geformuleerd. Als een begrip zo geformuleerd is dat het begrip exact weergeeft wat ermee bedoeld wordt en datgene weergeeft wat men wil onderzoeken, dan kan er gesproken worden over: het begrip zoals bedoeld, het begrip zoals bepaald. En voorbeeld daarvan is het begrip leeftijd. Het proces van het formuleren van meetbare termen heet operationaliseren. Begrippen kunnen echter ook complex zijn, waardoor een onderzoeker opzoek moet gaan naar zogenoemde indicatoren. Deze indicatoren geven meer inzicht in wat mensen verstaan onder een begrip genoemd in de onderzoeksvraagstelling. Zo zal men bij het begrip intelligentie de volgende indicatoren kunnen gebruiken: taalvaardigheid, sociale vaardigheid, snelheid, ruimtelijk inzicht (Baarda & De Goede, 2006, p ). Een onderzoeker zal dus moeten nagaan welke dimensies er aan een begrip ten grondslag liggen. 6.2 Dataverzamelingsmethoden Een onderzoeker kan het best eerst de gegevens gebruiken die direct voorhanden zijn. Als er weinig tot geen gegevens bekend zijn, is een observatie of een interview het meest geschikt. 6.3 Gestructureerde en ongestructureerde dataverzameling Informatie kan op gestructureerde of ongestructureerde wijze verzameld worden. Volgens de gestructureerde wijze verzameld men de info op basis van gegevens die reeds bekend zijn. Er worden bijvoorbeeld gericht observaties uitgevoerd of men stelt gericht vragen. Het ongestructureerd informatie verzamelen verloopt door het stellen van oriënterende vragen waarbij de antwoordmogelijkheden niet vast liggen. Ook de observaties gescheiden volgens deze methode meer oriënterend (men heeft een observatielijst met minder specifieke thema s). De ongestructureerde methoden behoren tot de kwalitatieve onderzoeken (Baarda & De Goede, 2006). 6.4 Directe versus indirecte dataverzameling Het direct vragen naar informatie kan wel eens te bedreigend overkomen of kan als te belastend worden ervaren. Sommige onderwerpen zijn immers te beladen van aard. Een indirecte wijze van gegevens verzamelen is dan meer geschikt. Via zijwegen kan een onderzoeker inzicht krijgen in het onderwerp waarin hij geïnteresseerd is. Het nadeel van deze manier van gegevens verzamelen is echter dat niet met zekerheid kan worden vastgesteld of men inderdaad meet wat men wil meten (validiteit). Daartegenover staat dat men met een directe benadering ook niet met zekerheid kan stellen dat de gegeven info waarachtig is gegeven (Baarda & De Goede, 2006). 6.5 Mogelijkheden voor statistische verwerking: meetniveaus De manier waarop gegevens statistisch berekend kunnen worden, hangt af van de manier waarop de te onderzoeken begrippen geoperationaliseerd zijn en de aard van de meetniveaus. Zo kunnen metingen op nominaal niveau, ordinaal niveau, interval niveau als op ratio niveau gedaan worden. Nominale metingen zijn categorisch van karakter. Dit betekent dat de 12

13 gegevens in een beperkt aantal antwoordcategorieën weergegeven kunnen worden, bijvoorbeeld het geslacht (man, vrouw). Ordinale meetniveaus bestaan uit antwoordcategorieën waar verschillen tussen kunnen zijn, zoals het opleidingsniveau van iemand. Deze niveaus zijn echter niet in getallen uit te drukken. De meetniveaus op intervalen ratio niveau zijn wel in getal uit te drukken. Een voorbeeld daarvan is de leeftijd van iemand. Een meetniveau op ratio niveau gaat daarbij uit van een zogenoemd natuurlijk nulpunt (bijvoorbeeld de leeftijd van 0-4 jaar), terwijl een meting op interval niveau uitgaat van getalsmatige gelijke afstanden, zoals de temperatuur. De metingen in vragenlijsten zijn doorgaans ordinaal, maar er kan ook gebruik gemaakt worden van interval- of ratioschalen (Baarda & De Goede, 2006, p. 187, tabel 6.2). 6.6 Instrumentele betrouwbaarheid De betrouwbaarheid van een meting is erg belangrijk, omdat daarmee de mate van toeval kan worden aangegeven. Statistisch wordt de betrouwbaarheid aangegeven met een getal tussen 0 en 1. Hoe dichter of gelijk aan de 0-waarde, hoe minder betrouwbaar. Factoren die de betrouwbaarheid beïnvloeden: de omgeving (drukke omgeving leid af, waardoor iemand de vragen niet correct beantwoord), de reactie op degene die de gegevens verzameld (meer of minder op het gemak voelen bijvoorbeeld), het onderwerp waarover gesproken wordt (de begrippen zijn concreet, het onderwerp is wel of niet beladen). De betrouwbaarheid kan op verschillende wijzen worden gemeten, maar met de test-hertestmethode kan de onderzoeker de stabiliteit van de meting nagaan. Dit betekent dat de test nogmaals wordt afgenomen, waarna men de scores met elkaar vergelijkt. De correlatie wordt zo onderzocht. Met deze statistische waarde kan de stabiliteit van de samenhang worden vastgesteld. Een correlatie van 0 betekent dar er geen samenhang is tussen de scores, terwijl een correlatie van 1 betekent dat de samenhang erg stabiel is. Naast deze methode kan de onderzoeker kijken naar de homogeniteit van het meetinstrument. Dat wil zeggen dat gekeken wordt naar de overeenkomst van de verschillende vragen; meten de vragen allen hetzelfde. Voorts kan met de interbeoordelaarsbetrouwbaarheid worden nagegaan in hoeverre degene die de gegevens verzameld de resultaten vertroebeld (Baarda & De Goede, 2006). In hoofdstuk 9 zal hierop worden ingegaan. 6.7 Instrumentele validiteit Validiteit en betrouwbaarheid zijn van groot belang voor een onderzoek. Met de validiteit wordt bedoelt dat men met het onderzoek meet wat men wil meten. Er zijn twee soorten validiteit te onderscheiden: begripsvaliditeit en predictieve validiteit. Begripsvaliditeit heeft betrekking op de validiteit van het gebruikte theoretische begrip in het onderzoek. Als men bijvoorbeeld het aantal gewerkte uren als indicator heeft gebruikt voor de verhoogde werkdruk onder werknemers, dan zal men moeten nagaan of de begrippen werkdruk en werkuren inderdaad juist zijn toegepast. Predictieve validiteit heeft betrekking op de voorspelbaarheid van de scores van een test. Onderzocht wordt dan in welke mate men met de betreffende test een voorspelling kan doen (Baarda & De Goede, 2006). 13

14 Hoofdstuk 7 Bestaande gegevens 7.1 Wat voor typen bestaande gegevens zijn er? Baarda en De Goede (2006) geven een opsomming van gegevens die voor onderzoek geschikt kunnen zijn, zoals digitale nummerieke gegevens, gegevens uit andere onderzoeken of ongestructureerde gegevens uit kranten of bijvoorbeeld brieven. Bij kwantitatief onderzoek maakt men gebruik van nummerieke gegevens. 7.2 Hoe zijn bestaande gegeven opgeslagen? Gegegevens die al lange tijd zijn opgeslagen kunnen gevonden worden in databestanden, ook gegevensbestanden genoemd. De statistische gegevens worden censusdata genoemd en de herkomst van de gegevens noemt men databronnen. Tegenwoordig is de computer een van de belangrijkste middelen waarmee data verwerkt of verzonden kunnen worden (Baarda & De Goede, 2006). 7.3 Voordelen van onderzoek met bestaande gegevens De voordelen van het gebruik van bestaande gegevens in onderzoek bestaan uit de toegankelijkheid, de mogelijkheid om de grote hoeveelheid data statistisch te berekenen, de non-reactieve aard (geen vertekening door het achterwege blijven van reacties van anderen op de onderzoeker) en de goedkope wijze waarop ze snel beschikbaar kunnen zijn (Baarda & De Goede, 2006). 7.4 Nadelen van onderzoek met bestaande gegevens Bestaande gegevens zijn, ondanks de genoemde voordelen in de voorgaande paragraaf, niet altijd even bruikbaar. Vaak zullen de gegevens nog bewerkt moeten worden. Het nadeel is tevens dat er officiële toestemming nodig kan zijn voor het gebruik van de gegevens, of dat de gegevens privacy gevoelig zijn (sommige gegevensbestanden zijn niet vrij toegankelijk, niet alle gegevens zijn bekend vanwege de anonimiteit en men zal soms een vergoeding moeten betalen). Een onderzoeker kan daarnaast geconfronteerd worden met de zogenoemde overdrachtsproblemen, conditieproblemen en spreidingsproblemen. Zo kan een bestand niet altijd even makkelijk uit een registratiesysteem worden gekopieerd of zijn de tekstverwerkingsprogramma s verouderd en niet meer compatibel met nieuwe versies. Ook kunnen gegevens dusdanig verouderd zijn dat ze niet meer fysiek bruikbaar zijn. Daarnaast kunnen de gegevens op verschillende plaatsen (in verschillende archieven) opgeslagen zijn, waardoor men genoodzaakt is om al deze plaatsen te bezoeken (Baarda & De Goede, 2006, p ). 14

15 7.5 Kwaliteitsbeoordeling van bestaande gegevens Als de gegevens eenmaal toegankelijk zijn, moeten ze op kwaliteit beoordeeld worden. De gegeven zullen aan moeten sluiten bij het dol van het onderzoek. De manier waarop de bestaande gegevens zijn verkregen en verwerkt is ook van belang voor de mate waarin ze in het nieuwe onderzoek worden gebruikt. Bovendien hangt de geschiktheid af van de definiëring van de bestaande gegevens: onvoldoende of verouderd. Statistische gegevens zijn niet geheel bruikbaar vanwege de nieuwe ontwikkelingen (Baarda & De Goede, 2006). 15