Hoorcollege 2: Onderzoeksmethoden 08-01-13 Stof hoorcollege Hennie Boeije, Harm t Hart, Joop Hox (2009). Onderzoeksmethoden, Boom onderwijs, achtste geheel herziene druk, ISBN 978-90-473-0111-0. Hoofdstuk 2/3, p.37-99. Onderwerpen hoorcollege Methodologische spelregels / onderzoeksplan Centrale onderzoeksvraag Operationalisering Onderzoeksvragen maken Methodologische spelregels / onderzoeksplan Onderzoek zorgt voor kennis die richting geeft aan beleidsmakers (kennis waar het beleid op gebaseerd kan worden) doordat wetenschappelijke vraagstukken worden beantwoordt. Om tot deze kennis te komen, dient er eerst onderzoek gedaan te worden. Het onderzoeksplan is het systematisch geheel van methodische beslissingen: Waartoe dient het onderzoek? Voor wie is het onderzoek van belang? Wat wil men precies weten? Hoe moet het onderzoek worden uitgevoerd? Wie moeten worden onderzocht en wie doen mee? Waar wordt het onderzoek verricht? Wanneer vinden de verschijnselen plaats die het onderwerp van het onderzoek vormen? De eerste fase van het onderzoek is het opstellen van het onderzoeksplan. Ook hier geldt: een goede voorbereiding is het halve werk. Fouten die worden gemaakt in de eerste fase van het onderzoek zijn namelijk moeilijk te herstellen.
De voorbereiding op het onderzoeksplan bestaat uit: Literatuuronderzoek - overzicht van relevante publicaties die binnen hun interessegebied verschenen zijn. - Wat is er bekend over het onderwerp? - Hoe werd eerder onderzoek uitgevoerd? (= onderzoeksopzet) - Welke theorieën zijn er al? - Welke kennis ontbreekt? - Welke (etnische) consequenties kan het onderzoek hebben? Probleemschets - voorlopige oriëntatie op het vraagstuk dat je wilt gaan onderzoeken. Het kan helpen bij het verhelderen van de inhoud van het vraagstuk (= probleem). - Probleemdefinitie (fundamenteel (kennisgericht) / praktijkgericht) - Stakeholders (= betrokkenen) - Context van te onderzoek verschijnsel: historische, economische, etnische, maatschappelijke en culturele context. De probleemstelling bestaat uit twee onderdelen en is cruciaal in het onderzoeksplan. De probleemstelling geeft inzicht in welke strategieën en methodes het beste voor het onderzoek gebruikt kunnen worden. Doelstelling: waartoe wordt het onderzoek gedaan (doel) en voor wie wordt het onderzoek gedaan. Er is onderscheidt te maken op basis van doel en soort onderzoek. 1. Doelen - Kennisdoel: gericht op het oplossen van een fundamenteel wetenschappelijk vraagstuk / vergaren van kennis. - Praktijkdoel: gericht op het oplossen van een praktijk probleem, voor een bepaalde groep mensen in de samenleving. 2. Soort onderzoek - Explorerend onderzoek: gericht op het vergaren van kennis (in het geval dat er weinig kennis aanwezig is / geen praktische oplossingen bestaan voor een bepaald probleem) - Toetsend onderzoek: gericht op het toetsen van al reeds bestaande kennis. Vraagstelling: wat wil de onderzoeker weten (centrale vraag en deelvragen). De vraagstelling volgt vanzelfsprekend uit de doelstelling. Begripsdefiniëring - Initiële vraag (waarom doen mensen niet mee aan survey onderzoek?)
- Begripsdefiniëring: verduidelijking en eliminatie van op verschillende manieren te interpreteren of onduidelijke woorden (zoals waarom, mensen, survey onderzoek etc.). Voor begripsdefiniëring gelden zes criteria: 1. Nieuwe begrippen, nodig voor definitie, worden indien nodig apart gedefinieerd. 2. Begrip zelf of synoniem daarvan mag niet in z n eigen definitie voorkomen. 3. Omschrijving moet compleet zijn. 4. Omschrijving moet (impliciet/expliciet) uitsluitsel geven van wat er niet onder moet worden verstaan. 5. Omschrijving mag niet afwijken van gangbare (maatschappelijke/ wetenschappelijke) definities. 6. Normen en waarden zijn taboe. - Primaire onderzoeksvraag (wat zijn de voornaamste motieven van daartoe geselecteerde personen om niet mee te doen aan surveys voor officiële statistiek?) Centrale onderzoeksvragen (primaire) en deel onderzoeksvragen (secundaire) Een motief is een construct waar een operationele definitie aan moet worden gegeven. Wat er onder operationeel binnen een gegeven context wordt verstaan, wordt bepaald door de primaire onderzoeksvraag en het doel van het onderzoek. De operationele definitie stelt vast wat je onder de voornaamste motieven verstaat van een bepaalde centrale vraag. - Primaire onderzoeksvraag (wat zijn de voornaamste motieven van daartoe geselecteerde personen om niet mee te doen aan surveys voor officiële statistiek?) - Voornaamste motieven (mensen doen niet mee aan survey onderzoek omdat ze er geen zin in hebben, niet toe in staat zijn etc.). Hieruit volgt: begripsdefiniëring (geen zin, in staat). - geen zin: moe, geen interesse etc. - in staat: geen beheersing van de taal, lichamelijk niet in staat etc. - Hieruit volgen (mogelijke) secundaire onderzoeksvragen: - In hoeverre doen geselecteerde personen niet mee aan surveys voor officiële statistiek omdat ze geen tijd hebben? - In hoeverre doen geselecteerde personen niet mee aan surveys voor officiële statistiek omdat ze ziek zijn?
- In hoeverre doen geselecteerde personen niet mee aan surveys voor officiële statistiek omdat ze het onderwerp niet interessant vinden? Etc. Hypotheses (vooraf opgeschreven antwoord op de onderzoeksvraag / aanname over de realiteit) 1. Valt samen met de regel in de logica. 2. Drie manieren: ongetoetst, getoetst-gefalsifieerd, getoetstgeconfirmeerd. 3. Onderwerp van toetsend (confirmatief) fundamenteel empirisch wetenschappelijk onderzoek. 4. Uitkomst van exploratief fundamenteel empirisch wetenschappelijk onderzoek. 5. Afwezig in beschrijvend (descriptief) empirisch wetenschappelijk onderzoek. Er zijn verschillende hypotheses: 1. Non-relationele hypothese Stelt het bestaan of niveau van iets X = (A) Getoetst door middel van cross sectioneel design (waarnemingen / meting op één specifiek moment = foto ) 2. Correlationele hypothese Stelt een relatie van variabelen. Verband tussen X en Y. Getoetst door middel van cross sectioneel design 3. Ontwikkelings hypothese Stelt een ontwikkeling/verandering (in een bepaalde periode) van een variabele. X verandert met de tijd. Getoetst door middel van longitudinaal design (waarnemingen / meting op meerdere achtereenvolgende momenten = film ) 4. Causale hypothese Stelt een causaal verband tussen variabelen. X veroorzaakt Y (X > Y) Getoetst door middel van een experiment.
Operationalisering 1. Variabele: attribuut/eigenschap van een te bestuderen onderzoeksobject. Waarbij bijvoorbeeld: - Object: student, bejaarde etc. - Attribuut: leeftijd, geboorteplaats, eindcijfer etc. 2. Meetniveau: classificeren van objecten aan de hand van de waarde van hun attributen. De waarde van zo n attribuut varieert tussen objecten (studenten, bejaarden etc.), vandaar de naam variabele. Het meetniveau is het abstracte kenmerk van een variabele. Daarbij zijn 4 schalen te benoemen, waarin de complexiteit van de niveau s toeneemt, in de genoemde volgorde: Kwalitatief - Nominaal: alleen labels voor waarden (= benoemen) waarbij geen sprake is van ordening. (vb. geslacht, geboorteplaats) - Ordinaal: waarden zijn geordend (en dus duidelijk), maar de verschillen tussen de waarden zijn niet interpreteerbaar en niet gelijk (vb. opleidingsniveau) Kwantitatief - Interval: ordening van waarden met gelijke afstand tussen waarden zonder natuurlijk nulpunt. Verschillen tussen waarden zijn dus van belang. (vb. geboortejaar) - Ratio: waarden zijn geordend met gelijke afstand tussen klassen en een natuurlijk nulpunt (0 staat hierbij voor de afwezigheid van de variabele) (vb. aantal studenten in de collegezaal) 3. Validiteit: meten we wat we willen meten? Meten onze instrumenten het correcte? Meetvaliditeit: de mate waarin is gemeten wat gemeten moest worden bij de meting. Waren er geen systematische meetfouten gemaakt? Interne validiteit: de mate waarin het redeneren binnen het onderzoek correct is uitgevoerd. Geldig voor de onderzochte groep. Externe validiteit: de mate waarin de resultaten van een onderzoek te generaliseren zijn. Geldig voor een grotere groep dan slechts de onderzochte groep. Populatievaliditeit: generalisatie naar populatie (waarnaar de onderzoekers wilden generaliseren)
Ecologische validiteit: generalisatie naar andere plaatsen / tijden etc. Inhoud: het instrument bevat alle soorten items die er volgens deskundigen in horen te zitten (volledigheid van de test). Peer (soortgenoot): samenhang tussen gelijkaardige (vaak oude / nieuwe) instrumenten Convergent: samenhang tussen de resultaten van het oude (oorspronkelijke) onderzoek en de resultaten van een gelijksoortig onderzoek (meten van hetzelfde begrip). Divergent Predictief: de mate waarin een test kan voorspellen wat het in theorie zou moeten kunnen voorspellen. Een voorbeeld, wanneer uit een test blijkt dat iemand geschikt is voor een bepaalde baan, wordt verwacht dat er een grote kans is dat diegene dat beroep met plezier zal beoefenen, en waarschijnlijk lang dit beroep zal behouden. Construct: de mate waarin de empirische verschijnselen zoals gemeten of gemanipuleerd, de theoretische begrippen dekken. In andere woorden, de mate waarin de resultaten van een onderzoek werkelijk een indicatie zijn voor het begrip waarover je een uitspraak wilt doen. Er kan onvoldoende rekening zijn gehouden met andere variabelen die invoer hebben op het begrip. 4. Betrouwbaarheid: berusten de resultaten niet op toeval? Stel: we voeren eenzelfde meting. Komt de waarde / het resultaat van deze meting overeen met de waarde / het resultaat dat voortkwam uit de eerste meting? Meten onze instrumenten correct? 5. Precisie: hoe nauwkeurig is de meting? Dicht bij de juiste waarde? Onderzoeksvragen maken Bij het maken van deelonderzoeksvragen kun je gebruik maken van meerdere middelen: 1. Conceptueel raamwerk het theoretisch raamwerk omvat alle theorieën over het te onderzoeken onderwerp. het conceptueel raamwerk omvat de geselecteerde theorieën uit het theoretisch raamwerk die relevant zijn voor het onderzoek. Policy network theory bestaat uit stakeholders (actoren) (en meerdere doelen) die de besluitvorming beïnvloeden.
Stap 1: selecteer de concepten in je onderzoeksvraag. Stap 2: analyseer systematisch de definities van deze begrippen in de literatuur. Stap 3: identificeer de meest geschikte definities. Stap 4: formuleer de specifieke onderzoeksvragen. 2. Pijldiagram: grafische representatie van directe en indirecte verbanden van concepten. Bijvoorbeeld: X > Y Er is sprake van een positief verband wanneer: meer van X leidt tot meer van Y. Er is sprake van een negatief verband wanneer: meer van X leidt tot minder van Y. Stap 1: selecteer de concepten in je onderzoeksvraag. Wat is het effect van verkeersdrempels op het aantal verkeersongevallen in een bepaalde stadswijk? Stap 2: kom achter de primaire oorzaak-gevolg relaties, en geef wanneer het mogelijk is aan of het verband positief of negatief is. Bijv. Snelheidsdrempels > Verkeersongevallen (met een negatief verband, want wanneer er meer snelheidsdrempels komen (X neemt toe), zal het aantal verkeersongevallen (waarschijnlijk) afnemen (Y neemt af) Stap 3: vind tussenliggende (intermediërende) relaties. Bijv. Een intermediërende variabelen tussen snelheidsdrempels en verkeersongevallen is snelheid, aangezien meer snelheidsdrempels hoogstwaarschijnlijk zullen resulteren in afname van de snelheid wat leidt tot minder verkeersongevallen. Stap 4: formuleer de specifieke onderzoeksvragen. Wat is het effect van verkeersdrempels (in een stadswijk) op de snelheid van voertuigen? Wat is het effect van de snelheid van voertuigen op het aantal verkeersongevallen (in een stadswijk)? 3. Boomdiagram: opdeling van een (abstract) concept in aspecten of elementen. Let op: geen oorzaken en gevolgen. De categorieën van elementen en aspecten van de boomdiagram hebben een aantal criteria/ vereisten: moeten intern homogeen zijn. moeten onderling uitsluitend zijn moeten uitputtend zijn moeten geen waarden zijn (zoals veel, weinig etc.) moeten op hetzelfde onderzoeksobject van toepassing zijn.
Stap 1: identificeer de concepten in je onderzoeksvraag. Wat zijn de eigenschappen van het weer in Nederland? Stap 2: deel elk concept op in aspecten/elementen. Bijv. Weer: temperatuur, zonneschijn, neerslag, wind Stap 3: selecteer de aspecten/elementen die het meest relevant zijn voor het onderzoek. Bijv. temperatuur en neerslag Stap 4: formuleer de specifieke onderzoeksvragen. Wat is de gemiddelde temperatuur in het jaar in Nederland? Hoeveel neerslag van er gemiddeld per jaar in Nederland? Er worden bij het opstellen van (deel)onderzoeksvragen nog wel eens fouten gemaakt. Hieronder volgen veel gemaakte fouten: onderzoeksvragen zijn te algemeen/gevarieerd/talrijk. onderzoeksvragen omvatten de gehele regulatieve cyclus. centrale onderzoeksvraag breidt het onderzoeksdoel uit, beperkt die of voegt zelfs niks toe. specifieke onderzoeksvragen breiden de centrale onderzoeksvraag uit, beperken die, of voegen niks toe.