Samenvatting M&T1 Dooley, Social Research Methods Hoofdstuk 1 Als lezer moet je kritisch kijken naar de informatie die je voorgeschoteld krijgt (skeptiscism). Onderzoekers moeten onderzoek als een ethische plicht zien (integrity). Empirische methodes zijn gebaseerd op ervaringen of observaties van de werkelijkheid. Filosofen betwijfelen in hoeverre die observaties vertrouwd kunnen worden. Veel bewijs is selectief en is onderhevig aan Error. Door een bepaalde bril zien we de wereld (paradigm). Bij een paradigm shift zijn bestaande theorieën niet meer in staat om discrepante bevindingen tegen te spreken. De Faith of science houdt in dat het de missie van de wetenschap is om tijdloze wetten of regelmatigheden te vinden waarmee gebeurtenissen altijd verklaard kunnen worden. Bij wetmatigheden speelt inductie een probleem: induction, een idee vinden onder de geobserveerde gebeurtenissen, die andere nog niet geobserveerde gebeurtenissen kan verklaren. Veel herhaling van experimenten hoeft nog niet tot een wetmatigheid te leiden. Ideeën/theorieën zijn onderhevig aan error, een houding die men moet aannemen bij het onderzoeken van gebeurtenissen. Sociaal onderzoek probeert menselijke gebeurtenissen te verklaren. Het bestaat uit drie hoofdclusters: Experimentele verklaring Observeren Testen van rival optieken (nieuwe tegengestelde ideeën) tegen feiten Er zijn verschillende onderzoeken; causal research en Descriptive research Onderzoeken waar nieuwe uitkomsten uitkomen dienen falsificeerbaar te zijn, want geen enkel onderzoek is waterdicht. Om een causaal verband aan te kunnen tonen moet er aan drie voorwaarden voldaan worden: A en B hebben wat met elkaar te maken omdat A B veroorzaakt Het ene gebeurt na het andere Afwezigheid van een plausibele (geloofwaardige) tegenovergestelde verklaring Hoofdstuk 3 Voordat je gaat onderzoeken moet je oudere bestaande onderzoeken raadplegen. Dit om fouten in het verleden uit te proberen sluiten. Er is een standaard formaat voor artikelen schrijven: 1) Abstract: soort samenvatting van het 2) Introduction: hier wordt het probleem geformuleerd 3) Method: hoe de studie is gedaan. 4) Results: de uitkomst van de studie, 5) Discussion: Vat de conclusies samen en beoordeelt hoeveel vertrouwen ze garanderen.
Hoofdstuk 4 Theorieën zijn voorlopige aannames. Omdat we er onzeker van zijn, noemen we ze theorieën en geen wetten. Concepten zijn abstracte aspecten van de werkelijkheid, zoals begrippen. Constructen zijn compleze concepten. Een variabele is een indicator of meting. Deze kan abstract zijn. Concepts, constructs en theoretical variables refereren aan abstracte aspecten van mensen, gebeurtenissen of dingen. Variables en measured variables zijn concrete expressies van deze aspecten. Het beginconcept van een theorie is de exogenous construct, omdat deze van buitenaf wordt beïnvloed (onafhankelijke variabele). De endogenous construct of afhankelijke variabele wordt binnen het model beïnvloed. Er is sprake van een indirect causation wanneer er een derde interveniërende variabele tussen zit. Waarom theorieën? Theorieën zijn er om onzekerheid weg te nemen, en ze zijn nuttig bij een vervolgonderzoek. Er zijn verschillende benaderingen bij theorieën. Nomothetic approach is het generaliseren tot algemene wetten. Idiographic approach richt zich meer op bijzonderheden van individuele dingen, dus niet generaliseerbaar. Er zijn verschillende stappen bij het maken van theorieën. Dooley en De Groot maken hier een onderscheid in: Dooley: De Groot: Observatie Inductie Inductie Inductie: van specifiek naar algemeen geldend maken Deductie Deductie Deductie: Van algemeen naar specifiek maken Testing Toetsing Meetbaar maken door o.a. standaardmethoden Feedback Evaluatie Resultaten van testen bekijken Er zijn twee uitersten van gebieden bij theorieën. De eerste is parsimony, de efficitentie, het moet eenvoudig zijn. Generality is de algemeenheid, hoe algemener hoe bruikbaarder. Voldoen aan beide voorwaarden is bijna onmogelijk. Hoofdstuk 5 Reliability en validity We beoordelen de kwaliteit van meetinstrumenten op basis van betrouwbaarheid en validiteit. Reliability: de mate waarin de geobserveerde scores vrij zijn van meetfouten. Validity: de bruikbaarheid en of de conclusies van het meetinstrument betekenisvol zijn. Meet je wat je wilt meten? Error bij metingen Bij meetinstrumenten hoort de toevoeging dat de testscore imperfect is. X=T+E (true score errror). X moet zo dicht mogelijk bij T liggen, zodat E neigt naar 0. Er zijn verschillende soorten errors. Random error (Er) kan zowel positief als negatief zijn en zou bij veel observaties bij 0 moeten liggen zodat geluk uitgesloten wordt. Bias is de niet random error. X=T+B+Er. Deze error hoeft geen probleem te zijn wanneer alle metingen diezelfde error ondergaan: dan zulle alle scores bijvoorbeeld een factor 3 hoger liggen, dus de relatie blijft gelijk. Maar bias kan ook vervelend zijn, zoals rater bias, 2
verschillende beoordelaars zullen 2 verschillende beoordelingen geven. Of denk aan verschillende testconsities. Standaardisatie moet ons er tegen verzekeren dat geen verschillen in de geobserveerde scores zijn of random error. Ook kan het voorkomen dat er een verkeerd construct (W) gemeten wordt. Bijvoorbeeld een IQ test in het Spaans, dan meet je feitelijk iemands Spaans en niet zo zeer de intelligentie. X = Y+E+W. E kan bestaan uit Er of B Betrouwbaarheid is afhankelijk van Er in relatie tot de andere componenten. Want wanneer X alleen uit Er bestaat heb je niks nuttigs gemeten. Wanneer je helemaal geen Er meet dan is er een perfect betrouwbare meting die vrij is van random error. Maar wanneer er geen Er is kan er wel W zijn. Het meetinstrument is dan volledig betrouwbaar, maar niet valide (het meet niet wat het moet meten). De meeste metingen bevatten een stukje onbetrouwbaarheid en een of meer onderdelen van W. Reliability (betrouwbaarheid) Om samenhang te meten gebruikt men de correlatie coëfficiënt. Door middel hiervan kan de ware score (T) worden geschat, want T=X x Bet.h.coëfficiënt. Vaak kan het voorkomen dat mensen die een eerste keer hoog scoorde, en dan geselecteerd worden, een 2 e keer lager scoren. Dit is Regressie naar het midden. Dit omdat een hoge score toeval kan zijn, en dat bij selectie op extreem hoge gevallen iemand dan een andere keer lager zal scoren. De gemiddelden gaan dan naar het midden toe. Bij tests moeten de items consistent zijn. Om te kijken of items overeenstemmen kan men: De split half methode toepassen: de items verdelen en kijken hoe deze correleren De odd evenmethode: oneven en even items scheiden en die vergelijken Verschillende manieren zijn er om meetfouten tegen te gaan: - Test Retest reliability: Dezelfde test 2 of meer keer geven aan dezelfde personen. Probleem hierbij: mensen kunnen zich antwoorden van de eerste keer herinneren. - Parallel Test reliability: 2 keer een gelijkwaardige test gebruiken. Dus niet een gelijke. - Interrater reliability: de correlatie van de scores van 2 observeerders van dezelfde gebeurtenis. De coëfficiënt kappa (P0 Pc): (1 Pc). P0=overeenstemming. Pc= toeval. Betrouwbaarheid kan worden vergroot door onbetrouwbare items uit tests te halen. Validiteit Sociaal wetenschappers kunnen te maken hebben met twee ongewilde componenten (W). Zo kan het voorkomen dat mensen extreme antoorden geven omdat ze denken dat men dat juist wilt weten. Iets anders is het netjes invullen van een toets, zodat de persoon een goed beeld van zichzelf krijgt: dit bijvoorbeeld bij onderzoeken over pesten, mensen zullen niet gauw invullen dat ze veel pesten terwijl ze dat wel doen. Op deze manier wordt er dus niet gemeten wat men wilt meten.
Er zijn drie benaderingen om validiteit te meten: - Criterion validity. Het criterium correleren met de nieuwe meting die we proberen te beoordelen. Deze correlatie geeft de validiteitscoëfficiënt. Deze coëfficiënt is 1 als ze perfect corresponderen en 0 als er geen relatie is. - Content validity. Een test beoordelen a.d.h.v. de inhoud. Bijv. hoe representatief zijn de vragen? Deze methode is echter meestal te subjectief. - Construct validity. Hoe goed de test het bedoelde construct reflecteert. Eén manier is factoranalyse. Factoranalyse identificeert hoe de verschillende items de verschillende constructen meten en de mate waarin elk item is gerelateerd aan elk construct (factor). Er bestaat ook convergent en discriminant validity. Dit gaat ver de mate waarin de correlaties overeenkomen met resultaten van andere tests. Discriminant validity helpt tegen method effects: meetmethoden. Van de drie soorten validiteit speelt construct validiteit meestal de belangrijkste rol, omdat het verwijst naar de bedreiging dat de metingen niet verwijzen naar de theorie. Hoofdstuk 6 Je moet de metingen verbergen voor de deelnemers omdat die zich anders kunnen gedragen met het idee dat ze bekeken worden. Er zijn twee dimensies van metingen: 1. Verbal versus Nonverbal 2. Obtrusive versus Unobtusive (weten of je wel of niet in een onderzoek zit) Reactivity gaat over de verandering in gedrag veroorzaakt door meetprocedures. Obtrusive verbal measures (wetend en verbaal) Zaken als interviews, enquetes e.d. Men is er van bewust dat ze gemeten worden Unobtrusive verbal measures (niet wetend en verbaal) Content analyse. Methode waarbij de inhoud van een tekst bestudeerd wordt. Proces analyse. Bestudering van het verbale en paralinguïstische gedrag (intonatie e.d.) Obtrusive non verbal measures (wetend en non verbaal) Drie soorten: observaties van non verbaal gedrag, fysieke tekenen, archival records Hoofdstuk 7 Design types Een cross sectional survey verzamelt data op één tijdstip en kan daarom alleen generaliseren van de populatie op dat tijdstip. Een longitudinal survey verzamelt informatie om meer dan 2 tijdstippen over een langere periode. Drie soorten: - Panel: verschillende tijdstippen onder dezelfde respondenten. o Voordelen: Veranderingen bij respondenten meten o Nadelen: Verliezen van respondenten (attrition) Eerste onderzoek kan veranderingen brengen (pretest sensization) Verandering van meetprocedures
- Trend: steeds nieuwe groep bij ieder meettijdstip. Nadelen: o Voordelen: Vermijd attrition: je hoeft niet dezelfde respondenten terug te vragen Vermijden test reactivity: idem - Cohort: onderzoek bij groepen, vaak geselecteerd op geboordatum o Cohorteffect kan optreden, verschillen tussen cohorts gemeten op dezelfde leeftijd. o Leeftijdseffect/ontwikkelingseffect: verschil tussen leeftijdsgroepen in dezelfde cohort Bias Sample bias treedt op als de procedure van steekproeftrekking de populatie niet eerlijk representeert (bijv. een schaal met rode en blauwe knikkers, je moet er 10 pakken, je verwacht dan 5 rood en 5 blauw, maar als de rode allemaal op de bodem zijn gelegd, zal de kans op blauw groter zijn. observation bias: treedt op bij het beantwoorden van vragen door respondenten. Bias komt dan door bijvoorbeeld de woordkeuze van de vragen 2) nonobservation bias: degene die wel antwoorden op de vragen verschillen op een bepaalde manier van de grep die niet antwoordt. Sampling Sampling is het maken van lijsten die representatief zijn voor de gehele data omdat het onmogelijk is om complete lijsten te verkrijgen. Probability sampling: de oplossing voor bias. Sample bias treedt op wanner de steekproeftrekking sommige soorten elementen mist en andere juist oververtegenwoordigd. Er is dus niet goed gesampled. Elk element moet dus dezelfde kans krijgen om getrokken te worden. Dit kan door de elementen eenzelfde kans te geven. Nonprobability sampling: Elementen hebben een ongelijke kans op selectie. Convenience sampling is een selectie afhankelijk van de beschikbaarheid van respondenten. Purposive sampling is het kiezen van deelnemers door de onderzoekers aan de hand van bepaalde eigenschappen. Quota sampling is sampling door de onderzoeker door samples te verkrijgen die met een demografisch profiel overeenkomen. Hoofdstuk 9 Designs Een onderzoeksontwerp moet een viertal elementen bevatten: 1. groepen met verschillende behandeling (controle, experimenteel) 2. weergeven van de oorzakelijke gebeurtenis 3. wat meet je? 4. informatie over of controle van de gelijkwaardigheid bij de pretest onder de groepen Deze aspecten zorgen ervoor dat alternatieve verklaringen de uitkomsten niet kunnen uitleggen.
Een correlationeel design meet de onafhankelijke variabele, en meet of er samenhang is. Experimentele designs maken gebruik van afwijkende gebeurtenissen of interventies als onafhankelijke variabelen. Pre experiments De zogenaamde pre experimenten zijn de experimenten met de laagste interne validiteit. Er zijn twee soorten van dit soort designs: - Within subjects design: O X O. Een pretest en een posttest. Er wordt dus gemeten voor en na de interventie (behandeling). Dit is een erg zwak design, meerdere oorzaken zijn te noemen. O.a. test effect, tijd.. - Between subjects design: O X O: posttest vergeleken met die van een controlegroep. O O De controlegroep moet beschermen tegen alternatieve verklaringen. Hier kunnen verschillen in groepen voorkomen. Quasi experimenten en true experimenten 1) Quasi experiment: hierbij heeft de onderzoeker meer controle dan in preexperimentele designs, maar hij heeft nog niet de hele situatie onder zijn controle. Dit design heeft zowel pretests als posttests en er wordt op meerdere verschillende tijdstippen gemeten. 2) True experiment: helpt tegen tijd bedreiging en alternatieve verklaringen. Er zijn 2 of meer verschillend behandelde groepen en er is random assignment (willekeurige verdeling over de condities). Hier hebben de onderzoekers dus de meeste controle. Experimenten kunnen op allerlei manieren onderuit gehaald worden. Er zijn twee rival explanations waartegen de ontwerpen wel beschermd kunnen worden: - Time threats: veranderingen van variabelen gemeten over een bepaalde periode onder de subjecten o History: verandering veroorzaakt door toevallige omstandigeden buiten de studie om o Test reactivity: reactie op pretest veroorzaakt de waargenomen verandering o Maturation: persoonlijke ontwikkeling van de deelnemer o Instrumentation: verandering van de meetmethoden Een andere bedreiging is regressie naar het midden, door onbetrouwbare meetinstrumenten en de selectie van extreem hoge scores - Group threats: Alternatieve verklaringen gebaseerd op verschillen tussen de groepen die niet het gevolg zijn van het experiment. Groepen gelijkwaardig maken bij de selectie voor een experiment kan daartegen helpen. Drie Group threats: o Selection: posttest verschillen zijn gevolg van verschillen pretest o Selection by time interactions: verandering tussen pretest en posttest zijn gevolg van combinatie van tijd en al betaande groepsverschillen o Regresasion towards the mean: bij selectie op extreem hoge scores Verschil tussen random assignment en random sampling Random assignment is het aanwijzen van geselecteerd personen op de condities. Random sampling is het willekeurig trekken van personen uit de populatie.
Random assignment helpt tegen systematische verschillen, maar ook matching: de twee groepen krijgen gelijkwaardige eigenschappen.
Hoofdstuk 10 Alle experimenten kunnen te maken krijgen met construct validity. Dit is de vraag of het verschil tussen de controlegroep en experimentele groep ook echt het verschil weergeeft wat je wilde bestuderen. Er kan sprake zijn van contamination: een aanwezigheid van een factor die het verschil tussen de twee groepen in twijfel trekt. Er zijn twee vormen: - Demand characteristics: signalen van de onderzoeker die de uitkomsten kan beïnvloeden, die de proefpersonen opvangen - Experimenter expectancy: manieren dat de onderzoeker zelf de proefpersonen beïnvloed om resultaten te krijgen self fulfilling 4 manieren om dat te voorkomen: 1) Naive experimenter: degene die het onderzoek begeleidt weet zelf de gedachte achter de studie ook niet. 2) Blind experimenter: de onderzoeker is niet op de hoogte of een proefpersoon in de controle groep of de experimentele groep zit. 3) Experimenter standardization: alle woorden en gedragingen van de onderzoekr volgend een standaard procedure zodat ze bij elke participant gelijk zijn. 4) Canned experimenter: er wordt gebruik gemaakt van hand outs en opnamebanden voor instructies i.p.v. een aanwezige onderzoeker. Demand characteristics. Terwijl experimenter expectancy de opvattingen van de onderzoeker benadrukt, gaat het bij demand characteristics juist om de opvattingen van de proefpersoon en alle signalen uit de experimentele omgeving die daaraan kunnen bijdragen. Een voorbeeld is het Hawthorne effect Hoofdstuk 11 Quasi experimenten Wanneer willekeurige toewijzing niet mogelijk is. Verschillende soorten designs, ook over een langere periode met dezelfde groep en meerdere metingen. Hoofdstuk 12 Twee verklaringen die alternatieve verklaringen die de interne validiteit van correlationele designs bepalen: - reverse causation: veroorzaakt inkomen een betere gezondheid, of veroorzaakt een betere gezondheid meer inkomen? Ware exoperimenten vermijden dit probleem doordat ze een variabele manipuleren. - spurious causation: Zijn de veranderingen niet veroorzaakt door een 3 e variabele? Ware experimenten behandelen dit probleem door aselecte toewijzing aan verschillende groepen.