Methodes voor dataverzameling en -analyse - Identificatie problemen in sociale wetenschappen - SLO Economie, KU Leuven TIER, Maastricht University Zomerschool vakdidactisch onderzoek 9 september 2010
Identificatie probleem Stel: je observeert de gelijktijdige bewegingen van een persoon en zijn spiegelbeeld Vraag: zorgt het spiegelbeeld voor de beweging van de persoon of is het een reflectie? m.a.w.: hoe weet je waar het effect vandaan komt? voor het antwoord heb je specifieke kennis en statische methodes nodig vind het warm water voor je onderzoeksprobleem niet opnieuw uit: kijk in de literatuur
Identificatie probleem relateert aan Evidence Based onderwijs : Filosofie dat onderwijsbeleid en -praktijk gebaseerd dienen te zijn op een oordeelkundig, expliciet en nauwgezet gebruik van de huidige best evidence. Evidence based onderwijs verwijst enerzijds naar de verzameling van interventies die positief geëvalueerd zijn, anderzijds verwijst het naar een houding of attitude onder beleidsmakers en mensen uit de onderwijspraktijk (werken op basis van evidence based onderwijs). Jullie taak als onderzoekers om evidence naar voor te brengen!
Overzicht Deze les: 1. Methodologische heterogeniteit 2. Voor- en nadelen van kwantitatief en kwalitatief onderzoek 3. Causaliteit versus correlatie 4. Data-verzameling: gecontroleerd experiment 5. Data-analyse: Difference in differences
Methodologische heterogeniteit Methodologische heterogeniteit: - Verschillende methodes voor dataverzameling en analyse brengen verschillende inzichten - Elke benadering heeft voor- en nadelen (maak die ook duidelijk in je onderzoek) Argument voor complementariteit tussen kwantitatief en kwalitatief onderzoek (cfr. onderzoek naar voortijdig schoolverlaten)
Methodologische heterogeniteit Onderscheid tussen kwalitatief en kwantitatief werk. Kwantitatief: Belangrijkste veronderstelling Er is een betrouwbare, geldige en veralgemeenbare voorspelling die door data gevonden kan worden (cfr. de causaliteit) Analyse: via statistische / econometrische (= economie + statistiek + wiskunde) analyse programma s: STATA, Eviews, SPSS, R, Matlab,
Overzicht Deze les: 1. Methodologische heterogeneit 2. Voor- en nadelen van kwantitatief en kwalitatief onderzoek 3. Causaliteit versus correlatie 4. Data-verzameling: gecontroleerd experiment 5. Data-analyse: Difference in differences
Causaliteit vs correlatie Meest interessante vraag: Onderscheid tussen causaliteit en toevallige samenhang (associaties) causaliteit = Enkel actie X (onafhankelijke variabele) creëert effect Y (de afhankelijke variabele) Associaties zijn gemakkelijk te vatten, maar moeilijker te onderscheiden van causaliteit 2 problemen: 1. Omgekeerde causaliteit 2. Verborgen variabelen (omitted variables) of nietgeobserveerde heterogeneit
Causaliteit 1. Omgekeerde causaliteit Stel: scholen met slechte resultaten moet hervorming doorvoeren Negatieve correlatie tussen schoolresultaten en hervorming (besluit: hervorming heeft niet gewenst impact) maar eigenlijk een causaal effect van slechte resultaten op de hervorming en niet het omgekeerde! dus omgekeerde causaliteit
Causaliteit 2. Verborgen variabelen (omitted variables) of niet-geobserveerde heterogeneit Een derde variabele beïnvloed zowel de uitkomst variabele als de onafhankelijke variabele Voorbeeld: test scores klasgrootte opleiding ouders
Causaliteit 1. Omgekeerde causaliteit 2. Verborgen variabelen (omitted variables) of niet-geobserveerde heterogeneit 3. Zelf-selectie: je kan kiezen of je in de experimentele groep bent Voorbeelden van endogeniteit = als de treatment niet als exogeneen kan beschouwd worden, maar endogeen bepaald is in het model. Dus als ze beiden door een derde factor beïnvloed worden. Oplossing: Bepaal een controle groep en een experimentele groep (treatment group) die exact hetzelfde zijn, behalve op de treatment variabele na Idealiter: zelfde individuen in beide groepen. Maar dit is vaak onmogelijk. Dus vraag naar de counterfactual : wat is de uitkomst als de observatie niet in de experimentele groep was geweest.
Methodologische heterogeniteit Kennispiramide: Niveaus voor onderscheid in de hardheid en generaliseerbaarheid van bewijs, en de mate waarin uitspraken gedaan kunnen worden over causale verbanden.
Overzicht Meten van causaliteit kan op verschillende methodes 1. Een gecontroleerd experiment 2. Overinschrijving 3. Natuurlijke experimenten a. Instrumentele variabelen b. Regression Discontinuity 4. Panel data a. Difference in differences b. Fixed effects
Causaliteit We zijn het meest geïnteresseerd in causaliteitsvraagstukken dus nood aan Bepaal een controle groep en een experimentele groep (treatment group) die exact hetzelfde zijn Idee: Als je willekeurig twee groepen maakt en met voldoende aantal observaties, dan garandeert de willekeurigheid dat de twee groepen niet systematisch van elkaar verschillen (via de wet van de grote getallen)
gecontroleerd experiment 1. Een gecontroleerd experiment Experimentele groep controle groep Hoe? 1. Random steekproef - voorbeeld kop of munt - nadeel in kleine groepen (wet van de grote getallen) 2. Matching - je maakt koppeltjes van vergelijkbare observaties Intelligentie 1 2 3 4 5 6 Slimste lln Minst slimme lln
gecontroleerd experiment Voorbeeld van experimenten in TIER (Universiteit Maastricht Amsterdam) - Slagen studenten in het hoger onderwijs meer als ze betere informatie hebben? Hoe ziet het experiment er uit? - Wat is het effect van een uur langer les natuurkunde? - Verbeteren de leerprestaties van leerlingen als hun leerkrachten een cursus volgden over toetsen? - Is de slaagkans groter bij leerlingen die zich bewust zijn van metacognitieve skills? - Werkt teambeloning in het middelbaar onderwijs?
gecontroleerd experiment Voorwaarden voor echt bewijs: De interventie is helder omschreven Random (door toeval) bepaalde toewijzing aan condities Geen systematische verschillen tussen de experimentele en de controlegroep Valide en betrouwbaar gemeten uitkomstmaten (bijna) geen experimentele uitval Rapportage van effecten bij afgebroken behandeling Rapportage van lange termijn effecten Rapportage van de grootte van het effect en significantie Rapportage van differentiële effecten Rapportage van alle effecten (ook negatieve en non-effecten)
gecontroleerd experiment 1. Een gecontroleerd experiment Maar: niet altijd mogelijk Fundamentally Unidentified Questions
gecontroleerd experiment Fundamentally Unidentified Questions Voorbeeld 1. Wat is de invloed van geslacht of ras? Methode 1: Stel dat je chromosomen verwisseld werden bij je geboorte Nonsense Methode 2: Laat anderen geloven dat je een man of vrouw bent
gecontroleerd experiment Fundamentally Unidentified Questions Voorbeeld 2. Effect op leerresultaten van later te starten met school - idee: een 7-jarig brein is beter geschikt tot leren dan een 6 jarig brein - Methode 1: neem een random steekproef van leerlingen uit de kleuterklas en laat ze starten op 6 en 7 jaar Probleem: Vanzelfsprekend een effect van startleeftijd op leerresultaten want kinderen van 7 jaar zijn ouder. Dus meer matuur
gecontroleerd experiment Fundamentally Unidentified Questions Voorbeeld 2. Effect op leerresultaten van later te starten met school - idee: een 7-jarig brein is beter geschikt tot leren dan een 6 jarig brein - Methode 2: vergelijk iedereen op leeftijd van 7 Probleem: Ene leerling in het tweede jaar en andere in het eerste jaar. Dus ene leerling heeft langer op school geweest dan andere.
gecontroleerd experiment Moeilijkheden met experimenten: 1. De steekproef is niet representatief voor een grotere populatie Vb. beperkt in aantal, beperkt in locatie, korte tijdspanne, bepaalde voorwaarden 2. Artificiële resultaten die moeilijk te herhalen zijn vb. door manipulatie in de experimentele groep 3. De groepen in het experiment moeten goed vergelijkbaar zijn vb. in quasi-experimenten: Studenten selecteren zichzelf in groepen (vb. twee klassen: klas 1 heeft les om 11 uur de woensdag en klas 2 heeft les om 8 uur de maandag). 4. Hawthorne effect: deelnemers veranderen hun gedrag omdat ze beseffen dat ze geobserveerd worden
gecontroleerd experiment Voorbeelden: - Perry Preschool program impact van kleinere groepen, thuisbezoek en groepsvergaderingen met de ouders Nog steeds onderzoek naar de experimentele en controle groep - Effect naar klasgrootte - Betalingen als je langer op school blijft - Betalingen van leerkrachten -.
Overzicht Deze les: 1. Methodologische heterogeneit 2. Voor- en nadelen van kwantitatief en kwalitatief onderzoek 3. Causaliteit versus correlatie 4. Data-verzameling: gecontroleerd experiment 5. Data-analyse: Difference in differences
Data-analyse: DiD Difference in differences Bepaalde groepen kregen de interventie en andere niet (cfr. controle en treatment groep). Periode 1: geen interventie in beide groepen Periode 2: Interventie in groep 1, maar niet in groep 2 Idee: De twee groepen kunnen verschillend zijn. Maar zolang de verschillen tussen de twee groepen constant zijn doorheen de tijd (mocht er geen interventie geweest zijn), kan dit verschil uitgezuiverd worden.
Data-analyse: DiD Voorbeeld: Wat is het effect op leerprestaties van andere lesmethode? Methode: Twee klassen (met en zonder nieuwe lesmethode) en twee periodes Difference 1: meet het verschil in leerprestaties tussen periode 2 en 1 voor elk van de klassen afzonderlijk Difference 2: Vergelijk de resultaten van difference 1 (dus vergelijk de verschillen tussen de klassen) Veronderstelling: Zonder interventie zouden de groepen eenzelfde evolutie ondergaan zijn
Data-analyse: DiD Grafisch leerprestatie P 2 P 2 P 1 P 1 Groep 1 Groep 2
Data-analyse: DiD Wat heb je nodig voor een geslaagd experiment? - Twee groepen die vergelijkbaar zijn. - Een verandering in werkwijze / beleid /... in 1 van de groepen - Beginscores (dus voor de verandering in beide groepen) - Eindscores (dus na de verandering in één van de groepen)
Bronnen 1. Manski, C.F. (1995). Identification Problems in the Social Sciences. Harvard University Press. 2. Angrist, J. and J. Pischke (2008). Mostly Harmless Econometrics: An Empiricist s Companion. MIT press. 3. Writing guide on experimental and quasi-experimental research: http://writing.colostate.edu/guides/research/experiment/index.cfm 4. Matveev, A. (2002). Collected research articles. Theory of Communication and Applied communication (1), p. 59-67 5. Schlotter, M., G. Schwerdt and L. Woessmann (2010). Econometric methods for causal evaluation of education policies and practices: a non-technical guide. IZA DP 4725
Kristof.dewitte@econ.kuleuven.be www.econ.kuleuven.be/kristof.dewitte Zomerschool vakdidactiek
Aan het werk Ga na voor jouw onderzoeksvraag (evt. in groepjes van 3) Wat wil je weten/onderzoeken? Wie zijn de deelnemers? Wat is de timing? Ga je hiervoor gebruik maken van kwantitatieve, kwalitatieve of een combinatie van beide methoden? Beargumenteer. - hoe ziet jouw experiment er uit? - wat is de timing van je experiment? - wat zijn de moeilijkheden van het experiment? - kan je wel causale verbanden leggen (cfr. omgekeerde causaliteit, zelf-selectie, niet-geobserveerde heterogeneit)? Welke instrumenten zal je gebruiken voor dataverzameling? Doe je hiervoor beroep op bestaande instrumenten of ontwikkel je zelf instrumenten? Eventueel kunnen ze een deel van hun instrumenten al samen uitwerken? Waarop moet je hierbij letten?