A. Effect & het onderscheidingsvermogen Effectgrootte (ES) De effectgrootte (effect size) vertelt ons iets over hoe relevant de relatie tussen twee variabelen is in de praktijk. Er zijn twee soorten effectgrootten: Gebaseerd op de proportie verklaarde variantie: de proportie verklaarde variantie wordt vaak aangegeven met één van de volgende termen: R² of eta squared, partial eta squared of omega squared. Deze vormen worden verderop in de samenvatting verder toegelicht bij de uitleg over ANOVA en regressie. Gebaseerd op het verschil in gemiddelden. Dit wordt vaak aangeduid met behulp van Cohen s d. Berekenen en gebruik van Cohen s d Cohen s d is een veelgebruikte manier om de effectgrootte te berekenen en wordt berekend met behulp van één van de volgende formules: d = y µ y 1 y 2 of d = σ σ Dit is afhankelijk van of je een steekproefgemiddelde met het populatiegemiddelde wilt vergelijken of twee gemiddelden van twee verschillende steekproeven met elkaar wilt vergelijken. Wanneer we voor de eerste methode zouden kiezen en dus het gevonden steekproefgemiddelde willen vergelijken met het populatiegemiddelde, dan geeft de waarde van Cohen s d het aantal standaarddeviatie weer waarmee het steekproefgemiddelde van het populatiegemiddelde afligt. Wanneer je dus een waarde van d van d = 0,5 zou hebben, dan zou het steekproefgemiddelde 0,5 standaarddeviaties van het populatiegemiddelde afliggen. Er zijn een aantal vuistregels die meestal worden aangehouden om te kunnen spreken van een klein, een middelmatig of een groot effect. Wanneer de effectgrootte rond de d = 0,80 ligt, dan spreken we van een groot effect. Is de waarde van de effectgrootte ongeveer d = 0,50, dan is het bevonden effect middelmatig. Bevinden we een effectgrootte van rondom d = 0,20, dan wordt het effect klein genoemd. Denk er wel aan dat deze regels niet meer zijn dan vuistregels. Het zijn geen vaste regels en iemand anders zou ook gemakkelijk kunnen kiezen voor andere vuistregels. Berekenen van het onderscheidingsvermogen Wanneer we een significantietoets uitvoeren, dan zijn er vier mogelijke conclusies die we kunnen trekken: Je verwerpt H0 wel Je verwerpt H0 niet H0 klopt fout type één α 1 fout type één H0 klopt niet 1 fout type twee fout type twee β Tabel 1: Fout type één en twee. Fout type één is wanneer H0 klopt is, maar je verwerpt deze: het onterecht verwerpen van de nulhypothese. Deze fout wordt aangeduid met het sigmateken α. Fout type twee ontstaat wanneer H0 niet klopt, maar je deze niet verwerpt: je neemt dan onterecht de nulhypothese aan. Deze fout wordt aangeduid met het bètateken β. Je zit dus goed als H0 klopt is en je H0 niet verwerpt. De kans hierop kun je ook berekenen door middel van de formule 1 α. Je zit ook goed wanneer H0 niet waar is en je deze wel verwerpt.. 1
Deze kans is te berekenen door middel van de formule 1 - β. Dit laatste, 1 - β, is het onderscheidingsvermogen van je toets. Het onderscheidingsvermogen wordt ook wel de power genoemd en is het terecht verwerpen van de nulhypothese. De waarde van het onderscheidingsvermogen wil je zo groot mogelijk hebben, bijvoorbeeld wanneer je een significante uitkomst ontdekt met je onderzoek en je de nulhypothese gaat verwerpen, je ook wilt dat je deze handelingen terecht doet. Om de power te berekenen, bereken je eerst de waarde die x aanneemt onder de verkeerde nulhypothese. Dit doe je met behulp van de z-score. Je kijkt dus naar wanneer je onder de verkeerde nulhypothese deze nulhypothese zou verwerpen. Wanneer je de waarde van deze x weet, bereken je de juiste kans om H0 te verwerpen met behulp van de z-score door hierin de juiste waarde van het gemiddelde in te voeren. Het berekenen van het onderscheidingsvermogen kan lastig te begrijpen zijn. Daarom kan dit het beste uitgelegd worden met behulp van een voorbeeld. Stel, je hebt een populatie die verdeeld is met X ~ N(µ,1). Hierin voer je een significantietoets uit met een alfa van 0,05, waarbij je het volgende toetst: H0: µ = 4,0 Ha: µ > 4,0 Hier is bekend dat het aantal proefpersonen 49 is. Vervolgens komen we er achter dat µ verkeerd is: deze is niet 4,0 maar 4,6. Om de power te berekenen moeten we eerst de waarde van x achterhalen onder de verkeerde nulhypothese, om zo te achterhalen wanneer H0 wordt verworpen onder de verkeerde H0. We weten dat bij een éénzijdige toetsing met α=0,05 de z-score z = 1,645 is. Vervolgens: z = x µ α/ n = x 4,0 1/7 = 1,645. x 4,0 = 0,235. x = 4,235. Vervolgens bereken je de correcte kans om H0 te verwerpen (onder Ha = 4,6): P Ha ( x > 4,235) = P Ha = ( x 4,6 ) 1/7 > (4,235 4,6 1/7 P Ha (Z > -2,555) = 1-0,0054 = 0,9946. De conclusie die we hier uit kunnen trekken is dat er een kans is van 99,46% dat we H0 terecht afwijzen als Ha: µ = 4,6 waar is. Het onderscheidingsvermogen van een significantietoets is afhankelijk van: De steekproefgrootte n: wanneer n groter wordt, dan wordt het onderscheidingsvermogen groter. Het significantieniveau α: wanneer α groter wordt, dan wordt het onderscheidingsvermogen groter. De effectgrootte (effect size, ES, wordt hier onder uitgelegd): wanneer de ES groter wordt, dan wordt het onderscheidingsvermogen groter. ) 2
Als de bovenstaande 3 punten bekend zijn, dan kan de power worden berekend met behulp van het software programma G*Power. Een andere manier om je power te vergroten, is door de errorvariantie te verkleinen. Dit kan door groepen in je onderzoek homogener te maken of door een extra variabele aan je onderzoek toe te voegen. Er zijn 2 manieren waarop analyse naar onderscheidingsvermogen kan worden uitgevoerd: A priori analyse naar onderscheidingsvermogen: deze manier heeft de voorkeur. De power van het onderzoek wordt berekend vóórdat het onderzoek wordt uitgevoerd door de effectgrootte, het significantieniveau en het gewenste onderscheidingsvermogen in te voeren in het programma G*Power. Vervolgens wordt de benodigde steekproefgrootte voor het onderzoek uitgerekend. Deze steekproefgrootte is dus aangepast op het gewenste onderscheidingsvermogen. Dus als je in je onderzoek een goed onderscheidingsvermogen van ongeveer 0,80 wilt nastreven, dan kun je door de overige gegevens in te vullen berekenen hoeveel proefpersonen je bij je onderzoek moet betrekken. Post hoc analyse naar onderscheidingsvermogen: deze manier wordt uitgevoerd nadat het onderzoek is uitgevoerd. Door de ES, het significantieniveau en de steekproefgrootte in te voeren, bereken je de power die het onderzoek (dat al is uitgevoerd) had. Deze manier is geschikt als a priori onderzoek voor een volgend onderzoek. 3
B. Eénweg ANOVA en de toepassingen daarvan. De t-toets met twee steekproeven Je maakt gebruik van de t-toets wanneer je twee steekproefgroepen met elkaar wilt vergelijken. Hierbij toets je de volgende hypotheses: H0: µ1=µ2 Ha:µ1 µ2 (deze kan ook éénzijdig zijn in plaats van tweezijdig). Hierbij zijn de populatiegemiddelde µ en standaarddeviatie σ onbekend: ze worden benaderd met y en s. Herinner je dat dat het grote verschil was tussen een t-toets en een z-toets: bij een t-toets is de populatiestandaarddeviatie onbekend. In dit vak gaan we over het algemeen uit van gelijke standaarddeviaties. Op deze manier kunnen we gebruik maken van Spooled: de gepoolde standaarddeviatie. De test statistic voor de t test luidt als volgt: t= y 1 y 2 sp 1 n1 + 1 n2. Deze test statistic is verdeeld met n1 + n2-2 vrijheidsgraden. Éénweg ANOVA Helaas blijft het gebruik van de t-toets beperkt tot het vergelijken van slechts twee groepen. In sommige gevallen willen we meer dan twee groepen met elkaar vergelijken. In zo n geval maken we gebruik van ANOVA: ANalysis Of VAriance. Bij het uitvoeren van een ANOVA wordt gekeken naar de verschillen tussen gemiddelden van I onafhankelijke groepen die je in je onderzoek opneemt. De H0 en Ha hierbij luiden als volgt: H0: µ1=µ2=µ3=µ4 Ha: Ten minste één µ wijkt af of niet alle µs zijn gelijk. Omdat het idee achter ANOVA vrijwel gelijk is aan het uitvoeren van een t-toets vergelijk je bij een ANOVA net zoals bij het uitvoeren van een t-toets de between group variatie met de within group variatie. De between group variatie is de variatie tussen de groepen die je vergelijkt. Dit is dus het deel dat kan worden verklaard door de verschillen tussen groepen. In bovenstaande formule van de t-toets is dat wat boven de streep in de breuk gebeurt. Hier vergelijk je immers de verschillen tussen de twee groepen door het ene gemiddelde van het andere gemiddelde af te trekken. De within group variatie is de variatie binnen de groepen die je vergelijkt. Dit is het deel van de variantie die onverklaard blijft binnen de groepen, ofwel de error. In de bovenstaande formule is dat wat onder de streep in de breuk staat. Er is namelijk altijd sprake van variatie in scores, de scores van de betrokken proefpersonen zijn immers nooit allemaal hetzelfde. Dat zien we terug in de standaarddeviatie. Een ANOVA tabel gemaakt met behulp van SPSS ziet er als volgt uit: Tabel 2: Fictief Voorbeeld van ANOVA Tabel SPSS: Descriptive Statistics. 4
Tabel 3: Fictief Voorbeeld van ANOVA Tabel SPSS: ANOVA De onderdelen van deze ANOVA-tabel uit SPSS zullen hieronder worden toegelicht. De sum of squares De variantie wordt bij ANOVA weergegeven in sum of squares. De sum of squares kunnen als volgt worden opgedeeld: SStotaal= SSgroep + SSerror Hierbij is SST (SStotaal) de totale spreiding die je observeert. De formule hiervoor is: SST= ij(yij-y )². Dit kan handmatig worden berekend door de totale variantie van y x (n- 1) te doen. Kan ook als volgt worden berekend: SStotaal = SSgroep + SSerror SStotaal = MStotaal x DFtotaal SSG (SSgroep) is de spreiding tussen groepen. Dit wordt in andere situaties ook wel SSmodel of SSbetween genoemd. De formule hiervoor is: SSG= ij(y i y )². Dit kan handmatig worden berekend door van alle gemiddelden van de groepen het totale gemiddelde af te trekken, te kwadrateren en x de n van die groep te doen. Deze uitkomsten tel je vervolgens bij elkaar op. Kan ook als volgt worden berekend: SSgroep = SStotaal - SSerror SSgroep = MSgroep x DFgroep (ofwel MSmodel x DFmodel) SSE (SSerror) is de spreiding binnen groepen die niet verklaard kan worden. Dit wordt ook wel SSwithin genoemd. De formule hiervoor is: SSE= ij(yij y i). Dit kan handmatig worden berekend door de variantie van elke groep x (n - 1) van die groep te doen. Als je dit gedaan hebt tel je dit vervolgens bij elkaar op. De sum of squares error kan ook als volgt worden berekend: SSerror = SStotaal - SSgroep (ofwel SStotaal - SSmodel) SSerror = MSerror x DFerror 5
Als je over de sum of squares beschikt, kun je deze gebruiken om samen met de vrijheidsgraden (DF) de mean square te berekenen. De vrijheidsgraden De vrijheidsgraden kunnen als volgt worden berekend: DFtotaal (DFT) = n - 1. DFtotaal kan ook op één van de volgende manieren worden berekend: DFtotaal = DFgroep + DFerror. DFtotaal = SST MST. DFgroep (DFG) = I - 1, waarbij I het aantal groepen van X is. DFgroep kan ook op één van de volgende manieren worden berekend: DFgroep = DFtotaal - DFerror. DFgroep = SSG MSG. DFerror (DFE) = n - I. DFerror kan ook op de één van de volgende manieren worden berekend: DFerror = DFtotaal - DFgroep. DFerror = SSE MSE. 6