Tabel De verdeling van preferenties over vier automerken. Mercedes BMW Porsche Alfa Romeo Totaal

Transcriptie

1 13. NON-PARAMETRISCHE TOETSEN 13.1 Inleiding Wanneer de verzamelde gegevens niet op intervalniveau gemeten zijn, maar op ordinaal of nominaal niveau, of wanneer de verdeling van de scores verre van normaal is, dan verdient een non-parametrische toets de voorkeur boven een parametrische toets als de t-toets, of de variantieanalyse. Er zijn vele verschillende non-parametrische toetsen, waarvan we in deze syllabus slechts een vijftal zullen behandelen: de toets van Wilcoxon, de mediaan-toets, de Kruskal-Wallis, de Friedman tweewegs-rangorde-variantieanalyse, maar we beginnen met de chi-kwadraattoets De Chi-kwadraattoets De chi-kwadraattoets is een zeer veel gebruikte toets voor de verwerking van nominale gegevens. Stel je doet een onderzoek naar de mate waarin mensen auto s prefereren. Je laat een honderdtal respondenten hun keuze maken uit een viertal automerken: een Mercedes, een BMW, een Porsche en een Alfa Romeo. Je vindt de volgende verdeling van preferenties over deze vier merken: Tabel De verdeling van preferenties over vier automerken Mercedes BMW Porsche Alfa Romeo Totaal Nu willen we natuurlijk graag toetsen of de respondenten deze vier merken gelijkelijk waarderen of niet. Dat kunnen we toetsen met behulp van de chikwadraattoets. Stel: H 0 is juist: alle vier de automerken worden gelijkelijk gewaardeerd. Als dat juist is zou verwacht mogen worden dat elk merk door 100 / 4 = 25 respondenten gewaardeerd zou worden. Of, anders gezegd: de verwachte celfrequentie -- als H 0 juist is -- is 25. Afwijkingen tussen de geobserveerde celfrequenties en de verwachte celfrequenties duiden op een discrepantie ten opzichte van H 0. De chi-kwadraattoetsingsgrootheid is nu gebaseerd op verschillen tussen de verwachte en geobserveerde celfrequenties. Als we de geobserveerde celfrequenties O (Observed) noemen en de verwachte celfrequenties E (Expected), dan is de toetsingsgrootheid chi-kwadraat (χ 2 ) gedefinieerd als: 2 2 ( Oi Ei) x = (13.1) E i In woorden de som van het kwadraat van het verschil tussen de geobserveerde en de verwachte celfrequenties gedeeld door de verwachte celfrequenties. Hierbij horen dan k - 1 vrijheidsgraden, waarbij k staat voor het aantal niveaus. Hoe groter χ 2 hoe groter de discrepantie ten opzichte van H 0. In Bijlage D kun je voor verschillende aantallen vrijheidsgraden en significantieniveaus de kritieke waarden van chikwadraat vinden.

2 258 Terug naar het automerkenvoorbeeld. Chi-kwadraat laat zich in dit geval eenvoudig uitrekenen als: ( 30 25) ( 15 25) ( 35 25) ( 20 25) X = = = 10. Hierbij horen (4-1 =) vrijheidsgraden. De kans dat H 0 juist is, gegeven deze uitkomst, mag dus als uitermate klein bestempeld worden (zie: Bijlage D). We verwerpen daarom H 0 ten gunste van H 1 : de vier automerken worden verschillend gewaardeerd. De Chi-kwadraattoets laat zich eenvoudig uitbreiden tot een onderzoeksontwerp met twee variabelen, met respectievelijk k en l niveaus. We kijken nogmaals naar dezelfde gegevens, maar nu hebben we de preferentie uitgesplitst naar mannen en vrouwen. Deze gegevens zijn in Tabel 13.2 weergegeven. Tabel Preferentie van automerken, uitgesplitst naar mannen en vrouwen. Mercedes BMW Porsche Alfa Romeo Totaal Mannen Vrouwen Totaal We zien dat nog steeds dertig van de honderd respondenten een voorkeur hebben voor de Mercedes, maar dat tweederde van deze dertig vrouwen zijn. We zouden ook kunnen zeggen dat de helft van de vrouwen een voorkeur heeft voor de Mercedes. Evenzo blijkt dat één derde van de mannen een voorkeur heeft voor een Alfa Romeo, tegenover geen van de vrouwen. Het lijkt alsof de onderscheiden automerken niet gelijkelijk gewaardeerd worden door mannen en vrouwen. De nulhypothese is dat de automerken wel gelijk gewaardeerd worden door mannen en vrouwen; dit laat de vraag onverlet of alle automerken an sich gelijk gewaardeerd worden. Om dit te toetsen rekenen we weer een chi-kwadraat uit, welke in dit geval (k - 1) (l - 1) = 3 vrijheidsgraden heeft; het aantal niveaus van de ene variabele minus één maal het aantal niveaus van de andere variabele minus één. Een complicerende factor is echter dat we niet zo eenvoudig als bij het vorige voorbeeld de verwachte celfrequenties uit kunnen rekenen. We kunnen niet eenvoudig weg zeggen: we verwachten in elke cel 12.5 respondenten al was het alleen maar omdat er verschillende aantallen mannen en vrouwen bevraagd zijn. We moeten de onder H 0 verwachte celfrequenties zien te berekenen conditioneel op de (rand)totalen, immers dan verdisconteren we in de verwachte celfrequenties zowel het verschil in het aantal bevraagde mannen en vrouwen, als de verschillen tussen de automerken. Op grond van de randtotalen verwachten we dat er 60 * 30 / 100 = 18 mannen een voorkeur hebben voor de Mercedes, en dat 40 * 30 / 100 = 12 vrouwen hun voorkeur voor de Mercedes zouden uitspreken. Wat we dus doen om de verwachte celfrequentie uit te rekenen is: we nemen het produkt van de beide randtotalen van een cel en delen dat door het totaal aantal observaties. Dit levert Tabel 13.3 op.

3 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN Tabel 13.3 Preferentie van automerken, uitgesplitst naar mannen en vrouwen (verwachte celfrequenties tussen haakjes). Mercedes BMW Porsche Alfa Romeo Totaal Mannen 10 (18) 10 (9) 20 (21) 20 (12) 60 Vrouwen 20 (12) 5 (6) 15 (14) 0 (8) 40 Totaal Nu kunnen we weer op de gewone manier de chi-kwadraat uitreken: ( 10 18) ( 10 9) ( 20 21) ( 0 8) X = = = Dit is significant bij drie vrijheidsgraden (p <.001). We moeten H 0 verwerpen ten gunste van H 1 : er is een verschil in preferentie van auto s tussen mannen en vrouwen. Uit Tabel 13.3 blijkt dat de grootste discrepanties tussen de verwachte en geobserveerde celfrequenties zich voordoen bij de Mercedes en de Alfa Romeo. Een meer gepreciseerde conclusie zou derhalve kunnen zijn: de Mercedes wordt door vrouwen hoger gewaardeerd en de Alfa Romeo door mannen. Op de beide andere merken (BMW en Porsche) zijn er nauwelijks verschillen in preferentie waargenomen. Een tweede voorbeeld van toepassing van de Chi-kwadraattoets ontlenen we aan Doll en Hill (1956). In deze studie onderzochten Doll en Hill de relatie tussen roken en longkanker. Doll en Hill schreven in 1951 alle Britse huisartsen aan met het verzoek om gegevens over hun leeftijd en rookgedrag. Vervolgens hielden ze jarenlang de overlijdensberichten en de doodsoorzaak bij en herhaalden hun enquête bij tijd en wijlen. De eerste uitkomsten, na circa vier jaar, zijn in Tabel 13.4 samengevat. Tabel Rookgedrag van Britse artsen met en zonder longkanker als doodsoorzaak. Longkanker Niet Wel Totaal Sigaretten roken Wel Niet Totaal Uit de bovenstaande tabel kan makkelijk geconcludeerd worden dat er geen relatie is tussen roken en longkanker. In (ruim) vier jaar is slechts [(84 / 24354) * 100 = ] 0.35% van de Britse artsen aan longkanker overleden. En, dat is slechts [(83 / 21261) * 100 =] 0.39% van de rokers onder hen. Dit is weinig, maar het is wel veel meer dan hetzelfde cijfer voor de niet-rokers [(1 / 3093) * 100 =] 0.032%.

4 260 Tabel Verwachte frequenties van Tabel 13.4 als H 0 juist is. Longkanker Niet Wel Totaal Sigaretten roken Wel Niet Totaal We zien in Tabel 13.5 dat er wel een erg groot verschil is tussen de geobserveerde aantallen rokers die overlijden aan longkanker en de verwachte waarden in deze cel. Hetzelfde geldt voor het geringe aantal huisartsen dat niet rookt, maar wel aan longkanker overleden is. Deze observatie maakt ons wel wantrouwig of de eerdere tentatieve conclusie wel juist is. We kunnen om aan deze onzekerheid de toetsingsgrootheid χ 2 uitrekenen. Dat doen we op de vertrouwde manier: ( ) ( ) ( ) ( ) X = = = Dus: χ 2 = met één vrijheidsgraad. Dit is duidelijk significant (p < 0.01). We moeten derhalve H 0, dat er géén relatie is tussen beide variabelen, verwerpen ten gunste van H 1 dat er wel een relatie is tussen beide variabelen: rokers sterven vaker aan longkanker dan niet-rokers. Maar, is dit nu een bewijs dat zoals zo vaak verondersteld wordt dat roken longkanker veroorzaakt? Nee, dat is het absoluut niet. Een paar alternatieve verklaringen: niet alle rokers krijgen longkanker, de rokers zijn ouder dan de niet-rokers, de rokers wonen veelal in de grote steden met meer vervuilde lucht dan de niet-rokers die veelal op het platte land wonen, ook zo erg nog een speciale genetische dispositie kunnen zijn, die zowel van invloed is op de verslaving aan tabak, als op de kans om longkanker te krijgen. Voor een causale interpretatie van de gegevens (let wel, het betreft hier immers geen experiment), moeten we op zijn minst de beschikking hebben over een theorie die de relatie tussen roken en longkanker expliciteert. Ook is het van belang om even naar de relatieve bijdrage aan de toetsingsgrootheid te kijken. We zien dan dat met namen de cel [niet roken en wel longkanker] aan de toetsingsgrootheid bijdraagt. Juist in deze cel zijn er veel minder mensen dan verwacht die longkanker krijgen. Het lage aantal observaties in deze cel moet dan ook geïnterpreteerd worden De Chi-kwadraattoets in SPSS Tot slot een laatste voorbeeld van de chi-kwadraattoets, maar nu uitgerekend met behulp van SPSS. Holleman (2000) is geïnteresseerd in de mate waarin de formulering van de vraag het antwoord van de respondent beïnvloedt. Om na te gaan of dergelijke formuleringseffecten echt bestaan bevroeg zij een groep respondenten. Dezen gaven of wel antwoord op de vraag moet de overheid billboards langs de kant van de snelweg toestaan? of antwoord op de vraag moet de overheid bill-

5 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN boards langs de kant van de snelweg verbieden? Als antwoord mogelijkheden werd alleen ja of nee toegestaan. Door het lot werd bepaald welke respondent welke van de twee vragen voorgelegd kreeg, Verwacht mag worden dat, als formulering van de vraag niet van invloed is op het antwoord, dat er in beide groepen evenveel mensen voor billboards zullen zijn, en mutatits mutandis evenveel mensen tegen billboards zullen zijn (H 0 ). Dus, er zijn evenveel mensen die zouden zeggen ja tegen toestaan als nee tegen verbieden. Om deze gegevens te analyseren zijn in SPSS voor alle respondenten drie variabelen ingevoerd: het rsepondentnummer (RESPON), of zij de toelaten-vraag dan wel de verbieden-vraag beantwoord hebben (TOE_VERB), en hun ANTWOORD. Het antwoord is als volgt gecodeerd: als de respondent het oneens was met het aangesneden issue ( nee bij toelaten en ja bij verbieden) dan is de code 0 gebruikt, en als de respondent het eens was met het issue ( ja bij toelaten en nee bij verbieden) is de code 1 gebruikt. In de figuur hiernaast zie je een stukje van de data-file. Om een chi-kwadraattoets uit te voeren, gaan we via ANALYZE naar DESCRIPTIVES en kiezen daar CROSSTABS. We komen dan in een schermpje waarin we moeten aangeven welke variabelen de rijen zijn, en welke variabele de kolommen zijn. Het maakt niets uit, of je voor de rijen toelaten vs. verbieden (TOE_VERB) kiest en voor de kolommen het ANTWOORD, of dat je dat andersom doet (probeer het maar eens). Nu ga je naar Statistics en vinkt Chi-square aan. Na CONTINUE en OK krijg je de output vanzelf. In het eerste deel zie je de kruistabel. Van de 528 personen die de toelaten-vraag voorgelegd kregen zijn 167 het er niet mee eens. Deze mensen vinden dat billboards langs de kant van de snelweg niet toegelaten moeten worden. Deze respondenten hebben dus nee, niet toelaten geantwoord. Van de 525 personen die de verbieden-vraag voorgeld kregen vinden er 217 dat billboards inderdaad verboden moeten worden; zij hebben dus ja tegen verbieden gezegd. Naast een heleboel andere maten geeft SPSS ook de Pearson Chi-Square, en je ziet in één oogopslag dat deze significant is (χ 2 = 10.70; df = 1; p = 0.001).

6 De toets van Wilcoxon Een taalbeheerster wil het effect van de manipulatie van bepaalde tekstfragmenten op de waardering voor een tekst onderzoeken. Zij trekt een aselecte steekproef van 20 personen uit een populatie studenten. Van deze 20 studenten worden er 10 aselect gekozen die een oordeel moeten geven over de herschreven tekst. De overige studenten moeten een oordeel geven over de originele tekst. Hoe hoger de score die gegeven wordt, hoe hoger de waardering voor de tekst. Eén van de proefpersonen moet helaas het onderzoek voortijdig beëindigen, wegens dringende maagklachten. De waarderingen van de overige 19 proefpersonen staan in Tabel De taalbeheerster toetst de nulhypothese geen effect tegen de alternatieve hypothese de ingrepen hebben een positieve invloed op de waardering. Tabel De waardering van 19 proefpersonen op twee versies van dezelfde tekst. Versie Oordeel Origineel Herschreven De toets van Wilcoxon wordt gebruikt om uitspraken te doen over twee populaties die identiek verdeeld zijn, met mogelijk een verschillende centrummaat. De populatieverdelingen mogen dus hooguit ten opzichte van elkaar verschoven zijn. Bij de nonparametrische toets van Wilcoxon hoeven we dus niet de aanname te maken dat de scores in beide steekproeven normaal verdeeld zijn; nee, over het type ver-

7 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN deling maken we geen aanname. Wel moeten we aannemen dat de verdelingen van de scores in beide steekproeven gelijk zijn. In bovenstaand voorbeeld verwachten we dus dat de verdeling van de oordelen over beide versies gelijk is. Het enige dat zou kunnen verschillen is de centrummaat. Met andere woorden de nulhypothese stelt dat X 1, X 2, X 3,..., X m en Y 1, Y 2, Y 3,..., Y n uit identiek verdeelde populaties komen. Onder de alternatieve hypothese zijn de verdelingen ten opzichte van elkaar verschoven. Omdat de toets nagaat of de verdelingen gelijke centrummaten hebben, en omdat de toetsingsgrootheid zo gekozen zal worden dat een ordinale schaal op steekproefniveau voldoende is, worden de hypothesen ook wel in termen van medianen geformuleerd (de mediaan is dat punt van de verdeling, waarbij 50% van de scores zich links en 50% van de scores zich rechts bevinden: zie Hoofdstuk 8). Wanneer we de beide mediaan aangeven met m x en m y, dan geldt onder H 0 : m x = m y, of wel m x - m y = 0, en onder H 1 : m x - m y 0 (of H 1 : m x - m y < 0, dan wel H 1 : m x - m y > 0, afhankelijk van de onderzoeksvraag). Deze toets is zowel door Wilcoxon als door Mann en Whitney onafhankelijk van elkaar ontwikkeld en staat daarom ook wel bekend als de Mann- Whitney-toets. Weliswaar moeten de beide populatieverdelingen voor deze toets dezelfde vorm hebben, maar die hoef je niet te kennen (of er aannamen over te doen; zoals bij de t-toets). De toets van Wilcoxon is een verdelingsvrije toets die vooral geschikt is voor de analyse van de volgende twee experimentele opzetten. Bij de eerste opzet wordt een aselecte steekproef uit een populatie getrokken waarna de elementen van die steekproef aselect worden toegewezen aan een experimentele of een controle conditie. Zo ontstaan twee aselecte steekproeven behorend bij twee hypothetische populaties van respectievelijk behandelde en onbehandelde elementen (zoals het bovenstaande voorbeeld). Als maat voor het effect van de behandeling wordt m x - m y gebruikt. De nulhypothese stelt dat er geen effect is, H 0 : m x - m y = 0. Bij de tweede opzet worden rechtstreeks twee onafhankelijke steekproeven uit twee verschillende populaties getrokken (bij voorbeeld: een steekproef leken versus een steekproef deskundigen ). Terug naar het voorbeeld. Er zijn twee onafhankelijke steekproeven getrokken uit twee continu verdeelde populaties (de respondenten mogen immers elk oordeel geven dat ze willen). Onder de nulhypothese zijn de twee populaties identiek verdeeld, onder de alternatieve hypothese zijn zij ten opzichte van elkaar verschoven. Toetsingsprocedure In het vervolg zullen we aannemen dat de omvang m van de Y steekproef kleiner of gelijk is aan de omvang n van de X steekproef. Door de variabele in de kleinste steekproef met Y en in de grootste met X aan te geven, kan hiervoor altijd gezorgd worden. De toetsingsprocedure verloopt nu stapsgewijs als volgt:

8 264 1) voeg de beide steekproeven samen en orden de m + n waarnemingen naar grootte; 2) vervang de waarnemingen door rangnummers lopend van 1 tot en met m + n; op steekproefniveau is een ordinale schaal voldoende als tenminste op grond hiervan de rangorde van de gecombineerde steekproeven te bepalen valt; 3) kies als toetsingsgrootheid S Y, de som van de rangnummers in de kleinste en dus de Y steekproef; het kiezen van de som van de rangnummers in de X steekproef, S X, zou meer werk geven; er geldt overigens: S Y + S X = m + n = (m + n)(m + n + 1) / 2. De toetsingsgrootheid S Y neemt gehele waarden aan tussen minimaal m = m (m + 1) / 2 en maximaal (n + 1) + (n + 2) (n + m) = m (m + 2n + 1) / 2. Immers, de minimale waarde wordt bereikt als alle rangnummers uit conditie Y de kleinste zijn, en de maximale waarde wanneer die juist de grootste zijn. De minimale waarde wordt wel min S Y genoemd, en de maximale waarde max S Y. Onder de nulhypothese (samenvallende verdelingen) zal de Y steekproef zowel grote als kleine rangnummers bevatten. Onder de alternatieve hypothese (verschoven verdelingen) bevat de ene steekproef overwegend lage en de andere overwegend hoge rangnummers. Onder de nulhypothese is de steekproefverdeling van S Y symmetrisch om het gemiddelde van zijn minimale en maximale waarde (min S Y + max S Y ). Afhankelijk van de gestelde alternatieve hypothese wordt H 0 verworpen als S Y veel kleiner of veel groter is dan m (m + 1) /2. Laten we nu eens S Y uitrekenen voor het experiment met de twee versies van dezelfde tekst. Getoetst wordt H 0 : m X - m Y = 0 tegen H 1 : m X - m Y > 0. De kleinste steekproef wordt gevormd door de proefpersonen die de originele tekst gelezen hebben. Dus geldt: m = 9 en n = 10. De berekening van S Y uit de 19 naar grootte gerangschikte waarnemingen verloopt als volgt: Score Groep Rangnr. Score Groep Rangnr. Score Groep Rangnr. 2 Y 1 18 Y 8 28 Y 14 4 Y 2 19 X 9 31 X 15 8 X 3 22 Y Y Y 4 24 X X X 5 25 X X Y 6 27 X X Y 7 Op grond van deze rangordening zien we dat de Y-conditie (het lezen van de originele tekst) enigszins oververtegenwoordigd is bij de lage rangordenummers en enigszins ondervertegenwoordigd bij de hoge rangordenummers. Dit komt overeen met het idee van de onderzoekster, die nu S Y berekent: S Y = = 67

9 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN In Bijlage F kunnen we nu 67 opzoeken bij de steekproeven m=9 en n=10. We vinden dan p =.033. De kans dat H 0 juist is, kan derhalve als klein getypeerd worden. We verwerpen H 0 ten gunste van H 1 ; de manipulatie van de teksten heeft een positieve invloed op de waardering van de proefpersonen De toets van Wilcoxon in SPSS Ok, en nu schakelen we SPSS in om ook de gegevens in Tabel 13.6 nogmaals te analyseren. We maken een data-file (zie hiernaast) met drie variabelen: respondent (RESPONDENT), conditie (CONDITIE) en de score van de respondenten (SCORE). Dan gaan via ANALYZE naar NONPARAMETRIC TESTS. Daar zien we een heel rijtje met mogelijkheden, zodat we even goed op moeten letten wat we willen doen. We hebben twee condities, oftewel twee steekproeven. Omdat het verschillende steekproeven zijn, elke respondent is één keer gemeten in één van de twee condities, hebben we twee onafhankelijke steekproeven. We kiezen dus voor 2 INDEPENDENT SAMPLES. Dan krijgen we het volgende schermpje. In dit schermpje moeten we aangeven wat de afhankelijke variabele (TEST VARIABLE) is, en wat de onafhankelijke variabele (GROUPING VARIABLE) is. Natuurlijk is hier SCORE de afhankelijke variabele, en is CONDITIE de onafhankelijke variabele. Daarna moeten we bij DEFINE GROUPS aangeven dat de code 1 groep 1 is, en de code 2 groep 2 indiceert. Dan gaan je even naar OPTIONS om de DESCRIPTIVES aan te klikken, en na een klik op CONTINUE en OK, krijg je de output van spss voorgeschoteld. Deze hebben we hieronder integraal weergegeven. Over de gegevens bij DESCRIPTIVES hoeven we het niet meer te hebben, die spreken wel voor zichzelf. Bij het tweede deel, Ranks, wordt informatie gegeven over de gemiddelde rangorde, en over de som van de rangordes per niveau van de onafhankelijke variabele. Dus: voor beide condities. Zoals we al weten is de som van de rangordes voor de eerste conditie 67. Dat hadden we zoeven ook met de hand uitgerekend. Voor de tweede conditie is de som van de rangorde nummers 123. In het derde deel van de output worden de toetsingsgrootheden gegeven. Er zijn er drie die eigenlijk uitwisselbaar zijn: de Mann-Whithney U, de Wilcoxon W en één soort Z (standaardscore). Daarna krijg je de overschrijdingskans die altijd tweezijdig wordt weergegeven. We zijn vanzelfsprekend geïnteresseerd in de exacte

10 266 waarde van de overschrijdingskans en niet in een asymptotische benadering hiervan. We kijken daarom bij EXACT SIG. Omdat we een specifieke hypothese hebben over de verschillen tussen condities (een eenzijdige hypothese) moeten we deze kans nog door twee delen. We komen dan op 0.65 / 2 = Descriptive Statistics N Mean Std. Deviation Minimum Maximum Oordeel Conditie Ranks Conditie N Mean Rank Sum of Ranks Oordeel Total 19 Test Statistics b Oordeel Mann-Whitney U Wilcoxon W Z Asymp. Sig. (2-tailed).060 Exact Sig. [2*(1-tailed Sig.)].065 a a. Not corrected for ties. b. Grouping Variable: Conditie 13.6 De mediaantoets Zoals bij de t-toets voor het verschil tussen gemiddelden het geval was kunnen ook nu twee typen van situaties onderscheiden worden waarin de vraag is of de populatiemediaan in twee steekproeven gelijk is. In het eerste geval betreft het onafhankelijke steekproeven die we met behulp van de toets van Wilcoxon kunnen analyseren. In het tweede geval betreft het afhankelijke steekproeven. Voor afhankelijke steekproeven kan men beter zijn heil zoeken bij de mediaantoets. Bij de mediaantoets, of binomiaal-toets, wordt getoetst of twee populaties dezelfde mediaan hebben. Aannamen omtrent de verdelingsvorm behoeven hierbij niet gemaakt te worden. De nulhypothese bij de mediaan- of tekentoets is dat de medianen in beide steekproeven niet van elkaar verschillen. We kunnen dit ook anders formuleren als: de kans op X < Y = X > Y = 1/2. Bij voorbeeld: als een munt zuiver is, is de kans op het aantal keren kop gelijk aan de kans op het aantal keren munt =.5. De alternatieve

11 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN hypothese bij de mediaantoets is natuurlijk dat de medianen in de beide (afhankelijke) populaties niet gelijk zijn, wanneer er tweezijdig getoetst wordt, of dat p (X < Y = >.5), of p (X > Y = >.5) bij respectievelijk links- en rechts-éénzijdige toetsing. Een voorbeeld. Een onderzoekster is van mening dat bij gehuwden vrouwen een groter belang hechten aan het lezen van literatuur dan hun mannen. Zij doet daarom een onderzoek waarbij zij (onder andere) vraagt naar het belang dat gehecht wordt aan lezen. De respondenten moeten hun antwoord kenbaar maken op een vijfpuntsschaal, waarbij de code 1 correspondeert met totaal onbelangrijk en de code 5 met erg belangrijk Dit resulteert in de volgende tabel. Tabel Het belang dat gehuwden hechten aan lezen van literatuur. Score Echtpaar Man Vrouw Verschil A 5 3 positief B 3 4 negatief C 2 3 positief D 3 1 positief E 2 1 positief F 5 4 positief G 3 2 positief H 4 3 positief I 3 2 positief J 1 4 negatief K 4 4 geen verschil Zoals in de tabel aangegeven, noteert de onderzoekster of het verschil in belang van lezen conform de hypothese is (+; positief), of dat dit verschil tegengesteld aan de hypothese is (negatief). Als er geen verschil is tussen mannen en vrouwen, dan zal het aantal plusjes ongeveer gelijk zijn aan het aantal minnetjes. In dit geval is er zeven keer een positief resultaat, driekeer een negatief resultaat minnetjes en één vraagteken; bij zeven echtparen vinden we een bevestiging van de hypothese, bij drie echtparen wordt de hypothese niet bevestigd, en bij één echtpaar kan geen onderscheid in de waardering tussen de beide echtgenoten aangetoond worden. De vraag is natuurlijk wat is de kans om deze gegevens te vinden indien H 0 juist is. De eerste stap is de meest eenvoudige: verwijder alle observaties waarbij geen onderscheid aangetoond kan worden. Het elfde echtpaar (K) wordt dus bij de analyse buiten beschouwing gelaten, zodat tien echtparen voor de analyse resteren. Als er geen verschil is in waardering (H 0 ), dan verwachten we even vaak positief als negatief, namelijk vijf. Onder H 0 is dus p (positief) = p (negatief) =.5. We moeten dus de kans bepalen om drie plusjes te observeren uit tien observaties onder de aanname dat de kans op een plusje gelijk is aan de kans op een minnetje (=.5). Als we één observatie plegen, dan is de kans.5 dat we één plusje observeren. Als we twee observaties doen, dan is onder H 0, de kans (.5 *.5 =).25 dat er geen plusje is, (2 *.5 *.5 =) 0.50 dat er één plusje gevonden wordt -- immers de kans is.25 dat de eerste van de twee een positief resultaat is, en de kans dat de tweede observatie

12 268 ook een positief resultaat is, is, is ook.25, wat gelijk is aan 2 *.25 = 2 * (.5 *.5) --; tot slot is de kans dat er twee maal een positief resultaat geobserveerd wordt gelijk aan (.5 *.5 =) Wanneer we dit voorbeeld uitbreiden naar drie observaties, dan is de kans op geen positief resultaat gelijk aan (.5 *.5 *.5 =) De kans op één positief resultaat is gelijk aan de kans op een positief resultaat voor het eerste echtpaar en een negatief resultaat voor echtpaar twee en drie, plus de kans op een positief resultaat voor het tweede echtpaar en een negatief resultaat voor het eerste en derde echtpaar, plus de kans op een positief resultaat voor het derde echtpaar en een negatief resultaat voor het eerste en tweede echtpaar. Dat is natuurlijk gelijk aan 3 * (.5 *.5 *.5 =) De kans op twee positieve resultaten is gelijk aan de kans op het eerste en tweede echtpaar positief en het derde negatief plus de kans op een positief resultaat voor echtparen 1 en3 en een negatief resultaat voor echtpaar 2, plus de kans op ee n positief resultaat voor het tweede en derde echtpaar en een negatief resultaat voor het eerste echtpaar. Dit is natuurlijk gelijk aan (3 * (.5 *.5 *.5 =) En de kans op géén enkel positief resultaat is natuurlijk weer gelijk aan Zoals je ziet wordt eerst het aantal mogelijke keren dat een bepaalde uitkomst kan optreden bepaald, waarna dit aantal vermenigvuldigd wordt met de kans op één van deze uitkomsten. Wanneer het aantal observaties gering is, kan je eenvoudig alle mogelijke uitkomsten opschrijven, maar als dit aantal groter is kun je beter gebruik maken van de volgende formule: N N! 1*2*3*...*N = =. k k!(n-k!) 1*2*...*k*[(N-1)*(N-2)*...*(N-k) (13.3) Hierbij is N het totaal aantal waarnemingen, en k is het aantal malen dat een bepaalde uitkomst (bij voorbeeld: +) optreedt. Het meest linker lid van Vergelijking 13.3, wordt uitgesproken als N boven k, en dit is gelijk aan N faculteit gedeeld door (k faculteit vermenigvuldigd met (N - k) faculteit). Deze faculteiten lijken heel ingewikkeld, maar komen er in feite op neer dat alle getallen van 1, 2,..., N of k of (N - k) worden vermenigvuldigd. Als we bijvoorbeeld drie observaties doen en daarbij twee plusjes observeren, dan is het aantal mogelijke keren dat dit op kan treden in een steekproef van die (N) gelijk aan: 3 1* 2* 3 6 = = = 3 2 1* 2*( 2 1) 2 wat precies gelijk is aan het aantal mogelijke echtparen met twee positieve resultaten wat we hierboven besproken hebben. Om de kans te berekenen op één van deze mogelijkheden (twee positieve resultaten) gebruiken we een productregel: k (N-k) p *q (13.4)

13 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN De kans op één positief resultaat is p, en de kans op één negatief resultaat is gelijk aan q. Nu is onder H 0 p = q =.5. We kunnen dus voor de mediaantoets de bovenstaande vergelijking vereenvoudigen tot:.5 k *.5 (N - k) =.5 N De kans om k plusjes te observeren bij N waarnemingen is onder H 0 dus gelijk aan: N p= *0.5 k N (13.5) Voor ons voorbeeld uit Tabel 13.5 geeft dit: 10 1* 2*...* p = *. = *. = *. =. 7 1* 2*...* 7* 1* 2* * Als H 0 juist zou zijn, is deze uitkomst niet al te onwaarschijnlijk. In ongeveer 12% van de gevallen kan een dergelijke steekproefuitkomst gevonden worden, als H 0 in de populatie juist is. We moeten derhalve de geobserveerde verschillen in leeswaardering toeschrijven aan het toeval. Een aardige toepassing van de mediaantoets is de volgende. Als we één keer een toets uitvoeren, en een van.05 hanteren, dan is de kans om H 0 te verwerpen.05 ofwel 5%. Maar als we tien keer een toets uitvoeren en elke keer een van 5% hanteren, wat is dan de a priori kans om één significant resultaat te vinden. Met de mediaantoets in het achterhoofd is het niet moeilijk te bedenken dat N = 10; k = 1; p = =.95; q =.05 Even invullen: 10 1 *. *. *. * = = 0 32 Dus de a priori kans op één significant resultaat is niet.05, maar door het herhaald uitvoeren van een toets.32. De kans op een α-fout is dus aanzienlijk. Maar de vraag -- wat is de kans op één significant resultaat -- is niet zo heel erg reële. Reëler is: wat is de kans op tenminste één significant resultaat bij het uitvoeren van 10 toetsen en een α van.05. Dit is de kans op één, twee, drie,... tien significante resultaten. Deze kans is natuurlijk gelijk aan (1 - de kans op geen significant resultaat), die met de mediaantoets eenvoudig is uit te rekenen (n.b. 0! = 1): 10 0 *. *. = *. * =

14 270 De kans op tenminste één significant resultaat is derhalve (1 -.6 =).4. De kans om een -fout te maken neemt dus enorm toe als het aantal toetsingen toe neemt. Je ziet hoe het kan lonen om verschillende gemiddelden, medianen e.d. tegelijk te vergelijken in plaats van ze paarsgewijs te vergelijken. Soms is het echter nodig dat een paarsgewijze vergelijking plaats vindt. Dan is een dergelijke toename van de kans op een α-fout domweg onacceptabel. Er is echter een eenvoudig recept: pas α aan. Als we niet bij.05, maar pas bij.005 zouden besluiten tot een significant resultaat, dan is de overall kans op een α-fout (bij benadering) weer.05. De algemene regel is simpel: kies een α (zoals traditioneel.05) en deel deze gekozen α door het totaal aantal uit te voeren toetsingen. Hanteer dit laatste getal als nieuwe α. Pas als de overschrijdingskans kleiner is dan deze nieuwe α wordt besloten tot het verwerpen van H 0. Deze regel heet de ongelijkheid van Bonferroni De toets van Kruskal-Wallis De toets van Kruskal-Wallis wordt gebruikt om de nulhypothese dat k (k >= 3) populaties dezelfde centrummaat hebben te toetsen. Deze toets wordt gebruikt om na te gaan of overigens identiek verdeelde populaties wel of niet in centrummaten verschillen. De nulhypothese wordt in dat geval H 0 : m 1 = m 2 =... = m k. De alternatieve hypothese stelt dat niet alle medianen aan elkaar gelijk zijn. In dat laatste geval vallen dus niet alle verdelingen samen, maar is er minstens één verschoven ten opzichte van de overigen. Zo geformuleerd wordt met de toets van Kruskal- Wallis dezelfde vraagstelling onderzocht als bij de toets van Wilcoxon. De toets van Wilcoxon wordt echter gebruikt bij twee onafhankelijke steekproeven, terwijl de toets van Kruskal-Wallis bij meer dan twee onafhankelijke steekproeven (vergelijk de t-toets versus variantie-analyse). Om de hypothese te toetsen worden uit k populaties k onafhankelijke steekproeven getrokken, met respectievelijk de omvang n 1, n 2,..., n k. De toetsing wordt gebaseerd op de rangnummers van de steekproefwaarnemingen, wat meteen de keuze voor de mediaan als centrummaat motiveert. Op steekproefniveau is een ordinale schaal dus voldoende wanneer het tenminste mogelijk is met behulp van die meetschaal de elementen uit alle steekproeven tezamen naar grootte te ordenen. Wanneer op intervalniveau gemeten wordt, vormt de Kruskal-Wallis een verdelingsvrij alternatief voor de éénwegsvariantie-analyse. De nulhypothese in de variantie-analyse heeft betrekking op populatiegemiddelden (µ 1 = µ 2 =... = µ k ), terwijl de nulhypothese bij de Kruskal-Wallis betrekking heeft op populatiemedianen (m 1 = m 2 =... m k ). Maar de nulhypothese bij de Kruskal-Wallis kan in het geval van een intervalschaal net zo goed in termen van gemiddelden geformuleerd worden. Immers, meting op intervalniveau impliceert al een rangorde. De toets van Kruskal- Wallis is in feite een éénwegsvariantieanalyse op rangnummers. De verdelingsvrije toets van Kruskal-Wallis is vooral geschikt voor de analyse van de volgende twee experimentele opzetten. Bij de eerste opzet wordt een aselecte steekproef uit een populatie getrokken, waarna de elementen uit die steekproef aselect worden toegewezen aan k condities of behandelingen. Eén van die condities kan een controle conditie zijn. Zo worden k onafhankelijke groepen waarnemingen verkregen die opgevat kunnen worden als k onafhankelijke steekproeven

15 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN uit k hypothetische populaties die bij de behandeling horen. De toets gaat na of de resultaten van die behandelingen wel of niet van elkaar verschillen. Bij de tweede opzet worden de k onafhankelijke steekproeven rechtstreeks uit evenzoveel verschillende populaties getrokken. Het volgende voorbeeld zullen we met behulp van Kruskal-Wallis analyseren, waarbij we en passant de toetsingsgrootheid voor deze toets zullen afleiden. Uit een populatie van leerlingen met leesmoeilijkheden wordt een aselecte steekproef van 15 leerlingen getrokken. Vervolgens wordt deze groep aselect opgedeeld in drie steekproeven van elk vijf leerlingen, die ieder op een andere manier speciaal leesonderwijs krijgen. Van elke leerling wordt vervolgens zijn leesvaardigheid gemeten. Om er voor te zorgen dat er niet te veel knopen optreden (leerlingen met dezelfde leesvaardigheidscore, want dan zijn de leerlingen niet meer te rangordenen op basis van hun score) moeten alle leerlingen twee leesvaardigheidtoetsen maken. Tijdens de uitvoering van het experiment verhuist één van de leerlingen uit de derde groep zodat geldt n 1 = n 2 = 5 en n 3 = 4. De geregistreerde tekstbegripscores staan in de onderstaande tabel vermeld. Tabel Tekstbegripscores voor leerlingen met leesmoeilijkheden Onderwijsmethode Onderwijsmethode Onderwijsmethode Getoetst wordt de nulhypothese dat de lesmethoden niet verschillen qua behaalde leesvaardigheidscore tegen het alternatief dat dit wel het geval is, c.q. de verschillen in leesvaardigheidscore zijn toe te schrijven aan steekproeffluctuaties of zij worden veroorzaakt door de verschillende onderwijsmethoden. Toetsingsgrootheid In het algemeen worden bij de Kruskal-Wallis dus k onafhankelijke steekproeven getrokken. De omvang van elke steekproef kunnen we aangeven met n i (i = 1, 2,..., k). Onder de nulhypothese zijn deze k steekproeven identiek verdeeld en onder de alternatieve hypothese is dit niet het geval, de verdeling betreft hier dus het aandeel scores rond de mediaan per steekproef naar rangorde. Dit betekent dat de k steekproeven onder de nulhypothese feitelijk uit één en dezelfde populatie komen en dat ze ook opgevat kunnen worden als één aselecte steekproef van omvang n = n i uit deze populatie. Hieruit volgt dat alle theoretisch mogelijke rangordeningen van de n steekproefwaarnemingen onder H 0 even waarschijnlijk zijn. Hoge en lage rangnummers zullen dus volgens toeval verdeeld zijn over de k steekproeven wanneer de n waarnemingen uit de k steekproeven gerangordend worden van 1 tot en met n. Dit heeft tot gevolg dat het gemiddelde rangnummer per steekproef ongeveer gelijk zal zijn aan het gemiddelde rangordenummer van de n gezamenlijke waarnemingen. Het laatste gemiddelde is gelijk aan ( n) / n = n (n+1) / 2n = (n + 1) / 2. Wanneer de som van de rangordenummers in steekproef i (i = 1, 2,..., k) aangegeven wordt met R i is het gemiddelde van de rangnummers in deze steek-

16 272 proef gelijk aan R i / n i. Onder de nulhypothese geldt dus dat R i / n i ongeveer gelijk is aan (n + 1) / 2 voor i = 1, 2,..., k. De toetsingsgrootheid wordt daarom gebaseerd op de verschillen R i / n i - (n+1) / 2. Om de toetsingsgrootheid te bepalen wordt nu, net zoals in de variantie-analyse, de som van de met de steekproefomvang n i gewogen gekwadrateerde verschillen tussen de steekproefgemiddelden en het algemeen gemiddelde als basis voor de toetsingsgrootheid gekozen: Alleen worden de gemiddelden, anders dan in de variantie-analyse, berekend op de rangnummers. Naarmate D groter is, wordt het onwaarschijnlijker dat de steekproeven uit één en dezelfde populatie komen. Gelukkig kunnen we de bovenstaande formule ook makkelijker schrijven (d.w.z.: op een manier die minder reken werk vraagt) als: 2 2 Ri n(n+1) (13.6) ni 4 D= = Om nu te bereiken dat de steekproevenverdeling van de toetsingsgrootheid voor voldoende grote waarden van n 1, n 2,..., n k met een eenvoudige verdeling te benaderen is moet D nog gedeeld worden door de constante n (n + 1) / 12. Dit geeft de uiteindelijke toetsingsgrootheid van Kruskal-Wallis: D 12 R H= = -3(n+1) n(n+1) n(n+1) 12 2 i (13.7) ni 2 R 1 i i* *( 1) (13.8) D = n n + ni 2 In deze formule is: k: het aantal steekproeven; n i : het aantal waarnemingen in steekproef i; n = Σ n i : het totaal aantal waarnemingen in de k steekproeven; R i : de som van de rangnummers in steekproef i.

17 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN De berekening van de toetsingsgrootheid H verloopt stapsgewijs als volgt: 1) voorzie de n 1 + n n k = n waarnemingen uit de k onafhankelijke steekproeven van rangnummers 1 tot en met n; 2) bepaal voor i = 1, 2,..., k de som van de rangnummers R i in de i-de steekproef; 3) bereken H met formule: vermenigvuldig het aantal waarnemingen met het aantal waarnemingen plus één. Deel twaalf door dit getal en onthoud het. Bereken per conditie de som van de rangnummers, kwadrateer deze som, en deel door het aantal waarnemingen in die conditie, en sommeer de verkregen getallen over de condities. Vermenigvuldig dit getal met het getal dat je zojuist onthouden hebt. En tot slot moet je hier drie maal het totaal aantal waarnemingen plus één van af halen. De nulhypothese dat de drie lesmethoden niet in effectiviteit van elkaar verschillen wordt met de toets van Kruskal-Wallis getoetst tegen het alternatief dat dit wel het geval is. We rangordenen daarom eerst de verschillende waarnemingen: Methode 1 Methode 2 Methode R 1 = 46 R 2 = 35 R 3 = 24 n 1 = 5 n 2 = 5 n 3 = 4 Nu kunnen we H uitrekenen: H= * *15=0.6*( )-45= * De toetsingsgrootheid H heeft een 2 -verdeling met k - 1 vrijheidsgraden, zodat we in de tabel voor de chi-kwadraat de kans kunnen opzoeken op deze resultaten onder de aanname dat H 0 juist is. Als we 3.73 opzoeken bij twee vrijheidsgraden, dan zien we dat deze kans kleiner is dan.25, maar groter dan.10. H 0 mag duidelijk niet verworpen worden. Immers, het is niet onwaarschijnlijk dat we een dergelijke steekproefuitkomst vinden indien H 0 juist is. We moeten concluderen dat de verschillen tussen R 1, R 2 en R 3 het gevolg zijn van toevallige steekproeffluctuaties.

18 Kruskall-Wallis in SPSS Een heel gedoe, wat in SPSS veel makkelijker gaat. We hebben een datafile nodig met: het respondentnummer (RESPON), een code voor de conditie (CONDIT) en de SCORE. Bij ANALYZE, NONPARAMETRIC TESTS, kiezen we voor K INDEPENDENT SAMPLES. Zoals gewoonlijk moeten we weer aangeven wat de afhankelijke en wat de onafhankelijke variabele is. En, we moeten even aangeven wat de minimale en de maximale waarde is voor de onafhankelijke (of groeperingsvariabele). Als je nog descriptives wilt, dan moet je even via options gaan, (dat is wel makkelijker voor de interpretatie. Anders druk je gewoon op OK. We geven de output van deze analyse zonder verder commentaar. Kruskal-Wallis Test Ranks Conditie N Mean Rank Oordeel Total 14 Test Statistics a,b Score Chi-Square df 2 Asymp. Sig..494 a. Kruskal Wallis Test b. Grouping Variable: Conditie

19 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN De toets van Friedman De toets van Kruskal-Wallis wordt gebruikt om na te gaan of k behandelingen of experimentele condities van elkaar verschillen. Hiertoe worden voor i (i = 1, 2,..., k) aselect n i proefpersonen aan conditie i toegewezen. Door de aselecte toewijzing zijn de waarnemingen niet alleen binnen één conditie, maar ook tussen de verschillende condities onafhankelijk van elkaar. Dit betekent dat alle waarnemingen uit k condities met elkaar vergeleken kunnen worden. Bij de Kruskal-Wallis gebeurt dat door de waarnemingen te rangordenen van 1 tot en met n. Wanneer de proefpersonen voor de behandeling niet te veel van elkaar verschillen op de onderzoeksvariabele, ligt het voor de hand verschillen na de behandelingen te interpreteren als behandelingseffecten. Door de proefpersonen aselect aan de k behandelingen toe te wijzen wordt een systematische vertekening van de onderzoeksresultaten door de betrekkelijk geringe individuele verschillen voorkomen. Wanneer de proefpersonen voor de behandeling wel sterk variëren in hun scores op de onderzoeksvariabele, wordt de bij Kruskal-Wallis gehanteerde experimentele opzet minder effectief. Het aselect toewijzen van de proefpersonen aan de k behandelingen kan niet voorkomen dat bestaande verschillen tussen de behandelingen niet opvallen door de grote variatie in scores van de proefpersonen die in eenzelfde conditie thuishoren. In dergelijke gevallen kan de analyse verscherpt worden door de proefpersonen in subgroepen te verdelen die zo homogeen mogelijk zijn met betrekking tot de onderzoeksvariabele (matchen). Dergelijke homogene subgroepen worden blokken genoemd. Wanneer k behandelingen worden vergeleken zal een blok gewoonlijk uit k proefpersonen bestaan. De k behandelingen worden dan aselect aan de proefpersonen toegewezen. Deze onderzoeksopzet wordt een aselect blokontwerp (randomized block design) genoemd. De behandelingen worden nu alleen binnen een blok met elkaar vergeleken door ze van 1 tot en met k te ordenen. De toets van Friedman wordt op deze bloksgewijze rangordeningen gebaseerd. Kruskal-Wallis komt niet als analysetechniek in aanmerking, want die is gebaseerd op de rangordening van alle waarnemingen van 1 tot en met n. Een blok kan uit één persoon bestaan, die alle k behandelingen ondergaat en zo k herhaalde metingen oplevert. Stel dat men de effectiviteit van drie verschillende slaapmiddelen wil onderzoeken. Om het effect van individuele verschillen te elimineren krijgt iedere proefpersoon achtereenvolgens alle drie de slaapmiddelen toegediend. Een blok bestaat nu uit drie herhaalde metingen aan dezelfde proefpersoon. Om volgorde effecten te voorkomen wordt nu de volgorde waarin de behandelingen toegediend worden aselect gekozen. Sterke individuele verschillen in scores op de onderzoeksvariabele worden meestal veroorzaakt door verschillen op achtergrondvariabelen die samenhangen met de onderzoeksvariabele. Variabelen op grond waarvan homogene blokken gevormd kunnen worden zijn bij voorbeeld: leeftijd, intelligentie en sekse. Door bij voorbeeld blokken te vormen van proefpersonen die ongeveer even oud zijn en die bloksgewijs te analyseren, wordt de invloed van de variabele leeftijd op de onderzoeksvariabele geneutraliseerd.

20 276 Omdat de verdelingsvrije toets van Friedman wordt uitgevoerd op per blok gerangordende waarnemingen is een ordinale meetschaal voldoende. Wanneer er op intervalniveau gemeten wordt, kan de experimentele opzet ook met een éénwegsvariantieanalyse met herhaalde waarnemingen geanalyseerd worden, als tenminste aan de vereiste verdelingsvoorwaarden is voldaan. Friedman vormt een verdelingsvrij alternatief voor de variantie-analyse. Net zoals Kruskal-Wallis is Friedman in wezen een variantie-analyse op gemiddelde rangnummers in plaats van gewone gemiddelden. Als er slechts twee condities vergeleken worden (k = 2) is de toets van Friedman gelijkwaardig met de tweezijdige tekentoets voor gematchte paren of herhaalde metingen. Zoals Kruskal-Wallis een generalisatie is van de toets van Wilcoxon voor meer dan twee onafhankelijke steekproeven, is Friedman een generalisatie van de tekentoets voor meer dan twee afhankelijke steekproeven. Het volgende voorbeeld is een variant van het vorige bij de toets van Kruskal- Wallis, en het zal met behulp van de toets van Friedman geanalyseerd worden. Uit een populatie van leerlingen met leesmoeilijkheden wordt een aselecte steekproef van 15 leerlingen getrokken. Men wil de effectiviteit van verschillende onderwijsmethoden vergelijken in termen van leesvaardigheidscores. Omdat de leerlingen nogal verschillen in leeftijd en de factor leeftijd mede bepalend is voor het ingeroest zijn van oude (en foute) leesstrategieën, worden ze verdeeld in vijf blokken van elk drie leerlingen die met betrekking tot de variabele leeftijd homogeen zijn. Blok één bevat de drie jongste leerlingen en blok vijf bevat de drie oudste leerlingen. Op deze wijze wordt het effect van de factor leeftijd tot een minimum teruggebracht. In ieder blok worden de drie onderwijsmethoden aselect aan de drie leerlingen gegeven. De geregistreerde scores op de tekstbegriptoetsen staan in de onderstaande Tabel Getoetst wordt de nulhypothese dat de onderwijsmethoden geen verschillen in mediane leesvaardigheid te zien geven tegen de alternatieve hypothese dat dit wel het geval is. Tabel 13.8 Leesvaardigheidsscores na drie onderwijsmethoden. Onderwijsmethode Blok Met het aselecte blokkenontwerp kan nagegaan worden of k experimentele condities of behandelingen van elkaar verschillen. Hiertoe worden nk proefpersonen verdeeld in n blokken van k proefpersonen. De blokken worden door te matchen zo samengesteld dat ze zo homogeen mogelijk zijn met betrekking tot een achtergrondvariabele die een duidelijke samenhang vertoont met de onderzoeksvariabele. Door de gegevens bloksgewijs te analyseren wordt de invloed van de achter-

21 HOOFDSTUK 13: NON-PARAMETRISCHE TOETSEN grondvariabele tot een minimum teruggebracht. Binnen een blok worden de k behandelingen aselect toegewezen aan de k proefpersonen. Het aselecte blokontwerp kan ook gebruikt worden om alle individuele verschillen tussen proefpersonen uit te schakelen. In dat geval worden n proefpersonen k keer herhaald gemeten zodat ieder van de n proefpersonen aan alle k behandelingen onderworpen wordt. De k metingen aan één proefpersoon vormen een blok. Om volgorde effecten te vermijden wordt nu de volgorde waarin de k behandelingen aan de proefpersoon worden toegediend aselect gekozen. In beide gevallen worden de waarnemingen binnen ieder blok gerangordend van 1 tot en met k. In Tabel 13.8 is dit schematisch weergegeven. De rijen zijn de blokken en de kolommen de behandelingen. R ij is het rangnummer dat toegekend wordt aan de proefpersoon die in het i-de blok de j-de behandeling heeft ondergaan. In ieder blok wordt gerangnummerd van 1 tot en met k zodat de rijtotalen gelijk zijn aan k = k(k + 1) / 2. De som van de rangnummers in de j-de kolom wordt weer aangegeven met R j. Tabel N rangordeningen van k behandelingen. Behandeling Blok 1 2 j K 1 R 11 R 12 R 1j R 1k k (k + 1) / 2 2 R 21 R 22 R 2j R 2k k (k + 1) / 2 i R i1 R i2 R ij R ik k (k + 1) / 2 n R n1 R n2 R nj R nk k (k + 1) / 2 Rangsom R 1 R 2 R j Rk nk (k + 1) / 2 Gemiddelde R 1 / n R 2 / n R j / n R k / n k (k + 1) / 2 Onder de nulhypothese verschillen de effecten van de k behandelingen niet van elkaar. Dit heeft tot gevolg dat binnen ieder blok de ordening van de k waarnemingen over de behandelingen toevallig is. Onder H 0 vormen de rangnummers binnen een blok willekeurige permutatie van getallen 1 tot en met k, waarbij alle mogelijke permutaties even waarschijnlijk zijn. Dit betekent dat, wanneer er behandelingsgewijs gekeken wordt, de rangsommen R j en dus ook de gemiddelden van de rangnummers per kolom R j / n ongeveer aan elkaar gelijk moeten zijn. De gemiddelden variëren slechts volgens het toeval en niet systematisch. Bovendien zal het gemiddelde rangnummer R j / n van behandeling j (j = 1, 2,... k) ongeveer gelijk moeten zijn aan het algemeen gemiddelde rangnummer nk (k + 1) / 2k = (k + 1) / 2. Als basis voor de toetsingsgrootheid kan dus, net zoals bij de Kruskal-Wallis, de grootheid Rj k 1 2 n ( + ) (13.9) n 2

22 278 gebruikt worden. Na enig rekenwerk blijkt dat we deze vergelijking eenvoudiger kunnen schrijven als: 2 2 Rj- n*k(k+1) (13.10) 1 1 n 4 Om een toetsingsgrootheid te krijgen waarvan de steekproefverdeling voor voldoende grote n en k benaderd mag worden met een chi-kwadraat verdeling moet deze uitdrukking nog met de factor 12 / (k (k + 1)) vermenigvuldigd worden. Het resultaat is de toetsingsgrootheid Q van Friedman: 12 Q= R -3n(k+1) 2 (13.11) j nk(k+1) Waarbij Q χ 2 verdeeld is, met k - 1 vrijheidsgraden, zodat we wederom Bijlage D kunnen raadplegen ter bepaling van de overschrijdingskans. In deze formule is: k: het aantal experimentele condities of behandelingen; n: het aantal blokken; R j : de som van de rangnummers bij behandeling j. De berekening van de toetsingsgrootheid Q verloopt stapsgewijs als volgt: 1) rangnummer de waarnemingen binnen ieder blok van 1 tot en met k; 2) bepaal voor j = 1, 2,..., k de som van de rangnummers R j behorend bij de j-de behandeling; 3) bereken Q met formule 10: bereken het aantal condities vermenigvuldigd met het aantal blokken (nk), vermenigvuldig dit met het aantal condities plus één. Deel 12 door het verkregen getal en onthoud het resultaat. Bereken per conditie de som van de rangnummers, kwadrateer deze en sommeer deze kwadraten over condities. vermenigvuldig de gesommeerde kwadraten met het zojuist onthouden getal. Trek van de uitkomst af drie keer het aantal blokken maal het aantal condities plus één. Als alle R j gelijk zijn is Q gelijk aan nul. Naarmate de R j meer van elkaar verschillen wordt Q groter. Slechts voldoende grote waarden van Q kunnen tot verwerping van de nulhypothese leiden. Wanneer H 0 waar is zal Q gewoonlijk niet precies gelijk zijn aan nul, want er bestaan door het toeval niet systematische verschillen tussen de R j. Terug naar het voorbeeld. De nulhypothese dat de drie behandelingen geen verschillen in leesvaardigheid laten zien wordt getoetst met de toets van Friedman tegen de alternatieve hypothese dat dit wel het geval is. In Tabel 13.9 zijn de waarnemingen uit Tabel 13.8 voorzien van rangnummers en zijn de rangsommen R j per behandeling bepaald. Het aantal behandelingen is gelijk aan drie en het aantal blokken is gelijk aan vijf.