Parametervrije toetsen

Transcriptie

1 1 Inleiding Parametervrije toetsen Edward Omey Februari 2007 In de klassieke toetsingstheorie worden meestal speci eke veronderstellingen gemaakt over de populatie(s) waaruit steekproeven afkomstig zijn. Men veronderstelt bijvoorbeeld dat de (kans-)verdeling die de populatie beschrijft, op één of meerdere parameters na bekend is. Via een steekproef kan men dan hypothesen toetsen aangaande deze parameters. De klassieke t-toets en F-toets zijn daar voorbeelden van. In andere situaties is het niet steeds mogelijk of zinvol om veronderstellingen te maken over de onderliggende verdeling. In dit geval moeten toetsingsgrootheden geformuleerd worden waarvan de verdeling kan bepaald worden onafhankelijk van de onderliggende verdeling. Dergelijke toetsen worden verdelingsvrije of parametervrije toetsen genoemd. Verdelingsvrije toetsen worden soms gebruikt vanwege de eenvoud van de methode (terwijl er andere parametertoetsen beschikbaar zijn). In het volgend schema volgt een overzicht van veelgebruikte parametervrije toetsen. De indeling gebeurt op basis van het meetniveau en van het aantal dimensies. Het is uiteraard onmogelijk om al deze toetsen hier te bespreken. In de volgende paragrafen volgt de bespreking van enkele van deze toesen. 1.1 Nominaal Eén steekproef De binomiale test en de chikadraat test Twee steekproeven gepaard: McNemar test (chikwadraattoets) ongepaard: Fisher test en de chikwadraat test 1

2 1.1.3 k steekproeven gepaard: Cochran Q test ongepaard: chikwadraat test 1.2 Ordinaal Eén steekproef Kolmogorov-Smirnov test en de runs-test Twee steekproeven gepaard: tekentoets en Wilcoxon rangtest ongepaard: Mediaan test, Mann-Withney U test, Kolmogorov-Smirnov test, runs-tests k steekproeven gepaard: Friedman test ongepaard: Kruskal-Wallis test 1.3 Interval Eén steekproef Twee steekproeven gepaard: Walsh test ongepaard: randomization test k steekproeven 1.4 Correlatietoetsen nominaal de contingentie coe cient 2

3 1.4.2 Ordinaal Spearman rang correlatie, Kendall rangcorrelatie 2 De binomiaaltoets 2.1 Doel Deze toets wordt gebruikt in populaties met slechts twéé klassen: mannen - vrouwen; gehuwd - single; succes - mislukking; slagen - niet slagen; enzovoort. De toets is een toets omtrent aantallen of omtrent proporties van de vorm H 0 : p = p 0 versus H a : p 6= p 0 Hier kan uiteraard ook een eenzijdig alternatief staan. De toets zelf vormt de basis van vele andere toetsen. 2.2 Toetsingsgrootheid Via een steekproef van omvang n bepalen we het aantal successen N en/of de steekproefproportie bp = N=n. Als de nulhypothese correct is vinden we dat N s BIN(n; p 0 ) en kunnen kansen berekend worden. Voor grote steekproeven kan deze verdeling benaderd worden door een geschikte normale verdeling. 2.3 Voorbeelden Voorbeeld 1 Aan n = 18 mensen werden twee reclamepanelen A en B getoond en gevraagd naar hun voorkeur. Er waren N A = 3 mensen die A verkozen boven B. We toetsen hier of er een betekenisvolle voorkeur is voor B: H 0 : p B = 0; 5 versus H a : p B > 0; 5 Om te kiezen berekenen we de overschrijdingskans van N B = 15. We vinden P (N B 15) = 0; 003 Bij bijv. een betrouwbaarheid van 95% besluiten we dat er een betekenisvolle voorkeur is voor B. 3

4 Voorbeeld 2 Bij 144 hondenraces (8 honden in 8 banen) werd vastgesteld dat in 25 gevallen de hond die startte in baan 1 ook de winnaar werd. Is dit betekenisvol meer dan de verwachte 1/8? We toetsen hier H 0 : p 1 = 1=8 versus H a : p 1 > 1=8 De overschrijdingskans van het steekproefresultaat is hier P (N 1 25) = P (N 1 24; 5) Standardiseren geeft P (Z > 1; 637 = 0; 051. Bij = 0; 05 verwerpen we H 0 niet; bij = 0; 10 verwerpen we H 0 wel. 3 De tekentoets 3.1 Doel De tekentoets is een toets omtrent de centrale ligging van de variabele en als maatstaf gebruikt men de mediaan M e. Indien de verdeling symmetrisch is, dan is de mediaan uiteraard gelijk aan het gemiddelde. We willen hypothesen toetsen van de vorm H 0 : Me = a versus H a : Me 6= a UIteraard kan ook een eenzijdig alternatief geformuleerd worden. 3.2 Veronderstellingen We veronderstellen dat de onderliggende verdeling continu is 3.3 Toetsingsgrootheid Via een steekproef X 1 ; X 2 ; :::; X n bepalen we Z i als volgt: Z i = 1 als X i > a Z i = 0 als X i < a 4

5 Omdat X een continue t.v. is, is P (X = a) = 0. We kiezen dus Z i = 1 indien het teken van X i a positief is - vandaar de naam tekentoets!. Als toetsingsgrootheid hanteren we nu T n = Z 1 + Z 2 + ::: + Z n Onder H 0 bemerken we dat P (Z i = 1) = 1=2. Omdat het over een steeproef gaat, volgt hieruit dat T n v BIN(p = 1=2; n) en kunnen we kritieke grenzen bepalen en/of overschrijdingskansen berekenen. Voor kleine steekproeven zijn tabellen beschikbaar met daarin de kritieke grenzen. Voor grote steekproeven kunnen we de binomiale verdeling benaderen met een geschikte normale verdeling. 3.4 Voorbeelden Voorbeeld 1 Men wil nagaan of een bepaald middel het gewicht doet afnemen. Bij 20 proefpersonen vond men dat het gewicht bij 13 personen na het volgen van de kuur kleiner was geworden. We bekijken hier X = het gewicht voor de kuur, Y = het gewicht na de kuur en W = X Y. Het is wenselijk dat W positief is. We toetsen H 0 : Me(W ) = 0 versus H a : Me(W ) > 0 Onze toetsingsgrootheid is gelijk aan T n = 13. Indien H 0 correct is, dan is T n s BIN(p = 1=2; n = 20). We berekenen de overschrijdingskans van het steekproefresultaat en vinden P (T n 13) = 0; 14. Bij een signi cantieniveau van bijvoorbeeld = 10% verwerpen we H a. Voorbeeld 2 We meten het gehalte van een bepaalde stof in 10 monsters van een produkt. De meting is gedaan volgens 2 methoden A en B. We vinden: monsternummer meth. A meth. B teken verschil (A - B) 1 5,5 6,0-2 2,8 3,4-5

6 3 4,9 5,5-4 4,5 5,2-5 5,0 5,4-6 3,7 3, ,1 5,6-8 3,3 3,8-9 2,3 2, ,1 6,0 - We willen nagaan of er een verschil is tussen de twee methoden. De toetsingsgrootheid is hier T n = 2 en T n s BIN(p = 1=2; n = 10). De overschrijdingskans van 2 is gelijk aan P (T n 2) = 0; 054. Met bijvoorbeeld = 0; 10 is er geen betekenisvol verschil tussen de methoden. Opmerking Bij de tekentoets bekijken we enkelhet teken van het veschil. In andere toetsen kijkt men ook naar de grootte van de verschillen. Voorbeeld 3 Zie animatie EXCEL 4 Kolmogorov-Smirnov toets (1 st.pr) 4.1 Doel De KS (één steekproef) toets is een "goodness of t"- test waarbij nagegaan wordt in welk mate de empirische verdelingsfunctie (via een steekproef) aansluit bij een speci eke theoretische verdelingsfunctie. Hier toetsen we H 0 : de observaties zijn afkomstig van F t (x) H a : de observaties zijn niet afkomstig van F t (x) 4.2 Veronderstellingen Men veronderstelt meestal dat de theoretische verdelingsfunctie een continue functie is. In elk geval moet er een eenduidige transformatie zijn van F t (x) naar de uniforme verdelingsfunctie (dit is F u (x) = x; 0 x 1). Verder zijn de bekende kritische waarden alleen bruikbaar als F t (x) volledig gekend is (en dat er dus gvooraf geen parameters moeten geschat worden). 6

7 4.3 Toetsingsgrootheid De toetsingsgrootheid is de Kolmogorov-Smirnov statistiek KS = max jev F (x) x F t (x)j waarbij EV F (x) de empirische verdelingsfunctie is,dit is EV F (x) = 1 # fobservaties xg n Indien H 0 correct is, dan verwachten we dat er geen al te groot verschil is tussen de theoretische verdeling en de geöbserveerde empirische verdeling. Omgekeerd, indien KS "groot" is, dan verwachten we dat H 0 vals is. Voor kleine steekproeven zijn tabellen met kritische waarden beschikbaar. Voor grote steekproeven gebruiken we de kritische grens D() = p ( ln(=2))=2n Voor = 5% vinden we bijvoorbeeld D(5%) = 1:358= p n. 4.4 Voorbeeld ZIE EXCEL ANIMATIE Ik noteerde de dagelijkse return van een aandeel gedurende 2 jaar (582) dagen.. * histogram van de returns; * we testen of de return mag gemodelleerd worden met een normale N( = 0; = 0; 003) en vinden de EVF en TVF; * de berekende waarde van KS is KS = 0,16 en dit toont dat er een betekenisvol verschil is tussen de praktijk en de theorie. Opmerking Vooral het gedrag van de EVF in de buurt van 0 zorgt voor problemen: de return is heel dikwijls nul en dit is nietin overeenstemming met wat men volgens een normale verdeling kan verwachten. 5 Kolmogorov-Smirnov toets (2 onafh. stpr) 5.1 Doel De bedoeling is hier m na te gaan of twee onafhankelijke steekproeven al dan niet steekproeven zijn uit dezelfde populatie (verdeling). De toets is dus 7

8 een globale toets en er wordt niet alleen gekeken naar gemiddelden en/of varianties, maar ook naar de ligging en vorm. Hier toetsen we H 0 : de steekproeven zijn beide afkomstig van F t (x) H a : de steekproeven zijn niet beide afkomstig van F t (x) Er kunnen ook eenzijdige alternatieven geformuleerd worden maar in deze tekst geen we daar niet dieper op in. 5.2 Veronderstellingen Men veronderstelt meestal dat de theoretische verdelingsfunctie een continue functie is. In elk geval moet er een eenduidige transformatie zijn van F t (x) naar de uniforme verdelingsfunctie (dit is F u (x) = x; 0 x 1). 5.3 Toetsingsgrootheid De toetsingsgrootheid is de Kolmogorov-Smirnov statistiek KS = max jev F 1 (x) x EV F 2 (x)j waarbij EV F i (x); i = 1; 2 de empirische verdelingsfunctie is. Indien H 0 correct is, dan verwachten we dat er geen al te groot verschil is tussen de theoretische verdeling en de geöbserveerde empirische verdeling. Omgekeerd, indien KS "groot" is, dan verwachten we dat H 0 vals is. Voor kleine steekproeven zijn tabellen met kritische waarden beschikbaar. Voor grote steekproeven gebruiken we de volgende kristische grenzne r n1 + n 2 grens( = 0; 05) = 1; 36 n 1 n r 2 n1 + n 2 grens( = 0; 01) = 1; 63 n 1 n 2 Opmerking. Voor grote steekproeven kan men aantonen dat D = 4KS 2 n 1 n 2 n 1 + n 2 t 2 2 8

9 5.4 Voorbeeld ZIE EXCEL ANIMATIE Een aantal proefpersonen werden op basis van een psychologische test in twee groepen A en B verdeeld. Aan de groepen werd een reeks van 20 foto s van voorwerpen getoond. Later moesten alle deelnemers een lijst schrijven van voorwerpen die ze gezien hadden. Via een excelblad vinden we KS = 0; 72. Bij = 0; 05 vinden we de kritische grens 0; 269 wat wijst op een signi - cant verschil: 6 De rangtekentoets van Wilcoxon 6.1 Doel Zoals de tekentoets is deze toets een toets omtrent de centrale waarde van de onderliggende (continue) verdeling. De toets is een ver jning van de tekentoets We toetsen hier (bijvoorbeeld) H 0 : = a versus H a : 6= a Bij de tekentoets is enkel het teken van het verschil belangrijk. Bij de toets van Wilcoxon is ook de grootte-orde van de getallen belangrijk. 6.2 Toetsingsgrootheid Via een steekproef X 1 ; X 2 ; :::; X n bepalen we Z i als volgt: Z i = 1 als X i > a Z i = 0 als X i < a Omdat X een continue t.v. is, is P (X = a) = 0. Daarnaast berekenen we eveneens de absolute verschillen V i = jx i aj en rangschikken deze van klein naar groot. Vervolgens geven we in deze rangschikking aan elke uitkomst een rangnummer R i gaande van 1 tot en met n. We voorzien nu de rangnummers van het teken van het oorspronkelijke verschil en maken de som S van de positieve rangnummers: S = X R i Z i 9

10 Onder de nulhypothese is S symmetrisch verdeeld. De kleinste waarde is gelijk aan 0 en de grootste mogelijke waarde is gelijk aan n(n + 1)=2. Men kan aantonen dat E(S j H 0 ) = 1 n(n + 1) 4 V ar(s j H 0 ) = 1 n(n + 1)(2n + 1) 24 Voor kleine steekproeven zijn tabellen met kritische grenzen beschikbaar; voor grote steekproeven kan men werken met een geschikte normale benadering. ZIE EXCEL ANIMATIE Opmerkingen Soms gebruikt men in de plaats van S de toetsingsgrootheid S waarbij S = S = P R i Z i, waarbij Z i = +1 als X i > a en Z i = 1 als X i < a. Men kan controleren dat S = 2S n(n + 1)=2. Soms maakt men de som van de rangnummers bij de positieve verschillen en de som van de rangnummers bij de negatieve verschillen. Als toetsingsgrootheid neemt men nu de kleinste van deze twee rangsommen. 6.3 Voorbeeld Men test het reactievermogen van automobilisten voor en na het gebruik van een bepaalde hoeveelheid alcohol en men vond de volgende verschillen: 0; 1 0; 2 0; 35 0; 6 0; 4 1; 1 0; 3 0; 05 0; 45 0; 5 0; 8 0; De som van de positieve rangnummers is gelijk aan: = 66 De overschrijdingskans van dit getal is ongeveer 0,015 en we besluiten (bij = 5%) dat alcohol de reacties ernstig aantast. 7 De 2 steekproeventoets van Wilcoxon 7.1 Doel In deze toets wensen we na te gaan of twee ongepaarde steekproeven uit dezelfde populatie (verdeling) komen en meer speci ek of ze rond dezelfde 10

11 centrale waarde kunnen gesitueerd worden. Indien X en Y twee (onafhankelijke) continue t.v. zijn en als P (Y x) = P (X a x), dan toetsen we 7.2 Toetsingsgrootheid H 0 : a = 0 versus H a : a 6= 0 Via twee steekproeven X 1 ; X 2 ; :::; X n en Y 1 ; Y 2 ; :::; Y m vormen we één cijferreeks en rangschikken van klein naar groot. Vervolgens kennen we aan alle uitkomsten een rangnummer toe (gaande van 1 tot n + m). We berekenen nu S = som van de rangnummers van de X en of 1 U = S n(n + 1) 2 Indien de nulhypothese juist is kan men aantonen dat S een symmetrische verdeling heeft met E(S) = 1 n(n + m + 1) 2 V ar(s) = nm(n + m + 1) 12 Voor U kan men aantonen dat onder de nulhypothese, V ar(u) = V ar(s) en E(U) = nm=2. We kunnen kritische waarden vinden in tabellen (n klein) of via de normale benadering (n groot). 7.3 Voorbeeld zie EXCEL:twee voorbeelden 8 Mann-Whitney U test (onafh. stpr) 8.1 Doel Bij deze test gaan we na in hoeverre de scores in 2 groepen (de experimentele groep E en de controlegroep C) van elkaar verschillen. In de nulhypothese gaan we er van uit dat de scores steekproeven zijn uit dezelfde 11

12 populatie/verdeling. In het alternatief gaan we er van uit dat er een verschil (eenzijdig: de ene groep scoort hoger dan de andere groep; tweezijdig: er is een verschil). 8.2 Toetsingsgrootheid Stel dat we van 2 groepen C en E (van grootte m(c) n(e)) de scores krijgen. We groeperen alle data maar onthouden welk cijfer afkomstig is van welke groep. Vervolgens geven we een rangnummer aan alle cijfers (van klein naar groot). Vervolgens tellen we U(C) = aantal C-rangnummers kleiner dan E-rangnummers of U(E) = aantal E-rangnummers kleiner dan C-rangnummers We stellen U = min(u(e); U(C)) en V = max(u(e); U(C)). Eenvoudiger is om de volgende aantallen te tellen of R(E) = som van de rangnummers van de E-groep R(C) = som van de rangnummers van de C-groep Men kan aantonen dat U + V = U(E) + U(C) = n(c) n(e) en dat U(E) = n(e)n(c) + n(e)(n(e) + 1) 2 R(E) waarbij R(E) gelijk is aan de som van de rangnummers van de groep E. Een analoge uitdrukking geldt ook voor U(C). Wanneer de twee groepen gelijkaardig zijn (d.i. wanneer H 0 correct is) dan verwachten we dat hoge/lage scores mooi verdeeld liggen over de twee groepen. Voor kleine steekproeven zijn er tabellen met kritische waarden beschikbaar. Voor grote steekproeven kan men aantonen dat U(E) bij benadering normaal verdeeld is met = n(e)m(c) 2 2 n(e)n(c)(n(e) + n(c) + 1) = 12 12

13 8.3 Voorbeeld We beschikken over 2 groepen en de volgende scores: groep E: groep C: Rangschikken van klein naar groot geeft: score groep rangnummer 8 C 1 9 E 2 12 E 3 15 C 4 17 E 5 18 C 6 21 E 7 23 C 8 25 C 9 Bij de eerste rij zien we dat er geen enkele E komt voor C In de vierde rij zien we dat er 2 E-waarden komen voor C In de 6-de rij zien we dat er 3 E-waarden komen voor C in de 8-ste en 9-de rij zien we dat er 4 E-waarden komen voor C In totaal is U(E) = = 13. Op dezelfde manier vinden we dat U(C) = = 7 We vinden U = min(u(e); U(C)) = 7 en V = max(u(e); U(C)) = 13 zodat U + V = 20 = 4 5 Anderzijds is R(E) = = 17 en R(C) = = 28 en dit illustreert de formule n(e)(n(e) + 1) U(E) = n(e)n(c) + R(E) = = 13 2 In de tabellen vinden we dat P (U(C) 7) = 0; 278. Deze overschrijdingskans wijst niet op een signi cant verschil tussen de twee groepen. 9 Toets van Friedman (gepaard) 9.1 Doel Deze toets wordt gebruikt om na te gaan of m gepaarde steekproeven (van omvang k) van dezelfde populatie afkomstig zijn. We beschikken bijvoorbeeld 13

14 over k methoden om een bepaalde test of meting uit te voeren, en we voeren deze tests uit op m monsters. 9.2 Toetsingsgrootheid Per steekproef kennen we rangnummers (1; 2; :::; k) toe We berekenen dan R(i; j) = rangnummer van object j bij meting i R(j) = som van de rangnummers van object j R = gemiddelde van de rangsommen T = kx (R(j) j=1 R) 2 = toetsinsgrootheid Indien de "meningen" gelijklopend zijn, dan verwachten we dat T eerder klein zal zijn. Bij "uiteenlopende" meningen zal T eerder groot zijn. Opmerking. Als n > 3k en k > 7 kan men aantonen dat onder H 0 geldt dat 9.3 Voorbeeld D = 12T nk(k + 1) t 2 k 1 Bij een schoonheidswedstrijd worden k = 5 kandidaten (1, 2, 3, 4 en 5) gerangschikt door n = 7 juryleden. De meningen zijn de volgende: jurylid 1: jurylid 2: jurylid 3: jurylid 4: jurylid 5: jurylid 6: jurylid 7:

15 Volgens jurylid 1 is kandidaat 1 op de 2de plaats, kandidaat 2 op de 1ste plaats, kandidaat 3 op de 4de plaats enzovoort. De som van de rangnummers van de eerste kandidaat is R(1) = = 12 Voor de andere kandidaten vinden we De gemiddelde som is en nu vinden we R(2) = 12; R(3) = 24; R(4) = 27; R(5) = 30 R = 21 = 1 nk(k + 1)=k 2 T = = 288 Volgens de kritische waarde (tabellen) is T tabel (k = 5; n = 7; = 0; 05) = 167 en is er een signi cant verschil tussen de juryleden. 10 Toets van Kruskal en Wallis (onafh. stpr) 10.1 Doel Het doel van de toets van Kruskal en Wallis is na te gaan of 3 of meer onafhankelijke steekproeven afkomstig zijn uit dezelfde populatie (verdeling) Toetsingsgrootheid We vertrekken van k steekproeven van omvang n(1),n(2),..., n(k). Zoals bij Wilcoxon voegen we alle data bij elkaar en kennen een rangnummer toe aan elke waarneming. Vervolgens wordt voor elk van de verschillende steekproeven de som genomen van de rangnummers: R(i) = som van de rangnummers van steekproef i=1,2,...,k De toetsingsgrootheid is nu gelijk aan 12 kx T = n(n + 1) i=1 R 2 (i) n(i) 3(n + 1) waarbij n = n(1) + n(2) n(k). Voor k > 3 en n(i) > 4, kan de verdeling van T benaderd worden door een chikwadraatverdeling met parameter k

16 10.3 Voorbeeld zie EXCEL blad We krijgen 4 steekproeven A: B: C: D: We vinden R(1) = 40; R(2) = 55,5; R(3) = 97; R(4) = 60,5 Na rekenwerk vinden we T = 4,86.met een Okans van ongeveer 18%. 11 De runs-test van Wald-Wolfowitz 11.1 Doel De runs-test wordt gebruikt om na te gaan of 2 onafhankelijk genomen steekproeven afkomstig zijn van dezelfde continue populatie (verdeling). De toets is gevoelig voor de centrale ligging, voor de variantie en voor de vorm van de onderliggende verdeling(en) Toetsingsgrootheid Via twee steekproeven X 1 ; X 2 ; :::; X n (groep A) en Y 1 ; Y 2 ; :::; Y m (groep B) vormen we één cijferreeks en rangschikken van klein naar groot. We onthouden alleen uit welke groep elk resultaat afkomstig is. Vervolgens tellen we het aantal runs. Voorbeeld: groep A: groep B: Samenvoegen en rangschikken van klein naar groot: afkomstig uit resp. B B B A B A A We zien in dit voorbeeld eerst een run van B-waarden, dan een run van A, terug B en terug A. In totaal vinden we 4 runs. 16

17 De toetsingsgrootheid van Wald-Wolfowitz is gelijk aan R = het aantal runs Wanneer het aantal runs klein is, dan betekent dit dat er grote concentraties zijn van A en B-waarden en wijst dit op verschillen tussen de verdelingen. Voor kleine steekproeven zijn tabellen beschikbaar met kritische grenzen. Voor grote steekproeven kan men aantonen dat de verdeling van R kan benaderd worden door een normale verdeling met = 2nm n + m nm(2nm n m) = (n + m) 2 (n + m 1) Opmerking Naast runs kan men ook kijken naar "successen" en naar singles. Ook kan men de onafhankelijkheid afzwakken en verondertellen dat de opeenvolging van A een discrete Markovketen is Voorbeeld Zie excel In het voorbeeld vergelijk ik de (van nul verschillende) returns van een aandeel gedurende verschillende tijdsperiodes. De vraag rijst of de verdeling van deze returns verandert in de loop van de tijd. Het antwoord blijkt ja te zijn. 12 Referenties A. Grootenboer en A. Luiten (1978). Verdelingsvrije toetsen. Loghum Slaterus. Van Exploring Data Analysis: Hyperstat (on line cursus statistiek) B. Weaver (2002). Nonparametric Tests. 17

18 E. Omey en S. Van Gulck (2006). A Markov binomial dsitribution. Submitted. P. Sprent (1989). Applied nonparametric statistical methods. Chapman and Hall. S. Siegel en Castellan, N.J. (1988). Nonparametric statistics for the behavioral sciences. McGraw-Hill. 18