R Statistiek II

Transcriptie

1 R Statistiek II Inhoudstafel BASIS... 3 Centrummaten p R EN DE MEETNIVEAUS P ORDENINGSTECHNIEKEN P GRAFISCHE VOORSTELLINGEN P SPREIDINGSMATEN P ASSOCIATIEMATEN P DE BIJZONDERE KANSVERDELINGEN De binomiale verdeling p De normale verdeling p De χ²-verdeling p De Student verdeling of t-verdeling p De F-verdeling p PUNTSCHATTINGEN P TOETSEN VAN HYPOTHESES... 9 Toetsen van hypothese betreffende een verwachting p Toetsen van hypothese betreffende twee verwachtingen p Onafhankelijke steekproeven Afhankelijke steekproeven p Hypothese toetsen betreffende twee varianties p Hypothese toetsen betreffende een proportie - p Het toetsen van de normaliteit p POWER P Power bij het toetsen van een hypothese betreffende een proportie p Power bij het toetsen van een hypothese betreffende een verwachting p Power bij het toetsen van een hypothese betreffende twee verwachtingen afhankelijke steekproeven p Power bij het toetsen van een hypothese betreffende twee verwachtingen onafhankelijke steekproeven p Power van de toets van H0: β1= 0 p

2 Om de power van een ANOVA test te berekenen p DE FUNCTIE lm P De R functie summary - p Meervoudige lineaire regressie p DE FUNCTIE aggregate P DE FUNCTIE aov P Summary(myAOV) p POST HOC MEERVOUDIGE VERGELIJKINGEN P ENKELVOUDIGE VARIANTIE-ANALYSE ALS EEN LINEAIR MODEL P PEARSON S CHI-SQUARED TEST P EFFECTGROOTTE W P

3 BASIS Vector aanmaken: naamvector <- gegevens > mydata <- data.frame(score, iq, motivatie, geslacht, roken, opleiding, gewicht, lengte) > mydata score iq motivatie geslacht roken opleiding gewicht lengte V Neen psy V Neen psy M Neen ped M Neen psy Specifieke kolom (variabele) aanhalen: $ > mydata$gewicht [1] [20] Geslacht van de n-de persoon opvragen: [n] > mydata$geslacht [10] [1] M Levels: M V Grootte van het data frame opvragen: dim 30 staat voor steekproefgrootte en 8 staat voor aantal variabelen. > dim(mydata) [1] 30 8 Sommatie: sum Vierkantswortel trekken: sqrt Om een getal af te ronden: round > pi [1] 3, > round(pi, 4) [1] 3,1416 Voorwaarde geven: == Bv. Vector aanmaken met lengte van de mannen > lengtem <- sportdata$lengte[sportdata$geslacht == "M"] Lengte van een vector opvragen: length > length(lengtem) [1] 94 Eerste zes regels van het data frame opvragen: head > head(mydata) score iq motivatie geslacht roken opleiding gewicht lengte V Neen psy V Neen psy V Neen psy M Neen psy M Ja psy V Neen ped

4 Centrummaten p. 19 Gemiddelde: mean > mean(c(12, 13, 15, 7, 2, 200, 19, 15, 14, 16, 19)) [1] Mediaan: median > median(c(10, 15, 13, 17)) [1] 14 Modus: met table > table(mydata$geslacht) M V V is de modus R EN DE MEETNIVEAUS P. 11 Zeggen dat de getallen als niet-numeriek beschouwd moeten worden: factor > Tramnummer <- factor( c(1, 21, 22, 4, 22, 1, 4) ) De data ordenen: levels, ordered = TRUE Levels zijn de verschillende waarden in de vector. Ordered = TRUE om te zeggen dat de levels in de juiste volgorde staan. > uitslag <- factor( c("brons", "zilver", "goud", "zilver"), levels = c("brons", "zilver", "goud"), ordered = TRUE) > uitslag [1] brons zilver goud zilver Levels: brons < zilver < goud Om niet-numerieke data om te zetten naar numerieke niveaus: as.numeric > as.numeric(uitslag) [1] ORDENINGSTECHNIEKEN P. 16 Frequentieverdeling: table > table(bloeddruk$dosis) = de verschillende levels in de vector = de frequentie van elk level Relatieve frequentieverdeling: prop.table > prop.table(table(mydata$opleiding)) ped psy soc Bivariate frequentieverdeling: table > table( mydata$geslacht, mydata$opleiding) ped psy soc M V

5 GRAFISCHE VOORSTELLINGEN P. 17 Taartdiagram: pie > pie(x = c(10, 18, 2), labels = c( ped, psy, soc )) of _ > pie(table(mydata$opleiding)) Lijndiagram of staafdiagram: barplot > barplot(table(mydata$motivatie)) Histogram: hist > hist(x = mydata$gewicht) Zelf aantal klassen bepalen van histogram: breaks > hist(x = mydata$gewicht, breaks = 4) Spreidingsdiagram: plot > plot(x = mydata$gewicht, y = mydata$lengte) 5

6 Zelf de lengte van de assen bepalen: xlim en ylim > plot(x = mydata$gewicht, y = mydata$lengte, xlim = c(0,100), ylim =c(100, 200)) Boxplot: boxplot > boxplot(mydata$iq) of > boxplot(mydata)

7 SPREIDINGSMATEN P. 21 Variatiebreedte: max(mydata$x) min(mydata$x) > max(mydata$iq) - min(mydata$iq) [1] 63 Interkwartiele afstand: IQR > IQR(myData$iq) [1] 21 ASSOCIATIEMATEN P. 24 Correlatiecoëfficiënt van Pearson r xy : cor > cor(mydata$gewicht, mydata$lengte) [1] Correlatiecoëfficiënt van Kendall of Kendall s τ: cor Maar! duidelijk maken dat je Kendall wilt: method = kendall > cor(sportdata$leeftijd, sportdata$gewicht, method = "kendall")q [1] DE BIJZONDERE KANSVERDELINGEN 1. De binomiale verdeling p. 55 X B(n, ) dbinom: P(X B(n, ) = x) =? x = k (aantal keer dat gebeurtenis A zich realiseert) size = n (aantal herhalingen van het toevalsproces) prob = (de kans dat A zich realiseert) > dbinom(x=0, size=4, prob=1/3) [1] pbinom: P(X B(n, ) q) =? Sommeert alle kansen aan de linkerkant van 10, 10 inbegrepen > pbinom(q=10, size=20, prob=1/3) [1] Wanneer je niet de linkerstaart, maar de rechterstaart wilt weten: lower.tail = FALSE (10 uitgesloten) > pbinom(q=10, size=20, prob=1/3, lower.tail = FALSE) [1] Dit is dus hetzelfde als > 1 - pbinom(q=10, size=20, prob=1/3) [1]

8 qbinom: het omgekeerde van qbinom P(X B(n, ) q) = p Berekent welke waarde van k een bepaalde kans heeft aan zijn linkerkant. > qbinom(p=0.90, size=20, prob=1/3) [1] De normale verdeling p. 57 X ~ N(, ²) Functie is symmetrisch. pnorm: P(X N(, ²) x ) =? q = x (in 2.5) mean = sd = pas op! In 2.5 gebruikt men ², dus dat moet eerst nog omgerekend worden > pnorm(q=8, mean=10, sd=2) [1] qnorm: P(X N(, ²)? ) = p > qnorm(p=0.5, mean=10, sd=2) [1] De χ²-verdeling p. 59 X 1 N(0,1), X 2 N(0,1),..., X l N(0,1) zijn onafhankelijke standaardnormale variabelen Y = X 1 + X X l χ l Functie is niet symmetrisch. pchisq: P(Y χ 2 x) =? 10 > pchisq(q=5, df=10) [1] qchisq: P(Y χ 2? ) = p 10 > qchisq(p=0.10, df=20) [1] De Student verdeling of t-verdeling p X N(0,1) en Y zijn twee onafhankelijke toevalsvariabelen. χ l X T = t l Y/l Functie is symmetrisch. pt: P(Y t 10 x) =? > pt(q=1.3, df=10) [1] qt: P(Y t 10? ) = p > qt(p=0.15, df=10) [1]

9 5. De F-verdeling p X χ l1 en Y χ l2 zijn twee onafhankelijke toevalsvariabelen. X/l 1 F = Y/l 2 F l1,l 2 Functie is niet symmetrisch. pf: P(Y F 10,3 x) =? > pf(q=2, df1=10, df2=3) [1] qf: P(Y F 10,3? ) = p > qf(p=0.2, df1=10, df2=3) [1] PUNTSCHATTINGEN P. 74 var: om sx 2 te berekenen Uitkomst is dus schatting van de variantie in de populatie, op basis van een steekproef (en niet variantie in de steekproef =snx 2 ) > var(mydata$iq) [1] s 2 = x sn 2 x n 1 n cov: om C OV xy te berekenen Uitkomst is dus schatting van de covariantie in de populatie, op basis van een steekproef (en niet covariantie in de steekproef) > cov(mydata$gewicht, mydata$lengte) [1] TOETSEN VAN HYPOTHESES Toetsen van hypothese betreffende een verwachting p. 97 is onbekend: t-toets voor één steekproef: t.test > t.test(x = mydata$iq, mu = 100, alternative = "greater", conf.level = 0.95) One Sample t-test data: mydata$iq t = , df = 29, p-value = 7.475e-07 alternative hypothesis: true mean is greater than percent confidence interval: Inf sample estimates: mean of x

10 Toetsen van hypothese betreffende twee verwachtingen p. 98 Onafhankelijke steekproeven 1 en 2 zijn gelijk maar onbekend: T-toets voor twee onafhankelijke steekproeven: t-test met var.equal = TRUE > tijdv <- sportdata$tijd[sportdata$geslacht == "V"] > tijdm <- sportdata$tijd[sportdata$geslacht == "M"] > t.test(x=tijdm, y=tijdv, alternative = "two.sided", conf.level = 0.95, var.equal = TRUE) Two Sample t-test data: tijdm and tijdv t = , df = 198, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y Geen hypothese m.b.t. 1 en 2 Welch t-toets voor twee onafhankelijke steekproeven: t.test met var.equal = FALSE > t.test(x=tijdm, y=tijdv, alternative = "two.sided", conf.level = 0.95, var.equal = FALSE) Welch Two Sample t-test data: tijdm and tijdv t = , df = , p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y Afhankelijke steekproeven p. 102 Gewone one sample t-test, met verschil reeds uitgerekend (D = X 1 - X 2 ) > d <- rijfoutendata$rijfoutenmet - rijfoutendata$rijfoutenzonder > t.test(x=d, mu=0, alternative = "greater", conf.level = 0.95) One Sample t-test data: d t = , df = 39, p-value = alternative hypothesis: true mean is greater than 0 95 percent confidence interval: Inf sample estimates: mean of x 2 of (nog eenvoudiger)

11 paired t-test met paired = TRUE > t.test(x = rijfoutendata$rijfoutenmet, y = rijfoutendata$rijfoutenzonder, alternative = "greater", conf.level = 0.95, paired = TRUE) Paired t-test data: rijfoutendata$rijfoutenmet and rijfoutendata$rijfoutenzonder t = , df = 39, p-value = alternative hypothesis: true difference in means is greater than 0 95 percent confidence interval: Inf sample estimates: mean of the differences 2 Hypothese toetsen betreffende twee varianties p. 104 F-toets: var.test Om te testen of twee varianties identiek zijn. > var.test(x=tijdv, y=tijdm, alternative = "two.sided", conf.level = 0.95) F test to compare two variances data: tijdv and tijdm F = , num df = 105, denom df = 93, p-value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances Hypothese toetsen betreffende een proportie - p. 107 Enkel voor binomiale verdelingen. Enkel eenzijdige toets. Exacte binomiale toets: binom.test x = geobserveerde waarde n = aantal herhalingen van het proces p = proportie onder H 0 > binom.test(x=1, n=10, p=0.08, alternative = "greater") Exact binomial test data: 1 and 10 number of successes = 1, number of trials = 10, p-value = alternative hypothesis: true probability of success is greater than percent confidence interval: sample estimates: probability of success 0.1

12 Het toetsen van de normaliteit p. 108 Shapiro-Wilk toets: shapiro.test > shapiro.test(mydata$gewicht) Shapiro-Wilk normality test data: mydata$gewicht W = , p-value = Met de Shapiro-Wilk toets gaan we na of het plausibel is dat de toevalsvariabele gewicht normaal verdeeld is in de populatie, gezien de geobserveelde frequentieverdeling van gewicht in onze steekproef. POWER P. 117 Power bij het toetsen van een hypothese betreffende een proportie p. 117 Power van een exacte binomiale toets berekenen bij het toetsen van een hypothese betreffende een proportie: powerbinom p0 = proportie onder H 0 p1 = proportie onder H 1 > library("exactci") Loading required package: ssanv > powerbinom(n = 10, p0 = 0.08, p1 = 0.15, sig.level = 0.05, alternative = "one.sided") power and sample size for single binomial response n = 10 p0 = 0.08 p1 = 0.15 power = alternative = one.sided sig.level = 0.05 NOTE: use rejections in correct direction only Minimale steekproefgrootte om een power van 0.90 te bekomen? > powerbinom(power = 0.90, p0 = 0.08, p1 = 0.15, sig.level = 0.05, alternative = "one.sided") power and sample size for single binomial response n = 177 p0 = 0.08 p1 = 0.15 power = alternative = one.sided sig.level = 0.05 NOTE: use rejections in correct direction only

13 Power bij het toetsen van een hypothese betreffende een verwachting p. 123 power.t.test delta = onder H 0 - onder H 1 sd = standaarddeviantie s x > power.t.test(n=100, delta=1.5, sd=7.4, sig.level=0.05, alternative = "two.sided", type = "one.sample") One-sample t test power calculation n = 100 delta = 1.5 sd = 7.4 sig.level = 0.05 power = alternative = two.sided Power bij het toetsen van een hypothese betreffende twee verwachtingen afhankelijke steekproeven p. 126 Paired t test power calculation: power.t.test met type = paired > power.t.test(n=40, delta=3, sd=sd, sig.level = 0.05, alternative = "one.sided", type = "paired") Paired t test power calculation n = 40 delta = 3 sd = sig.level = 0.05 power = alternative = one.sided NOTE: n is number of *pairs*, sd is std.dev. of *differences* within pairs Power bij het toetsen van een hypothese betreffende twee verwachtingen onafhankelijke steekproeven p. 128 T-toets voor twee onafhankelijke steekproeven: t-test met var.equal = TRUE Voorwaarde: 1 = 2 Zie pg. 8 Relevant verschil zoeken en specifieke alternatieve hypothese opstellen. Wat is de power van de toets onder die specifieke alternatieve hypothese? pwr.t2n.test 1 2 d = schatting van de effectgrootte = spooled > library("pwr") > pwr.t2n.test(n1=length(con), n2=length(exp), d=1/2.1, sig.level = 0.05, alternative = "greater") t test power calculation n1 = 56 n2 = 119

14 d = sig.level = 0.05 power = alternative = greater Indien we twee steekproeven met dezelfde grootte willen trekken en we willen n weten: type = two.sample : > power.t.test(delta=1, sd=2.1, power = 0.95, sig.level = 0.05, alternative = "one.sided", type = "two.sample") Two-sample t test power calculation n = delta = 1 sd = 2.1 sig.level = 0.05 power = 0.95 alternative = one.sided NOTE: n is number in *each* group Power van de toets van H 0 : β 1 = 0 p. 157 Bij lineaire regressie. pwr.r.test r = waarde van de correlatiecoëfficient die je went te kunnen detecteren met een hoge kans > pwr.r.test(n=252, r= , sig.level=0.05) approximate correlation power calculation (arctangh transformation) n = 252 r = sig.level = 0.05 power = alternative = two.sided Om de power van een ANOVA test te berekenen p. 183 pwr.anova.test k = aantal groepen n = aantal individuen in elke groep f = effectgrootte f > pwr.anova.test(k=3, n=99, f= , sig.level=0.05) Balanced one-way analysis of variance power calculation k = 3 n = 99 f = sig.level = 0.05 power = NOTE: n is number in each group

15 DE FUNCTIE lm P. 146 Je gebruikt het argument formula om te zeggen welke variabelen je wilt analyseren. Lm(formula = afhankelijke variabele Y onafhankelijke variabele X) > lm(formula = gezondheid$uitgaven ~ gezondheid$duur) Call: lm(formula = gezondheid$uitgaven ~ gezondheid$duur) Coefficients: (Intercept) gezondheid$duur Regressielijn: (Intercept) = b 0 gezondheid$duur= b 1 De output is beperkt, maar achter de schermen heeft R veel andere dingen berekend. Om de uitkomst van die berekeningen te kunnen raadplegen, moet je een naam toekennen aan het resultaat van de berekeningen: > mylm <- lm(formula = gezondheid$uitgaven ~ gezondheid$duur) Om de schattingen van β 0 en β 1 op te vragen: coef > coef(mylm) (Intercept) gezondheid$duur Om de predicties y i op te vragen: fitted > fitted(mylm) Om de residuen op te vragen: residuals > residuals(mylm) Betrouwbaarheidsintervallen voor β 0 en β 1 : confint > confint(mylm, level = 0.95) 2.5 % 97.5 % (Intercept) gezondheid$duur

16 De R functie summary - p. 155 Informatie over de residuen, β 0 en β 1, modelselectie. en de standaard en aangepaste R² en resultaat van de > mylm <- lm(formula = gezondheid$uitgaven ~ gezondheid$duur) > summary(mylm) Call: lm(formula = gezondheid$uitgaven ~ gezondheid$duur) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** gezondheid$duur <2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 250 degrees of freedom Multiple R-squared: 0.237, Adjusted R-squared: F-statistic: on 1 and 250 DF, p-value: < 2.2e-16 Meervoudige lineaire regressie p. 160 Om een meervoudig lineair model te toetsen: Lm(formula = [afhankelijke variabele] [lijst van de onafhankelijke variabelen, gescheiden door een +]) > mylm <- lm(formula = mydata$score ~ mydata$iq + mydata$gewicht) > summary(mylm) Call: lm(formula = mydata$score ~ mydata$iq + mydata$gewicht) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) * = β 0 mydata$iq = β 1 mydata$gewicht = β Signif. codes: 0 *** ** 0.01 * Residual standard error: 5.29 on 27 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 27 DF, p-value:

17 DE FUNCTIE aggregate P. 169 De personen in het data frame microbusiness zijn onderverdeeld in drie groepen: GeenMB, MBMetSteun en MBZonderSteun. > head(microbusiness) groep inkomenwijziging 1 GeenMB GeenMB GeenMB GeenMB GeenMB MBMetSteun Om gemiddelde van elke groep te berekenen: FUN = mean > aggregate(formula=microbusiness$inkomenwijziging ~ microbusiness$groep, FUN = mean) microbusiness$groep microbusiness$inkomenwijziging 1 GeenMB MBMetSteun MBZonderSteun 6455 Om schatting van de variantie te berekenen: FUN = var Om mediaan te berekenen: FUN = median DE FUNCTIE aov P.181 Om alle berekeningen m.b.t. de ANOVA in één keer uit te voeren. Net zoals bij de functie lm, berekent aov heel veel achter de schermen, maar je ziet ze niet allemaal. Je gebruikt het argument formula om R te zeggen welke variabelen je wil analyseren: > aov(formula = microbusiness$inkomenwijziging ~ microbusiness$groep) Call: aov(formula = microbusiness$inkomenwijziging ~ microbusiness$groep) Terms: microbusiness$groep Residuals Sum of Squares Deg. of Freedom Residual standard error: Estimated effects may be unbalanced Summary(myAOV) p. 182 > myaov <- aov(formula = microbusiness$inkomenwijziging ~ microbusiness$groep) > summary(myaov) Df Sum Sq Mean Sq F value Pr(>F) microbusiness$groep e Residuals e

18 POST HOC MEERVOUDIGE VERGELIJKINGEN P. 186 Pairwise.t.test om de techniek van de meervoudige vergelijkingen te gebruiken. Het aantal paarsgewijze vergelijkingen is 6, maar in plaats van 6 t-toetsen uit te voeren gebruiken we de functie pairwise.t.test die alle vergelijkingen in één keer doet. > pairwise.t.test(depressie$reactietijd, depressie$behandeling, p.adj = "bonf") Pairwise comparisons using t tests with pooled SD data: depressie$reactietijd and depressie$behandeling A B C B C 1.0e e-05 - D P value adjustment method: bonferroni ENKELVOUDIGE VARIANTIE-ANALYSE ALS EEN LINEAIR MODEL P. 194 Als we een variantie-analyse willen uitvoeren met behulp van lineaire regressie hoeven we eigenlijk niet zelf de hulpveranderlijken te definiëren. R doet het allemaal voor ons. Als we het commando lm(formula = depressie$reactietijd ~ depressie$behandeling) typen dan gaat R zien dat behandeling een factor is en R gaat dus automatisch hulpveranderlijken definieren. R gaat ervan uit dat je de GLM-restrictie wenst te gebruiken, met het eerste niveau als referentie, en R gaat dus Dummy-codering gebruiken, ook met het eerste niveau als referentie. > myaov <- lm(formula = depressie$reactietijd ~ depressie$behandeling) > summary(myaov) Call: lm(formula = depressie$reactietijd ~ depressie$behandeling) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** depressie$behandelingb * depressie$behandelingc e-08 *** depressie$behandelingd ** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 33 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 3 and 33 DF, p-value: 1.674e-07

19 PEARSON S CHI-SQUARED TEST P. 203 Om de Pearson s chi-squared test in een keer uit te voeren: chisq.test x = een tabel met de geobserveerde frequenties p = een vector met theoretische proporties > kans <- c(1/6, 1/6, 1/6, 1/6, 1/6, 1/6) > chisq.test(x=table(dobbelsteen), p=kans) Chi-squared test for given probabilities data: table(dobbelsteen) X-squared = 6.2, df = 5, p-value = EFFECTGROOTTE W P. 206 ES.w1 Staat in package pwr > dagen <- c(387,395,62,392,62,62,62,404) > kans <- dagen/sum(dagen) > kans1 <- c(0.26, 0.18, 0.01, 0.18, 0.01, 0.01, 0.08, 0.27) > library("pwr") > ES.w1(P0 = kans, P1 = kans1) [1]