Statistiek I Semester 2 Hoofdstuk 1 Axiomatische kansrekening Basisbegrippen Stochastisch proces = Proces met onzekere uitkomst Toevalsgebeuren = Uitkomst stochastisch proces o Elementair = slecht 1 uitkomst o Samengesteld = meerdere uitkomsten Kans = Mogelijkheid dat een bepaald toevalsgebeuren plaatsvindt Uitkomstenruimte S = # Mogelijke = (sample space) Machtsverzameling M = De verzameling van alle mogelijke elementaire en samengestelde toevalsgebeurens die men kan definiëren op basis van een S M(S) = 2 n Kansdefinitie van Laplace = # gunstige / # mogelijke (alleen gebruiken als alle uitkomsten even waarschijnlijk zijn) = en/of = zowel A B betekent: de verzameling die alle elementen bevat die in A en/of in B zitten A B betekent: De verzameling die alle elementen bevat, die zowel in A als in B zitten Complementregel P (A c ) = 1 P(A) Somregel indien A en B disjunct (dus A B = Ø) P (A B) = P(A) + P(B) Somregel indien A en B níet disjunct P (A B) = P(A) + P(B) P (A B) Productregel bij statistisch onafhankelijkheid (als P(A B) = P(A) en P(B A) = P(B)) P (A B) = P(A) * P(B) Productregel bij statistisch afhankelijkheid P (A B) = P(A B) * P(B) = P(B A) * P (A) indien twijfel -> kies afhankelijk Regel van de totale kans Regel van Bayes 1
Regel van de voorwaardelijke kans Hoofdstuk 2 Kansverdelingen Checklist kansverdeling P[X=x] 1 (alle kansen tussen en 1) P[X=x] = 1 (som van alle kansen is 1) Stochasten & kansverdelingen Stochast - Is een variabele waarvan de waarde een numerieke uitkomst is van een toevalsverschijnsel - Is een functie die de elementaire uitkomsten van een bepaald toevalsverschijnsel verbindt met een numerieke waarde. Kansverdeling - Discreet: kansfunctie - Continu: kansdichtheidsfunctie Gecumuleerde kansen (%) Bottom-up: P[X x] Top-down: P[X x] Verwachtingswaarde (= gemiddelde van kansen) k µ = EX ( ) = xpx. = x i= 1 Variantie (= spreiding van de stochast) i [ ] i Rekenkundige variant: Lineair getransformeerde stochasten E(a + bx) = a + b * E(X) Var(a + bx) = b 2 * Var(X) waarbij 2
Verwachting en variantie van een som van stochasten Voor alle stochasten E(Z) = E(X+Y) = E(X) + E(Y) E(Z) = E(X*Y) = E(X) * E(Y) + Cov(XY) Var(Z) = Var(X+Y) = Var(X) + Var(Y) + Cov(XY) Enkel voor onafhankelijke stochasten (want dan geldt: Cov(XY) = ) E(Z) = E(X*Y) = E(X) * E(Y) Var(Z) = Var(X+Y) = Var(X) + Var(Y) Geldt nóóit: σ(z) = σ(x+y) σ(x) + σ(y) Geen covariantie = de relatieve omvang van een waarde voor de ene stochast zegt niets over de relatieve omvang van de corresponderende waarde voor een andere stochast. Afhankelijk of onafhankelijk beredeneren met: Productregel óf Voorwaardelijke kansen Toepassingen Kansverdeling bepalen 1. Uitkomstenruimte bepalen a. Kruistabel (bij twee dichotome stochasten). b. Op de rij & kolom staan de mogelijke uitkomsten 2. Verbinden v / d uitkomst met waarden van stochast en kansen a. Kansverdeling (kansfunctie) maken b. (Of P[Y=y], P[X+Y=x+y], P[X*Y=x*y],..) Bij simultane kansverdeling 1) De waarden van X & Y uit de kansverdelingen op de rij en kolom noteren. In de cellen vermenigvuldig je de bijhorende kansen van X en Y. 2) Kansverdeling: alle mogelijke waarden van X en Y de bijhorende kansen optellen en invullen in de kansverdeling (bijv. als X en Y beide t/m 2 > X + Y = t/m 4) Voor stochast X+Y: optellen van de waarden waarvan X + Y =.. o Bijv. X+Y = als X = en Y = Voor stochast X*Y: vermenigvuldigen van de waarden waarvan X * Y = o Bijv. X*Y = als X = en/of Y = o P[X=] + P[Y=] P[X= Y=] o Dus P(X*Y) = P[X=x 1 ] + P[Y=y 1 ] P[X=x 1 Y=y 1 ] 3
De conditionele of voorwaardelijke verdeling Je kijkt naar de voorwaardelijke kansverdeling van X, op voorwaarde dat Y een bepaalde waarde heeft. Indien X en Y onafhankelijke stochasten zijn, is de conditionele kansverdeling voor P[X=x Y=] gelijk aan de marginale kansverdeling voor P[X=x] Bijv. Kansverdeling van X op voorwaarde dat Y= à Notatie: X Y= o Uitkomsten à X= Y= ; X=1 Y= ; X=2 Y= o Bijhorende kansen à Vb. P(X=1 Y=) = $(&'( )'*) $()'*) P(Y=) uit marginale verdeling van Y P(X=1 Y=) uit simultane kansverdeling van X en Y Dendogram Hoofdstuk 3 Binomiale verdeling & Hypergeometrische verdeling Steekproeftrekkingen Binomiaal coëfficiënt GR: n invoeren + math / prb / 3: ncr + k invoeren è n ncr k 4
Binomiale kans n k X ~ B( n; p) P( X = k / n; p) =. p.(1 p) k Waarin: k = aantal successen n = aantal experimenten p = kans op een succes 4 eigenschappen: Vast aantal experimenten n Constante kans op succes p Kansexperimenten zijn onafhankelijk van elkaar Twee alternatieven (succes/mislukking) n k Alles draait om het aantal successen (x) op n experimenten. Een binomiaal verdeelde stochast kan je dus bekijken als de som van de successen op de deelexperimenten. Cumulatieve & enkelvoudige kansen x P[X=x] P[X x] P[X x] Enkelvoudige kansen bottom-up top-down = van laagste naar 1, = van 1, naar laagste Handig bij cumulatieve kansen: zet > & < tekens om in & Bijv. P[X>2] > P[X 3] & P[X<3] > P[X 2] Bernoulliverdeling = Je bekijkt maar 1 deelexperimentje; dit kan je dan vermenigvuldigen met n om de totale kans te berekenen. = discrete kansverdeling met als enige uitkomsten succes of mislukking E[X] = Σx i.p[x=x i ] = 1.p +.q = p E[B] = n.p Var(X) = E[X 2 ]-[E(X)] 2 = p-p 2 = p.(1-p)= p.q Var[B] = n.p.q & σ[y]= n. p. q Binomiale verwachtingswaarde en giscorrectie bij meerkeuzevragen x P[X=x] 1 1/k t (k-1)/k Hoe groot moet de puntenaftrek t zijn om bij een foute gok die onterecht behaalde punten uit de toevallig juiste gok te compenseren (k = aantal uitkomstalternatieven) 5
De hypergeometrische probleemcontext Géén constante kans op succes p! ð Steekproef zonder teruglegging, dus de vorige steekproefpersonen zijn dan niet langer beschikbaar voor trekking à de kans p is niet constant omdat de teller en noemer dan variëren. Vuistregel (indien steekproef zonder teruglegging) 1n < N o Benaderen via de binomiale verdeling is acceptabel 1n > N o Benaderen via de binomiale verdeling is NIET acceptabel Hypergeometrisch verdeelde stochast Waarbij: n = het aantal experimenten, in casu de trekkingen in de steekproef zonder teruglegging m = het aantal successen in de populatie N = de populatiegrootte s Verwachtingswaarde en variantie Voor X~H(n; m; N) geldt Verschil binomiale verdeling & andere verdelingen vast aantal experimenten n ó nde experiment eerste succes: Geometrische verdeling ó nde experiment k-de succes: Pascalverdeling constante kans p op een succes bij elk experiment ó p varieert (zonder teruglegging): Hypergeometrische verdeling ó p zeer klein: Poisson-verdeling kansexperimenten zijn onafhankelijk van elkaar 2 antwoordalternatieven (succes/mislukking) ó meer dan 2 categorieën: Multinomiale verdeling 6
De Poisson-verdeling Gaat uit van een continu en dus onbegrensde tijdsruimte of fysieke ruimte (à zeer grote n) Kans op succes bij één deelexperiment is zeer klein (p) Kansfunctie: o o Waarbij k = aantal gezochte successen λ = n * p = het te verwachten aantal successen binnen de onderzochte tijdsruimte of fysieke ruimte (enige parameter hier) Spiegelen Stel kans op succes >,5 à staat niet in de tabel. Dan moet je gaan spiegelen = verdeling omzetten in de bijhorende kans op een x aantal mislukkingen Bijv. indien de kans op 5 successen bij n = 15 à omzetten in mislukken bij n = 15 ð Máár het wordt ingewikkeld zodra het geen exacte kans is. Tip: één voor één je getallen spiegelen. Bijv. 7 of meer successen spiegelen ( v / d 8) = 1 of minder mislukkingen Hoofdstuk 4 De Normale verdeling Kansdichtheidsfunctie van de normale verdeling Normale verdeling symbolisch: X~N(μ,σ) μ = het rekenkundig gemiddelde σ = de standaardafwijking Eigenschappen van de normale verdeling Continue verdeling (enige dit semester) Gekenmerkt door 2 parameters: o Positieparameter μ (`het gemiddelde ) o Vormparameter σ (`de standaardafwijking ) N(µ,σ) Eéntoppig, met als top: (stel x = µ) 1 ( µ, ) = ( µ, σ 1,4) σ 2π Symmetrisch rond de positieparameter μ o μ = Mo = Me = E[X] Klokvormig o Buigpunten bij μ-σ en μ+σ o Dichtheidskromme dijt asymptotisch uit naar - en + 7
Kansdichtheidsfunctie van de standaardnormale verdeling Waarbij aangezien μ z = en σ z = 1 = lineaire transformatie a + b*x waarbij a = (-μ/ σ) en b = (1/σ) Standaardnormale verdeling symbolisch: Z~N(,1) of φ(z) Kenmerken voor standaardnormale verdeling (preciezer geformuleerd) De standaardnormale dichtheidskromme bereikt een unieke top als Z = (want μ z = ). De ordinaatwaarde bedraagt hier 1/ (2π),4 (want σ z = 1) μ = Mo = Me = E[X] à = De 2 buigpunten situeren zich ditmaal bij Z = -1 en bij Z = +1 (want μ-σ = -1 en μ+σ = +1) Verdelingsfunctie van de standaardnormale verdeling F(z) = Kansdichtheidsfunctie maar dan met integraal ervoor van - tot z. Verkorte weergave = Φ(Z) Gecumuleerde kansdichtheden De kansdichtheid P(z i <Z<z j ) kan immers ook bekeken worden als het verschil tussen twee gecumuleerde kansdichtheden, met name Φ(z j ) - Φ(z i ) of P(Z<z j ) P (Z<z i ) Maak gebruik van symmetrie & complementaire kansen! Ieder normaalverdeelde kansvariabele kan via standaardisering omgezet worden in een standaardnormale kansvariabele: x µ x µ X ~ N( µσ, ) Z = ~ N(,1)... en... P( X < x) = P( Z < ) σ σ Van een kans(waarde) naar de corresponderende grenswaarde Stap 1: eerst oplossen voor Z ~ (,1) à waarde opzoeken in de tabel en bijhorende z-waarde aflezen Stap 2: z-waarde uit stap 1 ont-standaardiseren x µ z = x= µ + ( σ. z) σ Stelling van Chebychev Onafhankelijk van de vorm van de verdeling is ten minste 1*(1-k-2) procent van de waarneming maximaal ±k standaardafwijkingen verwijderd van het rekenkundig gemiddelde Betekenis Z-score: als z = 2 dan bevindt de bewuste score zich 2 standaardafwijkingen voorbij het gemiddelde. 8
Aanpassen van een normale verdeling Stappenplan 1) De exacte klassengrenzen standaardiseren à e Zo bekomen je de z-scores zl ie en zu i e 2) Bereken P(l i < X < u e i ) waarbij X ~ N(μ, σ) à Gebruik de tabel van N(,1) voor de gestandaardiseerde z-scores N e 3) Bereken f i = P(l i < X < u e i ) * n N 4) Vergelijk f i en f i : ð + alle termen sommeren k = aantal klassen Hoe kleiner deze afwijkingssom is, hoe meer aanwijzing er is dat het normale model ook past bij de geclassificeerde empirische verdeling. Chi 2 -verdeling (χ 2 -verdeling) Het normale model past redelijk goed bij de geclassificeerde steekproefgegevens als: waarbij k 1 2 = v = aantal vrijheidsgraden Significantieniveau α = aantal % van de chi 2 -verdeelde steekproefverdeling die atypisch is Betrouwbaarheid = 1 α = het ste percentiel van de chi 2 verdeling Ruwe benadering: afwijkingssom < (k * 1,6)
De scheefheids- en gepiektheidsmaten Scheefheidsmaten: hoe scheef/asymmetrisch een empirische verdeling à normale verdeling = perfect symmetrisch à alleen bruikbaar voor niet te scheef verdeelde gegevens Gepiektheidsmaten: de mate waarin de waarnemingen zich concentreren in de staarten van de verdeling = hoe veel waarnemingen ver van het centrum verwijderd zijn. à normale verdeling: grootste deel v / d waarnemingen in de buurt v / h gem. μ Het normaal kwantieldiagram = het diagram waarin het verband tussen de empirische waarnemingen x i en de daarbij passende standaardnormale scores z i wordt weergegeven. Standaardnormale verdeling: lineair verband van de vorm x = μ+σ.z, waarbij Hoe we de x i s verbinden met de passende z i s 1) Gecumuleerde frequenties: De gegevens x i ordenen van laag naar hoog & een rangnummer toekennen 2) Relatieve gecumuleerde frequenties F i * = ( r i) : rangnummers delen door n of N 3) Opzoeken welke z-waarde past bij F i * = P[Z z] 4) Liggen de punten (z i,x i ) op een rechte è X~N(μ,σ) In feite verbinden we op deze manier empirische kwantielen (de waarnemingen x i ) met de daarbij horende standaardnormale kwantielen (de z-scores). Continuïteitscorrectie (CC) Te gebruiken wanneer een discrete verdeling wordt opgelost d.m.v. een continue verdeling. ð (x ± halve meetwaarde) Bijv. P (X 4) > schoenmaat is discreet, dus continuïteitscorrectie vanaf 3,5 rekenen, omdat 4 mee opgenomen is. Opmerking: P( s < Z < t) = P(s < Z < t) P( s < Z < t) = P(Z < t) (1 P(Z < s) Tip : tekenen! (schets van de standaardnormale verdeling) Hoofdstuk 5 Benaderingen van binomiale en hypergeometrische kansen Centrale limietstelling (CLS) = Een discrete verdeling die veel deelexperimenten behelst (n is groot), begint sterk te lijken op een continue verdeling, nl. een normale verdeling. = Als X 1, X 2,, X n identiek verdeelde en onderling onafhankelijke stochasten zijn met E[X i ] = μ en Var[X i ] = σ 2, dan is de som van deze stochasten X = 1'( X i normaal verdeeld met E[X] = nμ en Var[X] = nσ 2 wanneer n à + 1
Vuistregel Als X ~ B(n,p) met n.p 5 en n.q 5 dan mogen we de verdeling van X benaderen door de normale verdeling N(n.p, n. p. q) Oplossingsschema discrete verdelingen Hypergeometrisch: kans niet constant (= enigste verschil met binomiaal) > zonder teruglegging Indien N = heel groot & onbekend à binomiaal verdeling, anders hypergeometrisch. Eindigheidscorrectie (EC) zegt iets over hoeveel % σ kleiner is (bijv. EC =, -> σ = 1% kleiner) EC gebruik je omdat de σ van hypergeometrisch < σ van binomiaal à daarom correctie daarop. Opmerking: Indien n.1 < N mag je ook de eindigheidscorrectie gebruiken maar die zou dan ongeveer 1 bedragen en dus geen noemenswaardige impact meer hebben. Stel jezelf de vragen: Discreet of continu probleem? Welke verdeling gebruik je? Cumulatieve of enkelvoudige kansvraag? Opmerkingen Ga altijd eerst op zoek naar je parameters Enkelvoudige vraag kun je niet berekenen onder de continu verdeling. o Bij een continu verdeling is de kans op één bepaalde waarde steeds gelijk aan. Als je een kleinere steekproef trekt, heb je meer kans op een onrealistisch resultaat. 11
Berekeningen met GR Distr (2 nd vars) Binomiale verdeling Exacte kans : Kleiner dan of gelijk aan A: binompdf( B: binomcdf( trails = n trails = n p = kans p = kans x value = aantal keer x x value = aantal keer x à Normale verdeling Bepaald gebied Tip: 2: normalcdf( je kunt ook de originele waardes (x) invoeren. Boven- en ondergrens ingeven à dan moet je dit ook doen voor μ & σ μ = & σ = 1 12
Hoofdstuk 6 Schatten Steekproefproportie X n = `steekproefproportie = p (`p hoed ) Van aantal successen à proporties: delen door n > n valt weg > je krijgt proporties Verdeling van de steekproefproportie ð ð & & is een lineaire transformatie van een binomiaal verdeelde stochast X: & = + (. X = a+bx met a= en b= ( volgt geen binomiale verdeling, maar we weten wel dat X ~ B(1;.25) N(25;4.33) (zie hiervoor: CLS toepassen bij B(n,p)) Verwachtingswaarde bepalen We weten dat E(a+bX)= a+b.e(x) ð E( X ) = n E(+(.X) = + ( E(X) = (. n. p = p Variantie bepalen: We weten dat Var(a+b.X)= b 2.Var(X) ð Var( & ) = Var(+(.X) = (( )2.Var(X) = ( :.;. n. p. q = ð σ( X n ) = Var(X) = p.q n Conclusie: Als n. p 5 en n. q 5 geldt dat & N(p; :.; ) En dus geldt dat @ A B : C.D A Continuïteitscorrectie N(;1) We gebruiken nu `±( *,F ) i.p.v. `±,5 (zie slide 21 les voor bewijs) Steekproefverdeling van p = de verdeling van de verschillende waarden die dit steekproefkenmerk aanneemt als men zeer veel aselecte steekproeven zou trekken van dezelfde omvang uit dezelfde populatie. 13
Omkering van de vraagstelling We gaan op basis van een beperktere groep (een steekproef) iets proberen te zeggen over een grotere groep (een populatie). In dit geval proberen we de proportie p te schatten op basis van informatie over 𝑝 in een steekproef. Puntschatting = Intervalschatting = Toetsing = beperking tot één concrete waarde (wat is dan een zuivere (onvertekende) schatting voor deze proportie in de populatie?) hoe betrouwbaar is deze schatting? à betrouwbaarheidsintervallen Is het aannemelijk dat deze steekproef afkomstig is uit een populatie met een eerdere bepaalde μ? Puntschatting voor p Een zuivere puntschatting van p T is een zuivere of onvertekende puntschatting van Θ indien E(T)= Θ (Θ = `Thèta ) De steekproefproportie 𝑝 is een zuivere puntschatting van de populatieproportie p want ð Gemiddelde van alle 𝑝 = p, gemiddelde van de populatie Een efficiënte puntschatting van p De variabiliteit/doeltreffendheid van de schatter 𝑝 komt tot uiting in de variantie of de standaardafwijking van de steekproefverdeling van de steekproefproporties ð T is een efficiënte/doeltreffende schatter van Θ indien de variantie of standaardafwijking van T zo klein mogelijk is. 14
à maar p is onbekend dus je gaat p gebruiken Standaardfout = de schatting van de standaardafwijking van de steekproef op basis van steekproefkenmerken Conclusie = pq ˆˆ. n De steekproefproportie p = & is een zuivere puntschatter voor p (want verwachtingswaarde van de steekproefverdeling van p is gelijk aan p) De steekproefproportie p = & is een efficiënte puntschatter voor p (want standaardafwijking van de steekproefverdeling van p is relatief klein) Een intervalschatting van p Intervalschatting = betrouwbaarheidsinterval = een schatting van het interval (minimum- en maximumwaarde) waarbinnen de parameter zich al situeren, gegeven een bepaald betrouwbaarheidsniveau. ð Tweezijdig interval, dus met een bovengrens én een ondergrens. Betrouwbaarheid C = het percentage van de steekproefverdeling waarmee men rekening houdt. = het aandeel van de steekproefverdeling wat waarschijnlijk wordt geacht. Werkwijze Vertrek van een steekproefproportie p Bepaal op basis van p vb. een 5% betrouwbaarheidsinterval [ondergrens ; bovengrens] zodat we kunnen zeggen in 5% van de gevallen ligt de echte populatieproportie p tussen de ondergrens en de bovengrens è maak gebruik van de steekproefverdeling van p,5 pˆ ( ) p pq ± pˆ ~ N p, n ~ N(,1) n pq n Stappenplan 1. Kritieke z-waarde bepalen = z* = z (1-C)/2 o Zoek dit op in de Z-tabel bij de bijhorende betrouwbaarheid C 2. Foutmarge berekenen :.; o M = z*. 3. Betrouwbaarheidsinterval opstellen (CI): o In C% van de gevallen zal p liggen tussen p z (1-C)/2. o Ofwel tussen p M en p + M :.; en p + z (1-C)/2. :.; 15
Algemene formule betrouwbaarheidsinterval P( 𝑧K LM < :B: C.D A < +𝑧K LN ) = C :.; ó P(𝑝 - 𝑧K LN. :.; < 𝑝 < 𝑝 + 𝑧K LM. )=C Hoe groter de steekproef, des te groter de noemer en des te kleiner de foutmarge. Eindigheidscorrectie Als de steekproef zonder teruglegging getrokken wordt uit een relatief kleine populatie (1.n N) ð geen onafhankelijke toevalsgebeurens à EC toepassen De formule voor een C.1% betrouwbaarheidsinterval voor p is bijgevolg [p zk LN. R.S T. UB UB( ; p + zk LN. R.S T. UB UB( ] n berekenen bij gegeven foutmarge Foutmarge m = 𝑧K LM. :.; Met z* = 𝑧K LM = kritieke waarde Als de foutmarge maximaal m mag zijn, bereken je de steekproefgrootte n via n= V.:.; X Schatten van gemiddelden De steekproefverdeling van het steekproefgemiddelde 𝑋 = ( 1'( 𝑋1 4 verschillende scenario s: a) Stochasten 𝑋1 zijn normaal verdeeld en σ is bekend b) Stochasten 𝑋1 zijn niet normaal verdeeld en σ is bekend c) Stochasten 𝑋1 zijn normaal verdeeld en σ is onbekend d) Stochasten 𝑋1 zijn niet normaal verdeeld en σ is onbekend Samenvatting: schatten van μ σ is bekend Het C.1%-betrouwbaarheidsinterval voor μ is waarbij: 16
σ is niet gekend Als we Y vervangen door de standaardfout van de steekproefverdeling van het steekproefgemiddelde Z, is de steekproefverdeling niet langer normaal verdeeld maar volgt die een t-verdeling met n-1 vrijheidsgraden. & B[ \ A ~ t n-1 è P( t K LM < &B[ \ A < +t K LN ) = P(X t K LM. Z < µ < X + t K LM Met een betrouwbaarheid van C.1% ligt het populatiegemiddelde µ tussen: Z Z X t K LM. en X + t K LM.. Z ) = C Opmerkingen Tip: zorg dat je een conclusie kan formuleren. Populatiegegevens hebben altijd voorrang op steekproefgegevens! Dus indien je p weet, moet je deze gebruiken ipv. p Voor het opstellen van een betrouwbaarheidsinterval voor proporties ken je p nooit > dus is het altijd op steekproefgegevens. Bij een betrouwbaarheidsinterval heb je geen CC nodig, voor een hypothesetoets (mogelijk) wel. T-verdeling: laag aantal vrijheidsgraden = veel verschil tussen T-verdeling en Z-verdeling hoog aantal vrijheidsgraden = weinig verschil Keuze van df-waarde: dichtst mogelijk df-waarde kleiner dan (of gelijk aan) v (= n 1) (Dus voor bijv. n = 1 moet je toch kijken naar df-waarde 1) 17
18
Hoofdstuk 7 Toetsen De steekproeven = EAS Betrouwbaarheidsinterval = schattingsvraagstukken (vorig hoofdstuk) 7.1 Inleiding Een hypothese/significantietoets is bedoeld om een bewering over een populatiewaarde (p, µ, ) te toetsen d.m.v. een steekproef Bij toetsen hebben we het over de steekproefverdeling van een toetsingsgrootheid. Een toetsingsgrootheid is eigenlijk ook een steekproefgrootheid, maar dan wel één die men gebruikt in vergelijking tot een reeds bestaande schatting van het corresponderende populatiekenmerk. Verschillen tussen betrouwbaarheidsinvallen en statistische toetsing Betrouwbaarheidsinterval: We baseren ons enkel op de bevindingen uit een EAS. We beperken ons tot een schatting van de populatieparameter, in casu populatiegemiddelde, waarbij we de steekproefvariabiliteit in rekening brengen. Hypothesetoetsing: We hebben wel weet van een vroeger resultaat. Een veronderstelling wordt vastgesteld in hypothesen die het uitgangspunt vormen van statistische toetsing. Hypothesenpaar bij statistische toetsing (stel vroegere μ = b) Nulhypothese: De geformaliseerde veronderstelling die stelt dat de bestaande verwachtingen ten aanzien van de populatieparameter nog steeds opgaan. In een hypothesetoets wordt bewijsmateriaal tegen H onderzocht. H : μ = b Alternatieve hypothese: De hypothese die een verandering vooropstelt. Mogelijkheden: H a : μ > b rechts-eenzijdige hypothesetoets H a : μ < b links-eenzijdige hypothesetoets H a : μ b tweezijdige hypothesetoets Significantieniveau α = in zoveel % van de gevallen zouden we maar een dergelijke groot/klein steekproefgemiddelde aantreffen. C = compliment van α = de betrouwbaarheid ð Hoe groter α, des te groter de bewijssterkte tegen H. De vijf stappen van een hypothesetoets Vooraf: noteer de gegevens & wat er wordt gevraagd. 1) Bepaal nul- en alternatieve hypothese 2) Bepaal de toetsingsgrootheid en de verdeling ervan Bepaal de z-score (of t-score) horende bij het steekproefgemiddelde. 1
3) Bepaal het verwerpingsgebied, ofwel kritieke grenswaarde (rekening houdende met het significantieniveau en de vorm van de alternatieve hypothese) o We zoeken naar de kritieke z-waarde z* waarvoor geldt dat P(Z<z*) = C o We leggen vast welke steekproefgemiddelden we onwaarschijnlijk groot/klein zullen noemen (die vinden we uiteraard in de rechter/linker staart van de steekproefverdeling), dit leid je af uit het gegeven significantieniveau α. 4) Situeer de toetsingsgrootheid ten opzichte van de kritieke waarde z* (z met z* vergelijken) o We bekijken of de berekende toetsingsgrootheid z x (uitgaande van een gegeven μ en σ) zich situeert in het verwerpingsgebied. o In dat geval achten we het onwaarschijnlijk, gegeven het significantieniveau, dat een dergelijk berekende toetsingsgrootheid afkomstig zou zijn uit N(,1) (ofwel uit een populatie met het eerder vastgestelde gemiddelde) 5) Formuleer een conclusie o Indien z x zich situeert in het verwerpingsgebied, kunnen we de nulhypothese verwerpen op het gegeven significantieniveau. o Het is dan dus onwaarschijnlijk dat je in een steekproef een bepaald gemiddelde vindt, terwijl het echte gemiddelde een bepaalde waarde bedraagt. Verwerpingsgebied bij eenzijdige toetsen De overschrijdingskans p (P-Value) De p-waarde is een kans die uitdrukt hoe waarschijnlijk het is dat een steekproef een (even extreme of) nog extremere waarde geeft dan diegene die wij hebben waargenomen. Bij een rechtseenzijdige toets zoeken we dus naar: P(Z>z x ) = 1 = Als p-waarde < α è H verwerpen op significantieniveau α Men geeft vaak aan wat het laagste significantieniveau α is waarvoor geldt dat de overschrijdingskans P < α. ð Hoe kleiner de corresponderende alfa, hoe sterker het bewijs is tegen de nulhypothese. Uitgedrukt in sterren: *: α =,1 **: α =,5 ***: α =,1 ****: α =,5 2
Tweezijdige hypothesetoetsen H a: μ b Dit betekent dat we nu zowel in de linkerstaart als in de rechterstaart van de verdeling rekening moeten houden met een verwerpingsgebied à zoals bij een betrouwbaarheidsinterval zijn er in dit geval dus twee kritieke waarden. Bijv. gegeven dat α =,1 gaan we op zoek naar de z-waarden waarvoor geldt dat: P(Z<z) =,5 en P(Z>z) =,5 Voor het overige verloopt nagenoeg alles analoog (we hebben uiteraard nog altijd maar één toetsingsgrootheid zodat uiteindelijk maar één van beide kritieke waarden relevant is voor de situering van de berekende toetsingsgrootheid in de steekproefverdeling). Belangrijk verschil: bij de overschrijdingskans p. De overschrijdingskans wordt bij een tweezijdige toets verdubbeld. (de tweezijdige toetsingsprocedure werd immers vastgelegd voordat men de concrete toetsingsgrootheid berekent) Standaardfout versus standaardafwijking Indien we niet weten wat de standaardafwijking was in de vorige studie en moeten steunen op de standaardafwijking s in onze eigen steekproef, is de steekproefverdeling niet standaardnormaal maar t-verdeeld met (n-1) vrijheidsgraden. Je gebruikt dan de T-tabel en de kritieke grenswaarde t*. Voor het overige verloopt de toetsingsprocedure volledig analoog. Type I-fout en Type II-fout Bij het uitvoeren van een hypothesetoets bestaat de kans dat we een fout maken bij het formuleren van de conclusie. Type I-fout = de kans dat men H verwerpt terwijl die eigenlijk waar is. P(type I-fout) = significantieniveau α = 1 - C Type II-fout = de kans dat men H aanvaard terwijl H eigenlijk fout is. Berekening van β: 1. Vaststellen wanneer H : µ = b aanvaardt wordt. `B[ a A < z* of `B[ a A > z* à enige onbekende 2. berekenen waarvoor de nulhypothese nog net wordt aanvaard. 3. We veronderstellen dat de alternatieve hypothese eigenlijk geldig is, dus dat µ gelijk is aan het gemiddelde van de steekproef. 4. Los de vergelijking op P(Z< `B[(Z) a A ) of P(Z> `B[(Z) a A ) waarbij = net berekend en µ = van steekproef 21
Onderscheidingsvermogen (de `Power ) = het complement van β. = de kans dat H wordt verworpen gegeven dat een alternatieve parameterwaarde waar is. De type I-fout en de type II-fout in het voorbeeld van de belastingaangifte Kans op een type I-fout: P(type I-fout) = α =,1 Kans op een type II-fout: P(type II-fout) = β = P(H aanvaarden H is fout) è `H : µ = 55 is fout, dus we veronderstellen dat µ gelijk is aan x=5 è `H aanvaarden gebeurt als toetsingsgrootheid<z*, dus als `BFF Kc < 1.28 `BFF Kc dc < 1.28 als en slechts als x < 55 + 1,28. (* j* = 57,2 è P(type II-fout) = P(Z< Fk,*lBFm Kc )=P(Z<-1,25)=,156 dc Hoe kleiner de kans op een type I-fout, hoe groter de kans op een type II-fout. ð trade-off dc Opmerkingen Bij toetsing gebruik je CC alleen als er (impliciet) bij staat dat het discreet gemeten is (bijv. als het er bij IQ niet bij staat, is CC niet nodig). Bij een hypothesetoets met proporties gebruik je de CC altijd! (want proportie is altijd discreet) Het makkelijkste is om deze al toe te passen op het proportie aantal (dus (proportie,5) / n) (máár bij het noteren van de gegevens, niet p al noteren incl. CC!) Bij hypothesetoetsen met proporties ken je p altijd want die staat in je hypothesetoets. Wat je van tevoren weet, beschouwen we als populatiegegevens. De nulhypothese en alternatieve hypothese gaan allebei altijd over populatie gegevens. Tip: maak een schets van de situatie. 22