Deze week: Steekproefverdelingen Statistiek voor Informatica Hoofdstuk 7: Steekproefverdelingen Cursusjaar 29 Peter de Waal Zuivere Schatters Betrouwbaarheidsintervallen Departement Informatica Hfdstk 7: 1 / 37 Hfdstk 7: 2 / 37 Overzicht Schatten Kwaliteit van schatter resultaat Bayesiaans niet-bayesiaans verdeling van θ a posteriori - verdeling één waarde voor θ Bayes schatter M.L.-schatter interval voor θ betrouwbaarheidsintervallen Definitie Hoofstuk 6 Een schatter van een parameter θ, gebaseerd op een aselecte steekproef X = X 1,..., X n, is een reëelwaardige functie δx 1,..., X n. Een schatting is de waarde van de schatter voor een gegeven realisatie x = x 1,..., x n, van de steekproef, i.e. δx 1,..., x n. Vraag: Wat is een goede schatter? Een goede schatter voor een parameter θ is een schatter die, voor elke realisatie een schatting oplevert die dichtbij θ ligt. Vraag: Hoe meten we hoe goed een schatter is? Hfdstk 7: Inleiding 3 / 37 Hfdstk 7: Zuivere Schatters 4 / 37
Zuivere schatter Notatie Neem aan dat de stochasten X 1,..., X n een aselecte steekproef vormen uit een verdeling met kansdichtheidsfunctie of kansmassafunctie f x θ met een onbekende parameter θ. Voor elke stochast Z = gx 1,..., X n gebruiken we de notatie E θ Z om aan te geven dat de verwachting is berekend met behulp van de kansdichtheid dan wel kansmassa f x θ. Wanneer we de simultane kansdichtheid van X = X 1,..., X n, aanduiden met f n x θ, dan is dus E θ Z = E θ gx = gx f n x θ dx 1 dx n We zouden kunnen denken dat een schatter goed is, als hij in verwachting gelijk is aan de gezochte parameter. Zo n schatter noemen we zuiver. Definitie Zuivere schatter We noemen een schatter δ zuiver Engels: unbiased voor θ als E θ δx = θ We noemen bovendien Biasδ, dat is gedefinieerd als Biasδ = E θ δx θ de onzuiverheid Engels: bias van δ. Hfdstk 7: Zuivere Schatters 5 / 37 Hfdstk 7: Zuivere Schatters 6 / 37 Verliesfunctie herhaling Hoofdstuk 6 Volgens de definitie is de verliesfunctie Lθ, a = de strafboete als we als schatting voor parameter θ de waarde a kiezen. We hebben ook gezien dat we voor L vaak een kwadratische functie nemen. Een schatter is een reëelwaardige functie van X, en dus is δx zelf ook een stochast. Dit houdt in dat het zinvol is om te kijken naar het verwachte verlies bij gebruik van de schatter δ: E θ [L θ, δx ] = L θ, δx f n x θ dx 1 dx n Dit is een speciaal geval van E θ gx, waarbij gx = L θ, δx Definitie Als we nu Lθ, a = θ a 2 nemen, dan wordt deze uitdrukking gelijk aan de MSE Mean Squared Error: MSEδ = E θ [ δx θ 2 ] We kunnen de MSEδ uitdrukken in Biasδ en Varδ: 2 ] MSEδ = E θ [δ E θ δ + E θ δ θ 2 = E θ [δ E θ δ + 2 δ E θ δ E θ δ θ + [ E θ δ θ ] ] 2 = Varδ + Biasδ 2 Gevolg: Voor een zuivere schatter δ is Biasδ = en MSEδ = VarδX: Hfdstk 7: Zuivere Schatters 7 / 37 Hfdstk 7: Zuivere Schatters 8 / 37
Afweging Voorbeeld Bernoulli verdeling MSEδ = Varδ + Biasδ 2 Bij zuivere schatter valt term Biasδ in de MSEδ weg, maar kan juist de Varδ term groter worden. We zullen toch altijd de twee termen tegen elkaar moeten afwegen. Notatie Vanaf nu laten we bij het uitrekenen van verwachtingen en varianties de steekproefstochast X weg, dus met Eδ bedoelen we EδX en met Varδ bedoelen we VarδX. In Hoofdstuk 6 hebben we gezien dat de M.L.-schatter voor de parameter p van een Bernoulli verdeling, gebaseerd op een steekproef X 1,..., X n, gelijk is aan het steekproefgemiddelde: ˆp = X n = 1 n X i Vraag: Is deze schatter zuiver? Vraag: Wat is de MSEˆp? Hfdstk 7: Zuivere Schatters 9 / 37 Hfdstk 7: Zuivere Schatters 1 / 37 Voorbeeld Schatten van de verwachting Laat X 1,..., X n, een aselecte steekproef zijn uit dezelfde verdeling met E X i = µx en VarX i = σx 2. Het steekproefgemiddelde X n = 1 n X i Voorbeeld Schatten van de variantie Neem X 1,..., X n, een aselecte steekproef uit dezelfde verdeling met verwachting EX i = µ en VarX i = σ 2. Wanneer µ bekend is, kunnen we σ 2 schatten m.b.v. is een zuivere schatter voor µ, immers E X n = E Xi. De MSE is gelijk aan Var X n ofwel σ 2 /n. ŝ = 1 n X i µ 2. Als X i Nµ, σ 2, dan is EX n = µ en MSEX n = σ 2 /n. Als X i exponentieel verdeeld is met parameter λ, dan is EX i = 1/λ en VarX i = 1/λ 2. Er volgt nu EX n = 1 λ en MSEX n = 1 λ 2 n. Deze schatter is natuurlijk zuiver voor σ 2. Waarom? Hfdstk 7: Zuivere Schatters 11 / 37 Hfdstk 7: Zuivere Schatters 12 / 37
Schatten van variantie met onbekend gemiddelde Wanneer µ niet bekend is, zouden we µ kunnen vervangen door een schatter, bijvoorbeeld X n. De schatter wordt nu ŝ 1 = 1 n X i X n 2. Dit levert een schatter die echter niet zuiver is. Om dit te zien schrijven we eerst: X i X n 2 = Er volgt dan Eŝ 1 = n 1 n σ2 Xi 2 nx 2 n We zien dat ŝ 1 geen zuivere schatter is voor σ 2, maar we kunnen dit corrigeren in een nieuwe schatter ŝ 2 : Definitie Steekproefvariantie De schatter ŝ 2, gedefinieerd als ŝ 2 = n n 1 ŝ1 = 1 n 1 X i X n 2, is een zuivere schatter van σ 2. LET OP! ŝ 2 is een zuivere schatter is voor σ 2, maar ŝ2 is geen zuivere schatter is voor σ! Hfdstk 7: Zuivere Schatters 13 / 37 Hfdstk 7: Zuivere Schatters 14 / 37 Voorbeeld Parameter uniforme verdeling We nemen aan dat X 1,..., X n, een aselecte steekproef is uit een uniforme verdeling op het interval [, θ], waarbij θ een onbekende te schatten parameter is. We zagen in Hoofdstuk 6 dat de M.L.-schatter ˆθ 1 gelijk is aan ˆθ 1 = max{x 1,..., X n } We vermoeden dat ˆθ 1 geen zuivere schatter van θ kan zijn. Waarom? Dit kunnen we inderdaad bewijzen. We bepalen hiertoe eerst de kansverdelingsfunctie Fˆθ1 en de kansdichtheid fˆθ1 van ˆθ 1 : Fˆθ1 t = Pˆθ 1 t = F X t n Hieruit volgt Fˆθ1 t = t n θ n, t θ, en fˆθ1 = d dt Fˆθ1 t = ntn 1 θ n. We kunnen nu uitrekenen: en Eˆθ 1 = θ t fˆθ1 t dt = θ Eˆθ 1 2 = t 2 t dt = fˆθ1 waaruit volgt θ θ t ntn 1 θ n dt = nθ n + 1 t 2 ntn 1 θ n dt = nθ2 n + 2 Var ˆθ1 = Eˆθ 1 2 Eˆθ 1 2 nθ 2 = n + 2n + 1 2 Biasˆθ 1 = Eˆθ 1 θ = MSEˆθ 1 = 2θ 2 n + 2n + 1 θ n + 1. Hfdstk 7: Zuivere Schatters 15 / 37 Hfdstk 7: Zuivere Schatters 16 / 37
We kunnen de onzuiverheid van ˆθ 1 corrigeren in een nieuwe schatter: ˆθ 2 = n + 1 n θ 1 Voor deze schatter geldt Eˆθ 2 = θ en dus Biasˆθ 2 = en Var ˆθ2 = n + 12 n 2 Var ˆθ1 = θ 2 nn + 2 = MSEˆθ 2 We kunnen ook op een andere manier een zuivere schatter construeren. Bedenk dat voor het steekproefgemiddelde geldt EX n = EX i = θ 2 Definieer nu de derde schatter: ˆθ 3 = 2X n. Deze schatter is zuiver en bovendien geldt Var ˆθ3 = 4Var 4VarX 1 X n = = θ2 n 3n Hfdstk 7: Zuivere Schatters 17 / 37 Hfdstk 7: Zuivere Schatters 18 / 37 We kunnen nu voor de drie genoemde schatters de MSE vergelijken: MSEˆθ 2 = θ 2 nn + 2 θ2 3n = MSEˆθ 3 met gelijkheid alleen voor n = 1 dan is ˆθ 2 = ˆθ 3. Ook geldt MSEˆθ 1 = 2θ 2 n + 2n + 1 θ2 3n = MSEˆθ 3 De kleinste MSE krijgen we met de onzuivere schatter ˆθ 4 = n + 2 n + 1 ˆθ 1, want dan is de MSEˆθ 4 = θ 2 n + 1 2. met gelijkheid alleen voor n = 1 en n = 2. Hfdstk 7: Zuivere Schatters 19 / 37 Hfdstk 7: Zuivere Schatters 2 / 37
Betrouwbaarheidsintervallen Tot nu toe hebben we drie soorten puntschatters gezien: A posteriori schatter: Resultaat van de schatting is een verdeling van de onbekende parameter, gegeven het resultaat van de steekproef. Bayes schatters: Resultaat van de schatting van een onbekende parameter is een verwachte waarde van die parameter. M.L.-schatters: Resultaat van de schatting is één aannemelijke waarde van de onbekende parameter. Voorbeeld Beschouw een stochast Z met een standaardnormale verdeling, Z N, 1. Kies een interval [c 1, c 2 ] zo klein mogelijk, zodat met kans.99 de uitkomst van Z in het interval ligt. In een plaatje: Opp =.99 Oplossing: Opp =.99 Intervalschatter Levert per schatting een interval waarvan het aannemelijk is dat de onbekende parameter daarin ligt. De lengte van het betrouwbaarheidsinterval geeft een indicatie hoe nauwkeurig we een parameter kunnen schatten. We noemen dit een betrouwbaarheidsinterval. c 1 c 2 -c c Hfdstk 7: Betrouwbaarheidsinterval 21 / 37 Hfdstk 7: Betrouwbaarheidsinterval 22 / 37 Voorbeeld Algemeen Beschouw een stochast Z met een standaardnormale verdeling, Z N, 1. Neem een γ, < γ < 1. Bepaal een interval c 1 γ, c 2 γ waarvan 1 we met betrouwbaarheid γ kunnen zeggen dat Z in dat interval ligt, ofwel P c 1 γ Z c 2 γ = γ 2 de lengte van het interval, i.e. c 2 γ c 1 γ, zo kort mogelijk is. Zo n interval c 1 γ, c 2 γ heeft altijd de vorm c γ, c γ : Opp = γ Opp = γ In een plaatje Opp = γ -c γ c γ c 1 γ c 2 γ c 1 γ c 2 γ Hfdstk 7: Betrouwbaarheidsinterval 23 / 37 Hfdstk 7: Betrouwbaarheidsinterval 24 / 37
Betrouwbaarheidsinterval De waarde van c γ waarvoor deze gelijkheid geldt: ofwel γ = cγ c γ φxdx = Φc γ Φ c γ = 2Φc γ 1 Φc γ = 1 + γ 2 of 1 + γ c γ = Φ 1. 2 De waarde van c γ horende bij γ is dus gelijk aan het 1 + γ/2 kwantiel van de standaardnormale verdeling. Uit de tabel achter in het boek volgt bijvoorbeeld voor γ =.95 dat c γ = 1.96. Schat een interval voor het gemiddelde van een normale verdeling. Ga uit van een aselecte steekproef X 1,..., X n, uit een normale verdeling Nµ, σ 2, waarvan µ een onbekende parameter is en σ 2 bekend is. We weten dat X n µ N, 1. σ 2 /n Hieruit volgt P c γ < X n µ σ 2 /n < c γ = γ ofwel P X n σc γ < µ < X n + σc γ = γ n n Hfdstk 7: Betrouwbaarheidsinterval 25 / 37 Hfdstk 7: Betrouwbaarheidsinterval 26 / 37 Betrouwbaarheidsinterval Definieer de stochasten AX en BX als AX = X n σc γ BX = X n + σc γ dan geldt P AX < µ < BX = γ Wanneer we nu een realisatie x van de steekproef invullen en dit levert de waarden Ax = a en Bx = b, dan noemen we a, b een betrouwbaarheidsinterval voor µ met betrouwbaarheid γ. Opmerkingen Soms geven we het interval ook weer als X n ± c γ σ/. Een betrouwbaarheidsinterval voor µ betekent NIET: De waarde van µ ligt met kans γ in het interval a, b. Het geldt zelfs niet als we een a priori en een a posteriori kansverdeling voor µ hebben. Het betekent WEL: Als je de steekproef vele malen herhaalt, dan zal het betrouwbaarheidsinterval in 1γ% van de gevallen de werkelijke waarde van µ bevatten. Hfdstk 7: Betrouwbaarheidsinterval 27 / 37 Hfdstk 7: Betrouwbaarheidsinterval 28 / 37
Definitie Betrouwbaarheidsinterval Veronderstel X 1,..., X n, een aselecte steekproef uit een verdeling met een onbekende parameter θ. Laat AX 1,..., X n en BX 1,..., X n twee functies zijn, waarvoor geldt dat, ongeacht de werkelijke waarde van θ: P AX 1,..., X n < θ < BX 1,..., X n = γ, voor een gegeven γ, met < γ < 1. Als een realisatie x 1,..., x n, de waarden Ax 1,..., x n = a en Bx 1,..., x n = b oplevert, dan noemen we het interval a, b een betrouwbaarheidsinterval Engels: confidence interval voor θ met betrouwbaarheidscoëfficient γ. Voorbeeld Willekeurige verdeling We nemen een aselecte steekproef X 1,..., X n, uit een willekeurige verdeling, met een onbekende verwachting µ en bekende variantie σ 2. Uit de centrale limietstelling weten we dat Xn µ P σ 2 /n x Φx, als n. Voor γ, < γ < 1, en c γ = Φ 1 1+γ 2, geldt nu P c γ < X n µ σ 2 /n < c γ γ Hfdstk 7: Betrouwbaarheidsinterval 29 / 37 Hfdstk 7: Betrouwbaarheidsinterval 3 / 37 Vervolg voorbeeld willekeurige verdeling Voorbeeld Vervolg: onbekende σ 2 ofwel P AX < µ < BX γ voor de twee stochasten AX en BX gedefinieerd als AX = X n σc γ BX = X n + σc γ Wanneer we nu een realisatie x van de steekproef invullen en dit levert de waarden Ax = a en Bx = b, dan noemen we a, b een benaderend betrouwbaarheidsinterval voor µ met betrouwbaarheid γ. Bij de meeste statistische problemen is zowel de verwachting µ als de variantie σ 2 onbekend. Als we toch al aan het benaderen zijn, kunnen we AX en BX vervangen door: A X = X n c γs n, en B X = X n + c γs n, waarbij S 2 n een schatter is voor σ 2, bijvoorbeeld: S 2 n = 1 n 1 2. Xi X n Ook in dit geval levert een ingevulde realisatie x in A x = a en B x = b een interval a, b op, dat een benaderend betrouwbaarheidsinterval is voor µ met betrouwbaarheid γ. Hfdstk 7: Betrouwbaarheidsinterval 31 / 37 Hfdstk 7: Betrouwbaarheidsinterval 32 / 37
Opmerkingen Opmerkingen vervolg Als σ van X wel bekend is: De betrouwbaarheidsintervallen zijn gebaseerd op een verdeling voor de stochast Z = Xn µ σ/. Als X normaal verdeeld is, dan weten we de verdeling van Z exact n.l. Z N, 1. Als X niet normaal verdeeld is, dan weten we de verdeling van Z in het algemeen niet, maar benaderen we deze met N, 1. Als σ van X niet bekend is: De betrouwbaarheidsintervallen zijn gebaseerd op een verdeling voor de stochast Z = Xn µ S / n. Als X normaal verdeeld is, dan weten we deze verdeling exact een zogenaamde t-verdeling met n 1 vrijheidsgraden 1, maar in dit college benaderen we deze met een N, 1 verdeling. Als X niet normaal verdeeld is, dan weten we de exacte verdeling van Z in het algemeen niet, maar benaderen we deze verdeling met een N, 1 verdeling. 1 Deze wordt in het boek wel behandeld, maar is geen tentamenstof Hfdstk 7: Betrouwbaarheidsinterval 33 / 37 Hfdstk 7: Betrouwbaarheidsinterval 34 / 37 Voorbeeld De Consumentenbond heeft een onderzoek uitgevoerd naar het aantal kcal dat in gevulde koeken zit. In een aselecte steekproef van 16 koeken werden de volgende aantallen gemeten: 278, 314, 292, 248, 37, 285, 334, 311, 328, 292, 283, 32, 313, 349, 272, 267 We willen nu een benaderend 9% betrouwbaarheidsinterval voor het gemiddelde aantal kcal bepalen. Het steekproefgemiddelde is x n = 4793/16 = 299.56. De steekproefvariantie is S 2 n = 1 n 1 x i x n 2 = 731.73 De ondergrens wordt dus Ax = 299.56 en de bovengrens wordt Bx = 299.56 + 731.73 1.645 16 = 288.44 731.73 1.645 16 = 31.68 We moeten γ gelijknemen aan.9, zodat uit de tabel van Φt volgt dat c γ = 1.645. Hfdstk 7: Betrouwbaarheidsinterval 35 / 37 Hfdstk 7: Betrouwbaarheidsinterval 36 / 37
Na bestudering van dit hoofdstuk moet je: Kunnen bepalen of een bepaalde schatter zuiver is, De onzuiverheid bias en MSE van een schatter uit kunnen rekenen. Een zuivere schatter voor variantie kennen. Een benaderende betrouwbaarheidsinterval uit kunnen rekenen. Hfdstk 7: Betrouwbaarheidsinterval 37 / 37