Steekproeven en schatters

Transcriptie

1 Statistiek voor Iformatiekude, 25 Les 2 Steekproeve e schatters We zulle i deze les bekijke, hoe we gegeves va ee populatie zo als het gemiddelde e de spreidig kue schatte, zoder aar elk idividu va de populatie te kijke. Het idee hierbij is, allee maar ee deel va de populatie te pakke (dit oeme we ee steekproef), dit als represetatief te beschouwe e de gegeves hierop te bepale. Ee belagrijke vraag is da hoe dicht de schattig bij de ware waarde zou ligge e wat voor ee afwijkig we moete verwachte. Voor dat we os hiermee gaa bemoie moete we ee aatal feite over de ormale verdelig verzamele (herhale), omdat deze verdelig de basis voor de aalyse va steekproeve vormt. 2.1 De ormale verdelig De belagrijkste verdelig i de statistiek is de ormale verdelig. Deze wordt volledig bepaald door de verwachtigswaarde µ e de variatie 2 (of de stadaardafwijkig ) e heeft de dichtheidsfuctie f µ, (x) := 1 2π e 1 2 ( x µ )2 = 1 2π e (x µ) Ee stochast X die ee kasverdelig met deze dichtheidsfuctie heeft, heet ormaal verdeeld e wordt vaak met X N (µ, 2 ) geoteerd. De verdeligsfuctie voor ee ormaal verdeelde stochast ka iet zoder itegraal geschreve worde, er geldt F (x) := P (X x) = x f µ, (t) dt. Voor ee ormaal verdeelde stochast X met verwachtigswaarde µ e variatie 2 heeft de geormaliseerde stochast Z := X µ de verwachtigswaarde e variatie 1 e me oemt de stochast Z ee stadaard-ormaal verdeelde stochast. De stadaard-ormale verdelig heeft de eevoudigere dichtheidsfuctie f(x) := f,1 (x) := 1 e 1 2 x2. 2π De parameters µ e va ee ormale verdelig kue aa de grafiek va de dichtheidsfuctie f(x) afgeleze worde zo als i Figuur 1 te zie. De verwachtigswaarde µ is gewoo het put waar f(x) zij maximum heeft e omdat de ormale verdelig symmetrisch is, is dit ook de mediaa e de modus va de kasverdelig. De stadaardafwijkig vide we op basis va het feit dat de pute x = µ e x = µ + juist de pute zij waar de grafiek va krommig veradert. Op de pute waar e grafiek va krommig veradert is de stijgig va de grafiek maximaal of miimaal e heeft de afgeleide va de fuctie dus ee maximum of miimum (e dus de tweede afgeleide ee ulput). Omdat de verdeligsfuctie F (x) va de ormale verdelig iet makkelijk te berekee is, worde de waarde vaak i tabelle aagegeve. Hierbij is het 21

2 Statistiek voor Iformatiekude, 25.2 y x 8 1 Figuur 1: Normale verdelig met µ = 3 e = 2 e raaklij aa de grafiek i x = µ +. voldoede, de waarde voor de stadaard-ormale verdelig aa te geve, voor ee willekeurige ormale verdelig worde de waarde op de z-waarde va de stadaard-ormale verdelig geormaliseerd. Voor z = x µ e Z = X µ geldt immers: x µ 1 P (X x) = P (Z z) = e 1 2 t dt. 2π De tabelle voor de stadaard-ormale verdelig worde op twee maiere aagelegd: (i) De waarde P (Z z) voor waarde va z i regelmatige afstade, bijvoorbeeld afstade va.5 tusse z = 3 e z = 3. (ii) Kritieke waarde va z zo dat P (Z z) = p voor zekere kase p, bijvoorbeeld kase i afstade va.1 tusse e 1. Voorbeeld: Voor ee ormaal verdeelde stochast X met verwachtigswaarde 3 e stadaardafwijkig 2 wille we de kas P (1 X 4) wete, dat ee waarde tusse x 1 = 1 e x 2 = 4 ligt. De geormaliseerde z- waarde zij z 1 = x = 1 e z 2 = x =.5. De gezochte kas is dus P (Z.5) P (Z 1) voor de stadaard-ormaal verdeelde stochast Z. Voor deze twee kase vide we i ee tabel de waarde P (Z.5).6915 e P (Z 1) De gezochte kas is dus = Als we omgekeerd wille wete voor welke waarde va x de kas P (X x) =.8 is, vide we i ee tabel dat dit voor de z-waarde.8416 het geval is, dus voor x = z + µ = = De redee voor de cetrale stellig va de ormale verdelig i de statistiek zij veelvoudig, de volgede opmerkige geve hier ee idee va: 22

3 Statistiek voor Iformatiekude, 25 (1) Voor zekere parameters worde adere kasverdelige zo als de biomiale verdelig of de Poisso-verdelig door de ormale verdelig goed beadert. (2) De combiatie va ee groot aatal resultate met bija willekeurige kasverdelige wordt goed beaderd door ee ormale verdelig. (3) De frequetieverdelige va de uitkomste va veel experimete worde goed beaderd door ee ormale verdelig, bijvoorbeeld merkmale va populaties (grootte, gewicht), herhaald mete va gegeves, resultate va ee grote groep mese bij ee test, ez. Dit is te dele ee cosequetie uit het put (2), wat vaak is ee grootheid bepaald door ee aatal eigszis oafhakelijke factore e de combiatie daarva geeft ee ormale verdelig. Normale beaderig va adere kasverdelige Stel ee toevalsexperimet levert met kas p ee succes op, da heeft de stochast X die het aatal successe i pogige telt ee biomiale verdelig e er geldt ( ) P (X = k) = b(, p; k) = p k (1 p) k. k Ee biomiaal verdeelde stochast X heeft de verwachtigswaarde E[X] = p e de variatie V ar(x) = p(1 p). We trasformere X met behulp va E[X] e V ar(x) op ee stochast Z die verwachtigswaarde e variatie (of stadaardafwijkig) 1 heeft door Z := X p p(1 p) te defiiëre. Als we late groeie, maakt de stellig va De Moivre e Laplace ee belagrijke uitspraak over de stochast Z: X p Stellig: De limiet lim is ee stadaard-ormaal verdeelde p(1 p) stochast. Omgekeerd beteket dit, dat voor iet te kleie waarde va de biomiale verdelig met parameters e p door de ormale verdelig met parameters µ = p e 2 = p(1 p) beaderd ka worde. We oeme dit de ormale beaderig va de biomiale verdelig. De beaderig is beter als p i de buurt va 1 2 ligt e slechter als p dicht bij of 1 ligt. Als vuistregel wordt vaak gehateerd, dat de ormale beaderig va de biomiale verdelig toegestaa is als p 5 e (1 p) 5 (soms wordt ook p 1 e (1 p) 1 geëist). We wete dat we voor ee stochast X va zeldzame gebeurteisse (dus met kleie p) de biomiale verdelig door de Poisso-verdelig met parameter λ = p kue beadere. Voor de kase bij de Poisso-verdelig geldt P (X = k) = po λ (k) = λk k! e λ 23

4 Statistiek voor Iformatiekude, k k Figuur 11: Normale beaderig va de biomiale verdelig met parameters = 25 e p =.2 (liks) e va de Poisso-verdelig met parameter λ = 5 (rechts). e de stochast X heeft verwachtigswaarde E[X] = λ e variatie V ar(x) = λ. Nadat we de biomiale verdelig behadeld hebbe, is het u gee verrassig, dat ook de Poisso-verdelig door de ormale verdelig beaderd ka worde, als de parameter λ iet te klei is. Me oemt de ormale verdelig met µ = λ e 2 = λ de ormale beaderig va de Poisso-verdelig met parameter λ. Aaloog met de biomiale verdelig wordt ook hier meestal λ 5 als vuistregel gehateerd. Dat de beaderige voor de aagegeve greze iderdaad redelijk goed zij, kue we aa de voorbeelde i Figuur 11 zie. Merk op dat de biomiale verdelig e de Poisso-verdelig scheef aar rechts zij. Daarom ligt de modus va de twee i Figuur 11 aagegeve verdelige liks va 5 (bij 4.69 voor de biomiale verdelig e bij 4.49 voor de Poisso-verdelig) e is de ormale verdelig dus telkes de verdelig met het maximum meer rechts. Cetrale limietstellig Dat de combiatie va mi of meer willekeurige kasverdelige door ee ormale verdelig beadert wordt, is ruwweg de uitspraak va ee va de meest belagrijke (e misschie ook meest verbazede) stellige i de kasrekeig e statistiek, de Cetrale limietstellig. Deze luidt als volgt: Stellig: Als X 1, X 2,... oafhakelijke stochaste zij met verwachtigswaarde E[X i ] e variatie V ar(x i ), da is de limiet lim (X i E[X i ]) V ar(x i) oder zwakke verdere voorwaarde aa de X i ee stadaard-ormaal verdeelde stochast. I het bijzoder wordt aa de voorwaarde voldaa als alle X i 24

5 Statistiek voor Iformatiekude, 25 dezelfde stadaardafwijkig hebbe, i dit geval covergeert ( ) 1 X i E[X i ] tege de stadaard-ormale verdelig. Uit deze stellig kue we omgekeerd cocludere dat de ormale verdelig met verwachtigswaarde µ = E[X i] e variatie 2 = V ar(x i) ee beaderig geeft voor de kasverdelig va de stochast X := X i. Hoe goed deze beaderig is, hagt va de verdelige va de ekele stochaste X i e atuurlijk va af x x x 2 3 Figuur 12: Beaderig va de som va uiforme verdelig door ee ormale verdelig voor = 2, = 4 e = 8. Als voorbeeld kijke we aar de combiatie va stochaste X i met uiforme verdelige op het iterval [ 1 2, 1 2 ]. Omdat de verdelige symmetrisch rod ligge, is E[X i ] = e voor de variatie geldt V ar(x i ) = De som X X wordt dus beaderd door de ormale verdelig met µ = e 2 = 12. I Figuur 12 is de beaderig voor = 2, = 4 e = 8 te zie. Het is duidelijk, dat al voor = 4 de ormale verdelig ee heel goede beaderig geeft. 2.2 Steekproeve We hebbe gezie hoe we uit ee verzamelig gegeves uitsprake kue afleide over typische waarde, spreidig, scheefheid, ez. va de gegeves. Hierbij hebbe we altijd gebruik gemaakt va de keis va alle gegeves. I de praktijk is dit vaak odoelijk of oweselijk, omdat we uitsprake wille make over ee verzamelig gegeves waarva we iet ieder idividu te pakke krijge. I zo geval eme we ee deel va de gegeves - ee steekproef - e probere uit de resultate op de steekproef coclusies over de volledige verzamelig gegeves te trekke. Voorbeelde va deze situatie zij: Verkiezige: Om de percetages va de verschillede opties (verschillede partije, ja/ee bij ee referedum) bij ee toekomstige verkiezig te schatte, wordt i ee equête ee steekproef va typisch 1 of 2 mese odervraagd. 25

6 Statistiek voor Iformatiekude, 25 Kwaliteitstoetse: Om de percetage defecte stukke i ee productie te schatte, eme we ee steekproef e teste de gekoze stukke. Het relatieve aatal defecte stukke i de steekproef eme we als gok voor de percetage i de volledige productie. Gemiddelde waarde: Om de gemiddelde itelligetiequotiët of bodymass-idex i de bevolkig te schatte, bepale we deze voor ee geselecteerde groep mese. Het idee achter het eme va ee steekproef zit i de veroderstellig, dat de steekproef represetatief voor de volledige verzamelig is. De maier hoe ee steekproef wordt geome, heeft atuurlijk ee grote ivloed erop of dit iderdaad klopt. Het is bijvoorbeeld beked dat zekere groepe i de bevolkig duidelijk verschilled resultate bij verkiezige oplevere, afhakelijk va ikom, leeftijd of burgerlijke staat. Me moet daarom ervoor zorge, dat deze factore i de steekproef met de juiste relatieve frequeties gerepreseteerd zij. Ee voorbeeld va ee slechte steekproef is, bij ee equête gewoo de eerste 1 mese te vrage die je tegekomt. Dit zou bija ooit represetatief zij, omdat je op zekere plekke vooral mese met gemeeschappelijke eigeschappe tegekomt, op het statio bijvoorbeeld mese die aar hu werkplek reize e op de campus va de uiversiteit studete. Ook als je i de telefoogids willekeurig ummers kiest, is dit meestal iet represetatief, omdat je mese zoder telefoo buite beschouwig laat e afhakelijk va de tijd verschillede bewoers va ee woig bereikt. Het juiste kieze va ee steekproef is ee moeilijke taak waarmee zich ee belagrijk speciaal gebied va de statistiek bezig houdt. We zulle os echter i dit college iet verder met de vraag va het juiste opzette va steekproeve bemoeie, we gaa er va u af va uit dat we het altijd goed hebbe gedaa e het met ee aselecte steekproef te make hebbe. Hiermee bedoele we dat de steekproef aa de volgede twee eise voldoet: (1) De steekproef is obevooroordeeld (ubiased): Elk idividu heeft dezelfde kas om gekoze te worde. (2) De steekproef is oafhakelijk: De keuze va éé idividu voor de steekproef heeft gee ivloed op de kase va de adere idividue om i de steekproef te kome. 2.3 Het gemiddelde va ee steekproef Vaak berekee we het gemiddelde va ee steekproef e gebruike dit als schattig voor het gemiddelde (of de verwachtigswaarde) va de volledige populatie. Als we bijvoorbeeld bij ee kwaliteitstoets de kas op ee foutief stuk i ee productieproces wille bepale, eme we hiervoor als schattig de relatieve frequetie va foutieve stukke i ee (aselecte) steekproef. De vraag is u, hoe goed de schattig vauit de steekproef voor de echte kas is, dus hoe sterk het gemiddelde va de steekproef va het gemiddelde va de populatie afwijkt. 26

7 Statistiek voor Iformatiekude, 25 Het cruciale idee, om bij deze vraag verder te kome, is dat we os voorstelle, het eme va de steekproef vaak te herhale e de uitslage va de ekele steekproeve als toevalsexperimet, dus als stochast te beschouwe. Stel we hebbe ee steekproef x 1,..., x. Da kue we ieder elemet x i i de steekproef als resultaat va ee stochast X i beschouwe e als we veroderstelle dat de elemete i de steekproef op grod va hetzelfde proces geproduceerd worde, hebbe de stochaste X i alle dezelfde kasverdelig. Merk op dat we bij deze aapak iets over het oderliggede proces veroderstelle, bijvoorbeeld dat bij de productie va de gecotroleerde stukke iderdaad elk stuk met kas p defect is e dat dit bij de verschillede stukke oafhakelijk gebeurt. Als we u aar alle mogelijke steekproeve x 1,..., x wille kijke, kue we dit met behulp va de stochaste X 1,..., X beschrijve, wat X i geeft juist de kas aa waarmee het resultaat x i voorkomt. Op deze maier krijge we bijvoorbeeld voor het steekproefgemiddelde x = 1 (x x ) de stochast X = 1 (X X ) die de verdelig va de steekproefgemiddelde over alle mogelijke steekproeve aageeft. Merk op: Het is i de literatuur gebruikelijk, ee cocrete steekproef met kleie letters (zo als x 1, x 2, y) aa te geve, terwijl hoofdletters (zo als X 1, X 2, Y ) de stochaste voor de verdelig over alle steekproeve aageve. Voorbeeld: Zij X de stochast va ee Beroulli-experimet met parameter p, d.w.z. er geldt P (X = 1) = p e P (X = ) = 1 p. De verwachtigswaarde E[X] is da E[X] = p 1 + (1 p) = p e de variatie V ar(x) = p (1 p) 2 + (1 p) p 2 = p(1 p). Als we ee steekproef va grootte eme, herhale we het Beroulliexperimet keer oafhakelijk e hebbe hierbij stochaste X 1,..., X met dezelfde verdelig als X. Voor de stochast X := 1 (X X ) die de relatieve frequetie va 1e bij pogige aageeft, hebbe we E[X] = 1 (p p) = 1 p = p dus is de verwachtigswaarde va de steekproefgemiddelde iderdaad de juiste parameter p. Als we dus meerdere steekproeve eme, kue we erva uitgaa dat de ware waarde va p ogeveer het gemiddelde va de steekproefgemiddelde is. Maar atuurlijk zulle we iet meerdere steekproeve apart eme, da zoude we ook metee ee grotere steekproef kue eme. Iteressater is de vraag hoe ver het steekproefgemiddelde va de juiste waarde va p afwijkt. Maar hierover maakt juist de variatie V ar(x) va de stochast X ee uitspraak, we kue verwachte dat het steekproefgemiddelde meestal bie éé stadaardafwijkig V ar(x) va p ligt. De variatie va X berekee we als V ar(x) = 1 2 (p(1 p) p(1 p)) = 1 2 p(1 p) = 1 p(1 p). Dit beteket dat het steekproefgemiddelde ee stadaardafwijkig va 27 p(1 p)

8 Statistiek voor Iformatiekude, 25 heeft. I het bijzoder eemt de ozekerheid va de schattig met de wortel uit de grootte va de steekproef af. Omdat we steeds va ee aselecte steekproef uitgaa, is voor het keer herhale va ee Beroulli-experimet de Cetrale limietstellig va toepassig e we krijge voor iet te kleie als verdelig voor de waarde va X (bij beaderig) ee ormale verdelig. Dit beteket dat het steekproefgemiddelde met ee kas va ogeveer 68% i het iterval [ p p(1 p), p + p(1 p) ] ligt. Merk op dat we i het voorbeeld ee alteratieve verdelig met parameter p verodersteld hebbe, e hiermee iets over de verdelig va X kode zegge. Dit is de situatie va ee hypothese die we over de oderliggede kasverdelig hebbe e die we met de realisaties x = 1 x i va X op cocrete steekproeve kue toetse. Het probleem va het toetse va hypothese zulle we later i dit college behadele. Het resultaat va het voorbeeld met het Beroulli-experimet geldt iderdaad algemee voor het bepale va het gemiddelde va gegeves. Stel we wille het gemiddelde va ee zekere grootheid bepale, da zie we elke metig als het resultaat va ee kasexperimet met ee stochast X die ee zekere kasverdelig heeft. We veroderstelle dus ee stochast X met verwachtigswaarde E[X] e stadaardafwijkig = X = V ar(x). Bij ee steekproef va metige beschouwe we het steekproefgemiddelde x = 1 (x x ) als uitkomst voor de ieuwe stochast X = 1 (X X ), waarbij de stochaste X i dezelfde kasverdelig als de veroderstelde stochast X hebbe. Voor de stochast X va het steekproefgemiddelde geldt u: e E[X] = 1 (E[X 1] E[X ]) = 1 E[X] = E[X] V ar(x) = 1 2 (V ar(x 1) V ar(x )) = 1 2 V ar(x) = 1 2 X dus geldt voor de variatie 2 X e de stadaardafwijkig X va X: 2 X = 1 2 X e X = 1 X. De verdelig va het steekproefgemiddelde heeft dus dezelfde verwachtigswaarde als de oderliggede kasverdelig e de stadaardafwijkig eemt met de wortel uit de grootte va de steekproef af. Merk op dat we bij het berekee va de variatie va X weer gebruik erva hebbe gemaakt dat de X i oafhakelijk zij, dus dat we het met ee aselecte steekproef te make hebbe. Strikt geome geldt 2 = 1 X 2 X voor de variatie va X allee maar als we ee steekproef uit ee oeidige populatie eme of als we de steekproef door trekke met teruglegge verkrijge. Dit is bijvoorbeeld bij herhaalde metige va ee waarde va toepassig, wat i pricipe kue we oeidig lag doorgaa met de metige e de populatie is dus oeidig. 28

9 Statistiek voor Iformatiekude, 25 Als ee steekproef va grootte uit ee eidige populatie met N elemete door trekke zoder teruglegge geome wordt, geldt voor de variatie va het steekproefgemiddelde 2 X = 1 2 X ( N N 1 Maar deze correctie kue we i de praktijk bij altijd verwaarloze, omdat N veel groter is da (aders zoude we gee steekproef eme, maar de hele populatie bekijke) e dus N N 1 heel dicht bij 1 ligt. ). Het probleem is u, dat we over de kwaliteit va oze schattig voor het gemiddelde E[X] allee iets kue zegge als we de stadaardafwijkig X va X kee. 2.4 De stadaardafwijkig va ee steekproef Net zo als we het steekproefgemiddelde als het rekekudig gemiddelde x = 1 (x x ) va de waarde i ee steekproef hebbe gedefiieerd, kue we ook ee steekproefvariatie e ee steekproefstadaardafwijkig defiiëre. De voor de had liggede gedachte zou zij, de steekproefvariatie door 1 ((x 1 x) (x x) 2 ) te defiiëre. Maar met het steekproefgemiddelde is al ee afhakelijkheid tusse de x i gegeve, als we amelijk x 1,..., x 1 e x kee, ligt x vast. Me zegt daarom, dat we slechts og 1 vrijheidsgrade hebbe, omdat we met x ee afhakelijkheid tusse de x i igevoerd hebbe. I plaats va de som va de kwadratische afstade door te dele, dele we door het aatal 1 va oafhakelijke waarde i de steekproef e krijge s 2 := 1 1 (x i x) 2 e s := 1 1 (x i x) 2 voor de steekproefvariatie e de steekproefstadaardafwijkig. Er is ook ee mider heuristische verklarig voor het gebruike va 1 i plaats va i de oemer. Dit hagt same met de theorie va schatters die we straks gaa bediscussiëre. Het cruciale put is, dat we graag wille dat de verwachtigswaarde va de steekproefvariatie de ware variatie 2 va de oderliggede verdelig geeft, et zo als de verwachtigswaarde voor het steekproefgemiddelde de ware verwachtigswaarde E[X] geeft. Om dit te aalysere, defiiëre we weer ee stochast X met de oderliggede kasverdelig e eme aa dat alle mogelijke steekproeve door oafhakelijke stochaste X 1,..., X met dezelfde kasverdelig als X beschreve worde. De verwachtigswaarde e variatie va X otere we met µ := E[X] e 2 := V ar(x). We wete dat 2 = E[X 2 ] E[X] 2, dus is E[X 2 ] = 2 + µ 2. De stochast X voor het steekproefgemiddelde is weer gedefiieerd door X = 1 X i = 1 (X X ). Er geldt (X i X) 2 = (X i 1 ( j X j )) 2 = X 2 i 2 X i( j 29 X j ) X j X k. j,k

10 Statistiek voor Iformatiekude, 25 Als we dit over alle idices i optelle krijge we (X i X) 2 = Xi 2 2 X i X j X j X k i i i,j j,k = Xi 2 1 X j X k = Xi 2 1 ( i i i j,k X i ) 2. Er geldt E[X 2 i ] = 2 + µ 2, E[ i X i] = µ e V ar( i X i) = 2. Hieruit volgt E[( i X i) 2 ] = V ar( i X i) + E[ i X i] 2 = µ 2 e hiermee krijge we E[ i (X i X) 2 ] = E[ i X 2 i ] 1 E[( i X i ) 2 ] = ( 2 + µ 2 ) 1 (2 + 2 µ 2 ) = 2 + µ 2 2 µ 2 = ( 1) 2. We moete dus de steekproefvariatie als s 2 := 1 1 ( i (x i x) 2 ) defiiëre, om als verwachtigswaarde va de steekproefvariatie over alle steekproeve de variatie 2 te krijge. De stochast die de verdelig va de steekproefvariaties beschrijft oeme we S 2 e defiiëre deze door S 2 := 1 1 ( i (X i X) 2 ). 2.5 Studet t-verdelig e χ 2 -verdelig Bij ee stochast X krijge we de verdelig va de z-waarde door Z := X µ e aaloog krijge we bij ee steekproef va waarde de z-waarde va het steekproefgemiddelde als z := x µ s = x µ s waarbij we de obekede stadaardafwijkig door de steekproefstadaardafwijkig s vervage. Om de verdelig va de z-waarde va het steekproefgemiddelde te beschrijve, iterpretere we de elemete x i va ee steekproef weer als realisaties va stochaste X i, da wordt de verdelig va de z-waarde beschreve door de stochast T := X µ = X µ 1 met X := S S X i e S := 1 1 (X i X) 2. Voor ee ormaal verdeelde stochast X heet de kasverdelig va T de Studet t-verdelig met 1 vrijheidsgrade. De Studet t-verdelig is platter da de stadaard-ormale verdelig maar komt voor groeiede steeds dichter bij de stadaard-ormale verdelig. De oorzaak hiervoor is de ozekerheid over de variatie die de steekproefgemiddelde sterker om de ware waarde va het gemiddelde verspreid. 3

11 Statistiek voor Iformatiekude, 25 De rare aam va deze verdelig gaat terug op William Sealey Gosset ( ), die 198 ee artikel hierover gepubliceerd heeft. Omdat hij als medewerker va de Guiess brouwerij iet oder zij eige aam mocht publicere, koos hij het pseudoiem Studet voor zij weteschappelijke artikele. Ee beschrijvig va hem zegt: To may i the statistical world Studet was regarded as a statistical advisor to Guiess s brewery, to others he appeared to be a brewer devotig his spare time to statistics. De dichtheidsfuctie va de Studet t-verdelig met vrijheidsgrade is f (x) := C (1 + x2 +1 ) 2 waarbij de ormaliserigscostate C gegeve is door C := +1 Γ( 2 ) 1 Γ( 2 ). π De hierbij optredede Gamma-fuctie Γ(t) is gedefiieerd door Γ(t) = x t 1 e x dt. Ook dit is (et als de verdeligsfuctie va de ormale verdelig) ee fuctie die iet zoder itegraal te schrijve is. Uit de eigeschappe Γ(t + 1) = tγ(t) e Γ(1) = 1 volgt dat Γ( + 1) =! voor atuurlijke getalle. De Gamma-fuctie is dus ee soort iterpolatie va de faculteit e speelt daarom i veel gebiede va de wiskude ee belagrijke rol. Omdat de Studet t-verdelig symmetrisch is, heeft ee stochast T met deze verdelig de verwachtigswaarde E[T ] =. Heeft T ee verdelig met 3 vrijheidsgrade, da geldt V ar(t ) = 2, de variatie is dus iderdaad groter da bij de stadaard-ormale verdelig. Met de Studet t-verdelig hebbe we iets over de verdelig va de steekproefgemiddelde kue zegge. Ee adere klasse va fucties is geschikt om de verdelig va de steekproefvariaties te beschrijve. Voor stadaard-ormaal verdeelde stochaste X 1,..., X heet de verdelig va de stochast Y = X X2 ee χ2 -verdelig met vrijheidsgrade. Voor de stochast S 2 va de steekproefvariaties geldt maar X i X X i µ S 2 = 1 1 i (X i X) 2 = 2 1 i ( X i X is zelf iet stadaard-ormaal verdeeld. Dit geldt echter wel voor ) 2 ee χ 2 -verdelig met vrijheidsgrade. Met behulp dus is i ( X i µ 31 ) 2

12 Statistiek voor Iformatiekude, x Figuur 13: Studet t-verdelig voor = 1 e = 3 i relatie tot stadaardormale verdelig. va de relatie (X i X) 2 = i i (X i µ) 2 (X µ) 2 laat zich aatoe dat i ( X i X ) 2 iderdaad wel ee χ 2 -verdelig met 1 vrijheidsgrade is, dus geldt samegevat: 1 2 S 2 = i ( X i X ) 2 heeft ee χ 2 -verdelig met 1 vrijheidsgrade. Ook de χ 2 -verdelige kue we expliciet aageve, de χ 2 -verdelig met vrijheidsgrade heeft de dichtheidsfuctie f (x) = { C x 2 1 e x 2 voor x > voor x, waarbij C = (2 2 Γ( 2 )) 1. Voor ee stochast Y met χ 2 -verdelig met vrijheidsgrade geldt E[Y ] = e V ar(x) = 2 e voor wordt de χ 2 -verdelig steeds beter beaderd door ee ormale verdelig met µ = e 2 = 2. We zulle de χ 2 -verdelig i het kader va betrouwbaarheidsitervalle e het toetse va hypothese og vaker tege kome. 2.6 Schatters We hebbe vaak gezegd dat het steekproefgemiddelde x := 1 x i ee schattig voor het gemiddelde va de populatie is. We zulle u kort het algemee begrip va ee schattig toelichte. De meeste kasverdelige die i de statistiek ee rol spele, hage va ee of meerdere parameters af, de ormale verdelig bijvoorbeeld va de verwachtigswaarde µ e de variatie 2 e de expoetiële verdelig met dichtheidsfuctie f(x) = λ e λx va de itesiteit λ. 32

13 Statistiek voor Iformatiekude, x Figuur 14: χ 2 -verdelige voor = 3, = 5 e = 1. Ee schattig is ee fuctie (of procedure) die uit ee steekproef x 1,..., x ee parameter θ = t(x 1,..., x ) va ee kasverdelig probeert te bepale. Hierbij eemt me aa, dat de gegeves door ee stochast X met deze kasverdelig met parameter θ voortgebracht zij. Als we de elemete x i i de steekproef u weer als realisaties va stochaste X i zie die alle dezelfde kasverdelig hebbe als X, da oeme we de stochast T = t(x 1,..., X ) die de verdelig va de schattige over alle steekproeve aageeft ee schatter voor θ. We hebbe al voorbeelde va schatters gezie: X := 1 X i is ee schatter voor de verwachtigswaarde µ = E[X] va X. S 2 := 1 1 (X i X) 2 is ee schatter voor de variatie 2 = V ar(x) va X. We zegge dat ee schatter T zuiver (ubiased) is, als voor elke waarde va de parameter θ voor de kasverdelig va de stochast X geldt, dat de verwachtigswaarde E[T ] juist θ oplevert. We hebbe gezie dat X e S 2 zuivere schatters zij. Deze eigeschap va S 2 was juist de rede om bij de steekproefvariatie door 1 e iet door te dele. Voor de schatter T := 1 (X i X) 2 hadde we amelijk gezie dat E[T ] = voor ee stochast X met variatie 2. Omdat lim E[T ] = 2 oemt me T ee asymptotisch zuivere schatter. Dit beteket, dat de schatter voor grote steekproeve wel ee goede schattig geeft. Alhoewel S 2 = 1 1 (X i X) 2 ee zuivere schatter voor de variatie 2 1 is, is S = 1 (X i X) 2 gee zuivere schatter voor de stadaardafwijkig, d.w.z. i het algemee is E[S]. Dit ligt simpelweg eraa dat a + b a + b. 33

14 Statistiek voor Iformatiekude, 25 Er zij verschillede algemee pricipes hoe me schatters voor de parameters va kasverdelige bepaald. We zulle twee va de meest gebruikte va deze pricipes u kort bekijke. Mometeschatters Meestal is ee kasverdelig die va ee aatal parameters θ 1,..., θ s afhagt door ee dichtheidsfuctie f(x) gegeve, die va deze parameters afhagt. Als we voor zo verdelig de momete µ k (of cetrale momete µ k) berekee, hage deze atuurlijk ook va de parameters θ 1,..., θ s af. Bij de ormale verdelig met parameters µ e 2 hebbe we bijvoorbeeld µ 1 = µ e µ 2 = 2 + µ 2. Vaak is het mogelijk, deze vergelijkige aar de parameters op te losse, waarbij me steeds et zo veel momete als parameters bekijkt. Voor de ormale verdelig geeft dit de relaties µ = µ 1 e 2 = µ 2 µ 2 1. Het idee va ee mometeschatter is u, als schattig voor de momete µ k de steekproefmomete m k := 1 xk i te bepale e M k := 1 Xk i als schatter voor het k-de momet µ k te defiiëre. Door de schatters voor de momete i de relaties tusse parameters e momete i te vulle, krijge we zo schatters voor de parameters. Bij de ormale verdelig levert dit de oude bekede als schatter voor µ e 1 Xi 2 ( 1 X = 1 X i X i ) 2 = 1 ( Xi 2 1 ( X i ) 2 ) = 1 = 1 S2 (X i X) 2 als schatter voor 2. De mometeschatter is dus iet oodzakelijk ee zuivere schatter. Maximum likelihood schatters Als ee dichtheidsfuctie f(x) va parameters θ 1,..., θ s afhagt, kue we dit ook expliciet uitdrukke door f(x) = f(x; θ 1,..., θ s ) te schrijve. Voor ee steekproef x 1,..., x is da het product L(θ 1,..., θ s ) := f(x i ; θ 1,..., θ s ) ee maat voor de aaemelijkheid waarmee ee stochast X met parameters θ 1,..., θ s de elemete va de steekproef geproduceerd heeft. Hoe groter deze 34

15 Statistiek voor Iformatiekude, 25 aaemelijkheid, hoe beter past de verdelig va de stochast bij de gevode steekproef. De maximum likelihood schatter (meest aaemelijke schatter) bepaalt daarom de waarde θ 1,..., θ s zo, dat de aaemelijkheid maximaal wordt. Bij ee aatal va kasverdelige is het mogelijk dit expliciet met behulp va afgeleide uit te rekee. Als voorbeeld kijke we aar ee expoetiële verdelig met parameter λ. De dichtheidsfuctie is f(x; λ) = λ e λx e als aaemelijkheid voor ee steekproef x 1,..., x krijge we L(λ) = λ e λx i = λ e λ(p i xi). De aaemelijkheid is maximaal als L (λ) = e voor de afgeleide krijge we L (λ) = λ 1 e λ(p i x i) λ e λ(p i x i) ( i x i ) = λ 1 e λ(p i x i) ( λ( i x i )) e er geldt L (λ) = als λ( i x i) =, dus voor λ = i x i = 1 x. Dit is atuurlijk precies het verwachte resultaat e dit is iderdaad voor de meeste va de gebruikelijke verdelige het geval. Omdat de aaemelijkheid L(θ) = f(x 1 ; θ)... f(x ; θ) ee product va uitdrukkige i θ is, is het vaak ohadig de afgeleide va deze fuctie te bepale. Weges de productregel krijgt me hierbij amelijk heel veel terme. Het is daarom vaak hadig, i plaats va de fuctie L(θ) zelfs de logaritme log(l(θ)) te bekijke, omdat log(l(θ)) = log(f(x 1 ; θ)) log(f(x ; θ)). Omdat de logaritme ee mootoo stijgede fuctie is, eemt log(l(θ)) precies voor dezelfde waarde va θ zij maximum aa als L(θ), daarom ka me i plaats va de ulpute va L (θ) ook de ulpute va log(l(θ)) bepale. Voor de ormale verdelig levert de maximum likelihood schatter hetzelfde resultaat als de mometeschatter, dus krijgt me ook hier iet i elk geval ee zuivere schatter. Er laat zich wel aatoe dat de maximum likelihood schatters altijd asymptotisch zuiver zij. Belagrijke begrippe i deze les ormale verdelig ormale beaderig 35

16 Statistiek voor Iformatiekude, 25 Cetrale limietstellig steekproef, aselecte steekproef steekproefgemiddelde, -variatie, -stadaardafwijkig Studet t-verdelig χ 2 -verdelig mometeschatter maximum likelihood schatter Opgave 6. Ee populatie bestaat uit de vier waarde 3, 7, 11 e 13. Ee mogelijke schatter voor het gemiddelde va de populatie is, steekproeve va 2 elemete met teruglegge te eme e hierva het gemiddelde te bepale. (i) Bereke het gemiddelde va de schattige over alle mogelijke steekproeve (dus de verwachtigswaarde va de schatter). Vergelijk dit met het echte gemiddelde va de populatie. (ii) Bepaal de stadaardafwijkig voor deze schatter va het gemiddelde va de populatie. (iii) Bij ee alteratieve schatter eem je steekproeve va 2 elemete zoder teruglegge. Bepaal weer de verwachtigswaarde e de stadaardafwijkig va deze schatter, dus het gemiddelde va de steekproefgemiddelde over alle mogelijke steekproeve e de stadaardafwijkig va alle steekproefgemiddelde. 7. Bij ee steekproef va stukke worde s defecte stukke gevode, de schattig voor de kas p op ee defect stuk is dus p = s. Voor ee gegeve waarde va p laat zich de kwaliteit va de schattig makkelijk toetse, omdat i dit geval de stadaardafwijkig va de verdelig va schattige (dus de stadaardafwijkig va p(1 p) de schatter) gegeve is door. Maar i veel gevalle is de ware waarde va p obeked e we moete oze coclusies allee uit de steekproef trekke. (i) Bij ee steekproef va 1 stukke werde 2 defecte stukke gevode. Bepaal de miimale e de maximale waarde va p zo dat de schattig p =.2 bie éé stadaardafwijkig (va de schatter) va p ligt. (ii) We otere de grootste waarde va p waarvoor de schattig p og et bie éé stadaardafwijkig va p ligt met p max. Geef ee formule afhakelijk va p max, p e aa, waar p max aa voldoet. (Hit: Bepaal ee fuctie va p die p max als ulput heeft. Het ulput va deze fuctie ka iet expliciet bepaald worde, maar moet umeriek beaderd worde.) Geef ook ee formule voor de kleiste waarde p mi va p aa, waarvoor p og bie éé stadaardafwijkig va p ligt. (iii) Stel iemad beweert dat zij schattig va p =.2 bie éé stadaardafwijkig va.1 va de ware waarde va p ligt. Hoe groot moet zij steekproef voor deze bewerig mistes zij? 36

17 Statistiek voor Iformatiekude, Zij X ee stochast met de drie mogelijke uitkomste 1, e 1 e met de kasverdelig P (X = 1) = P (X = 1) = 1 2p e P (X = ) = 1 p die va ee parameter p 1 afhagt. Zij T de stochast die het aatal e i ee steekproef va grote aageeft, e T 1 de stochast die het aatal 1e aageeft. Laat zie dat 1 ( T ) e 2 T 1 zuivere schatters voor p zij. 9. Zij X ee stochast met uiforme verdelig op het iterval [, θ], da is P (X x) = x θ voor x θ. We wille uit ee steekproef x 1,..., x ee schattig voor θ make. (i) Laat zie dat de schattig t := 2 (x x ) ee zuivere schatter T := 2 (X X ) = 2 X voor θ geeft. (ii) Ee adere mogelijke schattig voor θ is het maximum va de gevode waarde, dus t max := max(x 1,..., x ). Laat zie dat voor de schatter T max := max(x 1,..., X ) geldt dat P (T x) = ( x θ ) e cocludeer dat T de verdeligsfuctie f(x) = x 1 θ heeft. Ga a dat T max gee zuivere schatter, maar wel ee asymptotisch zuivere schatter voor θ is, door te late zie dat E[T ] = +1 θ. (Hit: Er geldt θ x dx = 1 +1 θ+1.) (iii) Laat zie dat +1 T max ee zuivere schatter voor θ is. 1. Laat zie dat voor ee stochast X met uiforme verdelig op het iterval [, θ] de schatter T max := max(x 1,..., X ) de maximum likelihood schatter is. (Hit: Ga a dat de aaemelijkheid L(θ) voor ee steekproef x 1,..., x gegeve is door L(θ) = als θ < max(x 1,..., x ) e L(θ) = 1 θ als θ max(x 1,..., x ).) 11. Voor ee stochast X met uiforme verdelig op het iterval [, θ] wordt va ee steekproef x 1, x 2 va twee waarde de schattig t := 3 x 1 x 2 voor θ gemaakt. Laat zie dat T := 3 X 1 X 2 ee zuivere schatter voor θ is. 12. Bij ee zeker chemisch proces wordt de afgegeve eergie (warmte) gemete e er wordt verodersteld dat de afgegeve eergie door ee stochast X met verwachtigswaarde µ e variatie 2 wordt beschreve. Bij 1 metige zij de volgede resultate verkrege: x 1 = 1244, x 2 = 1198, x 3 = 1212, x 4 = 1235, x 5 = 1245, x 6 = 119, x 7 = 122, x 8 = 122, x 9 = 1233, x 1 = 128. (i) Bepaal het steekproefgemiddelde x e de steekproefvariatie s 2 va de metige. (ii) I plaats va over alle steekproefwaarde te middele, zou me ook het gemiddelde va de eerste e de laatste waarde, of het gemiddelde va de waarde x 3 t/m x 8 kue eme. Dit geeft aaleidig tot de schatters Y := 1 2 (X 1 +X 1 ) e Z := 1 6 (X 3 + X 4 + X 5 + X 6 + X 7 + X 8 ). Bepaal de schattige voor het gemiddelde va de aagegeve steekproef met deze twee schatters. (iii) Laat zie dat de schatters Y e Z uit (ii) zuiver zij, d.w.z. dat E[Y ] = E[Z] = E[X]. Bepaal ook de variaties va deze schatters. (iv) De schatter Y voor de verwachtigswaarde µ va X kue we ook voor ee algemee steekproef va grote defiiëre door Y := 1 2 (X 1 + X ). Laat zie dat deze schatter Y verwachtigswaarde E[Y ] = µ e variatie V ar(y ) = 2 2 heeft. 13. We hebbe gezie dat X := 1 X i ee zuivere schatter voor de verwachtigswaarde µ = E[X] is. Laat zie dat X 2 gee zuivere schatter voor µ 2 is. 37