Deze week: Schatten. Statistiek voor Informatica Hoofdstuk 6: Schatten. Voorbeeld Medicijnentest. Statistische inferentie

Transcriptie

1 Deze week: Schatten Statistiek voor Informatica Hoofdstuk 6: Schatten Cursusjaar 2009 Peter de Waal Departement Informatica Statistische inferentie A Priori en posteriori verdelingen Geconjugeerde a priori verdelingen Bayes schatters Maximum likelihood schatters Hfdstk 6: 1 / 50 Hfdstk 6: 2 / 50 Statistische inferentie Voorbeeld Medicijnentest Het afleiden van gegevens voor een onbekende verdeling in een populatie op grond van waarnemingen van een gedeelte van die populatie. Toepassingen Parameter schatten Voorspellen Beslissingsproblemen. Beschouw het voorbeeld van de medicijnentest uit Hoofdstuk 5: Medicijn Imipramine heeft een onbekende kans P op succes. Medicijn wordt uitgeprobeerd op een aantal n patiënten. We willen een uitspraak doen over de onbekende P. Twee mogelijke aanpakken: Frequentistisch: De onbekende P heeft één, ons niet bekende, waarde. Probeer deze waarde zo goed mogelijk te bepalen. Bayesiaans: De onbekende P is een stochast met onbekende verdeling, die onze overtuiging ( belief ) in de parameterwaarde representeert. Probeer de verdeling zo goed mogelijk te bepalen. Hfdstk 6: Inleiding 3 / 50 Hfdstk 6: Inleiding 4 / 50

2 Bayesiaans vs. niet-bayesiaans Niet-Bayesiaans (Frequentistisch) Onbekende parameter heeft één onbekende waarde, Geen veronderstellingen vooraf, Uitkomsten van experiment leveren één schatting (waarde) voor de onbekende parameter. Bayesiaans Onbekende parameter is een stochast met een onbekende verdeling, Bij start van experiment: a-priori verdeling, Uitkomsten van experiment leveren informatie om de a-priori verdeling te verbeteren tot a-posteriori verdeling. A priori verdeling In de Bayesiaanse statistiek loopt schatten van een onbekende parameter θ als volgt: a priori verdeling ξ(θ) Waarnemingen x = (x 1,..., x n ) f (x θ) a posteriori verdeling ξ(θ x) Hfdstk 6: Inleiding 5 / 50 Hfdstk 6: A priori verdeling 6 / 50 Voorbeeld Medicijnentest (Vervolg) In het voorbeeld van de medicijnentest (in Hoofdstuk 5) zagen we al zo n aanpak: a priori verdeling: P Beta(1, 1) Waarnemingen x = (x 1,..., x n ) f (x p): 100 patiënten met 45 successen a posteriori verdeling: P Beta(46, 56) Waarnemingen Twee (equivalente) interpretaties van f (x θ): 1 Parameter X heeft kansverdeling met kansdichtheid- of kansmassafunctie f (x θ) die afhangt van een onbekende parameter θ, De X1,..., X n s vormen aselecte steekproef met verdeling gegeven door f (x θ); 2 Stochast X en θ hebben simultane verdeling f (x, θ), waarbij θ dus ook als een stochast beschouwd wordt. f (x θ) is een conditionele kansdichtheid- of kansmassafunctie, De X1,..., X n s zijn conditioneel onafhankelijk en identiek verdeeld gegeven θ met kansverdeling f (x θ). Hfdstk 6: A priori verdeling 7 / 50 Hfdstk 6: A priori verdeling 8 / 50

3 Voorbeeld (Levensduur TL-buizen) We weten dat de levensduur van een TL-buis een exponentiële verdeling heeft met parameter θ: f (x θ) = { θe θx, als x > 0, 0, anders. De parameter θ is niet bekend, maar we veronderstellen dat θ a priori een Gamma verdeling heeft met verwachting en standaard deviatie De parameter θ heeft dan een Gamma verdeling met parameters α =? en β =?, i.e. ξ(θ) = (β) α Γ(α) θα 1 e βθ, als θ > 0, 0, anders. A posteriori verdeling ξ(θ x) = conditionele verdeling van θ, gegeven de waargenomen data x = (x 1,..., x n ) uit de steekproef. Berekening: 1 Bepaal de a priori kansverdeling ξ(θ) van θ. 2 Doe aselecte steekproef X 1, X 2,..., X n met kansverdeling f (x θ) 3 Simultane verdeling van X 1,..., X n, gegeven θ: f n (x θ) = f n (x 1,..., x n θ) = f (x 1 θ) f (x 2 θ) f (x n θ) 4 Simultane verdeling van X 1,..., X n, en θ: h(x, θ) = f n (x θ)ξ(θ) 5 Marginale simultane verdeling van X 1,..., X n : g n (x) = θ h(x, θ) = θ f n(x θ)ξ(θ) 6 Conditionele kansmassa van θ gegeven X 1 = x 1,..., X n = x n : h(x, θ) ξ(θ x) = g n (x) = f n(x θ)ξ(θ) g n (x) Hfdstk 6: A priori verdeling 9 / 50 Hfdstk 6: A posteriori verdeling 10 / 50 Voorbeeld Medicijnenproef (Vervolg) Onbekende parameter θ = p. Realisatie steekproef n x i = ξ(p) = Γ(α+β) Γ(α)Γ(β) pα 1 (1 p) β 1, voor 0 < p < 1. 2 f (x p) = p x (1 p) 1 x, voor x = 0, 1. 3 f n (x p) = p x 1 (1 p) 1 x 1 p x 2 (1 p) 1 x 2... p xn (1 p) 1 xn. 4 h(x, p) = p Γ(α + β) (1 p) Γ(α)Γ(β) pα 1 (1 p) β 1. 5 g n (x) = Γ(α + β) Γ(α)Γ(β) Γ(α + 45)Γ(β + 55). Γ(α + β + 100) Aannemelijkheidsfunctie De functie f n (x 1,..., x n θ) is de kansmassafunctie van het steekproefresultaat x = (x 1,..., x n ) gegeven de onbekende parameter θ: f n (x 1,..., x n θ) = P(X 1 = x 1,..., X n = x n θ). Als de waarden x 1,..., x n, gegeven zijn, dan kunnen we dit ook beschouwen als een functie van θ. De functie noemen we dan de aannemelijkheidsfunctie van θ (Engels: likelihood function). 6 ξ(p x) = Γ(α + β + 100) Γ(α + 45)Γ(β + 55) pα+45 1 (1 p) β Hfdstk 6: A posteriori verdeling 11 / 50 Hfdstk 6: A posteriori verdeling 12 / 50

4 Berekening Stap 6: ξ(θ x) = h(x, θ) g n (x) = f n(x θ)ξ(θ) g n (x) g n (x) onafhankelijk van θ = f n(x θ)ξ(θ) h(x, θ) dient voor normering van ξ(θ x) tot kansmassafunctie, Alternatief: ξ(θ x) f n (x θ)ξ(θ), wat betekent: ofwel ξ(θ x) proportioneel met f n (x θ)ξ(θ). ξ(θ x) = C f n (x θ)ξ(θ), voor een of andere constante C die niet afhangt van θ. De juiste normering kan plaatsvinden door θ ξ(θ x) = 1 θ Voorbeeld Medicijnenproef ξ(p x) = f n(x p)ξ(p) g n (x) = p 45 (1 p) 55 Γ(α + β) Γ(α)Γ(β) pα 1 (1 p) β 1 Γ(α + β) Γ(α)Γ(β) p α+45 1 (1 p) β+55 1 Γ(α + 45)Γ(β + 55) Γ(α + β + 100) Hfdstk 6: A posteriori verdeling 13 / 50 Hfdstk 6: A posteriori verdeling 14 / 50 Voorbeeld Elektronische componenten Siemens produceert elektronische componenten, waarvan een fractie θ defect is. We nemen de a priori verdeling van θ uniform over [0, 1]: { 1, als 0 θ 1, ξ(θ) = 0, anders. We nemen een aselecte steekproef van 10 items, Noem X i = 1 als item i defect is, en 0 anders. De X i zijn conditioneel onafhankelijk, gegeven θ. Bovendien hebben ze elk een Bernoulli verdeling met parameter θ. De kansmassa voor elke X i is dus De uitslag van de steekproef is x = (1, 0, 0, 0, 0, 0, 1, 0, 0, 1). Dit levert f n (x θ) = θ (1 θ)(1 θ)(1 θ)(1 θ)(1 θ) θ (1 θ)(1 θ) θ Hieruit volgt ξ(θ x) θ 3 (1 θ) 7, 0 < θ < 1. We concluderen dat θ gegeven x een Beta(4, 8) verdeling heeft, ofwel ξ(θ x) = Γ(12) Γ(4)Γ(8) θ3 (1 θ) 7 f (x θ) = { θ x (1 θ) 1 x, als x = 0, 1, 0, anders. Hfdstk 6: A posteriori verdeling 15 / 50 Hfdstk 6: A posteriori verdeling 16 / 50

5 Voorbeeld Elektronische componenten (algemeen) Voorbeeld Levensduur TL-buizen (vervolg) De kansdichtheidsfunctie voor de levensduur van één TL-buis: f (x θ) = θe θx, als x 0, De steekproefuitslag is x = (x 1, x 2,..., x n ). Vraag: Als we definiëren y = n x i, wat is dan de a posteriori verdeling van θ gegeven x? In een aselecte steekproef bepalen we levensduren x i van n TL-buizen. Definieer y = n x i, dan is de aannemelijkheidsfunctie voor de steekproef: n ( ) f n (x θ) = θe θx i = θ n e θ(x 1+x x n). Met de a priori kansdichtheid ξ(θ) van eerder volgt dan ξ(θ x) f n (x θ)ξ(θ) θ n+3 e (y+20000)θ ofwel θ gegeven x heeft Gamma(n + 4, y)-verdeling: ξ(θ x) = (y )n+4 θ n+3 e (y+20000)θ (n + 3)! Hfdstk 6: A posteriori verdeling 17 / 50 Hfdstk 6: A posteriori verdeling 18 / 50 Geconjugeerde verdelingen Voorbeeld Elektronische componenten (vervolg) A priori verdeling van θ is een Beta(α, β) verdeling: Γ(α + β) ξ(θ) = Γ(α)Γ(β) θα 1 (1 θ) β 1, 0 < θ < 1. Steekproef uit een Bernoulli verdeling met parameter θ. Definiëer y = x x n, dan is f n (x θ) θ y (1 θ) n y. A posteriori verdeling voor θ gegeven x: ξ(θ x) f n (x θ)ξ(θ) θ α+y 1 (1 θ) β+n y 1 Hieruit volgt dat θ gegeven de waarnemingen x een???-verdeling heeft. Stelling Laat X 1,..., X n, een aselecte steekproef zijn uit een Bernoulli verdeling met een onbekende parameter θ (0 < θ < 1). Neem aan dat de a priori verdeling van θ een Beta-verdeling is met parameters α en β. De a posteriori verdeling van θ gegeven de steekproefresultaten X 1 = x 1,..., X n = x n, is een Beta-verdeling met parameters α = α + x i en β = β + n x i. We zeggen ook wel dat de Beta-verdelingen een geconjugeerde familie van verdelingen is voor een steekproef uit een Bernoulli verdeling. Hfdstk 6: Geconjugeerde verdelingen 19 / 50 Hfdstk 6: Geconjugeerde verdelingen 20 / 50

6 De a priori verdeling is Beta(α, β) verdeeld, dus de a priori verwachting en variantie zijn: E(θ) = α α + β en Var(θ) = αβ (α + β) 2 (α + β + 1) Vraag: Wat zijn de verwachting en variantie van θ gegeven het steekproefresultaat x en hoe verhouden die zich tot de a priori waarden? Steekproef uit een Poisson verdeling Aselecte steekproef uit een Poisson verdeling met gemiddelde θ: f (x θ) = e θ θ x x! Parameter θ heeft a priori een Gamma(α, β)-verdeling: ξ(θ) = 1 Γ(α) βα θ α 1 e βθ, θ > 0. De kansmassafunctie voor steekproefuitslag x = (x 1,..., x n ), is f n (x θ) e nθ θ y, (met y = x x n ) De a posteriori verdeling is dus proportioneel met ξ(θ x) θ α+y 1 e (n+β)θ en θ gegeven x heeft een Gamma(α + y, β + n)-verdeling. Hfdstk 6: Geconjugeerde verdelingen 21 / 50 Hfdstk 6: Geconjugeerde verdelingen 22 / 50 Steekproef uit een Normale verdeling De a priori verdeling had een Gamma(α, β) verdeling. De a priori variantie van θ was dus Var(θ) = α β 2 Vraag: Wat is de a posteriori variantie van θ gegeven het steekproefresultaat x? Aselecte steekproef uit een N(θ, σ 2 )-verdeling, waarvan variantie σ 2 bekend is, maar het gemiddelde θ is een onbekende parameter. A priori verdeling van θ is een N(µ, v 2 ) is met gemiddelde µ en variantie v 2 -verdeling: [ ξ(θ) exp 1 ] ( ) 2 θ µ 2v 2 De a posteriori verdeling van θ gegeven x is een N(µ, (v ) 2 )-verdeling met µ = σ2 µ + nv 2 x n σ 2 + nv 2 en (v ) 2 = σ2 v 2 σ 2 + nv 2. Hfdstk 6: Geconjugeerde verdelingen 23 / 50 Hfdstk 6: Geconjugeerde verdelingen 24 / 50

7 Opmerking 1 Het gemiddelde µ van de a posteriori verdeling is te schrijven als σ 2 µ = σ 2 + nv 2 µ + nv2 σ 2 + nv 2 x n = c µ + (1 c) x n i.e. als een gewogen som van het oorspronkelijke gemiddelde µ en het steekproefgemiddelde. Opmerking 2 We kunnen de grootte van de steekproef bepalen waarvoor de variantie van de a posteriori verdeling een vooraf bepaalde grens haalt. Neem bijvoorbeeld aan v 2 = 4 (horend bij de a priori normale verdeling van de parameter θ) en neem aan dat σ 2 = 1. De variantie van de a posteriori verdeling is dan: (v ) 2 = σ2 v 2 σ 2 + nv 2 = 4 4n + 1 Zo geldt (v ) dan en slechts dan als n Hfdstk 6: Geconjugeerde verdelingen 25 / 50 Hfdstk 6: Geconjugeerde verdelingen 26 / 50 Steekproef uit een Exponentiële verdeling Voorspellen Levensduur TL-buizen Aselecte steekproef uit een exponentiële verdeling met onbekende parameter θ. A priori verdeling van θ is Gamma(α, β)-verdeling: ξ(θ) θ α 1 e βθ, θ > 0. De kansdichtheidsfunctie voor steekproefuitslag x = (x 1,..., x n ) is f n (x θ) θ n e θy, met y = x x n. en de a posteriori verdeling van θ wordt dan: ξ(θ x) θ α+n 1 e (β+y)θ. Hieruit volgt dat θ gegeven de steekproefuitslag een Gamma(α + n, β + y)-verdeling heeft. Veronderstel dat we van 5 TL-buizen de volgende levensduren hebben geteld: 2911, 3403, 3237, 3509 en 3118 uur. De a posteriori verdeling van θ gegeven x = (x 1,..., x 5 ) is nu (met y = = 16178) ξ(θ x) = θ 8 e θ Vraag: Voorspel X 6, de levensduur van de 6-de TL-buis. Antwoord: De conditionele kansdichtheid van X 6 gegeven x is f (x 6 x). Deze kunnen we als volgt berekenen: f (x 6 x) = 0 f (x 6 θ, x) ξ(θ x) dθ = 0 f (x 6 θ) ξ(θ x) dθ Hfdstk 6: Geconjugeerde verdelingen 27 / 50 Hfdstk 6: Geconjugeerde verdelingen 28 / 50

8 Dit levert: f (x 6 x) = 0 θe θx θ 8 e 36178θ dθ = θ 9 e (x+36178)θ dθ = Γ(10) = (x ) 10 (x ) 10 We kunnen nu bijvoorbeeld uitrekenen: P(X 6 > 3000 x) = 3000 ( ) (x ) 10 dx 6 [ ] = 9(x ) 9 = = Schatters en schattingen Herinnering: (X 1,..., X n ): aselecte steekproef (x 1,..., x n ): realisatie van de steekproef. Definitie (Schatter en schatting) Een schatter van een parameter θ, gebaseerd op een aselecte steekproef X 1,..., X n, is een reëelwaardige functie δ(x 1,..., X n ). Een schatting is de waarde van de schatter voor een gegeven realisatie x 1,..., x n, van de steekproef, i.e. δ(x 1,..., x n ). Vaak noteren we ook X = (X 1,..., X n ), en x = (x 1,..., x n ). Een schatter noteren we dan als δ(x) en een schatting als δ(x). Hfdstk 6: Geconjugeerde verdelingen 29 / 50 Hfdstk 6: Bayesiaanse schatters 30 / 50 Voorbeeld Stel dat we willen schatten hoeveel klanten er gemiddeld tussen 12 uur en 1 uur bij de Spar komen. De steekproef zal genomen worden over 5 achtereenvolgende dagen. De steekproef bestaat dus uit 5 stochasten X 1,..., X 5, en we gebruiken de functie δ(x 1, x 2, x 3, x 4, x 5 ) = x x 2 + x x 4 + x 5 Volgens de definitie is nu δ(x 1, X 2, X 3, X 4, X 5 ) = X X 2 + X X 4 + X 5 een schatter (een stochast!). Als de steekproef (103, 143, 122, 99, 150) als resultaat op zou leveren, dan is δ(103, 143, 122, 99, 150) = een schatting. Wat is een goede schatter? Een schatter is een stochastische variabele. We willen de δ zo kiezen, dat met grote kans de fout δ(x) θ in de buurt van 0 ligt. Definitie (Verliesfunctie) Een verliesfunctie is een functie L(θ, a), die een maat is voor de strafboete, of de kosten, als a de schatting voor de parameter θ is. Als we geen waarnemingen zouden kunnen doen, dan is het verwachte verlies bij schatting a: E [ L(θ, a) ] = L(θ, a) ξ(θ ) dθ Als we wel waarnemingen x hebben, dan gebruiken we E [ L(θ, a) x ] = L(θ, a) ξ(θ x) dθ. Hfdstk 6: Bayesiaanse schatters 31 / 50 Hfdstk 6: Bayesiaanse schatters 32 / 50

9 Bayes schatter Voorbeeld SPAR (fictief) Voor elke mogelijke realisatie x zouden we het getal a uit kunnen rekenen dat E[L(θ, a) x] minimaliseert. De waarde van a zal afhangen van de waarde van x, i.e. het is een functie van x. Die functie noemen we δ (x). Definitie (Bayes schatter) Als er een functie δ bestaat, zodat voor elke mogelijke realisatie x de uitdrukking E[L(θ, a) x] minimaal is voor a = δ (x), ofwel, E [ L(θ, δ (x)) x ] = min a E [ L(θ, a) x ], dan heet δ (X) een Bayes schatter voor θ: Stel dat we een verliesfunctie L gekozen hebben, en uit de steekproeven blijkt: voor x = (110, 143, 153, 89, 97) zorgt a = dat E [ L(θ, a) x ] minimaal is. voor x = (132, 122, 98, 158, 101, 136) zorgt a = dat E [ L(θ, a) x ] minimaal is.... dan nemen we δ (x) = x 1 x 2 x n en is δ (X) = X 1 X 2 X n een Bayes schatter voor θ. Hfdstk 6: Bayesiaanse schatters 33 / 50 Hfdstk 6: Bayesiaanse schatters 34 / 50 Kwadratische verliesfunctie We kunnen voor L een kwadratische functie kiezen, bijvoorbeeld: L(θ, a) = (θ a) 2 Voor deze verliesfunctie heeft de Bayes schatter een eenvoudige vorm. Stelling Wanneer we een kwadratische verliesfunctie gebruiken, dan is de Bayes schatter δ voor θ: δ (X) = E(θ X), ofwel de verwachting van de a posteriori verdeling, geschreven als functie van de steekproef. Voorbeeld Elektronische componenten (vervolg) A priori verdeling van θ: Beta(α, β), Aselecte steekproef x uit Bernoulli verdeling met param θ. A posteriori verdeling van de parameter θ, gegeven de waarneming x, heeft Beta-verdeling heeft met parameters α = α + y en β = β + n y (waarbij y = x x n ). Dit levert E(θ x) = α α + β = α + y α + β + n = α + n x i α + β + n = δ (x) Hieruit volgt dat de Bayes schatter δ (X) voor θ is δ (X) = α + n X i α + β + n Hfdstk 6: Bayesiaanse schatters 35 / 50 Hfdstk 6: Bayesiaanse schatters 36 / 50

10 Voorbeeld Steekproef uit Normale verdeling (vervolg) Absolute verliesfunctie A priori verdeling van θ is N(µ, v 2 )-verdeling. Aselecte steekproef uit een normale verdeling met onbekende verwachting θ en bekende variantie σ 2. A posteriori verdeling van θ, gegeven de waarnemingen x, heeft een normale verdeling N(µ, (v ) 2 ) te hebben met verwachting µ = σ2 µ + nv 2 x n σ 2 + nv 2 = δ (x) Hieruit volgt dat de Bayes schatter δ (X) gegeven is door δ (X) = σ2 µ + nv 2 X n σ 2 + nv 2 In plaats van een kwadratische functie wordt soms ook de absolute verliesfunctie gebruikt: L(θ, a) = θ a. Bij een steekproefresultaat x is de Bayes schatting δ (x) dus die waarde a waarvoor E ( θ a x ) minimaal is. In Hoofdstuk 4 zagen we dat bij een stochast E( X d ) minimaal is als we d gelijk kiezen aan de mediaan m X van de verdeling van X. Dit betekent dat bij een absolute verliesfunctie de Bayes schatter δ (X) gelijk is aan de mediaan van de a posteriori verdeling van θ. Hfdstk 6: Bayesiaanse schatters 37 / 50 Hfdstk 6: Bayesiaanse schatters 38 / 50 Meest Aannemelijke Schatter Voorbeeld Elektronische Componenten (vervolg) In dit voorbeeld is er geen formule voor de Bayes schatter. We kunnen hem wel uitrekenen met behulp van tabellen van de Beta-verdeling. Voorbeeld Normale verdeling (vervolg) In dit voorbeeld is de Bayes schatter weer: Er bestaat een mogelijkheid om een parameter te schatten, als er geen a priori verdeling voor die parameter beschikbaar is. In dat geval is ξ(θ) onbekend, maar we weten wel de aannemelijkheidsfunctie f (x θ). Beschouw een aselecte steekproef van 1 uit een normale verdeling met onbekend gemiddelde θ en bekende variantie σ 2. De realisatie van de steekproef is x = 4.0. Welke situatie is aannemelijker? δ (X) = σ2 µ + nv 2 X n σ 2 + nv 2 f(x θ=10) f(x θ=5) x=4 10 x=4 5 Hfdstk 6: Bayesiaanse schatters 39 / 50 Hfdstk 6: Maximum Likelihood Schatter 40 / 50

11 De aannemelijkheidsfunctie van θ voor dit steekproefresultaat is f ( x = 4.0 θ ) = 1 2πσ 2 θ)2 e (4.02σ 2 Deze functie is maximaal (als functie van θ!) als θ = 4. Dit kunnen we ook voor een steekproef met grootte 2: Veronderstel dat de realisaties zijn x 1 = 4.0 en x 2 = 2.5. De aannemelijkheidsfunctie is f ( x 1 = 4.0, x 2 = 2.5 θ ) = 1 2πσ 2 e [ (4.0 θ) 2 + (2.5 θ) 2 ] 2σ 2 Dit is maximaal (meest aannemelijk) als (4.0 θ) 2 + (2.5 θ) 2 minimaal is. Vraag: Voor welke waarde van θ is dit het geval? M.L.-schatter Definitie Laat x = (x 1,..., x n ) een realisatie van een aselecte steekproef zijn, met aannemelijkheidsfunctie f n (x θ). Een waarde van ˆθ = δ(x) waarvoor f n (x ˆθ) = max θ f n (x θ) heet een meest aannemelijke schatting van θ. Als ˆθ voor iedere realisatie x eenduidig bepaald is, dan heet δ(x) de meest aannemelijke schatter (Engels: maximum likelihood estimator) van θ. Deze schatter wordt ook vaak afgekort als M.L.E. of M.L.-schatter. Hfdstk 6: Maximum Likelihood Schatter 41 / 50 Hfdstk 6: Maximum Likelihood Schatter 42 / 50 Voorbeeld: Parameter Bernoulli verdeling Experiment met Bernoulli verdeling met onbekende parameter θ (0 θ 1). Aselecte steekproef X 1,..., X n, waargenomen waarden zijn x = (x 1,..., x n ). n De aannemelijkheidsfunctie is f n (x θ) = θ x i (1 θ) 1 x i. Maximaliseer f n (x θ) door log ( f n (x θ) ) te maximaliseren: log ( f n (x θ) ) ( ) ( = x i log(θ) + n Deze uitdrukking is maximaal voor ˆθ(x) = x n. De M.L.E. voor θ is dus ˆθ(X) = X n. x i ) log(1 θ) Hfdstk 6: Maximum Likelihood Schatter 43 / 50 Voorbeeld: Normale verdeling Aselecte steekproef X 1,..., X n, uit een normale verdeling met onbekende verwachting θ en bekende variantie σ 2. Voor steekproefwaarnemingen x = (x 1,..., x n ), is de aannemelijkheidsfunctie f n (x θ) = 1 [ (2πσ 2 ) n/2 exp 1 2σ 2 f n (x θ) is maximaal is (als functie van θ) als (x i θ) 2 (x i θ) 2] minimaal is. Dit is het geval voor ˆθ(x) = x n. Hieruit volgt dat de M.L.E. voor θ is ˆθ(X) = X n Hfdstk 6: Maximum Likelihood Schatter 44 / 50

12 Voorbeeld: Normale verdeling µ én σ 2 Aselecte steekproef X 1,..., X n, uit een normale verdeling met onbekende verwachting µ en onbekende variantie σ 2. We noemen voor het gemak s = σ 2. De onbekende parameter is nu θ = (µ, s). De aannemelijkheidsfunctie voor een steekproefresultaat x = (x 1,..., x n ) is weer f n (x θ) = f n (x µ, s) = 1 (2πs) n/2 exp [ 1 2s (x i µ) 2] Oplossing in stappen: 1 Fixeer s en zoek ˆµ die L ( µ, s ) maximaliseert. Deze ˆµ hangt af van s, dus ˆµ = ˆµ(s). 2 Zoek ŝ die L (ˆµ(s), s ) maximaliseert. 3 Totale oplossing is ˆθ = (ˆµ(ŝ), ŝ ). Ook hier is het makkelijker om L(θ) = log ( f n (x µ, s) ) te maximaliseren: L(θ) = n 2 log(2π) n 2 log(s) 1 (x i µ) 2 2s Hfdstk 6: Maximum Likelihood Schatter 45 / 50 Hfdstk 6: Maximum Likelihood Schatter 46 / 50 Oplossing 1 Voor vaste s is L maximaal voor: 2 Maximaliseer ˆµ(s) = x n. (onafhankelijk van s!) L(ˆµ, s) = n 2 log(2π) n 2 log(s) 1 2s (x i x n ) 2 dl(ˆµ, s) Ofwel bepaal = n ds 2 s s 2 (x i x n ) 2 = 0. Dit levert: ŝ = 1 (x i x n ) 2 n ( 3 de M.L.E. is dus ˆθ = (ˆµ, ˆσ 2 ) = X n, 1 ) ( ) 2 Xi X n n Hfdstk 6: Maximum Likelihood Schatter 47 / 50 Voorbeeld: Uniforme verdeling Aselecte steekproef X 1,..., X n uit een uniforme verdeling op het interval [0, θ] met onbekende parameter θ. De kansdichtheidsfunctie is 1, als 0 x θ, f (x θ) = θ 0, anders. De aannemelijkheidsfunctie voor een steekproefresultaat x = (x 1,..., x n ) is dan 1 f n (x θ) = θ n, als 0 x i θ, i = 1,..., n. 0, anders De waarde van f n (x θ) is maximaal voor ˆθ(x) = max{x 1,..., x n }, dus de M.L.E. voor θ is ˆθ(X) = max{x 1,..., X n }. Hfdstk 6: Maximum Likelihood Schatter 48 / 50

13 Eigenschappen van schatters Na bestudering van Hoofdstuk 6 moet je: Invariantie: Als ˆθ een M.L.E. is voor een parameter θ, dan is g(ˆθ) een M.L.E. voor g(θ). Toepassing: Bij een Normale verdeling is 1 ) (ˆµ, ŝ) = (X n, (X i X n ) 2 is M.L.E. voor (µ, σ 2 ). n ˆσ2 is een M.L.E. voor σ. Uit een probleembeschrijving a priori en a posteriori verdelingen kunnen bepalen. De Bayes schatter en schatting uit kunnen rekenen. Uit een probleembeschrijving de ML-schatter kunnen bepalen. Weten hoe je de invariantie-eigenschap voor ML-schatters kunt gebruiken. ˆµ 2 + ˆσ 2 is een M.L.E. voor E(X 2 ). Hfdstk 6: Eigenschappen van Schatters 49 / 50 Hfdstk 6: Eigenschappen van Schatters 50 / 50