Tentamen Inleiding Statistiek (WI2615) 10 april 2013, 9:00-12:00u

Transcriptie

1 Technische Universiteit Delft Mekelweg 4 Faculteit Elektrotechniek, Wiskunde en Informatica 2628 CD Delft Tentamen Inleiding Statistiek (WI2615) 10 april 2013, 9:00-12:00u Formulebladen, rekenmachines, boeken, aantekeningen etc. zijn bij deze toets niet toegestaan. 1. Een zekere populatie bestaat uit 4 elementen, met waarden x 1, x 2, x 3, x 4. Beschouw een steekproef-schema waarbij we met gelijke kans de koppels {x 1, x 2 }, {x 2, x 3 }, {x 3, x 4 }, {x 1, x 4 } trekken. Stel dat we 2 keer een koppel trekken, met terugleggen. Dus bijvoorbeeld {x 1, x 2 } en {x 1, x 4 }. (a) Is het steekproefgemiddelde van de 4 verkregen waarden dan zuiver voor het populatiegemiddelde? Bewijs of weerleg. Als het trekken zonder terugleggen wordt gedaan, verandert dat iets aan het al dan niet zuiver zijn van dit steekproefgemiddelde? Motiveer uw antwoord. Zij X 1, X 2,..., X n trekkingen met teruglegging uit de eindige populatie {x 1,..., x N }. Schrijf µ voor het populatiegemiddelde en σ 2 voor de populatievariantie. Beschouw, voor c 1,..., c n R, de volgende schatter voor µ: ˆµ = c ix i. (b) Leid de voorwaarde af waar c 1,..., c n aan moeten voldoen om ˆµ een zuivere schatter voor µ te maken. 2. We beschikken over een steekproef X 1,..., X n uit de verdeling met kansdichtheid { θ(1 + x) f(x θ) = θ 1, als x 0 0, als x < 0. Hier is θ > 0 een onbekende parameter. (a) Laat zien dat de familie {f( θ) : θ > 0} een exponentiële familie van dichtheden is. Concludeer uit de bijbehorende representatie dat log(1 + X i) een voldoende (sufficient) grootheid is voor θ. (b) Leid de maximum likelihood schatter voor θ af, gebaseerd op X 1,..., X n. (c) Voor een Bayesiaanse aanpak, nemen we als prior f Θ voor Θ een Gamma(a, b) dichtheid. Ter informatie, voor a, b > 0 wordt de Gamma(a, b) dichtheid gegeven door f a,b (θ) = ba Γ(a) θa 1 e bθ, θ > 0. Laat zien dat de posterior dichtheid van Θ de Gamma(a+n, b+ i log(1+x i)) dichtheid is. (d) Geef de posterior mode schatting gebaseerd op de aanpak in onderdeel (c), waarbij als a priori dichtheid voor Θ de Gamma(5, 2) dichtheid wordt gekozen. 1

2 3. Zij X 1, X 2,..., X n onafhankelijke stochastische variabelen, allemaal met dezelfde symmetrische (rond 1/2) Beta verdeling met onbekende parameter θ > 0. Dit betekent dat alle X i s dichtheid f(x θ) = 1 B(θ, θ) xθ 1 (1 x) θ 1 1 (0,1) (x) hebben, waar B(θ, θ) = 1 0 uθ 1 (1 u) θ 1 du. We willen de (enkelvoudige) nulhypothese H 0 : θ = 1 toetsen tegen de (enkelvoudige) hypothese H 1 : θ = 2. (a) Laat zien dat de meest onderscheidende toets in deze situatie tot de volgende (vooralsnog kwalitatieve) beslisregel leidt: Verwerp H 0 ten gunste van H 1 voor grote waarden van T n = (log(x i ) + log(1 X i )). (b) Voor n = 1 wordt gekozen voor een toets met beslisregel om (voor nader te bepalen c > 0) H 0 ten gunste van H 1 te verwerpen als X 1 [1/2 c, 1/2 + c]. Bepaal c zodanig dat een toets met significantieniveau 0.05 ontstaat en geef het onderscheidend vermogen van die toets. Mocht het niet lukken de gevraagde c te vinden, druk dan het onderscheidend vermogen van de toets uit in c. (c) Het blijkt zo te zijn dat de toetsingsgrootheid uit onderdeel a. ook tot de meest onderscheidende toets leidt als de alternatieve hypothese gegeven wordt door H 1 : θ = θ 0, welke keuze er ook gemaakt wordt voor θ 0 > 1. Mogen we hieruit concluderen dat de toets gebaseerd op T n uniform meest onderscheidend is voor het toetsen van H 0 tegen de samengestelde alternatieve hypothese H 1 : θ > 1? Motiveer uw antwoord. 4. Zij X 1, X 2,..., X n onafhankelijke stochastische variabelen, allemaal met dezelfde Normale verdeling met onbekende parameters µ en variantie gelijk aan 1. Dit betekent dat alle X i s dichtheid f(x µ) = 1 2π e (x µ)2 /2 hebben. We willen de (enkelvoudige) nulhypothese H 0 (samengestelde) hypothese H 1 : µ 1. : µ = 1 toetsen tegen de (a) Laat S gelijk zijn aan minus 2 keer de (natuurlijke) logaritme van de gegeneraliseerde likelihood ratio toetsingsgrootheid. Toon aan dat S = n(ˆµ n 1) 2 met ˆµ n = X n. (b) Leg uit waarom S een χ 2 1 verdeling heeft, als de nulhypothese waar is. (c) Bereken het kritieke gebied van de toets gebaseerd op S, bij significantieniveau α. Noteer dit gebied met K S. De uitdrukking voor dit gebied mag niet verder uitgewerkte kwantielen van een χ 2 verdeling bevatten. (d) Een tweede toets is gebaseerd op de toetsingsgrootheid U = Median (X 1,..., X n ) 1. Het kritieke gebied van de toets gebaseerd op U bij significantieniveau α noteren we met K U. Geef in een ongelijkheid weer wat het betekent dat de toets gebaseerd op S een groter onderscheidend vermogen heeft, dan die gebaseerd op U, als in werkelijkheid µ = 0. 2

3 5. Zij 0 < x 1 < x 2 < < x n < 1 en de stochastische variabelen Y i, 1 i n, gedefinieerd door het enkelvoudige regressiemodel zonder intercept: Y i = βx i + ɛ i, waar ɛ 1, ɛ 2..., ɛ n iid N(0, 1). (a) Laat zien dat de kleinste kwadratenschatter ˆβ voor β wordt gegeven door ˆβ = x iy i n. x2 i (b) Bereken op basis van deze uitdrukking E ˆβ en Var( ˆβ). Normering: 1a: 2 2a: 2 2c: 3 3a: 2 3c: 1 4b: 2 4d: 1 5b: 2 1b: 1 2b: 3 2d: 2 3b: 2 4a: 2 4c: 2 5a: 2 Het cijfer C voor het tentamen wordt als volgt bepaald: C = aantal punten 29 Veel succes! 3

4 Antwoorden: 1a Dit steekproefgemiddelde is zuiver. De verwachting van het gemiddelde van het paar in de eerste trekking is een kwart keer de som van de mogelijke gemiddelden. Die vier mogelijkheden zijn (x 1 +x 2 )/2, (x 2 +x 3 )/2, (x 3 +x 4 )/2 en (x 4 +x 1 )/2. De verwachtingswaarde wordt dus 1 4 (2x x 4 ) /2 = 1 4 (x x 4 ) = x. Het gemiddelde van twee zulke trekkingen is ook zuiver wegens lineariteit van de verwachting. Als het trekken zonder teruglegging zou worden gedaan, maakt dit voor de zuiverheid niet uit. Eerste en tweede trekking blijven gelijkverdeeld. 1 De eis voor zuiverheid is E ˆµ = µ. Lineariteit van de verwachting levert dan dat voor alle µ R, c iµ = µ. Dus: c i = 1. 2a Schrijf de dichtheid van X i als f(x θ) = exp {log θ log(1 + x) θ log(1 + x)} = exp {c(θ)t (x) + d(θ) + S(x)}, x A Hier geldt c(θ) = θ, T (x) = log(1 + x), S(x) = log(1 + x), d(θ) = log θ en A = [0, ). Dit laat zien dat het een exponentiële familie is. Voor de simultane dichtheid van X 1,..., X n geldt dan dat { } f(x 1,..., x n θ) = exp n log θ log(1 + x i ) θ log(1 + x i ), x i 0 De factoriseringsstelling van Neyman geeft dat T (X i) = log(1 + X i) voldoende is voor θ. 2b De log likelihood wordt gegeven door l(θ) = log f θ (X i ) = (log θ (θ + 1) log(1 + X i )). De afgeleide hiervan is l (θ) = n θ log(1 + X i ) Nulstellen levert ˆθ n = ( 1 n log(1 + X i) ) 1 ; tekenoverzicht laat zien dat de log likelihood in dit punt maximaal is. 2c Voor de posterior dichtheid geldt f Θ X (θ x) f Θ (θ) [ n n f X Θ (x i θ) θ a 1 e bθ θ n (1 + x i ) [ θ n+a 1 e bθ e ] n θ log(1+x i) = θ n+a 1 e θ[b+ ] θ 1 log(1+x i)] Dit is precies evenredig met de dichtheid van de genoemde posterior verdeling. 4

5 2d De posterior mode is die θ waar de posterior dichtheid maximaal is. Voor de algemene Gamma dichtheid geldt d dθ log f a,b(θ) = d dθ ((a 1) log θ bθ) = 1 (a 1 bθ). θ Het tekenoverzicht van deze afgeleide geeft dat f a,b maximaal is in θ = (a 1)/b. De a posteriori dichtheid voor Θ is de Gamma(5 + n, 2 + i log(1 + x i)) dichtheid, dus de posterior mode is n + 4 ˆθ = 2 + i log(1 + x i). Voor grote waarden van n ligt deze schatting in de buurt van de ML schatter uit onderdeel (b). 3a Schrijf x i voor de geobserveerde waarde van X i. Het Neyman-Pearson lemma stelt dat de meest onderscheidende toets gebaseerd is op de likelihood ratio: LR = f(x 1,..., x n 1) f(x 1,..., x n 2) = B(2) n n 1 (0,1)(x i ) B(1) n n x i(1 x i )1 (0,1)(xi ) De nulhypothese wordt verworpen voor kleine waarden van LR, dus voor grote waarden van n x i(1 x i ). Rest nog het nemen van de logaritme. 3b De eis op c is dat de kans op verwerpen terwijl de nulhypothese waar is, gelijk is aan In formule 0.05 = 1/2+c 1/2 c f(x 1) dx = 2c. Dit geeft c = 0.025, dus verwerpingsgebied [0.475, 0.525]. Het bijbehorend onderscheidend vermogen wordt gegeven door de kans op verwerping als H 1 geldt. In dit geval 1/2+c 1/2 c f(x 2) dx = 1/2+c 1/2 c x(1 x) dx 1 x(1 x) dx = c/2 2c3 /3 1/6 0 = 3c 4c 3 3c Ja. De toetsingsgrootheid hangt niet van de waarde van θ 0 af, zo lang die maar groter dan 1 is. 4a De likelihood wordt gegeven door L(µ) = (2π) n/2 e 1 2 (x i µ) 2. De ML schatter wordt verkregen door de log L(µ) te differentiëren en deze afgeleide nul te stellen. Dit levert ˆµ n = X n. Minus 2 keer de logarithme van de GLR wordt dan gegeven door S = 2 log L(1) L(ˆµ n ) = (X i 1) 2 (X i X n ) 2 = 2nˆµ n + n + 2nˆµ 2 n nˆµ 2 n = n(ˆµ n 1) 2. 4b Als H 0 waar is, dan ˆµ n N(1, 1/n) en dus (standaardizeren) n(ˆµ n 1) N(0, 1). Het kwadraat van een standaard normaal verdeelde stochastische variabele heeft een χ 2 verdeling met 1 vrijheidsgraad. 5

6 4c K = [c, ) waarbij P µ=1 (S K) α. We kiezen vervolgens het kritieke gebied zo groot mogelijk, dus c = χ 2 (1) α. 4d P µ=0 (S K S ) > P µ=0 (U K U ). 5a De KK schatter is gedefinieerd als die β waarvoor de som van kwadraten φ(β) = (Y i βx i ) 2 minimaal is. Differentiëren, nulstellen en een tekenoverzicht leiden tot het resultaat 5b Er geldt, waarbij we voor de variantie de onafhankelijkheid gebruiken, E ˆβ = x iey i x2 i = β en Var( ˆβ) = ( n ) 1 x2 i Var(Y i ) ( = x 2 n x2 i )2 i. 6