(c) Bepaal de kans dat de linker bedelaar van 10 voorbijgangers in totaal exact 420 ct ontvangt.

Transcriptie

1 Tentamen Statistiek van Proefopzetten wi244st 4 juni 2007, uur Toelichting. Een antwoord alleen is niet voldoende: er dient een motivatie, toelichting of berekening aanwezig te zijn. Gebruik, tenzij anders voorgeschreven, voor toetsen een α van 5% en voor betrouwbaarheidsintervallen een betrouwbaarheid van 95%. Rapporteer bij toetsen altijd een p-waarde of een kritieke waarde. Alle deelvragen van vraag tot en met 5 tellen even zwaar. De laatste vraag is drie punten waard.. Hieronder is de verdeling gegeven van wat twee bedelaars van voorbijgangers ontvangen: niets, 20 ct of 50 ct: a P(X = a, Y = b) b Verder gegeven: E X = 23 en E X 2 = (a) Bepaal ρ(x, Y ), de correlatie tussen X en Y. (b) Bepaal Var ( ) X+Y 2. (c) Bepaal de kans dat de linker bedelaar van 0 voorbijgangers in totaal exact 420 ct ontvangt. 2. Een bepaalde soort komt voor in typen A, B en C, in de verhoudingen θ, 2θ resp. 3θ. Een steekproef van 60 levert 3 exemplaren van type A, 20 van type B en 27 van type C. Bepaal de maximum likelihood schatting voor θ. 3. De file plastic.dat bevat een zevental metingen van de sterkte θ van een nieuw type plastic. De metingen worden verondersteld normaal verdeeld te zijn met verwachting θ en variantie σ 2. (a) Wat is de definitie van betrouwbaarheidsinterval? Bepaal een 95% betrouwbaarheidsinterval voor θ. (b) Hoeveel metingen zijn er nodig om een 95% betrouwbaarheidsinterval van lengte hoogstens 0.4 te krijgen? Je mag hierbij aannemen dat σ 2 kleiner is dan De file lengtes.dat bevat data van 50 echtparen tussen de 20 en 40 jaar oud, met kinderen. De variabelen zijn LM en LV, de lengte in centimeters van respectievelijk de moeder en de vader, en LK (= Y ), de gemiddelde lengte van hun kinderen toen ze jaar werden. Beschouw het model Y i = β 0 +β LM i +β 2 LV i +ε i, waarbij we aannemen dat de ε i onafhankelijk N(0, σ 2 ) verdeeld zijn. (a) Fit het model aan de data en toets H 0 : β = β 2 = 0; geef hiervoor een bijbehorende ANOVA tabel.

2 (b) We willen weten of de lengte van de moeder meer invloed heeft op de lengte van de kinderen dan de lengte van de vader. Voer een hiervoor toepasselijke toets uit en rapporteer uw conclusie. (c) Er wordt twijfel geuit over de normaliteitsaanname. Geef hierover uw (gefundeerde) mening. (d) De coefficient of determination, R 2, is de verhouding SS model /SS totaal. Leg in woorden uit, wat deze coefficient betekent, en bepaal de ondergrens (van het kritieke gebied) voor deze grootheid. 5. Gegeven is de designmatrix 2 X = en de variantie van de meetfout σ 2 = 2. (a) Maak een schets van het gezamenlijke betrouwbaarheidsgebied van de parameters en laat zien welke criteria hiervan relevant zijn voor het evalueren van deze proefopzet. (b) We verwijderen de laatste meting behorende tot de bovenstaande designmatrix. Hoe groot zijn de factoren, waarmee de criteria uit de vorige deelvraag zijn veranderd? 6. We bekijken het systeem waar omzetting van metabolieten plaatsvindt. De flux, Y, van zo n omzetting hangt af van de concentratie x. Er zijn in de literatuur verschillende formuleringen bekend, om dit te beschrijven. ( )) x Model Lin : E Y = β 0 ( + β x 0 ( )) x + β2 Model Lin-Log : E Y = β 0 ( + β ln ( ) x + β β2 Model GMA : E Y = β 0 x 0 Hier is x 0 = 6 een gegeven referentie punt. β 0 > 0, in alle drie de modellen, is de flux bij het referentiepunt. β > 0 is een dimensieloze grootheid met dezelfde functie in de drie modellen. β 2 zou 0 moeten zijn volgens de theorie, maar is een toegevoegd als tuning parameter. Er zijn 5 metingen ter beschikking op het referentiepunt, met gemiddelde flux is Daarnaast zijn er 6 metingen gedaan op het interval x (3, 9). De geschatte meetfout is 3 %. De wetenschappers zien de modellen met β 0 = als eerste optie. Dit zijn de gegevens, geef een aanbeveling over het te gebruiken beste model en bijbehorende rapportage over dit model, en een toekomstig experiment. Het doel is om een model te hebben, dat de concentratie-flux relatie beschrijft in een zo groot mogelijk gebied rondom het referentiepunt. De PastiFit bestanden voor deze vraag zijn: ConcFlux.pfd en ConcFlux.pfm. x 0 2

3 Antwoorden a Merk op dat de verdeling symmetrisch is. Uit de gegevens volgt Var(X) = Var(Y ) = 90 (23) 2 = 38. Voorts E XY = (20 20) 0. + (20 50) 0. + (50 20) 0. + (50 50) 0. = 490, en dus Cov(X, Y) = E XY E X E Y = 490 (23) 2 = 39, waaruit volgt: ρ(x, Y ) = 39/38 = b We hadden gevonden Cov(X, Y) = 39. Dus geldt en Var(X + Y ) = Var(X) + Var(Y ) + 2Cov(X, Y) = = 684 ( ) X + Y Var = 2 4 Var(X + Y ) = = 7. Een alternatief om dit te beantwoorden is met het gebruik van [ ] X als stochas- Y tische vector: ( [/2 ] [ ]) X Var /2 = [ /2 /2 ] ([ ]) [ ] X /2 Var Y Y /2 = [ /2 /2 ] [ ] [ ] / /2 = 7. Hier zijn de resultaten van de eerste deelvraag gebruikt. c De uitkomst 420 kan alleen verkregen met 420 = De kans hierop, met als volgorde 8 maal 50, dan 20, dan niks, is P (X = 50) 8 P (X = 20) P (X = 0) = We moeten nog vermenigvuldigen met het aantal mogelijke volgorden, dit komt neer op de vraag: op hoeveel manieren kunnen we de positie van de 20 en de 0 kiezen, dan is 0 9 = 90. Ergo, de kans is De likelihood L(θ) is de kans op 3 exemplaren van type A, 20 van type B en 27 van type C, bij 60 trekkingen, als functie van θ, dus L(θ) = C θ 3 (2θ) 20 ( 3θ) 27, waabij de C staat voor het aantal volgorden waarop de gegeven uitkomst tot stand kan komen. Merk op dat moet gelden 0 θ /3. De loglikelihood: l(θ) = ln L(θ) = = ln C + 20 ln ln θ + 27 ln( 3θ), na enig vereenvoudigen en hergroeperen van termen. We zoeken het maximum van l(θ) bij een stationair punt. Eerst differentieren: en vervolgens l (θ) = 33 θ θ (kettingregel) l (θ) = 0 33( 3θ) = 8θ 33 = (8 + 99)θ, waaruit volgt θ = 33/ Omdat l (θ) dichtbij nul positief is en bij 33/80 van teken wisselt, is dit punt inderdaad een maximum. 3

4 3a Voor definitie zie boek, of het formuleblad! Het gemiddelde is x 7 = en de (steekproef)standaardafwijking s 7 =.2. T = ( X 7 θ)/(s 7 / 7) heeft een t(6)-verdeling; de gezochte kritieke waarde (SSORstat, of tabel B.2) is t 6,0.025 = Het 95% betrouwbaarheidsinterval wordt gegeven door ( ) x s7, x s7 = (27., 29.35) b Als σ bekend zou zijn, dan is het 95% betrouwbaarheidsinterval: ( ) ( ) σ σ σ σ x n z 0.025, x n + z = x n.96, x n +.96 n n n n met breedte 2.96 σ/ n, wat vanwege de aanname omtrent σ niet groter is dan / n, hetgeen we kleiner dan 0.4 proberen te maken. De steekproefgrootte n moet dus minstens /0.2 2 = zijn, dwz n 93 voldoet. N.B. Het is niet gezegd dat het resulterende betrouwbaarheidsinterval aan de eis voldoet, omdat we de steekproefstandaardafwijking gaan gebruiken in de formule voor het betrouwbaarheidsinterval. Is s 2 > 2 dan wordt het interval te breed. Niets aan te doen, dat moeten we dan maar zien. 4a We hebben n = 50, p = 3 en vinden SS res = , ˆβ 0 = 38.47, ˆβ = en ˆβ 2 = Wanneer we alleen een intercept fitten vinden we SS res = De waarde van de F-toetsingsgrootheid voor de hypothese H 0 : β = β 2 = 0 is dus t = ( )/ /47 = 4.375, uit de F(2, 47) halen we de p-waarde: Duidelijk verworpen. Dit is samengevat in de vereenvoudigde ANOVA tabel : Source Sum of Squares df Mean SoS F P-Value Model Error Total b We toetsen H 0 : β = β 2 versus H : β > β 2. Hiertoe maken we met PastiFit een 90% betrouwbaarheidsinterval voor β 2 β en vinden ( 0.35, 0.008). Dat betekent dat het toepasselijke eenzijdige 95% betrouwbaarheidsinterval voor β 2 β is:(, 0.008). Omdat 0 hierin zit verwerpen we H 0 niet. De p-waarde is ongeveer c Merk op dat de lengtes afgerond zijn op hele centimeters. Het effect hiervan is in de residuals-plot goed te zien. In het histogram van de residuen zit wel een plotselinge overgang (vooral gezien de grootte van de dataset), maar lijkt verder redelijk op een normale verdeling. De Kolmogorow-Smirnov toets geeft als p-waarde d De coefficient is de fractie door het model verklaarde variantie (in dit geval is R 2 = 58.54/ = ). De definitie is SS model R 2 = SS res + SS model Een aantal kandidaten hadden de ANOVA tabel genomen waar wordt getoetst H 0 : β 0 = 0, β = 0, β 2 = 0. Dit is dus onjuist 4

5 en de toetsing bij de ANOVA tabel wordt gedaan aan de hand van de toetsingsgrootheid T = SS model/(p ) F (p, n p). SS res /(n p) De toetsingsgrootheid moet voldoen aan een bepaalde ondergrens opdat het model β = β 2 = 0 wordt verworpen. Dit geeft een verhouding voor SS model en SS res en die kan in de definitie van R 2 worden ingevuld. Met de gegevens (p=3, n=50) vinden we die we invullen in SS model SS res = 2/47F 0.05 (2, 47) = 0.046, R 2 crit = SS model/ss res + SS model /SS res = Het is interessant om te zien, dat de praktische eis, die vaak genoemd wordt, dat R 2 dicht bij moet zijn, maar relatief is. Zelfs met een R 2 > mogen we al een model aannemen (of beter gezegd, niet niet verwerpen). Deze schijnbare tegenstelling valt te doorzien als we beseffen dat de toets antwoord geeft op de vraag of het model een significant deel van de variatie verklaard. Omdat n vrij groot is en p klein kan dit geconstateerd worden, ook al is de hoeveelheid door het model verklaarde variantie vrij klein. (Vergelijk dit met het toetsen van H 0 : p = 0.5 voor een munt. Als ik worpen doe dan zal H 0 vrijwel zeker verworpen worden als in werkelijkheid p = 0.503: de afwijking is misschien praktisch gesproken niet relevant, maar wordt bij deze steekproefgroot wel als statistisch significant aangemerkt. Bij dit aantal kunnen we hele kleine verschillen detecteren.) De R 2 is op te vatten als correlatie tussen de gemeten en de gefitte Y waarden, en geeft een indicatie van hoe bruikbaar het model is voor voorspellingen; het is ook op te vatten als een soort signaal/ruis verhouding. Het model is significant maar voor het doen van voorspellingen vrij slecht. 5a Noot: de matrix X was zodanig gekozen, dat de numerieke berekeningen zeer gemakkelijk waren. De covariantiematrix is [ ] (X t X) σ 2 4 = De schets is dus niet anders als een ellips met de hoofdassen in de richting van de twee parameterassen. De exacte formule is: [ ] [ 4 ] [ ] β β 7 0 β = χ 2 0 β 0.05(3) = 7.8 () 2 β ( ) 2 β2 + = 7.8 (2) 4 7 ( β 3. ) 2 + ( ) 2 β2 =, (3) 2.80 waar β verwijst naar de afwijking ten opzichte van de schatting. Dit is een ellips met als lengte van de hoofdassen 3. voor β en 2.80 voor β 2. Voor de 5

6 evaluatie van de proefopzet zijn dat de varianties van de twee parameters ( 4 7 en ); en het oppervlak van de ellips ( = 8.69). 5b Dit is een error propagation probleem. Ergo, de schatting wordt verkregen als de oplossing van de vergelijking X m ˆβ = Y, waar Xm de matrix X zonder de laatste rij. De covariantie matrix wordt gevonden als De bijbehorende ellips is X m ( ) X t m σ 2 = [ β β 2 ] [ [ ], ] [ ] β = χ 2 β 0.05(2) = Dit is een ellips, die gedeeltelijk gekanteld is. Er bestaat een negatieve correlatie tussen de twee parameters. De varianties (05 en 273) zijn een factor van respectievelijk 85 en 273 vergroot. Het oppervlak van de ellips is met een factor vergroot. 2 6 De inspiratie voor dit probleem kwam uit het artikel van J.J. Heijnen, 2005, Approximative Kinetic Formats Used in Metabolic Network Modeling, Biotechnology and Bioengineering, 9, , waar Tabel I een overzicht geeft van formuleringen. De eerste stap is om bij alle kandidaat modellen te beoordelen of zij adequaat zijn. Omdat de meetfout (3%) gegeven is wordt deze eerst aan de data een Error kolom toegevoegd PastiFit en ingevuld. De gevonden SS res heeft dan een χ 2 -verdeling, waarvoor een P-waarde wordt gevonden. Dit is samengevat in de volgende tabel. Er zijn drie sets van modellen, en binnen elke set zijn er twee of drie opties die hiërarchisch aan elkaar gerelateerd zijn volgens de beschrijving van de vraag. Model SS res p P-waarde bij SS res Lin-, β 0 = Lin-2, Lin-Log-, β 0 = 22.45, β 2 = Lin-Log-2, β 0 = Lin-Log GMA-, β 0 = 22.45, β 2 = GMA-2, β 0 = GMA Visuele inspectie van de data laat geen duidelijke structuur zien. De Kolmogorov- Smirnov test voor de normaalheid van de residuen geeft bij het potentieel slechtst passende model (Lin) een P-waarde van 0.86 en Alle overige P-waardes voor deze test zijn dichter bij. Aangezien er een set herhaalde metingen zijn, zou er een optie zijn om de Lack-of-Fit toets uit te voeren. Echter, deze toets is bedoeld voor het geval er geen kennis is over de variantie van de meetfout, want men vergelijkt in feite de 2 Men mag ook de ratio van de determinanten of beter de vierkantswortel hiervan (zie dictaat) geven van de twee opzetten. Dat is een factor 8.9. Hierin is niet meegenomen het verschil in term aan de rechterkant van de formules voor de ellips. 6

7 variatie in de herhaalde metingen met de overgebleven variatie in de residuen. Dit is hier niet het geval omdat de variantie van de meetfout gegeven is. De conclusie van deze testen op adequaatheid is, dat de Lin modellen afvallen. In het volgende stadium doen we modelvereenvoudiging voor elk van de twee overgebleven families van hiërarchische modellen. We doen voor de overgang van model Lin-Log- naar Lin-Log-2 de hypothese dat β 2 = 0. We vinden β 2 = 0.3 ± 0.2. Het is daarom duidelijk dat β 2 = 0 zich in het betrouwbaarheidsinterval (-0.3,0.36) bevindt. We behouden daarom model Lin-Log-. Zo ook vinden we het GMA- model als te kiezen model binnen de set van GMA modellen. De toepassing van de Bartlett toets op de overgebleven twee modellen levert met een P-waarde van geen verdere discriminatie op. We kiezen dan het model met de laagste SS res, omdat beide modellen hetzelfde aantal parameters hebben. De keuze ligt dus bij het Lin-Log- model. Bij de rapportage over dit lineaire (!) model is er dus maar één parameter te vermelden: β = ± Het betrouwbaarheidsgebied is (0.392,0.495). Er zijn een aantal redenen om nadere experimenten uit te voeren. Het domein is niets anders dan x > 0 3. De mogelijke redenen met hun resultaten zijn: Verifiëren van uitbijters. Dit speelt hier geen rol. Verbeteren van de schatting van de parameters van het beste model. Omdat er maar één parameter is, is dit eenvoudig te overzien. Dit kan met PastiFit uitgevoerd worden, maar van de formule is direct te zien, dat het afhangt van ln(x/x 0 ), die zo groot mogelijk dient te zijn. Het ligt dan ook voor de hand bij zo klein mogelijke waarde van de concentratie te meten 4. Het verifiëren van de modelvereenvoudiging. Het gaat hier eerst om de vraag of β 2 = 0. De optimale keuze voor het reduceren van de variantie in ˆβ 2 is door te meten bij zo laag mogelijke concentraties. Er zijn hier twee kandidaat modellen, Lin-Log- en GMA-, die statistisch eigenlijk niet te discrimineren zijn. Het te gebruiken discriminatiecriterium hier is D 2 (zie dictaat). Een plot in Excel laat zien, dat ook hier het de voorkeur heeft om bij zo laag mogelijke concentraties te meten. Enige verdere notities: In deze opgave is de meetfout gegeven. Er zijn kandidaten geweest, die dit niet hebben gezien, en dan andere opties hebben gevolgd: onbekende maar constante absolute of relatieve fout. In het geval, is de Lack-of-Fit 3 Men mag hier ook aannames doen, en bijvoorbeeld stellen, dat praktisch gezien gemeten wordt op bijvoorbeeld het interval (0,20). 4 Puriteinen zullen rekening houden met het feit dat de meetfout ook afhangt van te vinden flux. In de praktijk spelen nog andere zaken een rol. De meetfout is inderdaad vaak een vaste relatieve fout, maar bij kleine waarden van de response moet er rekening gehouden worden met een constant element en bestaat de meetfout uit twee componenten. 7

8 test relevant. De uitkomsten voor constante meetfout zouden ook anders zijn: bij modeladequaatheid valt geen enkel model af op basis van de Lackof-Fit of KS-test. Modelvereenvoudiging is eenvoudig: in alle drie de gevallen blijven alleen de modellen met β als te schatten parameter over. De Bartlett toets geeft een P-waarde van en geeft geen verdere discriminatie. Bij de ranking valt de eindkeuze bij het GMA model. met β = ± In bovenstaande wordt aangegeven dat de Lack-of-Fit toets hier hier niet gebruikt kan worden. Er is hier echter nog een interessante mogelijkheid, die in dit vak niet genoemd is, maar voor de volledigheid hier wordt vermeld. De Lack-of-Fit toets laat zien, dat SS res bestaat uit twee delen, een Lack-of-Fit gedeelte en een pure error gedeelte. Hier is het dus zo dat beide delen χ 2 -verdeling hebben. Bijvoorbeeld bij het model Lin-Log- is SS res = SS lof + SS pe = 3.45 = Uit SS lof χ 2 (6) en SS pe χ 2 (4) volgen P-waardes van respectievelijk en Dit model zou hier dus niet afvallen. Om uitbijters te detecteren passen we de LMS-methode toe. Als we dit bijvoorbeeld doen met het Lin-Log- model vinden we dat het eerste datapunt er uitspringt met een residu van 6, wat eigenlijk niet meer dan ongeveer 2 zou mogen zijn. Het is dus aan te bevelen om hier, x = 3, de meting te herhalen. Sommige kandidaten maakten de fout om het Lin model te zien als een vereenvoudiging van het Lin-Log model. Inderdaad, de naam is te vereenvoudigen, maar het zijn twee zeer eigen modellen, die niet in elkaar uit te schrijven zijn. Er wordt geconcludeerd dat het meten bij lage concentraties dicht bij het optimum is. Het gevonden model is in dit opzicht interessant, want bij x = x 0 exp( /β ) = wordt zero flux bereikt. Wij zijn dan zover buiten het geldigheidsgebied van de benaderingsformule, dat dit niet meer relevant is. Echter, dit geeft wel een orde van grootte van de concentratie, waarbij er voorzichtigheid in acht genomen moet worden. 8