Regressie en correlatie

Transcriptie

1 Statstek voor Informatekunde, 006 Les 7 Regresse en correlate Als we na twee kenmerken van elementen van een populate kjken, s het een voor de hand lggende vraag of we aan de hand van de waarde van het eerste kenmerk een voorspellng kunnen doen voor de waarde van het tweede kenmerk. Bjvoorbeeld kunnen we ons afvragen of de prjs van een auto een ndcate geeft voor zjn levensduur, of de lengte van de wjsvnger ets zegt over de lengte van een persoon en of de resultaten n een toets over kansrekenng ets te maken hebben met de resultaten n een toets over statstek. We zullen n deze les naar de samenhang tussen twee stochasten X en Y kjken, de gemeenschappeljke optreden. De belangrjkste vraag s herbj of er een lneare samenhang bestaat, dat wl zeggen of Y zch redeljkerwjs laat schrjven als Y = ax + b. 7. Regresse Een vaak gebrukte aanpak om een dee van de samenhang van twee stochasten te krjgen, s een scatterplot (spredngsdagram), waarn de waarden voor de stochasten X en Y als coördnaten van punten n het -dmensonale x y-vlak opgevat worden. Vaak kan men al aan de hand van een scatterplot een samenhang tussen de stochasten vast stellen, bjvoorbeeld als de punten engszns op een ljn, op een parabool of op een exponentële functe lggen. Voorbeeld: Aan de zudpool s het erg koud en men kan zch afvragen hou de temperatuur verandert als men zch van de zudpool verwjderd. Op een dag met 67 C aan de zudpool meet men n verschllende afstanden ook de temperatuur en krjgt de waarden n de volgende tabel: afstand/km temperatuur/ C Als men de afstanden als x- en de temperaturen als y-coördnaten neemt, krjgt men het volgende plaatje. Daarbj s ook al een pogng gedaan om een ljn door de waarden te leggen, de een samenhang tussen afstand en temperatuur zou kunnen beschrjven Fguur 0: Scatterplot met regresseljn. 00

2 Statstek voor Informatekunde, 006 Als we de grafek van een functe van x door de punten leggen, nemen we een fundamentele beslssng: We verklaren x tot de onafhankeljke varabele en y tot de afhankeljke varabele. We spreken herbj van regresse (van het Latjnse regredere = terugstappen), omdat we de afhankeljke varabele y op de onafhankeljke varabele x terug brengen. Merk op dat we alleen maar een samenhang tussen X en Y wllen beschrjven, dt heeft nets met een eventuële causaltet te maken. We maken helemaal geen utspraak erover of X de oorzaak voor Y s of net. Als we nu beslssen dat we de grafek van een functe f(x) door de punten wllen leggen, stelt zch de vraag hoe we zo n grafek kunnen bepalen. Omdat we y als afhankeljke varabele zen, s het een voor de hand lggende gedachte, de som van de kwadratsche afstanden tussen de gevonden y-waarden en de grafek te mnmalseren. Men spreekt dan van een best ft functe. Maar als we geen verdere aannamen over de functe f(x) maken, s dt nog geen goed concept, want er laat zch aantonen dat er voor n punten altjd een veelterm van graad n bestaat de preces door de n punten loopt. Hervoor hebben we wel nodg dat de x-waarden van de punten verschllend zjn. We kunnen dus door n punten altjd een perfecte ft bereken, maar de verkregen functe s vaak net zo erg nuttg: De veelterm heeft n het algemeen ggantsch grote coëffcënten en een grafek met extreme stjgngen en geeft nauweljks nzcht n de samenhang tussen de stochasten X en Y. De punten de we n de scatterplot hebben getekend zjn vaak een steekproef van een veel grotere populate (soms zelfs onendg) en het voorspellngspotentaal bj zo n wlde functe s laag. We kunnen net verwachten dat de y-waarde voor een x tussen of buten de x goed door de functe beschreven wordt. Voor een ft door een scatterplot neemt men daarom meestal geen wllekeurge functe, maar een functe van bepaalde type de van een klen aantal parameters afhangt. Typsche keuzes hervoor zjn: () Lneare functes f(x) = ax + b. () Kwadratsche functes f(x) = ax + bx + c. (3) Exponentële functes f(x) = ae bx. Het eenvoudgste maar ook meest belangrjke geval zjn de lneare functes. Verschllende andere samenhangen laten zch door een transformate van de varabelen op een lneare samenhang terugbrengen. De volgende tabel geeft voor een aantal belangrjke relates de hervoor benodgde transformates aan. Merk op dat de beste ft dan de kwadratsche afstanden van de getransformeerde varabelen mnmalseert en net de kwadratsche afstanden bj de orgnele varabelen. Maar vaak s dt just wenseljk, omdat bjvoorbeeld bj de exponentële functe ae bx de afwjkngen voor grotere waarden van x zeer groot worden en daarom de ft vooral door de grootste waarde van x bepaald zou worden. 0

3 Statstek voor Informatekunde, 006 veronderstelde samenhang transformates lneare samenhang y = a x + b x = x, y = y y = ax + b y = ax + b x = x, y = y y = ax + b y = a x + b x = x, y = y y = ax + b y = be ax x = x, y = log(y) y = ax + log(b) y = bx a x = log(x), y = log(y) y = ax + log(b) y = a log(x) + b x = log(x), y = y y = ax + b Om te herkennen dat er een samenhang van de vorm y = be ax bestaat, wordt vaak logartmsch paper gebrukt, waarop de y-waarden al op een logartmsche schaal geplaatst worden. Op zo n soort paper moeten de punten dan op een ljn lggen. Analoog wordt voor een functe van de vorm y = bx a dubbel logartmsch paper gebrukt, waarbj zowel de x- en de y-waarden op logartmsche schalen ngetekend worden. Voor het menseljke oog s het veel makkeljker om te herkennen of punten engszns dcht bj een ljn lggen, dan te zen of ze dcht bj de grafek van een exponentële of machtsfuncte lggen. 7. De regresseljn We gaan nu na hoe zch voor een verzamelng (x, y ),..., (x n, y n ) van punten de ljn y = f(x) = ax + b laat bepalen waarvoor de kwadratsche afstanden van de y van deze ljn mnmaal worden. Deze ljn heet de regresseljn door de punten (x, y ). De voorwaarde aan de regresseljn s, dat de functe V (a, b) := n (ax + b y ) = mnmaal wordt. Bj functes van één veranderljke vndt men een mnmum door de nulpunten van de afgelede te zoeken. Dt lukt bj functes van meer veranderljken net zo, waarbj men apart de partële afgeleden naar de verschllende varabelen bekjkt. Bj een partële afgelede worden de andere varabelen als constanten behandeld. De gebrukeljke notate voor de partële afgelede s f(x,y) xf(x, y) of x voor de partële afgelede van de functe f(x, y) naar de varabele x. In ons geval hebben we a V (a, b) = (ax + b y )x en b V (a, b) = (ax + b y ). Als we de twee partële afgeleden geljk aan 0 zetten, volgt ut av (a, b) = 0: a x + b x = x y 0

4 Statstek voor Informatekunde, 006 en ut bv (a, b) = 0 krjgen we a x + nb = y. Dt zjn twee lneare vergeljkngen n de twee onbekenden a en b, de we n prncpe rechtstreeks zouden kunnen oplossen, maar de engszns onoverzchteljke coëffcënten hebben. We gaan de coëffcënten daarom met behulp van gemddelden ets handger noteren en defnëren hervoor: x = x, n dan worden de vergeljkngen x = x n, y = y, n ax + bx = xy en ax + b = y. Ut de laatste vergeljkng volgt rechtstreeks dat b = y ax xy = x y n en als we dt n de eerste vergeljkng nvullen, hebben we ax + x y ax = xy of te wel a(x x ) = xy x y, dus en a = xy x y x x b = yx x xy x x Merk op: We hebben gezen dat y = ax + b geldt, dus gaat de regresseljn n het bjzonder door het zwaartepunt (x, y) van de punten (x, y ). In het bjzonder geldt dus voor een algemeen paar (x, y) op de regresseljn y y = ax + b (ax + b) = a(x x). Voorbeeld: In het voorbeeld met de afstanden en temperaturen hebben we n = 8, x = 350, x = 74375, y = 64 en xy = Herut volgt a en b = y ax Dt zjn natuurljk just de coëffcënten van de ljn de n Fguur 0 als stppelljn ngetekend s. Ook met de notate met gemddelden zjn de utdrukkngen voor de coëffcënten a en b van de regresseljn nog engszns lastg te onthouden, maar als we ons aan de kansrekenng hernneren, kunnen we een heel moo ezelsbruggetje bouwen. Als x en y de waarden van twee unform verdeelde dscrete stochasten X en Y met n mogeljke waarden zjn, dan s x just de verwachtngswaarde van X en y s de verwachtngswaarde van Y. Verder geldt dat x x = E[X ] E[X] = V ar(x), dus de noemer van a s just de varante van X. Voor het product van de stochasten geldt 03

5 Statstek voor Informatekunde, 006 xy x y = E[X Y ] E[X] E[Y ] = Cov(X, Y ), dus s de teller van a de covarante van X en Y. Met deze nterpretate hebben we dus a = Cov(X, Y ) V ar(x) en dt zet er een heel stuk beter ut. De beste maner om b te onthouden s de al eerder aangegeven relate b = y ax de natuurljk veronderstelt dat a al bekend s. 7.3 Varante-analyse en de correlatecoëffcënt Oorspronkeljk hadden we de varante van een unform verdeelde stochast X met n waarden gedefneerd door V ar(x) = n (x x) en door dt met V ar(x) = x x te vergeljken, krjgen we de volgende denttet, de ons vaak handg te pas zal komen: (x x) = x n x = n x n x. (Natuurljk kunnen we deze denttet ook rechtstreeks narekenen, maar dt hebben we n fete al eerder gedaan, en er s geen reden om vervelend werk twee keer te doen.) Ook voor de covarante hadden we een andere schrjfwjze gezen, nameljk Cov(X, Y ) = E[(X E[X])(Y E[Y ])]. Als we de verwachtngswaarden weer als gemddelden schrjven, krjgen we hermee Cov(X, Y ) = n (x x)(y y) en dt geeft de denttet (x x)(y y) = x y n ( x )( y ) = n xy n x y. Bj elkaar genomen kunnen we de stjgngscoëffcënt a van de regresseljn dus ook schrjven als a = (x x)(y y) (x x). We voeren nu nog eens neuwe notates n, om deze utdrukkng voor de stjgngscoëffcënt van de regresseljn handger te kunnen schrjven, nameljk := (x x), v yy := (y y), v xy := (x x)(y y) dan geldt (heel kort) a = v xy. 04

6 Statstek voor Informatekunde, 006 De correlatecoëffcënt We hebben tot nu toe altjd gezegd dat y de afhankeljke en x de onafhankeljke varabele s. Maar we kunnen natuurljk de rollen van x en y omdraaen en bj een regresseljn de kwadratsche afstanden tot de x-waarden mnmalseren. De ljn x = a y + b de we als regresseljn voor x afhankeljk van y krjgen, zal n het algemeen afwjken van de ljn y = ax + b de y met betrekkng tot x utdrukt. Er laat zch zelfs aantonen dat de twee ljnen alleen maar overeenkomen als de punten preces op een ljn lggen. Om de neuwe regresseljn x = a y +b te bepalen, zouden we de hele procedure kunnen herhalen, maar dt s helemaal net nodg. Als we de coördnaten (x, y ) verrulen en dus de punten (y, x ) bekjken, hoeven we n onze formules alleen maar alle letters x door y te vervangen en andersom. Omdat dt voor v xy geen verschl maakt, krjgen we voor de stjgngscoëffcënt a de utdrukkng a := v xy v yy. Omdat ook deze regresseljn door het zwaartepunt van de punten moet lopen, geldt verder dat b = x a y. Om nu de twee regresseljnen met elkaar te kunnen vergeljken, moeten we de vergeljkng x = a y + b van de neuwe regresseljn naar y oplossen. Dt geeft y = a x b a = v yy x b v xy a. Voorbeeld: In het voorbeeld hadden we voor x als onafhankeljke varabele de regresseljn y = x 66.0 gevonden de de kwadratsche afstanden n y-rchtng mnmalseert. Als we n plaats hervan naar de regresseljn van x n afhankeljkhed van y kjken, krjgen we de neuwe regresseljn y = x , de de kwadratsche afstanden n x-rchtng mnmalseert. In Fguur zjn deze twee ljnen te zen, de eerste als stppelljn en de tweede als puntjesljn. Het s dudeljk dat voor de tweede ljn de afstanden n x-rchtng klener zjn dan voor de eerste ljn. Als we nu de stjgngscoëffcënten a = vxy en a = vyy v xy van de twee regresseljnen vergeljken door hun quotënt te bekjken, krjgen we a = a a = r met r = v xy. v a xx v yy Het getal r s dus een maat voor de afwjkng van de stjgngscoëffcënten van elkaar en hoe dchter de punten bj een ljn lggen, hoe dchter zal r bj lggen. Defnte: Het getal r := v xy v yy 05

7 Statstek voor Informatekunde, Fguur : Regresseljnen voor x en y als onafhankeljke varabele. heet de correlatecoëffcënt van de punten (x, y ),..., (x n, y n ), Als a en a de stjgngscoëffcënten van de regresseljnen door de punten (x, y ) zjn, dan geldt a r = r a. Een nterpretate van de correlatecoëffcënt krjgen we door een redenerng de erg op de varante-analyse ljkt. We kjken hervoor naar de kwadratsche afwjkngen van de y-waarden van het gemddelde y en analyseren hoeveel van deze afwjkng door de regresseljn verklaard wordt. Hoe groter het aandeel van de verklaarde afwjkng, hoe beter klopt de aanname van een lneare samenhang. Voor edere waarde y noteren we met ŷ = ax + b de volgens de regresseljn verwachte waarde bj x, dan heet het verschl y ŷ tussen de werkeljke waarde en de door de regresseljn voorspelde waarde het resdu bj x. We noemen (ŷ y) de (door de regresseljn) verklaarde afwjkng en (y ŷ ) de onverklaarde afwjkng van y van het gemddelde y. Er laat zch aantonen dat de totale kwadratsche afwjkng just de som van de verklaarde en van de onverklaarde afwjkng s, d.w.z. dat v yy = (y y) = (y ŷ ) + (ŷ y). }{{}}{{} onverklaard verklaard Voor de geïnteresseerde lezer s her het bewjs: Er geldt (y y) = ( (y ŷ )+(ŷ y) ) = (y ŷ ) +(ŷ y) +(y ŷ )(ŷ y), dus moeten we laten zen dat (y ŷ )(ŷ y) = (y ax b)(ax + b y) = 0. 06

8 Statstek voor Informatekunde, 006 Door utwerken vnden we dat (y ax b)(ax +b y) = ax (y ax b)+b(y ax b) y(y ax b) en de lneare vergeljkngen waarut we de coëffcënten a en b hebben gevonden waren just x y = a x + b x en y = a x + bn. Daarom hebben we x (y ax b) = 0, en (y ax b) = 0 en herut volgt dat nderdaad (y ax b)(ax + b y) = 0. Door v yy = (y ŷ ) + (ŷ y) door v yy te delen, vndt men dat (y ŷ) + (ŷ y) =, v yy v yy P (ŷ y) v yy en de tweede term herbj s just het aandeel van de totale kwadratsche afwjkng dat door de regresseljn verklaard wordt. Er geldt dat het verklaarde aandeel preces het kwadraat r van de correlatecoëffcënt s, dus dat (ŷ y) v yy = v xy v yy = r. Om het rekenwerk ets eenvoudger te houden, gaan we ervan ut dat we de paren (x, y ) zo hebben verschoven dat x = 0 en y = 0 s. In dt geval geldt Herut volgt a = x y x (ŷ y) = (ax ) v yy v yy = v xy v yy = r. = v xy en b = 0. = a x v yy = a v yy = v xy v xx v yy In het bjzonder volgt hermee ook, dat 0 r en dus r. Omdat r het aandeel van de kwadratsche afwjkng aangeeft dat door de regresseljn verklaard wordt, noemt men r ook de coëffcënt van beslsthed (coëffcënt of determnaton). 07

9 Statstek voor Informatekunde, 006 Voorbeeld: In het voorbeeld hadden we voor de twee regresseljnen de stjgngen a = en a = gevonden, herut volgt dat r = 0.63 en r = Dt kunnen we ook ut de kwadratsche afwjkngen afleden: Er geldt dat (y y) = 6 en voor de resduën krjgen we de waarden afstand resdu y ŷ Voor de door de regresseljn verklaarde kwadratsche afwjkng krjgen we n dt voorbeeld (ŷ y) = 6.45 en de onverklaarde afwjkng s (y ŷ ) = en we hebben r = = Om een dee te krjgen of een regresseljn wel een redeljke benaderng geeft, s het vaak handg om alleen maar naar de resduën y ŷ te kjken. Als de resduën een soort van patroon laten zen, s er waarschjnljk ets ms met de lneare samenhang tussen de x- en de y-waarden, terwjl een wllekeurge verdelng rond de x-as een goed teken s. In Fguur zjn de resduën voor het voorbeeld met de temperaturen n verschllende afstanden van de zudpool te zen. Er valt n dt geval geen dudeljk patroon op Fguur : Resduën y ŷ voor een regresseljn. Steekproeven Voor twee stochasten X en Y de twee kenmerken van een populate beschrjven, heeft de stochast (X, Y ) voor de paren van waarden een -dmensonale kansverdelng. Net als bj de gewone kansverdelngen kan deze -dmensonale kansverdelng dscreet of contnu zjn. In het dscrete geval s de kansverdelng door de kansen P (X = x, Y = y) bepaald, n het contnue geval door een dchthedsfuncte f(x, y) met verdelngsfuncte F (x, y) := f(u, v) dv du. u x,v y De ntegrate over het gebed < u x, < v y wordt herbj door twee n elkaar geschakelde gewone ntegrates berekend, dus F (x, y) := x ( y f(u, v) dv ) du waarbj (net als bj de partële afgeleden) de varabele van de butenste ntegrate n de bnnenste ntegraal als constante beschouwd wordt. 08

10 Statstek voor Informatekunde, 006 De paren (x, y ),..., (x n, y n ) vatten we nu op als steekproef voor de - dmensonale kansverdelng van de stochast (X, Y ). Herbj zjn dan natuurljk de x steekproefwaarden voor X en de y steekproefwaarden voor Y, en we defnëren de steekproefvarantes (zo als altjd) door s x = n n = (x x), s y = n n (y y). = Analoog defnëren we ook een steekproefcovarante door s xy := n n (x x)(y y), = dan kunnen we de stjgngscoëffcënt a van de regresseljn door de punten (x, y ) en de correlatecoëffcënt r schrjven als In het bjzonder hebben we a = s xy s x en r = s xy s x s y. (y y) = a(x x) = s xy s x (x x) = s y s x r(x x). Als we nu (op de nmddels welbekende maner) de twee varabelen x en y op z-coördnaten transformeren, zen we dat y y s y = s xy s x s (x x) = s xy x x = r x x y s x s y s x s x dus vnden we ook her weer een neuwe nterpretate van de correlatecoëffcënt. 7.4 Het lneare regresse model Zelfs als we veronderstellen, dat er een lneare samenhang tussen de stochasten X en Y bestaat, kan men net verwachten dat de punten (x, y ) van een steekproef preces op een ljn lggen. De aanname dat de afwjkngen van de ljn toevallge fouten zjn, ledt tot het lneare regresse model, waarbj men een lneare samenhang Y = αx + β tussen de stochasten verondersteld, de door een fout term verrusd s. Dt betekent dat de y-waarden y n de steekproef voor een gegeven waarde x van de vorm y = αx + β + ε zjn, waarbj ε een foutterm s. Men neemt verder aan dat voor alle waarden van x de fouttermen normaal verdeeld met verwachtngswaarde 0 zjn. In prncpe zou de varante van de fouttermen van de x-waarde x kunnen afhangen, maar om het model hanteerbaar te houden, gaat men ook her ervan ut, dat de varantes van alle fouttermen geljk zjn. De stochast E de de foutterm bj x aangeeft, heeft dus n het lneare regresse model een normale verdelng met verwachtngswaarde 0 en varante σ. 09

11 Statstek voor Informatekunde, 006 Er laat zch aantonen dat het lneare regresse model just s als de kansverdelng van (X, Y ) een -dmensonale normale verdelng s. Voor twee onafhankeljke normaal verdeelde stochasten X en Y met E[X] = µ X, E[Y ] = µ Y, V ar(x) = σx, V ar(y ) = σ Y s de gemeenschappeljke -dmensonale normale verdelng van (X, Y ) gegeven door de dchthedsfuncte f(x, y) = πσ X σ Y e (( x µ X σ ) +( y µ Y X σ ) ) Y de just het product van de aparte dchthedsfunctes voor X en Y s. Als X en Y net onafhankeljk zjn, s ρ := Cov(X, Y ) σ X σ Y de correlatecoëffcënt van X en Y. In dt geval heeft de -dmensonale normale verdelng van (X, Y ) de dchthedsfuncte f(x, y) = πσ X σ Y ρ e ( ρ (( x µ X ) σ ) ρ x µ X y µ Y X σ X σ +( y µ Y Y σ ) ) Y. Ook als het paar (X, Y ) geen -dmensonale normale verdelng heeft, bedt het lneare regresse model n veel gevallen een redeljke aanpak, omdat (net als bj de gewone kansverdelngen) de verdelng van (X, Y ) vaak goed door een normale verdelng benaderd wordt en dus ook het lneare regresse model bj benaderng klopt. Schatters voor de parameters van het model De coëffcënten a en b van de regresseljn door de punten (x, y ) zen we nu als schattng voor de parameters α en β van het lneare regresse model. Om dt verder te analyseren, noemen we de schatters, de op een concrete steekproef de waarden a en b geven A en B en de stochast de de verdelng van de y-waarden voor een vaste x beschrjft, noemen we Y. Volgens onze veronderstellng heeft dan Y een normale verdelng met verwachtngswaarde µ := αx + β en varante σ. Verder krjgen we ook een schattng e voor de foutterm ε, door e := y (ax + b) te defnëren. We gaan nu de verwachtngswaarden en varantes van de schatters A en B bepalen. Hervoor merken we eerst op dat ut de defnte van het gemddelde x volgt, dat (x x) = 0. Herut krjgen we = (x x)(x x) = (x x)x x (x x) = }{{} =0 (x x)x en v xy = (x x)(y y) = (x x)y y (x x) = }{{} =0 (x x)y. 0

12 Statstek voor Informatekunde, 006 Ut het laatste volgt voor de stjgngscoëffcënt a van de regresseljn, dat a = v xy = x x y en dus kunnen we de schatter A schrjven als A = x x Y, waarbj de coëffcënten x x alleen maar van de vast gekozen punten x afhangen. Voor de verwachtngswaarde E[A] krjgen we hermee x x (αx + β) E[A] = x x E[Y ] = v xx = α (x x)x + β (x x) dus s A een zuvere schatter voor α. } {{ } =0 = α = α, Omdat de Y onafhankeljk zjn en varante σ hebben, krjgen we voor de varante V ar(a) dat V ar(a) = ( x x ) V ar(y ) = σ = σ. Merk op dat de schattng a van α beter wordt naarmate de spredng van de x-waarden n de steekproef groter wordt. Dt zou men ook verwachten, want de stjgng van een regresseljn door punten met sterk versprede x-waarden s mnder gevoelg tegen schommelngen n de y- waarden van de punten dan een ljn door punten met x-waarden de dcht bj elkaar lggen. Voor de schatter B gebruken we nu dat a en b samenhangen door de relate y = ax + b. Omdat de x-waarden x vast gekozen zjn, s x bj alle steekproeven hetzelfde en de verdelng van y wordt beschreven door de stochast n Y. Voor de schatters A en B geldt dus de relate en herut volgt voor B = n n Y = Ax + B. Y Ax: E[B] = E[Y ] E[A]x = (αx + β) αx = αx + nβ αx = β. n n n

13 Statstek voor Informatekunde, 006 Ook B s dus een zuvere schatter voor de coëffcënt β van het lneare regresse model. Voor de varante V ar(b) geldt: V ar(b) = n V ar(y ) + x V ar(a) = n nσ + x σ = ( n + x )σ. Omdat = nx nx, geldt x = x n en dus kunnen we V ar(b) ook schrjven als V ar(b) = ( x )σ. Ten slotte analyseren we nog de schatter C = E, de als schattng de som e van de kwadraten van de resduën e = y ŷ geeft. We hadden al gezen dat v yy = (y y) = (y ŷ ) + (ŷ y) s. Herut volgt dat e = (y ŷ ) = v yy Als we Y := n (ŷ y) = v yy v xy = v yy a. Y schrjven, volgt herut voor de schatter C = E dat C = (Y Y ) A = Y ny A. Met de relate V ar(x) = E[X ] E[X], dus E[X ] = V ar(x) + E[X], volgt herut E[C] = = = E[Y ] ne[y ] E[A ] (V ar(y ) + E[Y ] ) n(v ar(y ) + E[Y ] ) (V ar(a) + E[A] ) (σ + (αx + β) ) n( n σ + (αx + β) ) ( σ + α ) = nσ + (αx + β) σ n(αx + β) σ α = (n )σ + (α x + αβx + β ) nα x αβnx nβ α = (n )σ + α (nx nx ) = (n )σ. In de laatste stap hebben we herbj gebruk ervan gemaakt dat = (x x) = nx nx. Ut E[C] = (n )σ volgt n het bjzonder: n E s een zuvere schatter voor σ,

14 Statstek voor Informatekunde, 006 dus geeft de som n e = n (y ŷ ) over de kwadraten van de resduën een schattng voor de varante σ van de toevallge afwjkngen van het lneare regresse model. De reden dat we n dt geval vrjhedsgraden verlezen s, dat we de twee coëffcënten a en b voor het lneare regresse model ut de steekproefwaarden hebben geschat. Betrouwbaarhedsntervallen voor de parameters van het model Volgens onze succesvolle stratege analyseren we nu weer onze schatters A en B om betrouwbaarhedsntervallen rond de schattngen a en b voor de coëffcënten α en β van het lneare regresse model te vnden. Zo als altjd verschuven we de schatter zo dat zjn verwachtngswaarde 0 wordt en delen vervolgens door zjn standaardafwjkng, dus we kjken naar Z := A E[A]. Er laat zch aantonen dat de zo verkregen stochast V ar(a) Z := A α σ = A α σ een standaard-normale verdelng heeft, dus kunnen we met de z-waarden betrouwbaarhedsntervallen defnëren. Er geldt dat P ( Z z γ ) = P (α z γ = P (A z γ σ A α + z γ σ α A + z γ σ ) σ ) = γ. De stjgngscoëffcënt a de we ut de steekproef hebben berekend, levert dus op betrouwbaarhedslevel γ (let op: α s nu de parameter van het lneare regresse model) voor α het betrouwbaarhedsnterval [ a z γ σ, a + z γ ] σ. In de meeste gevallen zullen we de varante σ van de fouttermen net kennen, n dt geval moeten we σ door de schattng n = s := e n vervangen. Hermee krjgen we de stochast T α := A α s = A α s 3

15 Statstek voor Informatekunde, 006 en er laat zch aantonen dat T α een Student-t verdelng met n vrjhedsgraden heeft. We hoeven dus n het boven gevonden betrouwbaarhedsnterval voor α alleen maar de krteke z-waarde z γ door de krteke t-waarde t γ van een Student-t verdelng met n vrjhedsgraden te vervangen en de standaardafwjkng σ door de schattng s en krjgen zo (bj onbekende varante σ ) op betrouwbaarhedslevel γ het volgende betrouwbaarhedsnterval voor α: [ a t γ s, a + t γ ] s. De stochast T α laat ook weer het verband tussen de regresseljn en de varante-analyse zen. Men kan aantonen dat Tα een F -verdelng met en n vrjhedsgraden heeft. Met behulp van de betrouwbaarhedsntervallen kunnen we nu ook toetsen voor de coëffcënt α van het lneare regresse model defnëren. De meest belangrjke vraag s herbj meestal, of de steekproef (x, y ) evdente geeft tegen de nulhypothese H 0 : α = 0. Bj een tweezjdge toets zullen we de nulhypothese α = 0 op een sgnfcante level van γ verwerpen, als a > z γ σ bj bekende σ en a > t γ s bj onbekende σ. Voorbeeld: In ons voorbeeld hadden we a = gevonden. We berekenen verder dat = en e = Herut krjgen we de schattng s =.598 voor σ en dus voor σ de schattng s =.64. Om de nulhypothese α = 0 te toetsen, moeten we a s met de t-waarden van een Student-t verdelng met 8 = 6 vrjhedsgraden vergeljken. Voor γ = 95% hebben we t γ = t 6,0.05 =.45 en voor onze waarden geldt dat a s = 3., dus kunnen we op een sgnfcantelevel van 5% de nulhypothese α = 0 verwerpen. Het betrouwbaarhedsnterval dat we op level 5% voor α vnden s [ a.45 s, a +.45 s ] = [0.0048, 0.00]. De reden dat we her zo een relatef groot nterval voor α krjgen lgt n het fet dat er bj een regresseljn door slechts 8 punten geen grote zekerhed over de stjgng kan bestaan. Mnder belangrjk dan A s de schatter B voor de verschuvng β op de y-as. Ook her krjgt men door de transformate Z := B E[B] V ar(b) en standaard-normaal verdeelde stochast, nameljk Z := B β. σ n + x 4

16 Statstek voor Informatekunde, 006 Dt geeft op onbetrouwbaarhedslevel γ voor β het betrouwbaarhedsnterval b z γ σ n + x, b + z γ σ n + x. P Ook n dt geval geeft vervangen van σ door de schattng s = e n een stochast T β met een Student-t verdelng met n vrjhedsgraden, nameljk T β := B β. s n + x Herut volgt bj onbekende varante σ het betrouwbaarhedsnterval b t γ s n + x, b + t γ s n + x voor β. Betrouwbaarhedsntervallen voor de waarden Ut de schatters A en B kunnen we voor een wllekeurge waarde x door M x := Ax + B een schatter voor het gemddelde µ x van de y-waarden voor de x-waarde x maken. Merk op dat we volgens het lneare regresse model nog steeds ervan ut gaan dat de y-waarden voor x een normale verdelng rond µ x = αx + β hebben. De verwachtngswaarde van M x s E[M x ] = αx + β = µ x en dus s M x een zuvere schatter voor µ x. Om de varante van M x te bepalen, merken we eerst op dat we hadden gezen dat y = ax + b, waarut volgt dat voor een punt (x, y) op de regresseljn geldt dat y y = a(x x). Voor de schatter M x volgt herut, dat M x Y = A(x x) en dus M x = Y + A(x x) waarbj Y en A onafhankeljke stochasten zjn. Voor de varante van M x volgt herut V ar(m x ) = V ar(y ) + (x x) V ar(a) = σ n σ + (x x) = ( (x x) + )σ. n Omdat B just de schatter M x voor x = 0 s, moeten we her voor x = 0 de varante van B terugvnden, en dt s nderdaad het geval, want we hadden gevonden dat V ar(b) = ( n + x )σ. 5

17 Statstek voor Informatekunde, t Fguur 3: Betrouwbaarhedsntervallen voor de gemddelden µ x. Merk op dat een betrouwbaarhedsnterval voor µ x afhangt van de afstand tussen x en x. Voor x dcht bj het gemddelde s het betrouwbaarhedsnterval mnder groot dan voor verder verwjderde. In Fguur 3 s dt voor ons voorbeeld dudeljk te zen, de twee krommen rond de regresseljn geven de grenzen van het betrouwbaarhedsnterval voor µ x op een betrouwbaarhedslevel van 90% aan. Als we nu een nterval voor de y-waarden voor een zekere x-waarde wllen schatten, weten we dat we volgens het lneare regresse model de schattng y = ax + b + e hebben, waarbj de foutterm e normaal verdeeld met varante σ s. Als we de schatter de de verdelng van de y-waarden voor de x-waarde x beschrjft met Y x noteren, volgt herut dat Y x = Ax + B + E x = M x + E x waarbj E x normaal verdeeld met verwachtngswaarde 0 en varante σ s. Herut krjgen we E[Y x ] = E[M x ] + E[E x ] = µ x, dus s ook Y x een zuvere schatter voor µ x = αx + β. Voor de varante van de de schatter Y x geldt: V ar(y x ) = V ar(m x ) + V ar(e x ) = ( n = ( + n + (x x) )σ. + (x x) )σ + σ Het zal geen verrassng zjn, dat de schatter Y x voor de y-waarden een groter nterval rond µ x geeft dan de schatter M x voor het gemddelde van de y-waarden, want aan de onzekerhed over het gemddelde µ x wordt nog de foutterm E x toegevoegd. 6

18 Statstek voor Informatekunde, t Fguur 4: Betrouwbaarhedsntervallen voor de y-waarden. In Fguur 4 zjn voor ons voorbeeld de betrouwbaarhedsntervallen op betrouwbaarhedslevel 90% voor de y-waarden samen met de (klenere) betrouwbaarhedsntervallen voor de µ x te zen. Omdat ook de punten voor de paren (x, y ) aangegeven zjn, kunnen we n het bjzonder herkennen dat 7 van de 8 waarden bnnen het betrouwbaarhedsnterval voor de y-waarden lggen, zo als we dat bj een onbetrouwbaarhed van 0% zouden kunnen verwachten. 7.5 Correlate Als we stochasten X en Y met zekere kansverdelngen en met een gemeenschappeljke kansverdelng voor (X, Y ) veronderstellen, dan s de correlatecoëffcënt gedefneerd door ρ := Cov(X, Y ) σ X σ Y. Als we de paren (x, y ) als steekproef zen, waarbj de y-waarden voor de x- waarde x door de stochast Y worden beschreven, krjgen we de schatter R := (x x)(y Y ) (x x) (Y Y ) de voor een concrete steekproef de correlatecoëffcënt r := v xy v yy als schattng voor ρ oplevert. We gaan er nu van ut dat het lneare regresse model nderdaad van toepassng s, dus dat (X, Y ) een -dmensonale normale verdelng heeft. Om met behulp van de schattng r een betrouwbaarhedsnterval voor ρ te bepalen, moeten we op de schatter R eerst de Fsher transformate toepassen: V := log( + R R ). 7

19 Statstek voor Informatekunde, 006 Er laat zch aantonen dat V (bj benaderng) een normale verdelng heeft, voor de verwachtngswaarde en de varante van V geldt: E[V ] = log( + ρ ) en V ar(v ) = ρ n 3. Hermee kunnen we betrouwbaarhedsntervallen voor ρ defnëren en kunnen de nulhypothese ρ = 0 toetsen. Er geldt ( P log( + ρ z γ ρ ) n 3 log( + r r ) log( + ρ z ) γ ρ ) + = γ, n 3 dus s [ log( + r z γ r ), n 3 log( + r z ] γ r ) + n 3 een betrouwbaarhedsnterval op sgnfcante level γ voor log( +ρ ρ ). Om een betrouwbaarhedsnterval voor ρ zelf te krjgen, moeten we de nverse functe van f(x) = +x log( x ) bepalen, d.w.z. we lossen y = +x log( x ) naar x op. Er geldt ey = +x x, dus s ey = +x x x x = x x en ey + = +x x + x x = x. Herut volgt dat Met behulp van de grootheden x = ey e y + y = log( + x x ). v := log( + r z γ r ) en v := n 3 log( + r z γ r ) + n 3 komt men er achter dat P ( e v ) e v ρ ev + e v = γ + en dt geeft [ e v ] e v, ev + e v + als betrouwbaarhedsnterval op sgnfcantelevel γ voor ρ. Het belangrjkste geval van een toets voor de correlatecoëffcënt s de vraag of ρ = 0 s, want dt s het geval als X en Y onafhankeljk zjn. Maar voor ρ = 0 geldt dat +ρ log( ρ ) = 0, dus kunnen we de nulhypothese H 0 : ρ = 0 op onbetrouwbaarhedslevel γ heel makkeljk toetsen: wordt verworpen als ( ) + r z γ log >. r n 3 De nulhypothese 8

20 Statstek voor Informatekunde, 006 Belangrjke begrppen n deze les scatterplot regresse beste ft regresseljn correlatecoëffcënt lnear regresse model Fsher transformate Opgaven 38. Voor een steekproef van omvang n = 7 worden ut de paren (x, y ),..., (x 7, y 7 ) de volgende gegevens bepaald: 7 = 7 x = 36.0, x y = , 7 = = = y = 55., 7 x = 496.0, 7 = y = () Bepaal de regresseljn y = ax+b met x als onafhankeljke en y als afhankeljke varabel () Bepaal de regresseljn x = a y+b met y als onafhankeljke en x als afhankeljke varabel. () Bepaal de correlatecoëffcënt r voor deze steekproef. 39. Stel de correlatecoëffcënt r tussen de stochasten X en Y s 0.5. Welk percentage van de kwadratsche afwjkng van Y bljft dan door de lneare regresse van Y op X onverklaard? 40. Een kabel wordt aan een trekproef onderworpen, x s de utgeoefende kracht n kg en y de daardoor veroorzaakte utrekkng n mm. Men vndt de volgende resultaten: x (kg) y (mm) Veronderstel een lnear regresse model y = αx + β + ε tussen kracht en utrekkng, waarbj ε een normaal verdeelde foutterm s. () Bepaal de regresseljn voor deze metngen. () Teken een scatterplot van de data en een plot van de resduën. () Bepaal een betrouwbaarhedsnterval voor α op betrouwbaarhedslevel 95%. (v) Bepaal een betrouwbaarhedsnterval op betrouwbaarhedslevel 95% voor de verwachte utrekkng bj een kracht van 3.5 kg. 9