Goodness-of-fit bij linksgecensureerde observaties. Sara Appeltants

Transcriptie

1 Universiteit Antwerpen Faculteit Wetenschappen Departement Wiskunde-Informatica Academiejaar Goodness-of-fit bij linksgecensureerde observaties Sara Appeltants Eindwerk ingediend met het oog op het behalen van de graad van Licentiaat in de Wiskunde Promotor: Prof. Dr. G. Molenberghs Copromotor: Prof. Dr. R. Braekers

2

3 Dankwoord Als eerste wil ik mijn promotor Geert Molenberghs en copromotor Roel Braekers bedanken omdat ze mij de kans gegeven hebben om deze thesis te maken. Roel Braekers wil ik nog extra bedanken voor de goede begeleiding, de snelle antwoorden op mijn mails met vragen en het vele geduld. Ook mijn ouders verdienen mijn dankbaarheid omdat ze altijd voor mij klaarstonden en me zijn blijven steunen, op alle mogelijke manieren. Natuurlijk wil ik ook mijn vrienden en medestudenten bedanken voor allerlei kleine en grote dingen. In het bijzonder wil ik Claudia en Carolien bedanken omdat ze steeds bereid waren om naar mij te luisteren en hun bemoedigende woorden, Mario voor het nalezen van mijn thesis, en ook Tamara voor de hulp met TeX. Tenslotte ben ik Peter erg dankbaar voor diverse hulp, van het uitleggen van foutmeldingen in mijn algoritmes tot het fungeren als publiek bij het oefenen van mijn presentatie. Maar vooral omdat hij steeds in mij is blijven geloven. i

4 Inhoudsopgave Inleiding 1 1 Inleidende begrippen tot survivalanalyse Survivalfunctie Dichtheid Hazard rate functie Gecensureerde gegevens Rechtse censurering Type I: vaste censureringstijd Type I: random censureringstijd Type II censurering Linkse censurering Goodness-of-fit tests Likelihoodconstructie Chi-kwadraat test Chi-kwadraat test voor niet gecensureerde gegevens Chi-kwadraat test voor linksgecensureerde gegevens QQ-plot EDF-statistieken Empirische distributiefunctie Supremumstatistieken Kwadratische statistieken Berekenen van de statistieken: PIT EDF-tests: case EDF-tests met ongekende parameters Besluit 48 Bibliografie 50 A Enkele definities en eigenschappen 51 ii

5 B Algoritmes 53 B.1 Kunstmatig censureren van simulaties B.1.1 Linkse censurering B.1.2 Rechtse censurering B.2 Construeren van voor simulaties B.2.1 Linkse censurering B.2.2 Rechtse censurering B.3 Likelihood B.3.1 likelihoodconstructie B.3.2 Contourplot van de loglikelihoodfunctie B.4 Chi-kwadraat verdelingstest B.4.1 Chi-kwadraattest voor ongecensureerde gegevens B.4.2 Chi-kwadraattest voor linksgecensureerde gegevens.. 57 B.5 QQ-plot B.6 EDF-statistieken case B.6.1 Grafieken van de EDF en verdelingsfunctie B.6.2 EDF-testen voor ongecensensureerde gegevens B.6.3 EDF-testen voor rechtsgecensensureerde gegevens B.6.4 EDF-testen voor linksgecensensureerde gegevens B.7 EDF-statistieken case 1 voor ongecensureerde gegevens B.8 EDF-statistieken case 2 voor ongecensureerde gegevens B.9 EDF-statistieken case 3 voor ongecensureerde gegevens B.10 Gebruikte data iii

6 Inleiding De analyse van overlevingstijd, time to event data komt veelvuldig voor in de toegepaste statistiek. Voorbeelden hiervan kunnen we vinden in de medische wereld, biologie, psychologie, economie en levensduur van materialen, nl. tijd tot reageren op een geneesmiddel, tijd tot de dood van een laboratoriummuis, tijd tot het falen van een toestel e.a. Een probleem dat deze analyse nog bemoeilijkt, is het ontbreken van data, in het bijzonder censurering. Met gecensureerde data bedoelt men dat er naast de exacte ook gecensureerde observaties voorkomen. Men spreekt van een gecensureerde observatie als de lifetime van een bepaald individu of object (ook wel event time genoemd) niet weet wanneer dit exact plaatsheeft, maar enkel in welke tijdsperiode. Hierdoor zullen de klassieke statistische schatters en goodness-of-fit tests niet meer volstaan. Denk maar aan het steekproefgemiddelde als schatter voor het populatiegemiddelde, of de Chi-kwadraat verdelingstest. Na een beknopte inleiding over survivalanalyse zal er aan de hand van talrijke voorbeelden een overzicht gegeven worden van de verschillende soorten censurering. Vooral het verschil tussen rechtse en linkse censurering zal aan bod komen. Men spreekt van rechtsgecensureerde data wanneer we enkel weten dat dat de gebeurtenis heeft plaatsgehad voor een bepaalde tijd, bvb. wanneer een patiënt nog niet gereageerd heeft op het medicijn voor het einde van de studie. Bij linksgecensureerde data zal de gebeurtenis al plaatsgehad hebben voor een bepaalde tijd, bvb. wanneer de event time de tijd tot de eerste stapjes van een kind zijn, zijn de kinderen die al kunnen lopen linksgecensureerd. Ook het onderscheid tussen type I en type II bij rechtse censurering zal even aan bod komen. In het volgende deel zullen we zien hoe de likelihoodfunctie verandert wanneer we censurering in rekening brengen. Deze zullen we gebruiken in enkele van de latere verdelingstoetsen. We zullen de Chi-kwadraat test, de QQ-plot en verdelingstoetsen gebaseerd op EDF-statistieken uitvoerig bestuderen waarna we ze aanpassen voor linkse censurering met vaste censuringstijd, soms via een omweg langs de rechtste variant. Hiervoor heb ik telkens een algoritme geschreven in het programma R dat hier wordt uitgevoerd op enkele simulaties en voorbeelden. 1

7 Hoofdstuk 1 Inleidende begrippen tot survivalanalyse Zij X de tijd tot een bepaalde gebeurtenis. De stochastische veranderlijke X zal steeds positief zijn. Dit kan de tijd tot het falen van een elektrisch toestel zijn, tijd tot het hervallen van een patiënt met leukemie, sterftetijd van longkankerpatiënten,... Event times worden meestal geassocieerd aan negatieve gebeurtenissen. In het Nederlands spreekt men dan soms ook van faaltijd. Maar er zijn ook voorbeelden zoals een onderzoek in een kinderdagverblijf waarbij men de tijd tot het leren van bepaalde vaardigheden, zoals stappen of spreken, waarneemt. We zullen de termen event time, lifetime en faaltijd door elkaar gebruiken. In dit hoofdstuk zullen we begrippen invoeren zoals dichtheid, survivalfunctie en hazard rate functie, die de event time volledig karakteriseren. 1.1 Survivalfunctie De survivalfunctie geeft de kans weer dat de event time groter is dan een tijd x, dat het individu nog leeft na tijd x of de gebeurenis plaatsheeft na tijd x. We definiëren deze functie als: S(x) = P (X >x) 2

8 Figuur 1.1: Survival functie van een Weibull verdeling De survivalfunctie heeft nog volgende interessante eigenschappen. Eigenschap Voor een continue stochastische veranderlijke X heeft de survivalfunctie volgende eigenschappen: 1. S(x) is rechtscontinu en niet-stijgend monotoon. 2. S(0) = 1 3. lim x!1 S(x) =0 4. S(x) =1 P (X apple x) =1 F (x), met F (x) de verdelingsfunctie. Figuur 1.1 geeft een voorbeeld van een survivalfunctie, nl. die van de Weibullverdeling met parameters = 1 en = 3. De helling van de survivalfunctie wordt bepaald door het risico dat het individu of object loopt: hoe meer risico, hoe sneller S(x) naar nul zal gaan. 1.2 Dichtheid De dichtheid van een stochastische variabele definieert men als f(x) = ds(x) dx waarbij ds(x) dx de afgeleide van S(x) naar x is. Eigenschap Voor een continue stochastische veranderlijke X heeft de dichtheidsfunctie volgende eigenschappen: 3

9 df (x) 1. f(x) = dx 2. f(x) 0, voor alle x 3. R 11 f(x)dx =1 4. P (a apple X apple b) = R b a f(t)dt = F (b) F (a) =S(a) S(b) Voor de dichtheid hebben we ook volgende verband met de survivalfunctie en verdelingsfunctie, dat we duidelijk kunnen zien op figuur 1.2. S(t 0 )= R 1 t 0 f(t)dt F (t 0 )= R t 0 1 f(t)dt Figuur 1.2: Dichtheidsfunctie van Weibulverdeling met = 1 en = 3 We kunnen de dichtheid interpreteren als een benadering van de kans dat de gebeurtenis plaatsheeft op tijd x: f(x) x P (x apple X apple x + x), voor kleine x 1.3 Hazard rate functie De hazard rate functie, ook wel faaltempo genoemd, is een populaire beschrijving van een lifetime X omdat ze het risico van het individu of object op tijdstip t voorstelt. We kunnen de definitie voor continue stochastische variabelen eenvoudig afleiden uit deze intuïtieve voorstelling: 1. kans op gebeurtenis tussen tijd t en t + t = P (t apple T apple t + t) =S(t) S(t + t) wegens eigenschap

10 2. kans op gebeurtenis tussen tijd t en t + t, gegeven nog niets gebeurd op tijd t = P (t apple T apple t + t T t) = P (tapplet applet+ t) P (T t) = S(t) S(t+ t) S(t) wegens de definitie van voorwaardelijke kans en S survivalfuntie van een continue stochastische variabele 3. gemiddelde kans op gebeurtenis tussen tijd t en t + t, gegeven nog niets gebeurd op tijd t: = P (tapplet applet+ t T t) t = S(t) S(t+ t) S(t) t 4. het ogenblikkelijk gemiddelde (lim t!0 ): P (tapplet applet+ t T t) S(t) S(t+ t) = lim t!0 t = lim t!0 S(t) t = ds(t)/dt S(t) = f(t) S(t) wegens de definitie van afgeleide Men definieert hazard rate functie dan als h(x) = lim x!0 P (x apple X apple x + x X x) x Voor een continue stochastische variabele X geldt dan ook: h(x) =f(x)/s(x) = d(ln[s(x)]) dx Dankzij deze gelijkheid kunnen we kiezen of we de survivalfunctie of de hazard rate functie gebruiken om de event time van een individu of object te beschrijven, want beide zijn equivalent. Wanneer we H(x) definiëren als de cumulatieve hazard rate functie: H(x) = Z x 0 h(u)du = ln [S(x)] kunnen we voor continue survivalfuncties S(x) schrijven in functie van de (cumulatieve) hazard rate functie. S(x) =e H(x) = e R x 0 h(u)du (1.1) Hazard rate functies kunnen verscheidene vormen hebben. De meest eenvoudige hazard rate functie kunnen we vinden bij een exponentiële verdeling. Dit is de constante functie h(x) = waarbij > 0 de parameter van deze verdeling is. Hieruit volgt dat wanneer X een exponentiële verdeling volgt, het risico op ieder moment evenveel is (onafhankelijk van de tijd). Voor stijgende hazard rate functies geldt: hoe verder in de tijd, hoe meer risico. Zo n model kan gebruikt worden bij het verouderen van personen of 5

11 slijtage van materialen. Voor dalende hazard rate functies geldt het omgekeerde, hoe verder in de tijd, hoe minder risico. Deze kunnen model staan voor de inlooptijd van een nieuwe werknemer of metalen die sterker worden door gebruik. Figuur 1.3: Enkele voorbeelden van monotone hazard rate functies Maar er zijn ook niet-monotone hazard rate functies. Zoals de hazard rate functie van de log-logistische verdeling met parameters = 2 en = Deze heeft eerst een stijgend verloop en daarna dalend. Dit kan een model zijn voor een risicovolle operatie waarbij in het begin kans is op complicaties en infectie, maar wanneer de patiënt herstellende is, zal het risico dalen. Tenslotte, de meest voorkomende hazard rate functie is badkuipvorm. Deze wordt gebruikt in experimenten waar men de populatie vanaf de geboorte volgt. Het hoge risico in het begin staat voor kindersterfte, tijdens de kinderjaren is het risico het laagst, maar naarmate men ouder wordt, zal het risico terug stijgen. Voor de badkuipcurve in figuur 1.4 gebruikten we de formule van Lee (zie A7), maar een badkuipcurve kan ook gemodelleerd worden als een stuksgewijze set van een dalende, een constante en een stijgende hazard rate functie [9]. 6

12 Figuur 1.4: Enkele voorbeelden van niet-monotone hazard rate functies 7

13 Hoofdstuk 2 Gecensureerde gegevens In een steekproef van lifetimes kunnen naast exacte observaties ook een aantal gecensureerde observaties voorkomen. Een gecensureerde observatie bevat slechts gedeeltelijke informatie over de lifetime X. We weten enkel in welk interval deze zal voorkomen, niet de exacte waarde. Bijvoorbeeld: voor een longkankerpatiënt die sterft in een auto-ongeval kunnen we niet meten wanneer hij aan longkanker zal sterven, we weten enkel dat de exacte tijd hiervan later zou zijn dan het moment van het ongeval. We onderscheiden rechtse en linkse censurering, afhankelijk van of dit interval langs boven of langs onder begrensd is. Binnen deze categoriën kunnen we nog verder opdelen in Type I censurering vaste en random censureringstijd en bij rechtse censurering ook Type II. 2.1 Rechtse censurering Type I: vaste censureringstijd Bij rechtse censurering wordt de gebeurtenis enkel exact geobserveerd als ze plaatsheeft voor een bepaalde tijd. Voorbeeld Een onderzoek van 100 patiënten die een behandeling tegen leukemie ondergaan. Om tijd en kosten te besparen wordt de studie na 6 maanden stopgezet. De patiënten die nog niet op de behandeling gereageerd hebben, geven rechtsgecensureerde observaties. Voorbeeld Een producent van gloeilampen stelt een onderzoek naar de levensduur van lampen zodat hij een garantie op de verpakking kan plaatsen. Hij eist dat de studie niet langer dan 3600 uur mag duren. 8

14 Figuur 2.1: Schematische voorstelling rechtse censurering: de observaties voor t c zijn exacte lifetimes Zij lifetimes X 1,X 2,.., X n onafhankelijk en gelijk verdeeld met verdeling F en t c een (voorafbepaalde) tijd, die we vaste censureringstijd noemen. We zijn geïnteresseerd in X 1,X 2,.., X n, maar deze observeren we echter niet. In plaats daarvan observeren we T 1,T 2,.., T n met ( X i als X i apple t c T i =. t c als X i >t c We kunnen dit ook noteren met (T i, i) waarbij T i = min(x i,t c ) en i = 1 (Ti applec i ). Indicator i, die de informatie over de censurering bevat, kunnen we ook noteren als: 8 0 als gecensureerd >< als X i >t c, i =. 1 als niet gecensureerd >: als X i apple t c Figuur 2.2: Een geobserveerde survivalfunctie 9

15 Van deze geobserveerde verdeling kunnen we de survivalfunctie bepalen: S Ti (t) = P (T i >t) definitie S = P (min(x i,t c ) >t) definitie T i = P (X i >ten t c >t) = P (X i >t) 1 ( (t<tc) = S Xi (t) als t<t c 0 als t t c Een tekening hiervan zien we in figuur Type I: random censureringstijd Tot nu toe hebben we enkel voorbeelden gezien met een vaste censureringstijd, maar dit kunnen we ook veralgemenen naar een random censureringstijd waarbij we het vast getal t c vervangen door een stochastische variabele C i met een bepaalde verdeling G. Aan iedere lifetime X i associëren we dan zo n een stochastische variabele C i (1 apple i apple n). We kunnen voorbeeld uitbreiden: Voorbeeld Een onderzoek van 100 patiënten die een behandeling tegen leukemie ondergaan. Om tijd en kosten te besparen wordt de studie na 6 maanden stopgezet. Maar nu laten we ook andere factoren toe die censurering veroorzaken: het kwijtraken van gegevens, terugtrekkingen uit de studie (bvb. wegens teveel nevene ecten van de behandeling), loss to follow-up (bvb. door verhuis van de patiënt, gestorven door andere oorzaken dan diegene waarin we geïnteresseerd zijn),... We kunnen ook nog een extra veralgemening beschouwen die toelaat dat de individuen op verschillende tijden de studie binnenkomen en dus niet enkel op de starttijd van de studie t = 0. Dit komt vaak voor bij klinische studies waar men niet enkel de patiënten gebruikt die voor handen zijn bij het begin, maar men ook in de loop van de studie patiënten toevoegt. Bijvoorbeeld in een onderzoek met leukemiepatiënten neemt men patiënten op waarvan de diagnose pas tijdens de duur van de studie gesteld werd. Om deze observaties gelijk te behandelen zal men niet de kalendertijd gebruiken, maar herschalen naar tijd in de studie. Figuur toont een triviaal voorbeeld van een mogelijke deelsteekproef van deze studie. In dit geval geeft patiënt 1 een ongecensureerde observatie want hij reageert voor het einde van de studie. Patiënt 2 komt wat later binnen in de studie en geeft een gecensureerde observatie, hij heeft nog niet gereageerd voor het einde van de studie maar verdween ook niet wegens andere redenen 10

16 uit de studie. Patiënt 3 daarentegen is gecensureerd, maar bvb. doordat hij verhuisd is of niet meer wil meedoen aan het onderzoek. Merk op dat gecensureerde gegevens genoteerd worden met een +. Figuur 2.3: Schematische voorstelling van random censurering bij vb In het algemeen observeren we bij random censurering de paren (T 1, 1),.., (T n, n) waarbij voor alle i in {1,.., n}: T i = min(x i,c i ) 8 0 als gecensureerd >< als X i >C i, i = 1 (Xi applec i ) = 1 als niet gecensureerd >: als X i apple C i. We observeren dus X i en C i niet rechtstreeks, maar enkel T i en de bijbehorende indicator voor censurering i. We kunnen opmerken dat vaste censurering een speciaal geval is van random censurering want we kunnen getal t c beschouwen als een ontaarde verdeling C in t c. Merk op dat we stochastische (of random) variabelen steeds aanduiden met hoofdletters en vaste getallen of bepaalde waarden van stochastische variabelen met kleine letters. 11

17 Figuur 2.4: De verdelingsfunctie van de ontaarde verdeling in t c Bij random censurering maken we wel de belangrijke onderstelling dat voor alle i de lifetimes X i en censureringstijden C i onafhankelijk zijn, omdat we anders weinig conclusies kunnen trekken aangezien de klassieke theoriën niet meer gelden. Dit lijkt een zwakke onderstelling wanneer de observaties random gecensureerd worden. Maar in werkelijkheid zal dikwijls een relatie bestaan tussen deze stochastische variabelen. In de context van voorbeeld zien we dit duidelijk. Het vertrek van een patiënt uit het onderzoek kan te maken hebben met het feit dat de behandeling geen e ect heeft, of dat er teveel nevene ecten zijn, of wanneer de patiënt ontevreden is over het onderzoek. Er zal in werkelijkheid dus wel een afhankelijkheid kunnen optreden. Laten we nu nog enkele andere voorbeelden bekijken. Voorbeeld Een onderzoek bestaande uit 26 psychiatrische patiënten die tussen 1935 en 1948 opgenomen werden in universitaire ziekenhuizen in Iowa. De data (zie tabel 2.1) bestaat voor iedere patiënt uit geslacht, leeftijd bij opname en het aantal jaren follow-up. Met het aantal jaren follow-up bedoelen we de tijd dat de patiënt in de studie is, de tijd tussen binnenkomen en dood of censurering. De event time is hier de tijd tot het overlijden van de patiënt. Er is hier geen algemene stop van de studie. Uit tabel 2.1 zien we dat de event time voor de eerste patiënt exact is en gelijk aan 1 jaar, dwz. 1 jaar na opneming sterft deze patiënt. Voor de laatste patiënt in deze tabel is er een rechtsgecensureerde event time 39+, zodat we enkel weten dat hij 39 jaar na opname nog in leven is. Een van de doelen van deze studie was het vergelijken van de sterftecoefficiënt van de psychiatrische patiënten met de standaard sterftecoe ciënt van inwoners van Iowa om te bepalen of de psychiatrische patiënten een duidelijk kortere levensduur hadden. 12

18 Sex Age Time of follow-up Sex Age Time of follow-up F 51 1 F F 58 1 F F 55 2 M F M M M M F F F F F F M F M F M M F M M Tabel 2.1: survival data voor psychiatrische patienten Voorbeeld Een studie over beenmergtransplantaties bij leukemie. De tijd tot afstoting wordt niet geobserveerd doordat de patiënt kort na de operatie sterft of een terugval heeft voordat de behandeling e ect kan hebben. Voorbeeld Studie bij brandwondenpatiënten waarbij tijd tot het optreden van infectie de event time is en er censureringstijden zijn zoals overlijden of ontslag uit het ziekenhuis (en dus verdwijnen uit het onderzoek) voordat er infectie waargenomen wordt Type II censurering Men kan inzien dat het niet altijd even makkelijk is om op voorhand het tijdstip te bepalen waarop de studie moet eindigen om de kost (in tijd en geld) van de studie niet te hoog te doen oplopen en toch voldoende ongecensureerde gegevens te verkrijgen (een goede waarde voor de vaste censureringstijd t c bepalen). Daarom beschouwen we ook een andere vorm van censurering: type II. De studie duurt tot het falen (of anders gezegd: plaatshebben van de gebeurtenis) van het re individu of object, met r een voorbepaald positief getal met r < nwaarbij n de grootte van de steekproef is. Nu zullen alle objecten of individuen op hetzelfde moment de studie binnenkomen (op t = 0) en de studie stopt wanneer r ervan hun exacte event time bereikt hebben. Voorbeeld Bij een studie over de levensduur van 300 gloeilampen kunnen we voor de twee types verschillende experimenten opzetten: Type I: na 3600u de studie stopzetten. 13

19 Type II: studie stopzetten na het falen van 200 lampen. In studies naar de levensduur van materialen zal men meestal een type II studie verkiezen, omdat zonder voorkennis de keuze voor de vaste censureringstijd erg slecht kan zijn. In het type I-experiment uit voorgaand voorbeeld kan het gebeuren men de faaltijd van de lampen onderschat zodat er nog geen enkele gloeilamp heeft gefaald voor het einde van de studie. Dit betekent dat alle gegevens gecensureerd zullen zijn waardoor de klassieke statistische technieken niet bruikbaar kunnen zijn bij de analyse ervan. In plaats van de werkelijke event times X 1,X 2.., X n observeren we T (1) = X (1) T (2) = X (2). T (r) = X (r) T (r+1) = X (r). T (n) = X (r) waarbij X (1) <X (2) <..<X (n) de ordestatistieken van X 1,.., X n zijn. Merk op dat het aantal falingen r (of ook het aantal event times dat we exact observeren) en het aantal gecensureerde observaties n r gekend zijn aan de start van de studie. De censureringstijd T (r) is stochastisch. In het geval van type I was het aantal gecensureerde observaties onbekend aan de start van de studie. Aangezien we enkel de r kleinste event times overhouden is de statistische analyse van Type II gecensureerde gegevens eenvoudiger. Want hierdoor kunnen we de theorie over ordestatistieken gebruiken om survivalfuncties, likelihood e.a. te bepalen. Bij wijze van voorbeeld bepalen we de verdelingsfunctie van de observeerde gegevens. F T(k) (x) = P (T (k) apple x) definitie F = P (minstens k van de T (i) s apple x) definitie ordestatistiek = P (#{T i apple x} minstens k) (*) Hierin herkennen we binomiaalverdeling B(n, F T (x)): n trekkingen met succeskans P (T i apple x) =F T (x) op succes. Uitdrukking (*) kunnen we dan zien als de kans op k successen uit n. Zodat wegens Appendix A5, waar we de uitdrukking voor de kans op j successen uit n in een binomiaal verdeeld experiment vinden: F T(k) (x) = j=k n (F T (x)) j (1 F T (x)) n j j 14

20 2.2 Linkse censurering Een event time is linksgecensureerd wanneer de gebeurtenis al heeft plaatsgehad vóór de censureringstijd. Een event time X is linksgecensureerd wanneer deze kleiner is dan de random censureringstijd C, dwz. dat de gebeurtenis al plaatsgehad heeft voor tijd C. We kennen dus enkel de exacte event time wanneer deze groter of gelijk aan C is. Ook hier noteren we de gegevens waarin we geïnteresseerd zijn, maar die we niet waarnemen wegens censurering, met X 1,X 2,.., X n. We stellen deze opnieuw onafhankelijk en gelijk verdeeld volgens een verdeling F. Hieraan associëren we random censureringstijden C 1,C 2,.., C n, onafhankelijk en gelijk verdeeld volgens een verdeling G. We gaan er weer van uit dat voor alle i de stochastische variabelen X i en C i onafhankelijk zijn. De geobserveerde linksgecensureerde data noteren we met paren (T i, i), 1 apple i apple n, met: ( X i als X i C i T i = = max(x i,c i ) C i als X i <C 8 i 0 als gecensureerd >< als X i <C i, i = 1 (Xi C i ) = (2.1) 1 als niet gecensureerd >: als X i C i Voorbeeld In kinderdagverblijven worden regelmatig testen uitgevoerd om te bepalen wanneer een kind een bepaalde vaardigheid aanleert. Dit zijn dan vaardigheden zoals: leren lopen, eerste woordjes, zich optrekken, een cirkel kunnen tekenen,... De event time kunnen we bijvoorbeeld de leeftijd waarop het kind leert lopen, nemen. Er zullen kinderen zijn die al kunnen lopen voor aanvang van de studie, dit zijn dan de linksgecensureerde gegevens. Want van deze kinderen weten we enkel dat hun exacte event time kleiner is dan de huidige tijd. Een kind van twee jaar dat al kan lopen zal een linksgecensureerde observatie 24+ geven (uitgedrukt in maanden). Van een kind van 10 maanden dat we tijdens de studie voor het eerst zien lopen, kennen we de exacte event time, nl. 10. Voorbeeld Een onderzoek over het marijuanagebruik van jongens uit middelbare scholen in Californië. Men stelde de vraag: Wanneer gebruikte je voor het eerst marijuana? De event time is dan de leeftijd waarop voor het eerst marijuana gebruikt werd. Als een jongen antwoordde al gebruikt, maar ik weet niet meer wanneer, ligt zijn exacte event time voor zijn huidige leeftijd. Laat deze jongen bijvoorbeeld 15

21 13 jaar zijn, dan zal dit resulteren in een linksgecensureerde observatie 13+. leeftijd # exacte obs # nog nooit gebruikt # al eerder gebruikt > Tabel 2.2: Marijuanagebruik bij schooljongens Wanneer men in een studie rechts- en linksgecensureerde gegevens toelaat, noemt men de bijbehorende event times ook wel dubbel gecensureerd. We kunnen de observaties weer voorstellen door (T, ), maar nu zal T = max[min(x, C rechts ),C links ] 1 en = 8 >< 1 als niet gecensureerd 0 als rechtsgecensureerd >: 1 als linksgecensureerd Voorbeeld Wanneer in vorig voorbeeld er ook een jongen antwoordde: nog nooit gebruikt, zal de event time rechtsgecensureerd zijn. In tabel 2.2 zien we dat er 2 twaalfjarige jongens zijn die een rechtsgecensureerde observatie geven. In dit onderzoek komen zowel links- als rechtsgecensureerde observaties voor, zodat deze dubbel gecensureerd is. 1 merk op dat T = min[max(x, C links ),C rechts ] hetzelfde resultaat geeft 16

22 Hoofdstuk 3 Goodness-of-fit tests Wanneer we willen nagaan of een dataset uit een bepaalde verdeling komt, hebben we verschillende verdelingstoetsen en grafische methodes tot onze beschikking. Denk maar aan de Chi-kwadraat verdelingstoets, de QQ-plot, EDF-statistieken,... Maar in het geval van gecensureerde gegevens zullen de klassieke toetsen een verkeerd resultaat geven. Dit is omdat de geobserveerde gegevens niet aan de klassieke verdeling voldoen, enkel de onderliggende event times. In dit hoofdstuk zullen we een aantal methodes aanpassen voor gecensureerde gegevens met een vaste censureringstijd. We behandelen het geval van vaste censureringstijd omdat we hier het voordeel hebben dat we de onderliggende verdeling makkelijk kunnen herkennen in de geobserveerde censureerde verdeling. Dit kunnen we zien in figuur 3.1: de rechtse grafiek is de verdelingsfunctie van een normale verdeling met gemiddelde 2 en variantie 9, de linkse grafiek is de empirische verdelingsfunctie van een steekproef van grootte 100 uit deze verdeling, maar dan (kunstmatig) gecensureerd op vaste censureringstijd gelijk aan 1. Figuur 3.1: De verdelingsfunctie linksgecensureerde en de verdelingsfunctie van dezelfde niet-gecensureerde gegvens 17

23 3.1 Likelihoodconstructie Eerst besteden we aandacht aan de constructie van de likelihoodfunctie want deze speelt een belangrijke rol bij het schatten van parameters. Herinner dat we de event times en censuringstijden onafhankelijk veronderstellen. Als dit niet het geval is, gaat deze methode niet meer op. We gaan na welke informatie iedere observatie ons geeft. Een observatie die hoort bij een exacte event time geeft infomatie over de kans dat de gebeurtenis plaatsheeft op deze tijd, wat ongeveer overeenstemt met de dichtheid van X op deze tijd. Voor een rechtsgecensureerde observatie weten we enkel dat de event time groter is dan deze tijd, wat overeenkomt met S(C rechts ). Wanneer we denken in termen van een kankerpatiënt dan weten we dat hij nog in leven is na tijd C rechts (met C rechts de random censureringstijd geassocieerd aan X). Analoog weten we voor een linksgecensureerde observatie dat de gebeurtenis al heeft plaats gehad voor deze tijd, zodat de informatiebijdrage gelijk is aan 1 S(C links ), of ook F (C links ). Wanneer we al deze informatie samenvoegen, kunnen we de likelihoodfunctie construeren: L / X i2e f(x i ) X i2r S(C rechts ) X i2l(1 S(C links )) waarbij x i een exacte event time is wanneer i 2 E, een rechtsgecensureerde observatie wanneer i 2 R, en linksgecensureerd wanneer i 2 L. Dit kunnen we verder specifiëren tot een experiment waarin geen rechtse censurering voorkomt (we kunnen dit ook voor geen linkse censurering, de werkwijze is analoog). De geobserveerde data worden dan voorgesteld door paren (T, ) met = 1 wanneer de exacte event time geobserveerd wordt, en = 0 wannneer ze linksgecensureerd is. We kunnen dan deze twee gevallen bekijken: Voor = 0 (de linksgecensureerde gegevens): P (T, = 0) = P (T = C links = 0) P ( = 0) = 1 P ( = 0) = P (X apple C links )=1 S(C links )=F (C links ) Voor = 1 (de niet gecensureerde gegevens): P (T, = 1) = P (T = X = 1) P ( = 1) = P apple (X = T X>C links ) P (X >C links ) f(t) = [S(C links )] = f(t) S(C links ) Dit kunnen we samenvoegen tot: P (T, )=f(t) F (t) 1. 18

24 Voor een steekproef van grootte n met (T i, i),i = 1,.., n wordt dan de likelihood ny ny L = P (t i, i) = f(t i ) i F (t i ) 1 i (3.1) of ook, wegens f(t) =h(t) S(t) en formule 1.1 die de survivalfunctie uitdrukt in functie van de cumulatieve hazard rate functie. L = ny h(t i ) i e H(t i) i (1 e H(ti) ) 1 i (3.2) Deze likelihood zullen we later gebruiken om de parameters van de onderliggende verdeling te schatten door deze te maximaliseren. 3.2 Chi-kwadraat test Chi-kwadraat test voor niet gecensureerde gegevens Beschouw steekproef X 1,.., X n uit een populatie X, deze heeft een onbekende verdelingsfunctie F. Door middel van verdelingstoetsen kunnen we testen of deze verdelingsfunctie gelijk is aan een bepaalde continue theoretische verdeling. Hier onderzoeken we steeds of de steekproef uit een normale verdeling komt. In dit deel bespreken we de Chi-kwadraat verdelingstest. Deze is gebaseerd op het verschil tussen de geobserveerde aantallen en de verwachte (theoretische) aantallen. We doen een eenzijdige test: wanneer dit verschil groot is zullen we de nulhypothese verwerpen. De nulhypothese H 0 is dan: steekproef X 1,.., X n komt uit een normale verdeling met parameters ˆµ en ˆ, waarbij deze laatste schattingen zijn aan de hand van de data. Hiervoor worden het steekproefgemiddelde en steekproefvariantie het meest gebruikt. We toetsen de nulhypothese door de theoretische verdeling op te splitsen in k klassen. Voor iedere klasse bepalen we de geobserveerde aantallen N j, berekenen we theoretische kans p j en verwachte aantallen n p j. Hierbij zorgen we er wel voor dat de verwachte aantallen voor alle j in {1,.., k} groter of gelijk zijn aan 5. Dit is nodig opdat de teststatistiek de gewenste verdeling zou hebben. Voor meer details over de afleiding van deze test zie Braekers[1]. Onder H 0 hebben we dan voor de teststatistiek dat deze Ci-kwadraat verdeeld is met k 1 v vrijheidsgraden, waarbij k het aantal klassen en v het aantal geschatte parameters van de onderliggende verdeling is: TS = kx (N j np j ) 2 j=1 np j 2 (k 1 v) (3.3) 19

25 Dit gebruiken we als basis voor de test. Wanneer het verschil niet significant is op niveau, zal de teststatistiek kleiner zijn dan kritisch punt (of ook wel kwantiel genoemd) 2 (k 1 v;1 ), in het andere geval zullen we H 0 verwerpen. Dit kunnen we ook in p-waarden uitdrukken. Noteer p = P (TS ts), de kans onder nulhypothese dat de toetsingsgrootheid een waarde aanneemt die even extreem of extremer is dan de geobserveerde waarde. Wanneer p apple zullen we de nulhypothese verwerpen. Figuur 3.2: Opdeling in klassen voor Chi-kwadraat verdelingstest Bij de constructie van het algoritme hebben we gekozen (zie B.4.1) om eerst het aantal klassen en de theoretische kansen vast te leggen, en daaruit de begin- en eindpunten van de klasse-intervallen te berekenen. Omdat we ook de voorkeur geven om met kleine datasets te werken, kozen we voor 10 klassen met elk een theoretische kans p j gelijk aan 0,1 (1 apple j apple 10). Met deze waarden zien we dat de verwachte aantallen groter zullen zijn dan 5 bij steekproeven vanaf grootte 50. Zij n de steekproefgrootte, dan: n p j 5, n 0, 1 5, n 50 We willen testen of de steekproef uit een normale verdeling komt dus schatten we eerst het gemiddelde en de variantie door het steekproefgemiddelde en -variantie. x = 1 x i n s 2 = 1 n 1 20 (x i x) 2

26 Nu kunnen we aan de hand van de theoretische kansen de begin- en eindpunten van de klasse-intervallen a 1,.., a 9 berekenen. Want we weten dat onder de nulhypothese: met P (X apple a 1 ) = (y 1 )=0, 1 P (a 1 <Xapple a 2 ) = (y 2 ) (y 1 )=0, 1. P (a 7 <Xapple a 8 ) = (y 8 ) (y 7 )=0, 1 P (a 8 <Xapple a 9 ) = (y 9 ) (y 8 )=0, 1 P (a 9 <X) = 1 (y 9 )=0, 1 y j = a j s x,1apple j apple 9 (3.4) Uit deze 10 vergelijkingen kunnen we de 9 onbekende waarden y j bepalen, 1 apple j apple 9 (d.m.v. tabellen voor de standaardnormale verdeling), waarna we waarden voor begin- en eindpunten van de klasse-intervallen a j (1 apple j apple 9) hieruit kunnen berekenen door lineaire vergelijkingen 3.4 op te lossen. De geobseerveerde waarden n j (1 apple j apple 10) bepalen we eenvoudigweg door het aantal in iedere klasse te tellen. Dit zien we ook terug in algoritme B.4.1. Nu kunnen we de waarde voor de teststatistiek ts (formule 3.3) berekenen en vergelijken met kritisch punt 2 (7;1 ). In het algoritme wordt gebruik gemaakt van de p-waarde p = P (TS ts) waarbij TS Chi-kwadraat verdeeld is met 7 vrijheidsgraden. Als deze groter is dan verwerpen we de nulhypothese onder significantieniveau, anders nemen we aan dat de steekproef normaal verdeeld is met gemiddelde x en variantie s 2 onder niveau. Voorbeeld We passen het algoritme toe op een steekproef die we getrokken hebben uit een normale verdeling met gemiddelde 2 en standaarddeviatie 3, grootte 100 (voor de precieze waarden zie B.10). Wanneer we het algoritme toepassen krijgen we als output: > chitest10k(data,0.05) [1] "teststatistiek is" [1] 5 [1] "cutoff" [1] [1] "pwaarde is" [1] [1] "de data komt uit een normale verdeling met mu en sigma gelijk aan:" [1] [1]

27 De p-waarde is kleiner dan het kritisch punt wat betekent dat we op het 5% significantieniveau niet kunnen verwerpen dat de dataset uit een normale verdeling komt met gemiddelde gelijk aan en standaard- deviatie gelijk aan Voorbeeld Als we het algoritme toepassen op een dataset van grootte 100 die getrokken is uit een weibull verdeling met parameter =0, 5 en apple =3krijgen we volgende output: > chitest10k(dataweib,0.05) [1] "teststatistiek is" [1] [1] "cutoff" [1] [1] "pwaarde is" [1] 0 [1] "We werwerpen de nulhypothese op significantieniveau alpha" [1] "de data komt niet uit een normale verdeling met mu en sigma gelijk aan:" [1] [1] [1] 0 Zoals we verwachtten, wordt de nulhypothese verworpen op het 5%-niveau. In wat volgt simuleren we het significantieniveau. Met het significantieniveau houden we de type 1-fout onder controle. Een type 1-fout maken betekent dat we H 0 verwerpen wanneer H 0 juist is. We spreken van een toets op significantieniveau wanneer de kans op deze fout kleiner of gelijk is aan. We kijken nu in hoeveel percent van de gevallen een goede steekproef verworpen wordt. teller2<-vector(length=20) for(j in 1:20) { teller<-0 for(i in 1:500) { data<-rnorm(500,2,3) p<-chitest10k(data,0.05) if(p<=0.05){teller<-teller+1} } teller2[j]<-teller/500 } teller2 #20 sec We hebben 20 maal 500 datasets uit een normale verdeling met gemiddelde 2 en standaardeviatie 3 genomen en hierop het algoritme toegepast. Iedere keer noteren we het percent van de gevallen die verworpen worden. We zien 22

28 dat deze waarden dicht tegen het significantieniveau 0,05 liggen en dikwijls lager zijn. Merk op dat we hiervoor ook omgekeerd te werk kunnen gaan door een een dataset de nemen niet uit een normale verdeling komt. >teller2 # 10 klassen [1] [13] Wanneer we de steekproeven kleiner nemen, zullen deze percentages een beetje hoger liggen omdat de schattingen voor de parameters minder goed zijn en we testen t.o.v. een verdeling met deze schattingen als parameters en niet de exacte. Ook het aantal klassen speelt een rol. Wanneer we het algoritme herschrijven naar 5 klassen, is dit wat te weinig voor een steekproef van grootte 500. We zien dat de percentages dan hoger zullen liggen dan bij de test met 10 klassen, zodat deze laatste een beter resultaat geeft. >teller2 # 5 klassen [1] [13] Chi-kwadraat test voor linksgecensureerde gegevens We beschouwen een steekproef T 1,.., T n van linksgecensureerde gegevens met een vaste censureringstijd c, deze is afkomstig van een onderliggende steekproef X 1,.., X n met verdeling F zoals in sectie 2.2. We kunnen nu niet gewoon van de geobserveerde waarden testen of ze uit een normale verdeling komen. Alle lifetimes die we niet observeren omdat ze in werkelijkheid kleiner zijn dan de censureringstijd, zullen verzameld worden in een piek op deze tijd. Onder de nulhypothese zal het de onderliggende verdeling zijn die normaal verdeeld is, en niet de geobserveerde. De klassen zullen daarom niet meer gelijkmatig verdeeld worden zoals bij de Chi-kwadraat verdelingstest voor ongecensureerde gegevens. We groeperen de linksgecensureerde gegevens in één klasse zodat het eerste interval ( 1, 1] wordt, de andere verdelen we gelijkmatig. We moeten wel opletten dat de verwachte aantallen van iedere klasse niet kleiner worden dan 5. In dat geval kunnen we klassen samennemen zodat kans p j om in deze nieuwe klassen terecht te komen zal verhogen en daarmee ook de verwachte aantallen np j. Ook zijn er andere schattingen nodig voor het gemiddelde en de variantie dan bij de Chi-kwadraat verdelingstest voor ongecensureerde gegevens. Want we willen niet de parameters van de geobserveerde verdeling bepalen maar wel die van de onderliggende. Hiervoor gebruiken we de likelihoodfunctie uit sectie 3.1. In formule 3.1 vullen we dan de normale verdelingsfunctie en dichtheidsfunctie in. 23

29 L = ny apple 1 p e 1 2 ( x i µ ) 2 2 i apple ( x i µ ) 1 i Om schattingen te vinden voor de parameters maximalizen we de loglikelihoodfunctie naar parameters µ en. ln L = apple 1 i ln p e 1 2 ( x i µ ) 2 2 apple + (1 i)ln ( x i µ ) = = i i h ln(e 1 2 ( x i µ ) 2) ln( p 2 ) ln i + (1 i)ln ( c µ ) apple 1 2 (x i µ ) ln(2 ) ln + (1 i)ln ( c µ ) (3.5) Deze functie maximaliseren naar µ en is analytisch niet mogelijk wegens de normale verdelingsfunctie in de laatste term. Nummeriek kan dit wel. Dit doen we door op de functie uit B.3.1 in het programma R een niet-lineaire minimalizatie toe te passen met als startwaarden het steekproefgemiddelde en steekproefvariantie. We kiezen deze startwaarden omdat deze in de buurt zullen liggen van de parameters, om zo het aantal iteraties in de minimalizatie te beperken. We testen dit eens uit op kunstmatig linksgecensureerde steekproef. Voorbeeld Neem dezelfde ongecensureerde steekproef als in vb Hieruit construeren we een linksgecensureerde dataset d.m.v. algoritme B.1.1. We minimaliseren ln L met: >nlm(loglikfct(cendata,delta(cendata,1),1),stwa,print.level=1) $estimate [1] In figuur 3.3 wordt de contourplot van de loglikelihoodfunctie getoond. Het rode punt staat voor de parameterschatting, het snijpunt van de rechten voor de werkelijke waarde. Deze plot werd gemaakt met het algoritme uit B.3.2. We zien dat de schatting in de buurt van de werkelijke waarde ligt. 24

30 Figuur 3.3: Contourplot van de loglikelihood in vb Bij de constructie van het algoritme kozen we voor een klasse met linksgecensureerde gegevens en zes andere klassen. Een schematische voorstelling hiervan zien we in figuur 3.4. Deze maakt gebruik van vaste censureringstijd gelijk aan 1. Figuur 3.4: Opdeling in klassen voor Chi-kwadraat verdelingstest bij linksgecensureerde gegevens Aan de hand van de theoretische kansen kunnen we dan de begin- en eind- 25

31 punten van de klasse-intervallen berekenen. We weten: met P (X apple c) = ( c ˆµ ˆ ) P cens P (c <Xapple a 1 ) = (y 1 ) ( c ˆµ ˆ ) = (1 P cens)/6 P (a 1 <Xapple a 2 ) = (y 2 ) (y 1 ) = (1 P cens )/6 P (a 2 <Xapple a 3 ) = (y 3 ) (y 2 ) = (1 P cens )/6 P (a 3 <Xapple a 4 ) = (y 4 ) (y 3 ) = (1 P cens )/6 P (a 4 <Xapple a 5 ) = (y 5 ) (y 4 ) = (1 P cens )/6 P (a 5 <X) = 1 (y 5 ) = (1 P cens )/6 y j = a j ˆµ ˆ,1apple j apple 5 (3.6) Vaste censureringstijd c is gekend en schattingen ˆµ en ˆ zijn eerder berekend. Hierdoor kunnen we P cens berekenen. De overige klassen krijgen een theoretische kans die gelijk is aan de overblijvende kans gedeeld door het aantal overige klassen. Dan kunnen de andere punten berekend worden zoals eerder. Wat verder volgt in het algoritme is analoog aan het algoritme voor niet gecensureerde gegevens. Alleen nog even opletten bij het aantal vrijheidsgraden van de chi-kwadraatverdeling, dat wordt nu k v 1 = = 4. Er werd ook een algoritme met 11 klassen geschreven, zodat ook voor grotere steekproeven een goed resultaat bereikt kan worden. Deze algoritmes vinden we in B.4.2. We kunnen weer het significantieniveau simuleren. We gebruiken hiervoor 20 keer 500 datasets van grootte 500 met een onderliggende normale verdeling met gemiddelde 2 en standaardeviatie 3 en vaste censureringstijd gelijk aan 1. We noteren het percentage steekproeven waarvan op niveau 0,05 de nulhypothese van normaliteit verworpen wordt. De resultaten zijn dan: # voor 11k n= min >teller2 [1] [11] # voor 7k n=500 6 min20 >teller2 [1] [11] Hieruit kunnen we aflezen dat het algoritme voor linksgecensureerde gegevens heel wat langer duurt dan hetgeen voor ongecensureerde. Dit is te 26

32 wijten aan de kostelijke minimalisatieprocedure om de schatters te bepalen in het geval van gecensureerde gegevens. We zien, net zoals bij ongecensureerde gegevens, dat voor grote steekproeven het algoritme met meer klassen kleinere percentages opleverd die dichter bij het gewenste significantieniveau 0,05 liggen. 3.3 QQ-plot De QQ-plot is een verdelingstest waarbij men visueel kan nagaan of een steekproef X 1,.., X n overeenstemt met een theoretische verdeling F. Deze is gebaseerd op het feit dat het menselijk oog het verschil kan nagaan tussen een rechte lijn en een curve. De QQ-plot is dan gedefinieerd als de grafiek van de verwachte waarden onder de nulhypothese (wanneer de steekproef uit verdeling F komt) t.o.v. de geobserveerde waarden van de ordestatistieken. (E X (i),x(i) ) 1 apple i apple n. Wanneer de punten dicht bij de bissectrice (op 45 graden) liggen, zullen de verwachte waarden ruwweg overeenstemmen met de feitelijke waarnemingen. In het geval van linksgecensureerde gegevens met vaste censureringstijd willen we testen of de verdeling van de onderliggende steekproef X 1,.., X n overeenkomt met een verdeling F (zie formule 2.1). We berekenen de verwachte waarden onder de nulhypothese door te vertrekken van deze verdeling en hieruit de theoretische verdeling van de exacte (geobserveerde) steekproef T 1,.., T n te berekenen. Van deze berekenen we de ordestatistiek en zodoende de verwachtingswaarde. We specifiëren verdeling F hier weer door een normale verdeling. Als we een andere verdeling kiezen voor X i verkrijgen we bij het opstellen van de QQ-plot op analoge manier andere verwachte waarden voor deze verdeling. Verder specifiëren we hier de censureringstijd als 1. Voor een andere waarde zijn de berekeningen analoog. We bevinden ons dus in de situatie dat onder de nulhypothese de onderliggende stochastische variabele X verdeeld is volgens N(µ, 2 ). De geobserveerde variabele is dan T = max(x, 1). Hiervan berekenen we de verdelingsfunctie: F T (y) = P (T apple y) = P (max(x, 1) apple y) = P (X apple y en 1 apple y) = P (X apple y) 1 [1,1[ 27

33 = ( F X (y) als y 1 0 als y<1 met F X de normale verdelingsfunctie. We weten uit de theorie over ordestatistieken dat de verdeling van de k-e ordestatistiek gelijk zal zijn aan volgende uitdrukking F T (k) (y) = j=k n F T (y) j (1 F T (y)) n j. (3.7) j Event times zijn steeds positieve stochastische variabelen. Wegens appendix B9 is voor een positieve stochastische variabele Y, met verdeling F en dichtheid f de verwachtingswaarde gedefinieerd als: E [Y ]= Z 1 1 yf(y)dy = Z 1 Zodat de verwachtingswaarde voor T (k) wordt: E T (k) = Z [1 F (y)] dy. h1 F T (k) (x) i dx (3.8) We herschrijven het argument van deze integraal door middel van het binomium van Newton: (a + b) n = P n n i x i y n i : 1 = (F T (x) + (1 F T (x))) n n = F T (x) i (1 F T (x)) n i i We zien dat de uitdrukking uit 3.7 en vorige formule sterk op elkaar gelijken. Het argument wordt dan: 1 F T (k) = = n i Xk 1 n j j=1 F T (x) i (1 F T (x)) n i F T (x) j (1 F T (x)) n j j=k n F T (x) j (1 F T (x)) n j j Hierin herkennen we een binomiaalverdeling. Stel Y binomiaalverdeeld met parameters n en p, dan geldt n P (Y = y) = p y (n y) (1 p) y 28

34 zodat P (Y apple y) = Als we p = F T (x) eny = k yx j=0 n p j (n j) (1 p) j 1 nemen dan is 1 F(k) T = P (Y apple k 1) Zodat wanneer we dit invullen in 3.8 we een uitdrukking krijgen voor de gewenste verwachtingswaarde. Voor 1 apple k apple n: E Z 1 T (k) = P (Y apple k 1)dx met Y B(n, F T (x)) 0 Nu kunnen we de QQ-plot opstellen. In het algoritme (zie B.5) maken we gebruik van voorgaande berekeningen om twee vectoren van lengte n op te stellen. Op de horizontale as zetten we de verwachte waarden, op de vertikale de observaties van groot naar klein. We gaan visueel na of de punten zich in de buurt van de bissectrice bevinden. Maar dichtbij is nogal subjectief, zodat we best nog een bijkomende andere verdelingstest uitvoeren bij twijfel. Figuur 3.5: QQ-plot van steekproef uit normale verdeling N(2, 3 2 ) t.o.v. normale verdelingen Voorbeeld We beschouwen weer dezelfde normaal verdeelde dataset als eerder (met parameters 2 en 3). We kunnen nu kiezen hoe we de parameters van de theoretische verdeling specifiëren. In de linkse grafiek van figuur 3.5 kozen we de exacte parameters, in de rechtse schatten we ze met de likelihoodmethode. 29

35 We zien erg weinig verschil tussen beide grafieken. Zo goed als alle punten liggen voor beide erg dicht bij de bissectrice, enkel de punten in de staart liggen wat verder. We moeten nu echter wel opletten tegen welke normaalverdeling we testen. In het geval van ongecensureerde gegevens was het niet nodig om µ en te kennen wegens: Zij Y 1,.., Y n een steekproef van grootte n. Als Y i N(µ, 2 ) ) Z i = Y i µ N(0, 1) ) QQ-plot met theoretische verdeling N(0, 1) van y (i) lineair ) QQ-plot met theoretische verdeling N(0, 1) van z (i) = y (i) + µ lineair. Maar nu geldt dit niet meer aangezien het niet meer de geobserveerde stochastische variabele is die normaal verdeeld is, maar de onderliggende. Voorbeeld We testen de normale dataset met parameters µ =2en =3tegen een standaardnormale verdeling. In figuur 3.6 zien we duidelijk dat de punten de bissectrice helemaal niet benaderen. Figuur 3.6: QQ-plot van steekproef uit normale verdeling N(2, 3 2 ) t.o.v. standaardnormale verdeling Tenslotte bekijken we nog een gecensureerde steekproef uit een Weibullverdeling. Voorbeeld We beschouwen dezelfde dataset als in vb Hieruit constueren we een linksgecensureerde dataset met vaste censureringstijd gelijk aan 1. De 30

36 parameters voor de theoretische normale verdeling schatten we met de likelihoodmethode. Figuur 3.7 geeft dan de QQ-plot, die sterk verschilt van de bissectrice. Figuur 3.7: QQ-plot van steekproef uit Weib(1/2,3) tegen N( , ) 3.4 EDF-statistieken In dit deel gaan we wat dieper in op goodness-of-fit testen die gebaseerd zijn op de empirische verdelingsfunctie, ook wel empirische distributiefunctie (EDF) genoemd. Deze trapfunctie is een consistente schatter voor de populatieverdelingsfunctie. EDF statistieken zijn een maat voor het verschil tussen de EDF en een gegeven theoretische verdelingsfunctie. We maken een onderscheid tussen supremumstatistieken en kwadratische statistieken. Beide zijn gebaseerd op vertikale afstanden tussen de EDF F n en de verdelingsfunctie F, maar verschillen in de gebruikte norm Empirische distributiefunctie Onderstel dat er een steekproef van grootte 1,..X n gegeven is, dan is de EDF gedefinieerd als: F n (x) = F n (x) = aantal observaties apple x voor 8 n >< 0 als x<x (1) i als X (i) apple x apple X (i+1) >: 1 als X (n) apple x 31 1<x<1

37 Voor een x kleiner dan de kleinste observatie zal deze trapfunctie nul zijn, voor een x groter dan de grootste observatie één. Ertussen stijgt ze steeds met 1/n wanneer index i stijgt, met n de steekproefgrootte. Als interpretatie heeft F n (x) de proportie van alle observaties kleiner dan x en F (x) de kans dat een observatie kleiner is dan x. Wanneer n!1zal F n (x) F (x) naar nul gaan met kans één, zodat F n een consistente schatter is voor F. Voorbeeld In figuur 3.8 zien we de EDF van de Leghorn Chicken dataset (zie B.10). Dit is een steekproef bestaande uit het gewicht (in gram) van 20 kippen van 21 dagen oud. Figuur 3.8: EDF van Leghorn Chicken dataset Supremumstatistieken Hieronder verstaan we de D +, D en de Kolmogorov-statistiek D. Statistiek D + (resp. D ) is de grootste vertikale afstand tussen de EDF en de verdelingsfunctie wanneer F n (x) groter is dan F (resp. kleiner). Formeel definiëren we deze als D + = sup(f n (x) F (x)) x D = sup(f (x) F n (x)) x 32