Moderne Bayesiaanse statistiek:

Transcriptie

1 Evolutionary Ecology Group Stefan Van Dongen /46 Mezelf even voorstellen Biologie UA: Biostatistiek UHasselt: Pre-post doc UA Lund-Zweden: Janssen Farmaceutica Moderne Bayesiaanse statistiek: oude wijn in nieuwe vaten? ZAP biologie Doceer vooral statistiek vakken aan biologie studenten huis statisticus voor het departement Onderzoek: evolutionaire biologie Toepassing van Bayesiaanse technieken Geen klassiek geschoold statisticus

2 /46 Overzicht 3/46 Het likelihood principe ideeën: R.A. Fisher 90 klassieke statistiek: likelihood principe - Schatten van parameters - Betrouwbaarheidsintervallen - Hypothese testen Bayes rule: de oude wijn Waarin verschillen Bayesiaanse en likelihood analyses - Een banaal voorbeeldje - Een eenvoudig voorbeeld Compleere modellen: een nieuw vat nodig MCMC - Waar het echt om draait Veel van moderne technieken bvb hiërarchische mied models zijn gebaseerd op het likelihood principe en maken gebruik van de maimale kans methode ML Likelihood principe: alle informatie van de data zitten in de likelihood functie Likelihood functie: conditionele functie die de waarschijnlijkheid weergeeft dat de parameter van een model een bepaalde waarde heeft als we weten wat de data zijn: L =px= ML: L maimaliseren: meest waarschijnlijke parameterwaarde

3 4/46 Het likelihood principe met een voorbeeld 5/46 Een eenvoudig voorbeeld We nemen een steekproef uit deze populatie verdeling Ik weeg mezelf op een weegschaal en doe dit 0 keer data: y,y,,y 0 RANDOM VARIABELE X X PROBABILITY DENSITY FUNCTION pdf px σ π e X μ σ X 3 X 4 Parameters: gemiddelde μ en standaard deviatie σ Statistisch Model Y N μ, σ μ gewicht σ meetfout σ π e Hoe kunnen we de parameters schatten? Welke eigenschappen moet een schatter hebben Unbiased Hoge betrouwbaarheid Methode van de kleinste kwadraten Maimum likelihood - methode van de hoogste kans μ σ 3

4 6/46 Een eenvoudig voorbeeld 7/46 Een eenvoudig voorbeeld We definiferen een likelihood functie Lμ,σ = py i μ,σ De waarschijnlijkheid dat de steekproef y,y,,y 0 een steekproef is uit de populatie Nμ,σ Wanneer we het maimum zoeken van deze functie L, dan vinden we de maimale kans schatters maimum likelihood estimates Functieonderzoek => maimum bepalen - e afgeleide = 0 EN e afgeleide negatief Analytisch formule of benadering Vb. y =84.5 kg Wat is de likelihood [=Lμ,σ= py μ,σ] dat deze steekproef uit een normale verdeling met gemiddelde 86 en standaardfout komt? normale verdeling : L86, = σ π e σ π e σ y μ σ y = 0.30 μ 4

5 8/46 Een eenvoudig voorbeeld 9/46 Een eenvoudig voorbeeld We hebben 0 metingen , 84.7, 85., 83.9, 84.6, 84., 84.9, 84.0, 84.3, 84.5 p y, y,..., y 0 μ, σ = 0 i= πσ e yi μ σ Log-likelihood mean of weight Log-likelihood functie moet gemaimaliseerd worden - In relatief eenvoudige gevallen kan dit analytisch gedaan worden MLE in formule vorm - In compleere gevallen benaderingen ln 0 p y, y,..., y0 μ, σ = i= ln LOG-LIKELIHOOD πσ e yi μ σ μ MLE = N i= yi = N σ σ MLEμ = n ˆ μ ~ N μ, σ MLE MLEμ 5

6 ˆ σ MLEμ μ ˆ σ = ˆ σ n MLE μ ~ t MLEμ n ˆ σ ˆ σ 0/46 Een betrouwbaarheidsinterval MLEμ MLEμ μ ˆ σ = = 0.6 Wanneer we veel eperimenten zouden doen zou in 95% van de gevallen het werkelijke gemiddelde in dit interval liggen MLEμ Likelihood ratio test statistic χ df H df H 0 0 /46 link met hypothese testen L Y H Λ = log = {log L Y H log L Y H 0} L Y H Λ Waarschijnlijkheid van de steekproef onder de alternatieve hypothese Waarschijnlijkheid van de steekproef onder de nul hypothese Zowat alle klassieke tests t-test, F-test kunnen in relatie gebracht worden tot deze likelihood ratio test 6

7 /46 Hoe p-waarde interpreteren 3/46 Wat is Bayesiaanse statistiek dan? Kans dat H0 correct is - Strikt genomen een foute definitie Als we veel eperimenten zouden doen en H0 correct is dan zouden we in p% van de gevallen een resultaat bekomen dat op zijn minst even etreem is als wat we zien Onderliggende idee: - Veel hypothetische eperimenten - Veronderstellen dat er een VASTE parameter waarde bestaat die we nooit zullen kennen - p Draait de conditionering om p - Data een vast gegeven - Op basis daarvan de verdeling van de parameters bepalen Gebasseerd of Bayes rule Thomas Bayes wiskundige, predicant gepubliceerd in 763 door vriend vs. Fisher jaren 0 => oude wijn = 7

8 4/46 Likelihood vs. Bayesian 5/46 Een banaal voorbeeldje Parameter: fied vs. random Conditioneren: parameters vs. Data - Interpretatie veel ep. Vs. Direct A priori informatie: geen rekening vs. mogelijk Modelcompleiteit: hoog vs. the sky is the limit in principe Bob pendelt elke dag naar zijn werk Kans om te laat te komen: - trein 0%, bus 0%, auto 40% Op woensdag 3/ komt Bob te laat op zijn werk Zijn baas wilt weten wat de kans is dat hij met de auto kwam = => likelihood principe: auto is het meest waarschijnlijke - pte laat auto=40% is maimaal - Kans? => Bayesiaanse aanpak: wat is de prior? 8

9 6/46 Een banaal voorbeeldje: vervolg 7/46 Een banaal voorbeeldje: andere prior Stel: prior: alle vervoer middelen even waarschijnlijk = auto te laat auto auto te laat = te laat auto te laat auto auto te laat = autote laat auto + treinte laat trein + buste laat bus auto te laat = = Op woensdag gaat de vrouw van Bob winkelen en heeft ze de auto nodig, en sinds de film speed heeft Bob een hekel aan bussen prior: auto 0%; trein 80%; bus 0% auto te laat auto auto te laat = te laat auto te laat auto auto te laat = autote laat auto + treinte laat trein + buste laat bus auto te laat = =

10 8/46 Eerste vaststellingen 9/46 Een tweede voorbeeld Bayesiaanse statistiek is gebaseerd op een eenvoudige regel: Bayes rule = Combineren van a priori verwachtingen en data De a priori verwachtingen kunnen belangrijke gevolgen hebben op de a posteriori besluiten Februari 007: van 45 kinderen met buikgriep symptomen bleken besmet met het rota virus Kans op infectie en 95% B.I.? Binomiaal proces=> kans op succes beschrijven Kans=/45=6.67% n n = 0

11 0/46 Een tweede voorbeeld: likelihood functie theta db /46 Een tweede voorbeeld: Bayesiaanse aanpak erg op binomiaal lijkt heel 3,34, ~ Uniforme prior voor = + + = = Beta n Beta P P P P P P n P n n

12 /46 Een tweede voorbeeld: Bayesiaanse aanpak 3/46 Een tweede voorbeeld: Bayesiaanse aanpak 3 Stel in februari 006: 9 van 5 positieve gevallen ' vorm' likelihood informatieve prior voor zelfde ' vorm' als likelihood conjugate prior α n β ~ Beta α, β α a priori successen en β - negatieve tests Stel in februari 006: 9 van 5 positieve gevallen conjugate prior α β ~ Beta α, β α a priori successen en β - negatieve tests α = 9 + = 0; β = = 34 = Beta0,34

13 4/46 Een tweede voorbeeld: Bayesiaanse aanpak 4 5/46 Een tweede voorbeeld: Bayesiaanse aanpak 5 Stel in februari 006: 9 van 5 positieve gevallen = α + α β n + β n Beta + α, β + n Beta + 0, = Beta3,67 Stel in februari 006: 9 van 5 positieve gevallen d prior: Beta0,34 likelihood: Beta3,34 posterior: Beta3, theta 3

14 6/46 Een tweede voorbeeld: Bayesiaanse aanpak 6 7/46 Volgende vaststellingen Posterior is in dit geval een eenvoudige combinatie van alle data met een uniforme prior +9=3 positieve tests =66 negatieve tests Uniforme prior voor P ~ Beta +, n + = Beta3,67 Combineren van informatie uit verschillende bronnen Kan mits slimme keuze van verdelingen - Conjugacy - Likelihood en prior zelfde vorm - Posterior in closed form posterior = wat we wisten + wat de nieuwe data ons leren Bayesiaanse analyse = huidige kennis updaten met nieuwe Hier... Samennemen van data, hebben Bayesiaanse idee gebruikt maar dat heeft niet echt spectaculaire resultaten opgeleverd Posterior nu wordt prior in toekomst 4

15 8/46 Dat was allemaal oude wijn 9/46 Een nieuw vat voor de oude wijn Bayes rule => 763 Spelen met kansen en verdelingen MAAR: - Beperkt in mogelijkheden eenvoudige modellen - Wat als prior gebruiken? - Subjectieve keuze - Bvb. Wat als 006 en 007 niet vergelijkbaar zijn Modellen met verschillende parameters zijn quasi onmogelijk om analytisch uit te werken Met het ontstaan van PC is er een enorme rekencapaciteit op ieders bureau Simulaties uitvoeren - Monte Carlo Markov Chain = Verschillende technieken Gibbs sampling meest eenvoudig - Opbreken van probleem in kleine sub-problemen 5

16 6 30/46 Gibbs sampler voor bivariaat normale verdeling Stel we hebben set datapunten en we kennen de VC-matri Gevraagd: gemiddeldes van de BVN, ~,, ~,, ~ ρ ρ ρ ρ ρ ρ + + N N N 3/46 Gibbs sampler voor bivariaat normale verdeling, ~, ~,,,,0,0, ρ ρ ρ ρ N N

17 3/46 Gibbs sampler functie in R 33/46 Gibbs sampler voor bivariaat normale verdeling gibbs<-function n, rho { mat <- matrincol =, nrow = n <- 6 y <- -6 mat[, ] <- c, y for i in :n { <- rnorm, rho * y, sqrt - rho^ y <- rnorm, rho *, sqrt - rho^ mat[i, ] <- c, y } mat } bvn[,] bvn[,] 7

18 34/46 Een nieuw vat voor oude wijn op je PC 35/46 OPENBUGS Verschillende sampling technieken Compleiteit van modellen kan erg groot zijn Nood aan een pakket dat het opstellen van conditionele verdelingen en geschikte sampling technieken automatiseert WINBUGS/OPENBUGS freeware 8

19 36/46 OPENBUGS 37/46 OPENBUGS: informatieve prior andere dag 9

20 38/46 Prior vs. likelihood conflict tussen prior en likelihood Erg platte posterior Foute prior keuze Heterogeniteit in data die niet in het model zijn opgenomen Vaak: model te eenvoudig Gewicht verschilt van dag tot dag 39/46 Realistischer model Gewicht varieert van dag op dag Hiërarchisch model Data van verschillende dagen nodig om zinvolle schattingen te kunnen doen y ij ~ N μ, σ μ ~ N β, σ i Belangrijk: model weerspiegelt alle onzekerheden gewicht = stochastisch Bvb in model om kans op diabetes te schatten - Realistische BI s i 0 ME dag 0

21 40/46 Realistischer model 4/46 Afgeleide parameters

22 4/46 Voorspellingen maken 43/46 Problemen, problemen,...

23 44/46 Wrap up Bayes rule 763 updaten van a priori kennis met nieuwe data Kansen bob Analytisch eenvoudige modellen rota MCMC complee modellen het kan niet op Keuze prior => subjectief Parameters voorstellen als verdelingen - Meest eerlijke weerspiegeling van onzekerheden MCMC - relatief recent jaren 90 - Pakketten zoals BUGS: toegang tot breed publiek - Rekening houden met alle onzekerheden - Parameters zijn random - Worden vertegenwoordigd door hun posterior - Alle onzekerheden zitten erin verwerkt 45/46 Wrap up Verplichte literatuur : - Ashby D. 006, Stats in Medicine 5: Bayesian Approaches to Clinical Trials and Health-Care Evaluation 004 Statistics in Practice, Spiegelhalter et al. Gebruik in medische toepassingen meest recent - Blijkbaar is er een zekere terughoudendheid - Autoriteiten zoals FDA O.a. mied models, missing data - Prior houdt subjectiviteit in - De analyse van data door verschillende personen leidt tot andere resultaten - Weg van klassiek testen van hypotheses - Posteriors geven alle informatie - Kijk naar de verdelingen Enorme toename in tal van disciplines Voor of tegen? De trein is vertrokken 3

24 46/46 Oude wijn in nieuwe vaten? 4