Overzicht. Help! Statistiek! Stelling van Bayes. Hoe goed is leverscan ( test T ) voor het diagnostiseren van leverpathologie ( ziekte Z )?

Transcriptie

1 Help! Statistiek! Overzicht Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Derde woensdag in de maand, uur 19 maart: ROC curve en diagnostische nauwkeurigheid 16 april: Hoe moeten we toetsresultaten interpreteren? 21 mei: Multiple testing - diagnostische en ziektebeschrijvende kansen - ROC curve - eenvoudig voorbeeld in SPSS - ROC curve en Odds Ratio s Sprekers: Václav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie 2 Hoe goed is leverscan ( test T ) voor het diagnostiseren van leverpathologie ( ziekte Z )? Wat gebeurt er als de prevalentie lager wordt? pathologie Z leverscan T prevalentie vd ziekte: P()=350/500=0,70 (T+)=325 (T+)=75 (T+)=65 (T+)=215 nauwkeurigheid bekeken vanuit de werkelijke situatie Z: - sensitiviteit = P(T+ )=325/350=0,93 - specificiteit = P(T- Z- )=75/150 =0,50 (T-)=25 (T-)=75 (T-)=5 (T-)=215 nauwkeurigheid bekeken vanuit de testuitslag T: - pos.predict.waarde = PPV = P( T+)=325/400= 0,81 - neg.pred.waarde = NPV = P(Z- T- )=75/100 = 0,75 3 ()=350 prevalentie 70% PPV=325/400=81% NPV=75% (Z-)=150 ()=70 prevalentie 14% PPV=65/280=23% NPV=215/220=98% (Z-)=430 4 Wat gebeurt er als de prevalentie hoger wordt? Stelling van Bayes (T+)=325 (T+)=75 (T+)=442 (T+)=12 Omzetten van a priori kansen in a posteriori kansen: sens prev P( Z + T + ) = sens prev + (1 spec) (1 prev) spec (1 prev) P( Z T ) = spec (1 prev) + (1 sens) prev (T-)=25 ()=350 (T-)=75 (Z-)=150 (T-)=34 ()=476 (Z-)=24 (T-)=12 P( Z + T + ) P( Z + ) P( T + Z + ) = P( Z T + ) P( Z ) P( T + Z ) prevalentie 70% PPV=325/400=81% NPV=75/100=75% prevalentie 95% PPV=442/454=97% NPV=12/42=26% 5 a posteriori odds = a priori odds x likelihood-ratio 6 1

2 Predictieve waarde en prevalentie Predictieve waarde en prevalentie predictieve waarde 0.5 negatieve predictieve waarde positieve predictieve waarde sensitiviteit = 93% We zijn er vanuit gegaan dat sensitiviteit en specificiteit dezelfde blijven, ongeacht de prevalentie. Dit hoeft niet altijd het geval te zijn: b.v. omdat de populatie verandert. Voorbeeld: Z = geslacht, T = haarlengte P(T=lang haar Z=man) is nu anders dan 40 jaar geleden specificiteit = 50% 0.5 prevalentie 7 8 Design en analyse aspecten Testuitslag als een continue variabele Prevalentie, specificiteit, sensitiviteit, PPV en NPV worden in de praktijk uit een steekproef geschat. Z- Bij een simpele aselecte steekproef zijn de berekeningen heel eenvoudig (percentages, de bijbehorende standaardfouten en betrouwbaarheidsintervallen). In de praktijk wordt er vaak met aparte steekproeven van zieken en van controles gewerkt. Hier moeten de predictieve kansen via de Bayes formule berekend worden; berekening van de SE s en CI s is dan iets ingewikkelder. 9 Testuitslag (objectieve meting of een subjectieve score) Perfecte scheiding: 100% sensitiviteit en specificiteit 10 In de praktijk is er meestal overlap: Z- Z- voorzichtig Testuitslag Sensitiviteit en specificiteit hangen af van de gebruikte drempelwaarde. P(T+ Z-)

3 Z- Z- neutraal agressief Z- De ROC curve De ROC curve waardeloze test nut van de test ROC curve geeft de sensitiviteit en specificiteit weer voor verschillende drempelwaarden Receiver-Operating-Characteristic oorspronkelijke context (±1950): herkennen van vliegtuigen als bewegende stippen op radarscherm in theorie prachtig, de praktijk is soms weerbarstig Voorbelden: - mammogram - thorax foto 17 Mammogram, keuze tussen BIRADS score 4 en 3 (wel/geen biopsie) True Negative Fraction False Negative Fraction 108 US radiologoen 79 mammograms (Beam ea, 1996) 18 3

4 Dilemma: Welke test is beter? = Specificity ( Chest film study by E. James Potchen, M.D., 1999 ) Dilemma verdwijnt na de bepaling van ROCs (scenario 1): Een andere scenario: Dezelfde ROC = Specificity Conclusie: B is beter dan A hogere TPF bij dezelfde FPF, of lagere FPF bij dezelfde TPF = Specificity nog een andere scenario: Vergelijking van ROCs m.b.v. Area Under the Curve Conclusie: A is beter dan B = Specificity 23 AUC=0,89 AUC=0,

5 AUC: interpretatie AUC: berekening Er wordt aselect een patient () en een gezonde persoon (Z-) gekozen. Bij beide wordt de testuitslag genoteerd: T en T Z- ; hoge T wijst op ziekte. De AUC is gelijk aan de kans dat T groter is dan T Z-. Als beide personen uit dezelfde populatie komen dan is die kans 50%. De (nul)hypothese van een waardeloze test komt dus overeen met AUC=0,5. AUC kan geschat worden onder een parametrische veronderstelling, of niet-parametrisch. De meest gebruikte niet-parametrische toets van de nulhypothese AUC=0,5 is identiek aan de toets van Wilcoxon voor twee onafhankelijke steekproeven (Mann-Whitney U-test) AUC: kritiek Eenvoudig voorbeeld in SPSS AUC is een zeer compacte samenvatting van informatie over de nauwkeurigheid van een diagnostische test. Het lijkt aantrekkelijk om diagnostische tests op basis van hun AUC te vergelijken. - In de praktijk wordt echter met één drempelwaard gewerkt en dan kan de vergelijking misleidend zijn. - Elkaar kruisende ROC curves veroorzaken problemen. - AUC houdt geen rekening met verschillende steekproef van n = Groningers, 50% mannen Z : het geslacht ( m / v) test variabele T: a) lengte b) gewicht c) beide consequenties van foutieve beslissingen AUC? PPV / NPV bij 173 cm? Verbetert het gewicht de AUC van de lengte? ROC: geslacht / lengte, gewicht OR en overlap tussen en Z- OR van X=1 t.o.v. X=-1 (P84 t.o.v. P16) bij controles AUC (SE) lengte 0,89 (0,003) gewicht 0,77 (0,005) beide 0,90 (0,003) grens 173cm: PPV=NPV=81% (thuis: P(Z=m)=25%???) Odds Ratio lang versus kort : OR(+1SD vs. -1SD) ~ 30 (!) Pepe et al, Am J Epi, 2004) 5

6 ROC en Odds Ratio OR(P84 vs. P16) dwz +1SD vs. -1SD Samenvatting diagnostische versus ziektebeschrijvende kansen rol van de prevalentie sampling design: rol van de stratificatie Voor een redelijke AUC is een heel hoge OR nodig! ROC en AUC, relatie tot Odds Ratio er is meer (rekening houden met verklarende variabelen, nauwkeurigheid van prognose tijdsaspect ) Volgende Help! Statistiek! lezing: woensdag 16 april 2008, uur Hoe moeten we toetsresultaten interpreteren? Handouts van deze presentatie komen te staan op