Basisbegrippen Diagnostiek W.B. van den Hout Afdeling Medische Besliskunde 12 November 2014
Basisbegrippen diagnostiek Vandaag: Dichotome testen: positief of negatief Niet-dichotome testen Op 17 December: besluitvorming Uitkomst voor de patiënt Beslisbomen Optimaal beleid
? 20% 0% 100% - + 0% 100% 3% 60%
Diagnostisch probleem Op uw eerste stage op een polikliniek chirurgie ziet u een jonge patiënt, die sinds een halve dag buikpijn heeft: heftig en continu pijn, gelokaliseerd op het punt van McBurney. U denkt aan een appendicitis acuta. Uit uw colleges over de acute buik herinnert u zich: 90% van alle acute buik patiënten met appendicitis acuta heeft pijn op McBurney Vraag: Hoe groot schat u de kans dat deze patiënt een appendicitis acuta heeft?
Diagnostisch probleem Uit uw colleges over de acute buik herinnert u zich: 90% van alle acute buik patiënten met appendicitis acuta heeft pijn op McBurney 15% van alle acute buik patiënten zonder appendicitis acuta heeft pijn op McBurney Vraag: Hoe groot schat u de kans dat deze patiënt een appendicitis acuta heeft?
Diagnostisch probleem Uit uw colleges over de acute buik herinnert u zich: 90% van alle acute buik patiënten met appendicitis acuta heeft pijn op McBurney 15% van alle acute buik patiënten zonder appendicitis acuta heeft pijn op McBurney 20% van alle acute buik patiënten heeft (achteraf) een appendicitis acuta Vraag: Hoe groot schat u de kans dat deze patiënt een appendicitis acuta heeft?
Omkering van denken Zo leert u Ziekte aanwezig Ziekte afwezig Boeken-kennis!!! Klachten Afwijkingen Test-uitslagen maar dit wordt klinisch van u verwacht! Klachten Afwijkingen Test-uitslagen Klinische Vraagsteling??? Ziekte aan-, of afwezig?
Bayes theorema Thomas Bayes (1701 1761) Engelse dominee en wiskundige Theorema over conditionele kansen: Wat is de kans op X, als bekend is dat Y waar is? Wat is de kans dat het morgen regent, als het vandaag droog is? Hoe groot is de kans op ziekte, als de test positief is?
Probleem met positieve testuitslagen: door zieken: TP = terecht positief maar ook door niet zieken: FP = fout positief TP Alle positieve testen FP Appendicitis Iets anders Se = 90% Sp = 85%
Onderstaande weergave zou correct zijn als er evenveel zieken als niet zieken waren als de a priori kans gelijk was aan 50% TP Alle positieve testen FP Appendicitis Iets anders 50% 50%
Maar de a priori kans is niet 50%, maar 20% TP = 20% Se = 20% 90% = 18% FP = 80% (1 Sp) = 80% 15% = 12% TP FP Alle positieve testen Appendicitis Iets anders 20% 80%
22 Tabel: ziekte vs testuitslag A-priori kans Appendicitis = 20% Se = 90%, Sp = 85% Wel Pijn MB Geen Pijn MB Appendicitis Iets anders Totaal 0.9 0.2 = 18% TP 0.1 0.2 = 2% FN 0.15 0.80 = 12% FP 0.85 0.80 = 68% TN 18% + 12% = 30% 2% + 68% = 70% Totaal 20% 80% 100%
22 Tabel: ziekte vs testuitslag A-priori kans Appendicitis = 20% Se = 90%, Sp = 85% Appendicitis Iets anders Totaal Wel Pijn MB 0.9 0.2 = 18% 0.15 0.80 = 12% 18% + 12% = 30% Geen Pijn MB 0.1 0.2 = 2% 0.85 0.80 = 68% 2% + 68% = 70% Totaal 20% 80% 100%
22 Tabel: ziekte vs testuitslag Algemene versie met formules pz0 = A-priori kans Appendicitis Appendicitis Iets anders Totaal Wel Pijn MB Se pz 0 (1-Sp)(1- pz 0 ) TP Geen Pijn MB (1-Se) pz 0 Sp (1- pz 0 ) FN FP TN Se pz 0 + (1-Sp)(1- pz 0 ) (1-Se) pz 0 + Sp (1- pz 0 ) Totaal pz 0 (1- pz 0 ) 100%
22 Tabel: ziekte vs testuitslag Algemene versie met formules pz0 = A-priori kans Appendicitis Appendicitis Iets anders Totaal Wel Pijn MB Se pz 0 (1-Sp)(1- pz 0 ) Geen Pijn MB (1-Se) pz 0 Sp (1- pz 0 ) Se pz 0 + (1-Sp)(1- pz 0 ) (1-Se) pz 0 + Sp (1- pz 0 ) Totaal pz 0 (1- pz 0 ) 100%
Voorspellende waarde Voorspellende waarde van een testuitslag = kans dat die test uitslag juist is Positief voorspellende waarde = kans ziekte aanwezig, gegeven positieve testuitslag: V W TP Se TP FP Se pz 1 0 18 % 60 % 18 % 12 % pz Sp 0 1- pz 0
Voorspellende waarde Voorspellende waarde van een testuitslag = kans dat die test uitslag juist is Negatief voorspellende waarde = kans ziekte afwezig, gegeven negatieve testuitslag: VW- Sp 1-pZ0 TN TN FN Sp 1-pZ 1-Se pz 68% 97% 68% 2% 0 0
Betrouwbaar ziekte aantonen Wanneer is een positieve testuitslag betrouwbaar? De positief voorspellende waarde is: TP Se pz V W 0 TP FP Se pz 1 Sp 1- pz 0 Deze is 100% als FP=0, dus als Sp = 100% 0 Betrouwbaar ziekte aantonen dus met een maximaal specifieke test (met weinig fout positieven)
Betrouwbaar ziekte uitsluiten Wanneer is een negatieve testuitslag betrouwbaar? De negatief voorspellende waarde is: TN Sp 1- pz V W- 0 TN FN Sp 1- pz 0 1- Se pz0 Deze is 100% als FN=0, dus als Se = 100% Betrouwbaar ziekte uitsluiten dus met een maximaal sensitieve test (met weinig fout negatieven)
Likelihood Ratio LR X van een testuitslag X voor een ziekte: = hoeveel maal vaker de testuitslag x voorkomt bij mensen mèt ziekte dan bij mensen zonder ziekte = Kans op testuitslag X bij mensen mèt de ziekte Kans op testuitslag X bij mensen zonder de ziekte Als LR X > 1, dan vergroot dat de kans op ziekte Als LR X < 1, dan verkleint dat de kans op ziekte
Likelihood Ratio Voor positieve testuitslag: LR Kans op positieve test onder mensen mèt ziekte Kans op positieve test onder mensen zonder ziekte Se 0.90 6 1 1 Sp 1 0.85 Voor negatieve testuitslag: LR- 1- Se Sp 1-0.90 0.85 0.12 1
Likelihood Ratio A-posteriori kans bij positieve test: Teller en noemer delen door Se: TP VW TP FP pz0 Se pz Se 1-pZ 1Sp pz 0 0 pz 1-pZ 0 0 0 LR A-posteriori kans bij testuitkomst X: pz X pz pz 1-pZ 0 0 0 LR X
Likelihood Ratio LR-versie van Bayes voor de achterafkans op ziekte: pz X pz 0 1- pz 0 pz LR 0 X Waarbij LR pz pz X X 0 Likelihood ratio van testuitslag X Achterafkans op ziekte, gegeven testuitslag X Voorafkans op ziekte
Likelihood Ratio Bayes geeft het correcte midden tussen: 1. Testresultaat negeren Vasthouden aan de oorspronkelijke verwachting Tunnelvisie Test uitgevoerd om psychologische redenen of prognose? 2. A-priori kans negeren Base rate neglect Ook na een positieve test kan de diagnose nog steeds onwaarschijnlijk zijn.
Likelihood Ratio Appendicitis voorbeeld met positieve test: (Meneer Van Dalen wacht op antwoord) pz 0 LR pz 0.20 Se 1 Sp pz 0 0.20 0.8 0.90 1 0.85 1- pz 0.20 1-0.20 0.20 pz 0 0 6 6 LR 0.20 0.20 0.13 0.20 0.20 0.33 6 0.60
Likelihood Ratio Appendicitis voorbeeld met negatieve test: (Meneer Van Dalen wacht op antwoord) pz 0 LR pz 0.20 1 Se Sp pz 0 pz 0.20 0.8 1 0.90 0.85 1- pz 0.20 1-0.20 0.20 0 0 0.12 LR 0.20 0.20 6.8 0.12 0.20 0.20 7.0 0.12 0.03
Post-test kans ook te berekenen met nomogram Appendicitis voorbeeld: Vooraf pz 0 = 0.20 LR+ = 6 pz+ = 60% LR- = 0.12 pz- = 3%
Likelihood Ratio 100% Post-test kans op ziekte 80% 60% 40% 20% LR+ = 100 LR+ = 6 LR = 1 LR- = 0.12 LR- = 0.01 0% 0% 20% 40% 60% 80% 100% Pre-test kans op ziekte
Likelihood Ratio: odds versie Angelsaksisch: odds = kans = kans 1-kans odds 1+odds Bijvoorbeeld: 80% kans = 80:20 = 4.00 odds 50% kans = 1:1 = 1.00 odds 20% kans = 20:80 = 0.25 odds 1% kans = 1:99 = 0.01 odds kleine kans odds
Likelihood Ratio LR-versie van Bayes voor de achterafkans op ziekte: pzx pz0 1- pz0 pz0 LR X Waarbij LR pz pz X X 0 Likelihood ratio van testuitslag X Achterafkans op ziekte, gegeven testuitslag X Voorafkans op ziekte
Likelihood Ratio: odds versie Odds-versie van Bayes: pz X LR 1 pz X X pz 0 1- pz 0 Voor lage kansen geldt bij benadering: pz X LR Deze benadering overschat de verandering tussen de voorafkans en de achterafkans X pz 0
Likelihood Ratio: odds versie 100% Post-test kans op ziekte 80% 60% 40% 20% Odds benadering LR+ = 6 LR = 1 LR- = 0.12 Odds benadering 0% 0% 20% 40% 60% 80% 100% Pre-test kans op ziekte
3 versies van Bayes theorema 1. Specifiek voor dichotome test: voorspellende waarde Aparte formules voor VW+ en VW- Met 2x2 tabel 2. Likelihood ratio ook bruikbaar voor niet-dichotome test Nomogram: makkelijk maar minder nauwkeurig Algemene Bayes formule voor pz X 3. Odds-versie benadering Alleen nauwkeurig voor kleine kansen Overschat de verandering tussen vooraf- en achterafkans Geef wel een snelle indicatie
Basisbegrippen Diagnostiek niet dichotoom W.B. van den Hout Afdeling Medische Besliskunde 12 november 2014
Vragen over vorige uur?
Basisbegrippen diagnostiek Dichotome test 2 uitslagen: positief of negatief Niet-dichotome testen Drie of meer categorieën Goedaardig / niet-diagnostisch / verdacht / kwaadaardig Mate van zekerheid bij beeldvormende diagnostiek... Continu Temperatuur, bloeddruk, serum concentratie,
Labuitslagen: continu gezond vs. ziek 30% 25% 20% kans 15% 10% 5% 0% 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 waarde
Labuitslagen: categorisch waarde gezond ziek 0 0% 0% 1 0% 0% 2 1% 0% 3 4% 0% 4 11% 1% 5 21% 2% 6 27% 4% 7 21% 8% 8 11% 12% 9 4% 15% 10 1% 16% 11 0% 15% 12 0% 12% 13 0% 8% 14 0% 4% 15 0% 2% 16 0% 1% 17 0% 0% kans 30% 25% 20% 15% 10% 5% 0% gezond vs. ziek 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 waarde
Labuitslagen: likelihood ratio waarde gezond ziek 0 0% 0% 1 0% 0% 2 1% 0% 3 4% 0% 4 11% 1% 5 21% 2% 6 27% 4% 7 21% 8% 8 11% 12% 9 4% 15% 10 1% 16% 11 0% 15% 12 0% 12% 13 0% 8% 14 0% 4% 15 0% 2% 16 0% 1% 17 0% 0% 30% 30% 25% 25% 20% 20% kans 15% 15% 10% gezond gezond vs. ziek vs. - ziek nu met LR's 25 20 15 10 5 10% 5% 0% 5% 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 waarde 0% 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Cytologie bij schildklierkanker Uitslag Uiteindelijk kanker Uiteindelijk benigne Totaal Maligne 14 2 16 Onzeker ( folliculair ) 5 18 23 Benigne 1 160 161 Totaal 20 180 200
Beleid na niet-dichotome test Diagnostiek vaak niet-dichotoom Begrippen sensitiviteit en specificiteit niet te gebruiken Maar behandeling vaak wel dichotoom! Twee benaderingen: 1. Dichotomiseer de testuitslag met afkappunten Receiver Operating Characteristic (ROC) curve 2. Gebruik de likelihood ratio per testuitslag
Benadering 1: afkappunten Diagnostiek vaak niet dichotoom... maar gedichotomiseerd met een grenswaarde: Ene kant van de grenswaarde is normaal (niet ziek) Andere kant is abnormaal (ziek) Receiver Operating Characteristic (ROC) curve Verband tussen TP en FP rate, afhankelijk van gekozen grenswaarde Overgenomen van radar ingenieurs Onderscheiden van ruis en signaal
ROC curve Grenswaarde Niet ziek Ziek Fout Negatief (1-Se) Fout Positief (1-Sp) Testparameter
ROC curve
ROC curve
ROC curve De gekozen grenswaarde bepaalt het type fouten Linksboven zou ideaal zijn, maar is onbereikbaar Rechtsboven = iedereen positief Linksonder = iedereen negatief Sensitiviteit en specificiteit omgekeerd evenredig Grenswaarde laag: veel gezonden aangewezen als ziek (FP) Grenswaarde hoog: veel zieken aangewezen als gezond (FN)
Oppervlakte onder ROC curve Maat voor onderscheidend vermogen van een test Onafhankelijk van de gekozen grenswaarde Diagonaal = willekeurig oppervlakte 0,5 is slecht Beoordeling afhankelijk van specifieke toepassing 1,0 0,9 = uitstekend 0,8 0,7 = redelijk 0,9 0,8 = goed 0,7 0,5 = slecht Oppervlakte = 0.91
Cytologie bij schildklierkanker Uitslag Uiteindelijk kanker Uiteindelijk Benigne Maligne 14 2 Folliculair (onzeker) 5 18 Benigne 1 160 Totaal 20 180 Als Follicular = Maligne Se = 19 / 20 = 95% Sp =160 / 180= 89% Als Follicular = Benigne Se = 14 / 20 = 70% Sp =178 / 180= 99%
Cytologie bij schildklierkanker True positive rate (=Se) 1.0 0.8 0.6 0.4 0.2 0.0 0.0 0.2 0.4 0.6 0.8 1.0 False positive rate (=1-Sp) Als Follicular = Maligne Se = 19 / 20 = 95% Sp =160 / 180 = 89% Als Follicular = Benigne Se = 14 / 20 = 70% Sp =178 / 180 = 99% Wat weegt zwaarder? 25% verschil sensitiviteit 10% verschil specificiteit
Optimale punt op ROC curve Meer sensitief (rechtsboven) testen als... Aversie tegen onderdiagnose (FN) Niemand missen Hoge prevalentie Velen op wie sensitiviteit van toepassing is Meer specifiek (linksonder) testen als... Aversie tegen overdiagnose (FP) Niemand lastig vallen Lage prevalentie Velen op wie specificiteit van toepassing is
Optimale punt op ROC curve Bijvoorbeeld: screenen op borstkanker Liefst specifiek testen, vanwege lage prevalentie Toch maar sensitief testen om niemand te missen En daarna verdere testen om FPs te identificeren Keuze ook afhankelijk van verdere zorgtraject: Specifiek testen als de volgende stap een belastende behandeling is ( niet lastig vallen ) Sensitief testen als de behandeling weinig belastend is, of als voorselectie vóór verdere specifieke testen
Benadering 1: afkappunten Dichotomiseer de testuitslag met afkappunten Bepaal ROC-curve: Sensitiviteit en specificiteit voor ieder afkappunt Optimale afkappunt voor testuitslag nog onbepaald: Afhankelijk van relatieve belang FP en FN Afhankelijk van vooraf kans In december meer daarover
Benadering 2: likelihood ratio s Gebruik de likelihood ratio per testuitslag Bepaal de voorafkans van de patiënt Bepaal de likelihood ratio van de testuitslag Bepaal de achteraf kans met Bayes theorema
Benadering 2: likelihood ratio s Uitslag Uiteindelijk kanker Uiteindelijk benigne LR* Maligne 14 2 = 63.0 Onzeker ( folliculair ) 5 18 = 2.5 Benigne 1 160 = 0.06 Totaal 20 180 14/ 20 2/ 180 5/ 20 18/ 180 1/ 20 160/ 180 * Gebruik hier niet meer de dichotome formules met Se en Sp!
Benadering 2: likelihood ratio s Uitslag Uiteindelijk kanker Uiteindelijk benigne 14/ 20 LR Maligne 14 2 2/ 180 = 63.0 Stel 5% vooraf kans op kanker en een maligne testuitslag: pz Mali gne 0. 05 0. 05 1-0. 05 63 0. 77
Benadering 2: likelihood ratio s Uitslag Onzeker ( folliculair ) Uiteindelijk kanker Uiteindelijk benigne LR 5/20 5 18 = 2.5 18/180 Stel 5% vooraf kans op kanker en een maligne testuitslag: pz Maligne 0.05 0.05 1-0.05 0.12 2.5
Benadering 2: likelihood ratio s Gebruik de likelihood ratio per testuitslag Bepaal de vooraf kans van de patiënt Bepaal de achteraf kans met Bayes theorema Behandel bij voldoende hoge achteraf kans Optimale afkappunt voor die achteraf kans nog onbepaald: Niet meer afhankelijk van de vooraf kans (is al verwerkt) Wel nog afhankelijk van relatieve belang FP en FN In december meer hierover
Niet-dichotome test 1. Dichotomiseer de testuitslag met afkappunten (ROC) Toont sensitiviteit en specificiteit van beleid Geeft geen schatting van de achteraf kanssp Extreme labwaarde net als minder extreme 2. Gebruik de likelihood ratio per testuitslag Niet werken met Se en Sp omdat er meer dan twee uitslagen zijn Geeft expliciete schatting van de achteraf kans
Besluitvorming 20% 0% 100% - + 0% 100% 3% 60% Diagnostiek: verandert kansen Besluitvorming: Hoe zeker moet je zijn om te behandelen? Moet je wel testen?
Introductie Beslisbomen W.B. van den Hout Afdeling Medische Besliskunde 17 December 2014
Diagnostiek & Beleid Eerder op 12 November: Basisbegrippen diagnostiek Vandaag: Beslisbomen Uitkomst voor de patiënt Optimaal beleid
? 20% 0% 100% - + 0% 100% 3% 60%
Ziek Niet ziek Totaal Test positief TP FP Test negatief FN TN Totaal 100% pz X pz 0 1- pz 0 pz 0 LR X
Praktijk is ingewikkelder dan 2x2 Meer dan twee mogelijke testuitslagen ROC curve of likelihood ratio s Meer dan één mogelijke diagnose Uitkijken voor tunnelvisie Zoek testen die onderscheidend zijn Diagnostisch traject met meerdere testen A-priori van volgende test = a-posteriori van vorige Therapeutische consequenties Beslisbomen
Voorbeeld 1: Monty Hall 1 2 3 X?
Beslisboom driedeuren probleem
Beslisboom driedeuren probleem Beslisboom Structureert het probleem Berekent verwachte uitkomst per strategie Beslissingscriterium bepaalt optimale beslissing Auto versus spijt Goede beslissing geeft niet steeds de beste uitkomst! Effectiviteit versus bijwerkingen
Beslisbomen Structuur: Keuzeknopen, kansknopen, eindknopen Van links naar rechts de loop der dingen Getallen: Kansen bij de kansknopen Kans op een tak is p 1 p 2... Uitkomsten bij de eindknopen Analyseren en optimaliseren: Verwachtingswaarde berekenen en
Algemeen: Beslisbomen: verwachting Verwachtingswaarde = het midden Bij verdeling met n verschillende uitkomsten: Verwachtingswaarde p U Bijvoorbeeld: Loterij: kansen maal uitkomsten optellen Dobbelsteen: 1 1 1 n i 1 i 1 2... 6 3.5 6 6 6 i
Kansrekening Beslisbomen: verwachting In 16e eeuw ontstaan, vanwege analyse kansspelen Vooraf modelleren en doorrekenen van toeval Statistiek In 17e eeuw ontstaan, vanwege (levens)verzekeringen Achteraf beschrijven en analyseren van gegevens n 1 Verwachtingswaarde pi Ui 12... 6 3.5 6 i 1 i 1 n 1 1 Gemiddelde Xi 12 3 4 4 4 6 6 3.8 n 8
Voorbeeld 2: Reageren op risico? Model expliciteert: Structuur: kan iets doen ook verslechteren? Parameters: schattingen kansen en uitkomsten Maakt dilemma s en inschattingen bespreekbaar
Voorbeeld 3: diagnostiek
Voorbeeld 3: diagnostiek
Voorbeeld 4: Dit college lopen? Of toch uitslapen, sporten, studeren of stad in? Beslisboom van te maken?
Beslisboom college lopen Structuur
Beslisboom college lopen Waardering van uitkomsten, schatting van kansen Welke uitkomst vindt u het meest en minst wenselijk? 1. Leuk en zinvol & Gelopen 2. Saai en zinloos & Gelopen 3. Leuk en zinvol & Gemist 4. Saai en zinloos & Gemist Geef de vier uitkomst een waardering ( utiliteit ) Op schaal van 0.0 (= minst wenselijk) tot 1.0 (= meest wenselijk) Hoe groot schat u de kans op Leuk en zinvol?
Beslisboom college lopen Waardering van uitkomsten, schatting van kansen Welke uitkomst vindt u het meest en minst wenselijk? 1. Leuk en zinvol & Gelopen 1.0 (TP) 2. Saai en zinloos & Gelopen 0.0 (FP) 3. Leuk en zinvol & Gemist 0.7 (FN) 4. Saai en zinloos & Gemist 0.7 (TN) Kans Leuk en zinvol p_ok = 50%
Beslisboom college lopen Doorrekenen Verwachte waarde van Ja = 0.5 1.0 + 0.5 0.0 = 0.50 Verwachte waarde van Neen = 0.5 0.7 + 0.5 0.7 = 0.70
Beslisboom college lopen Effect van p_ok = a-priori kans leuk en zinvol * NB: dit soort analyse met grafieken hoeft u niet zelf te kunnen uitvoeren, maar wel interpreteren
Beslisboom college lopen Optimale beslissing Wel college lopen heeft een hogere verwachtingswaarde als de kans op een leuk & zinvol college minimaal 70% is. Is het mogelijk die kans te voorspellen?
Mogelijke test Beslisboom college lopen Mogelijke test Ga naar het 1 e college Is t niks, dan niet naar 2 e college Stel Kans 2 e college goed als 1 e college goed = 80% Kans 2 e college slecht als 1 e college slecht = 90%
Beslisboom college lopen Met 1 e college als test voor het 2 e college
Beslisboom college lopen Effect van p_ok = a-priori kans leuk en zinvol
Beslisboom college lopen Optimale beslissing hangt niet alleen af van de kansen A-priori kans, sensitiviteit, specificiteit Maar ook van de waardering van de uitkomsten Waardering voor TP, FP, FN, FN: subjectief Diagnostische problemen worden al gauw lastig Meerdere testen in verschillende volgordes Verbazingwekkend dat we dat zonder formele analyse kunnen
Voorbeeld 5 Acuut Aneurysma Aortae Abdominalis (AAAA) U verdenkt een 76-jarige man in slechte conditie van een gebarsten aneurysma: Bij niet behandeld AAAA overlijdt de patiënt Met operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5% Wel of niet opereren? Als u zeker wist dat het ging om een AAAA? Als u zeker wist van niet? Bij een kans op AAAA van 10%?
Beslisboom AAAA Optimaliseer verwachte waarde = kans op overleven
Beslisboom AAAA Met kans op AAAA = 10% Verwachte overleving bij operatie = 0.10 0.40 + 0.90 0.95 = 0.895 Verwachte overleving bij afwachten = 0.10 0.00 + 0.90 1.00 = 0.900
Beslisboom AAAA Sensitiviteitsanalyse* voor kans op AAAA Kans om te overleven Behandeldrempel 11% * NB: dit soort analyse met grafieken hoeft u niet zelf te kunnen uitvoeren, maar wel interpreteren
Beslisboom AAAA Strategiekeuze Als u moest kiezen tussen wel of niet opereren: Opereren biedt een betere overleving als de kans op een AAAA groter is dan de behandeldrempel : paaaa > 11% Dus zelfs als de kans op een andere oorzaak voor de klachten bijna 9 keer zo groot is als de kans op een AAAA, dan nog is operatie voor AAAA de juiste keus!
Beslisboom AAAA Diagnostiek Uw patiënt geeft meer en meer pijn en de bloeddruk lijkt te dalen, misschien door een vagale collaps. Kans op AAAA schat u nu in op 50%. De CT-scan, die u graag zou gebruiken, is in revisie. De dienstdoende radioloog biedt aan een echo te doen, maar geeft aan dat die echo (door lucht in de darmen) niet zo betrouwbaar is voor zo'n aneurysma. De sensitiviteit is ongeveer 80%, specificiteit 90%. Wilt u gebruik maken van die echo?
Voorafkans 50% Sensitiviteit 0.80 Specificiteit 0.90 Beslisboom AAAA Diagnostiek Likelihood ratio s van echo voor AAAA: LR = kans bij zieken / kans bij gezonden LR+ = Se / (1 Sp) = 0.80 / 0.10 = 8.0 LR- = (1 Se) / Sp = 0.20 / 0.90 = 0.22 Wilt u gebruik maken van die echo?
Voorafkans 50% LR+= 8.0 LR- = 0.22 Beslisboom AAAA Diagnostiek Achterafkansen op AAAA: pz 0.50 pz0 1-pZ0 0.50 1-0.50 LR 8.0 pz 0.50 pz0 1-pZ0 0.50 1-0.50 LR- 0.22 0 pz 0.89 0 pz- 0.18 Wilt u gebruik maken van die echo?
Beslisboom AAAA Diagnostiek Zonder aanvullende diagnostische informatie Behandeldrempel D = 0.11 Kans op AAAA ingeschat op 0.50 > D Beter wel opereren (als je geen diagnostiek hebt) Met diagnostische informatie Achterafkans na positieve test: pz+ = 0.89 > D Achterafkans na negatieve test: pz- = 0.18 > D Wilt u gebruik maken van die echo?
Beslisboom AAAA Diagnostiek Niet behandelen Echo bereik als pz0 = 0.50 Test- Test+ 0% 11% 18% 50% 89% 100% Een negatieve testuitslag is niet krachtig genoeg om de vooraf kansschatting van 50% omlaag te brengen tot onder de behandeldrempel.
Beslisboom AAAA Diagnostiek Algemeen: Kan ik, bij een voorgenomen strategie, een testuitslag krijgen, die mij van mijn voornemen afbrengt? doordat mijn kansschatting aan de andere kant van de behandeldrempel terecht komt Dat hangt af van de voorafkans op ziekte Zo nee: Testen niet zinvol Zelfs gevaarlijk door FP en FN uitslagen
Beslisboom AAAA Diagnostiek en therapie
Beslisboom AAAA Sensitiviteitsanalyse* voor kans op AAAA Testen alleen beter tussen 2% en 36% Kans om te overleven Testen slechter dan afwachten vanwege FP (Sp=90%) Testen slechter dan operatie vanwege FN (Se=80%)
Kans om te overleven Beslisboom AAAA Strategiekeuze afhankelijk van kans op AAAA
Zonder diagnostiek: Beslisboom diagnostiek en therapie Bij lage kans afwachten Bij hoge kans behandelen Drempel afhankelijk van kosten en baten Met diagnostiek: Vergelijk de achterafkans op ziekte met behandeldrempel Alleen bij intermediaire kans testen Intermediaire range bepaald door Kosten en baten van behandeling en test Accuratesse van de test
Test en Behandeldrempel W.B. van den Hout Afdeling Medische Besliskunde 17 December 2014
Vragen?
Opmerking 1 Wanneer doe je nou zo n beslissingsanalyse? 1. Continu Als niet expliciet, dan wel impliciet intuïtief in je hoofd 2. Niet voor die ene patiënt Tenzij je de tijd hebt en het levensbedreigend is 3. Wel voor situaties die veel voorkomen Evaluatie van diagnostische trajecten Te ingewikkeld voor intuïtieve benadering Opstellen van richtlijnen
Opmerking 2 Waardering uitkomsten cariës diagnostiek 100% Best TN Terecht negatief Geen vulling TP Terecht positief Wel vulling FP Fout positief Wel vulling FN Fout negatief Nu geen vulling Slechtst 0%
Opmerking 2 Waardering uitkomsten cariës diagnostiek 100% Best TN Terecht negatief Geen vulling TP Terecht positief Wel vulling FP Fout positief Wel vulling FN Fout negatief Nu geen vulling Slechtst 0%
Opmerking 2 Waardering uitkomsten cariës diagnostiek 100% Best TN Terecht negatief Geen vulling TP Terecht positief Wel vulling FP Fout positief Wel vulling FN Fout negatief Nu geen vulling Slechtst 0%
Behandeldrempel Klinische vraag: Hoe zeker moet ik zijn van de ziekte, voordat ik overga tot behandeling, wetende dat elke behandeling zowel voor- als nadelen heeft? Voorbeelden: AAAA operatie, hernia-chirurgie, cholecystectomie, knie-arthroscopie, antistolling, sinaasappels eten,...
Behandeldrempel Iedere behandeling heeft zijn: Voordeel = vermindering van schade door de ziekte Kan dus alleen optreden bij aanwezigheid van die ziekte Nadeel = gezondheidsschade door behandeling zelf Bij mensen met en zonder de ziekte Meest duidelijk bij mensen zonder ziekte
Behandeldrempel Bij zekerheid over ziekte: Bij mensen met ziekte is gemiddeld het voordeel van behandeling groter dan het nadeel (anders is behandeling geen valide optie) Bij mensen zonder ziekte alleen behandelingsnadeel Bij onzekerheid over ziekte: Hoge kans op ziekte: meer baat dan schade Lage kans op ziekte: meer schade dan baat Hoe zeker moet je zijn van ziekte om te behandelen?
Behandeldrempel Behandelen als de kans op ziekte groter is dan: D = C C + B Waarbij D = Behandeldrempel B = Benefit van behandeling = verschil tussen wel en niet behandelen bij mensen met de zieke (inclusief schade) C = Cost van behandeling = verschil tussen wel en niet behandelen
Behandeldrempel Behandelen als de kans op ziekte groter is dan: D = C C + B Meer behandelen bij gunstigere kosten-baten: behandel iedereen alscost = 0 of Benefit > 0 (D = 0%) behandel niemand als Cost > 0 of Benefit = 0 (D = 100%) behandel vanaf 50% als Cost = Benefit (D = 50%)
Afleiding van behandeldrempel* * Geen tentamenstof Waarde(Wel behandelen) = p U TP + (1-p) U FP Waarde(Niet behandelen) = p U FN + (1-p) U TN
Afleiding van behandeldrempel* * Geen tentamenstof Wanneer is het even goed om wel/niet te behandelen? Waarde(Wel behandelen) = Waarde(Niet behandelen) p U TP + (1-p) U FP = p U FN + (1-p) U TN p (U TP -U FN ) = (1-p) (U TN -U FP ) p Benefit = (1-p) Cost p (Cost + Benefit) = Cost
Behandeldrempel voor AAAA U verdenkt een 76-jarige man in slechte conditie van een AAAA: Bij niet behandeld AAAA overlijdt de patiënt Mét operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5% In termen van overlevingskans: Wat is de Benefit B? = U TP -U FN Wat is de Cost C? = U TN -U FP Wat is de behandeldrempel D = C/(C+B)?
Behandeldrempel voor AAAA U verdenkt een 76-jarige man in slechte conditie van een AAAA: Bij niet behandeld AAAA overlijdt de patiënt Mét operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5% In mensen met AAAA stijgt de overlevingskans door opereren van 0% naar 40%: Benefit B = 40% 0% = 40% In mensen zonder AAAA daalt de overlevingskans door opereren van 100% naar 95%: Cost C = 100% 95% = 5% Behandeldrempel: D = C/(C+B) = 5 / (5+40) = 11%
Behandeldrempel voor AAAA U verdenkt een 76-jarige man in slechte conditie van een AAAA: Bij niet behandeld AAAA overlijdt de patiënt Mét operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5% Cost C Benefit B
Gebruik behandeldrempel Behandel als de kans op ziekte groter is dan D = C C + B Getalsmatige formalisering van als de voordelen opwegen tegen de nadelen Bruikbaar voor een snelle afweging als men geen tijd / zin / expertise heeft voor een beslisboom Eventueel literatuur search nodig voor data
Gebruik behandeldrempel Behandel als de kans op ziekte groter is dan D = C C + B Alleen gebruiken in het normale geval waarin: Cost 0 en Benefit 0 want dan: 0% C / (C + B) 100% Anders de behandeldrempel niet gebruiken, maar goed kijken naar de Cost en Benefit: Als Cost 0 en Benefit < 0: niemand behandelen Als Cost < 0 en Benefit 0: iedereen behandelen Als Cost < 0 of Benefit < 0: raar, check je probleem!
Gebruik behandeldrempel Behandel als de kans op ziekte groter is dan D = C C + B Bruikbaar als voor- en nadelen van behandeling beide gemeten in één soort uitkomst Anders niet in één breuk te vatten Overleving of morbiditeit of tevredenheid of kosten of Indien verschillende uitkomsten: weging (bijv. QALYs ) Bruikbaar mét en zonder diagnostiek: Geen diagnostiek: vergelijk D met de prevalentie Met diagnostiek: vergelijk D met de achteraf kans
Behandeldrempel voor AAAA Test range is van 2% tot 36% Bij een voorafkans van 50% is een negatieve testuitslag niet krachtig genoeg, om de achterafkans onder de behandeldrempel te brengen. Bij een voorafkans van 1% is een positieve testuitslag niet krachtig genoeg, om de achterafkans boven de behandeldrempel te brengen. Niet behandelen Echo bereik als pz 0 = 0.50 Test- Test+ 0% 11% 18% 50% 89% 100%
Beslisboom AAAA Sensitiviteitsanalyse voor kans op AAAA Test drempel 2% Behandeldrempel D = 11% Kans om te overleven Test-Behandeldrempel 36% Ook wel behandeldrempel genoemd
Gebruik behandeldrempel Gebruik zonder diagnostiek: Definitie: Behandeldrempel = de kans op ziekte waarbij niemand behandelen even goed is als iedereen behandelen Vergelijk de kans op ziekte met D = Cost / (Cost + Benefit) Gebruik mét diagnostiek: Definitie van test range: Testdrempel = de kans waarbij niemand behandelen even goed is als testen Behandeldrempel = de kans waarbij testen even goed is als iedereen behandelen (ook wel de test-behandel drempel) Vergelijk de achterafkans met de waarde van D = C/
Loterij Een vriend nodigt u uit mee te doen aan een loterij: Een lot kost 25 Er zijn 1.000.000 loten Er is één hoofdprijs van 10.000.000 Er zijn 10 tweede prijzen van 100.000 U zit net even niet krap bij kas Heeft u ooit meegedaan in een loterij? Zo ja/neen, waarom wel/niet? Zou u meedoen aan deze loterij?
Loterij Zou u meedoen aan deze loterij: Een lot kost 25 Er zijn 1.000.000 loten Er is één hoofdprijs van 10.000.000 Er zijn 10 tweede prijzen van 100.000 Maak nu een beslisboom: Expliciteer de mogelijke keuzes, gebeurtenissen, en monetaire uitkomsten Bereken de verwachte uitkomst van iedere keuze
Loterij: beslisboom
Loterij: kansen en uitkomsten
Verwacht Nut Expected Utility Het Verwacht Nut (EU = Expected Utility) is de som van de producten van kansen uitkomsten: EU(lot kopen) = p 1 U 1 + p 2 U 2 + + p n U n = 0,000001 10.000.000 + 0,000010 100.000 + 0,999989 0 = 10 + 1 + 0 = 11
Verwacht Nut Expected Utility Verwachte waarde = 0.000001 10,000,000 + 0.000010 100,000 + 0.999989 0= 11 Verwachte waarde = 1 25 = 25
Loterij Beslisboom laat zien dat de verwachte waarde van niet kopen ( 25) hoger is dan van wel kopen ( 11) Conclusie? 1. Als je vaak speelt dan verlies je ruim de helft van je geld 2. Maar geeft dit model de dilemma s wel goed weer? Is 10 miljoen euro 100 keer zoveel waard als 100.000 euro? Niet spelen ervaren als 25 euro winst? Kansen in de praktijk vaak onbekend Magisch denken: ik win nooit / altijd Vriend die vroeg mee te doen H d h fd ij
Vragen tot nu toe?
Antistolling bij verdenking op longembolie? Voorbeeld uit ZSO Kiezen in onzekerheid 1. Aanpak met beslisboom 2. Aanpak met behandeldrempel 3. Uitbreiding met diagnostiek
Antistolling bij verdenking LE Risico van onbehandeld laten: Kans op longembolie 25% Kans op recidief embolie 50% Voordeel van behandelen: Voorkómen van recidief 80% effectief Nadeel van behandelen: Complicatie van antistolling 10%
Antistolling bij verdenking LE
Antistolling bij verdenking LE Wel antistolling als p _embolie = 25% Uitkomst hoe hoger hoe beter: Ongecompliceerd herstel: U = 1 Iedere complicatie: U = 0
Sensitiviteitsanalyse Effect p_embolie op ongecompliceerd herstel
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel Recidief embolie na longembolie = 50% Effectiviteit van antistolling = 80% (het gedeelte van recidief-embolieën dat wordt voorkomen door antistolling) Complicatie van antistolling = 10%
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel Kans op recidief embolie na longembolie = 50% Effectiviteit van antistolling = 80% Kans op complicatie van antistolling = 10% C = Cost van behandeling = verschil tussen wel en niet behandelen bij mensen zonder ziekte (dus exclusief baat) = Kans op complicatie van antistolling = 10%
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel B = Benefit = verschil tussen wel en niet behandelen bij mensen met de zieke (inclusief schade) Uitkomst van niet behandelen bij mensen met de ziekte 50% heeft recidief embolie Uitkomst van wel behandelen bij mensen met de ziekte Twee even grote risico s : (1-80%) 50% = 10% recidief embolie 10% bloedingscomplicatie
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel Kans op ongecompliceerd herstel Geen LE, geen AS Geen LE, wel AS Wel LE, geen AS Wel LE, wel AS TN FP FN TP 100% 100% - 10% = 90% 50% 90% x 90% = 81% Cost TN versus FP Benefit TP versus FN Behandeldrempel D = C / (C+B) 100 90 = 10% 81 50 = 31% 10 / 41 = 24,4%
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel Kans op ongecompliceerd herstel Aantal complicaties Geen LE, geen AS TN 100% 0 Geen LE, wel AS FP 90% 0.1 Wel LE, geen AS FN 50% 0.5 Wel LE, wel AS TP 81% 0.2 Cost TN versus FP Benefit TP versus FN Behandeldrempel D=C/(C+B) 10% 31% 10 / 41 = 24,4% 0.1 0.3 0.1 / 0.4 = 25%
Antistolling bij verdenking LE Conclusie Beslisboom: Sensitiviteitsanalyse op p_recidief Behandeldrempel D = C / (C+B) = 0.244 Beide laten zien dat antistolling bij verdenking op longembolie gezondheidswinst oplevert indien de kans dat de patiënt een (eerste) longembolie heeft gehad groter is dan 0.244
Diagnostiek verdenking LE Stel: Test met Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 25% Is testen in deze situatie zinvol?
Diagnostiek verdenking LE Stel: Test met Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 25% Behandeldrempel D = 24.4% Is testen in deze situatie zinvol?
Diagnostiek verdenking LE Stel: Test met Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 25% Behandeldrempel D = 24.4% Is testen in deze situatie zinvol? Ja, want de testuitslag beïnvloed de beslissing Negatieve test brengt achterafkans onder behandeldrempel Positieve test brengt achterafkans boven behandeldrempel
Stel: Diagnostiek verdenking LE Odds-versie van Bayes Test met Sensitiviteit = 90% en Specificiteit = 50% Lagere voorafkans op longembolie 10% Behandeldrempel D = 24.4% Is testen bij deze lagere voorafkans ook zinvol? LR Kans op positi evet est onder mensen met zi ekt e Kans op positi evet est onder mensen zonder zi ekt e Se 0. 90 1. 8 1 Sp 1 0. 50
Diagnostiek verdenking LE 22 tabel Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 10% Positieve test Negatieve test Longembolie Iets anders Totaal 0.9 0.1 = 9% TP 0.1 0.1 = 1% FN 0.50 0.90 = 45% FP 0.50 0.90 = 45% TN 9% + 45% = 54% 1% + 45% = 46% Totaal 10% 90% 100%
pz 0 LR pz Diagnostiek verdenking LE Likelihood ratio Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 10% Likelihood-versie van Bayes voor positieve test: 0. 10 Se 1 Sp pz 0 1-0. 90 1 0. 5 pz 0 pz 1. 8 0. 10 0. 10 1-0. 10 0 LR 1. 8 0. 17
Diagnostiek longembolie Stel: Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 10% Behandeldrempel D = 24.4% Achterafkans na positieve test 17% Is testen in deze situatie zinvol?
Diagnostiek longembolie Stel: Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 10% Behandeldrempel D = 24.4% Achterafkans na positieve test 17% Is testen in deze situatie zinvol? Nee, want Voorafkans is onder de behandeldrempel, en Achterafkans blijft onder de behandeldrempel, ongeacht het testresultaat
Diagnostiek longembolie Beslisboom
Diagnostiek longembolie Sensitiviteitsanalyse voor p_embolie
Beslissingsanalyse Diagnostiek longembolie Conclusie dwz vooraf goed nadenken over wat wanneer de optimale strategie is Aanpak op basis van de behandeldrempel dwz voor een gegeven testuitslag de achterafkans vergelijken met de behandeldrempel Beide laten zien dat de gezondheidswinst optimaal is door.... af te wachten bij lage kans op longembolie (tot 15%).. antistolling te geven bij hoge kans (vanaf 62%).. te testen in de intermediaire range (15% tot 62%)
Samenvatting
Ideale wereld
Niet ideale therapie
Niet ideale therapie en test
In de kliniek veel kansen! Therapieën zijn niet altijd effectief Therapieën richten ook schade aan Daardoor is er zoiets is als een behandeldrempel; alleen als u zeker genoeg bent overheerst het voordeel!
In de kliniek veel kansen! Therapieën zijn niet altijd effectief Therapieën richten ook schade aan Daardoor is er zoiets is als een behandeldrempel; alleen als u zeker genoeg bent overheerst het voordeel! U bent nooit 100% zeker wat iemand scheelt En geen enkele test is 100% betrouwbaar A-posteriori kans is afhankelijk van de a-priori kans Onterechte testuitslagen zetten u op het verkeerde been: Bij lage a-priori kans beter afwachten, want anders ga je teveel fout-positieven behandelen Bij hoge a-priori kans beter behandelen, want anders ga je teveel fout-negatieven niet behandelen