Expertmeningen in Probabilistische Risicoanalyse

Transcriptie

1 Inhoud in Probabilistische Risicoanalyse en expertmeningen () Heuristics & Biases Experts scoren en expertmeningen ir. Arno Willems Iv-Infra expertmeningen (2) Wat betekent: zaterdag is er 4% kans op neerslag? A) Er zal zaterdag in 4% van Nederland tenminste een minimale hoeveelheid neerslag (bijv. mm) vallen B) Er zal zaterdag gedurende 4% van de tijd tenminste een minimale hoeveelheid neerslag (bijv. mm) vallen C) Er zal op 4% van de dagen zoals zaterdag tenminste een minimale hoeveelheid neerslag (bijv. mm) vallen Bron: A 3% chance of rain tomorrow : How does the public understand probabilistic weather forecasts? - Journal of Risk Analysis, vol 25, no.3, 25

2 Definitie KNMI:.. De kanspercentages gelden voor iedere willekeurige plaats in Nederland. Is die waarde 9% dan is het zo goed als zeker dat er die dag op elke willekeurige plaats in ons land neerslag komt. Bij een kans van % blijft het vrijwel zeker droog en bij 5% kan het net zo goed droog blijven als regenen of sneeuwen. Hoe hoger het percentage, hoe zekerder de meteoroloog is dat er neerslag komt. (bron: Bron: A 3% chance of rain tomorrow : How does the public understand probabilistic weather forecasts? - Journal of Risk Analysis, vol 25, no.3, 25 Echter..het KNMI geeft vervolgens de tabel: kans kans omschrijving in in weerbericht -3% (slechts) een een kleine kleine kans kans op op / / vrijwel (bijna) nergens / / vrijwel (bijna) geen geen 3-7% kans kans op op mogelijk / / hier hier en en daar daar / / plaatselijk / / op op enkele enkele plaatsen 7-9% grote grote kans kans op op vrijwel (bijna) overal overal / / waarschijnlijk / / op op de de meeste plaatsen // op op veel veel plaatsen (bron: Overschrijdingskans dijken (bovenrivieren): /25 [-/jaar] in 993 en 995 kritiek Iemand die jaar wordt heeft 8% kans op natte voeten! Bouwbesluit: kans op bezwijken van klasse 3 constructie,6-4 [-/levensduur] Kans op > 3 minuten treinvertraging: 3,4% (29) Klassieke definitie (Laplace) Kans is het aantal malen succes gedeeld door het totale aantal even waarschijnlijke gebeurtenissen Frequentistische definitie (Von Mises, Kolmogoroff e.a.) Kans is de relatieve frequentie in een willekeurige reeks (#hits/n) Subjectieve definitie (Borel, Ramsey, Savage) Kans is een mate van geloof (en kan per individu verschillen; ook wel het Bayesiaanse kansbegrip genoemd) Databronnen Bronnen voor kwantificeren Eigen ervaring en inzicht Vergelijkbare projecten (benchmarking) Statistieken Gegevens leveranciers (Faal)databanken en -boeken

3 Verkrijgen van kansen en gevolgen via schattingen van deskundigen (subjectieve kansrekening) individueel: interview, invulformulier (mailing) groep: brainstormsessie, decision room Experts vooraf kans denken uitleggen en/of trainen. De (risico)analist moet bij de elicitatie aanwezig zijn. Vermijd coaching Laat de elicitatiesessie niet langer dan uur duren. Stel heldere en eenduidige vragen. Laat experts direct meetbare/waarneembare parameters schatten. Maak gebruik van eenvoudige invulformulieren. < 5% 5% - 5% 5% - 95% > 95% Kwalitatief Kwantitatief Kans (% ) Vrijw el zeker p >,95 95 Waarschijnlijk,5 < p <,95 75 M ogelijk,5 < p <,5 25 Onwaarschijnlijk p <,5 5 Kent chart A: Een pad is een lijn dat een X in de bovenste rij met een X op de onderste rij verbindt, en daarbij op elke tussenliggende rij exact één X doorkruist. Welke structuur kent het meeste aantal paden? 2. Hoeveel paden heeft elk van de structuren? A heeft 8 3 = 52 paden en B heeft 2 9 = 52 paden B: Lichtenstein, Sarah & Robert Newman, "Empirical Scaling of Common Verbal Phrases Associated with Numerical Probabilities, Psychometric Sci. 9, No. (967). Uit een groep van mensen moet een commissie van X mensen worden gekozen. Uit een groep van mensen moet een commissie van X mensen worden gekozen. Hoeveel mogelijke commissies kunnen gevormd worden voor: Hoeveel mogelijke commissies kunnen gevormd worden voor:. X = 2 2. X = 5 3. X = 8. X = 2 Antwoord: 45 (mediane schatting in EJ studie : 7) 2. X = 5 Antwoord: X = 8 Antwoord: 45 (mediane schatting in EJ studie : 2)

4 Wat is de kans dat er in een klas met 35 leerlingen tenminste twee leerlingen op dezelfde dag jarig zijn? Bill is 34 years old. He is intelligent, but unimaginative, compulsive and generally lifeless. In school, he was strong in mathematics but weak in social studies and humanities. P dv = - Π i=..n- {(365-i)/365} waarbij: P dv = kans op dubbele verjaardag n=groepsgrootte # cursisten - p() 25 56,87% 26 59,82% 27 62,69% 28 65,45% 29 68,% 3 7,63% 3 73,5% 32 75,33% 33 77,5% 34 79,53% 35 8,44% 36 83,22% 37 84,87% 38 86,4% 39 87,82% 4 89,2% 4 9,32% 42 9,4% 43 92,39% Please rank the following statements by their probability, using for the most probable and 8 for the least probable. a) Bill is a physician who plays poker for a hobby b) Bill is an architect c) Bill is an accountant d) Bill plays jazz for a hobby e) Bill surfs for a hobby f) Bill is a reporter g) Bill is an accountant who plays jazz for a hobby h) Bill climbs mountains for a hobby a) Bill is a physician who plays poker for a hobby b) Bill is an architect c) Bill is an accountant d) Bill plays jazz for a hobby e) Bill surfs for a hobby f) Bill is a reporter g) Bill is an accountant who plays jazz for a hobby h) Bill climbs mountains for a hobby Allerlei proefpersonen, met en zonder statistische scholing, zijn aan deze test onderworpen. Meer dan 85%, ook van de statistisch geschoolden, vindt (c) waarschijnlijker dan (d), en plaatst (g) daar tussen in. Bron: Judgment under uncertainty: Heuristics and biases, D. Kahneman, P. Slovic, and A. Tversky, Cambridge University Press, 982. U onderwerpt zich aan een medische check-up met een X-stralen onderzoek naar tuberculose. Uit een recent wetenschappelijk artikel weet u dat u behoort tot een risicogroep die een kans van op 2 om tuberculose te hebben. X-stralen zijn niet % betrouwbaar. Men vertelt u dat ze slechts 95% betrouwbaar zijn. Dat wil zeggen: als u gezond bent, zullen de X- stralen dit in 95% van de gevallen bevestigen en u in 5% van de gevallen ten onrechte ongerust maken. Omgekeerd: indien u aan tuberculose lijdt, zal het X-stralenonderzoek dit in 95% van de gevallen signaleren. Na enkele dagen ontvangt u een bericht dat de X-stralen hebben uitgewezen dat u lijdt aan tuberculose. Hoe hoog schat u de kans op tuberculose na dit bericht? A. % B. % C. 5% D. 95% Theorema van Bayes Theorema van Bayes A B) A B) = B) likelihood B A) A) A B) = B) a posteriori kans waarbij P ( B ) geschreven a priori kans kan worden Thomas Bayes (72-76) Essay towards solving a problem in the doctrine of chances (763) B) = B A) A) + B A) A) als positief getest ziek ) P ( ziek ) ziek positief getest ) = positief getest ) positief getest ziek ) =,95 ziek ) =,5 positief getest) = positief getest ziek) ziek) + positief getest gezond) gezond) positief getest ) =,95,5 +,5,995 =,545,95,5 ziek positief getest ) = =,9 %,545

5 Je staat in de finale van een spelshow. Je wordt meegenomen naar een wand met drie gesloten deuren. Achter één van de deuren staat een prachtige auto, achter de andere twee deuren staat niets. De quizmaster vraagt je voor een van de deuren te gaan staan. A B C A B C? Stel: je kiest deur A Om de spanning op te voeren, opent de quizmaster, die weet achter welke deur de auto staat, deur B waarachter niets staat. Vervolgens geeft de quizmaster jou de mogelijkheid om over te lopen naar de andere dichte deur C. Wat doe je: verander je van keus of blijf je staan?? Beste strategie: wisselen! Kans(auto achter A) = /3 Kans(auto achter C) = 2/3 Oplossing m.b.v. Theorema van Bayes: P ( ) ( inf o A ) A ) / 2 * / 3 P A inf o = = = / 3 inf o) inf o) No info Simulation result P = /3 P ( ) ( inf o C) C) * / 3 P C inf o = = = 2 / 3 inf o) inf o) info) = info A)A) + info B)B) + info C)C) = /2*/3 + */3 + */3 = / Heuristics & Biases W ith info from QM "Stay" stragegy (P success =.3295) "Switch" strategy (P success =.675) Bij het schatten van kansen maken mensen gebruik van vuistregels ( heuristics ). Dit kan leiden tot fouten in de schattingen ( biases ) De volgende vuistregels leiden vaak tot fouten: Availability Anchoring Representativeness / Base Rate fallacy Control

6 Availability Anchoring Mensen schatten de kans op een bepaalde realisatie of gebeurtenis (verkeerd) door het aantal beschikbare mogelijkheden (verkeerd) te schatten Voorbeeld: schatten van de kans op overlijden door verschillende oorzaken (aanval door haai of vergiftiging versus longkanker, hartfalen, etc.) Voorbeeld: Mensen schatten de kans op een bepaalde realisatie of gebeurtenis (verkeerd) door uit te gaan van een initiële waarde en deze (verkeerd) aan te passen of te corrigeren Voorbeeld: in een experiment werd 2 groepen studenten gevraagd binnen 5 seconden één van de volgende producten te berekenen: 8 x 7 x 6 x 5 x 4 x 3 x 2 en 2 x 3 x 4 x 5 x 6 x 7 x 8 Mediane schatting: 225 Mediane schatting: 52 (juiste antwoord: 4.32) Anchoring treedt vaak op als mensen percentielen (bijvoorbeeld 5%- en 95% percentielen) schatten. Ze pakken de centrale waarde en passen deze naar beneden en naar boven aan. In veel gevallen liggen deze waarden dan te dicht bij de centrale waarde. Representativeness / Base Rate fallacy Control Mensen schatten de kans dat een gebeurtenis A optreedt, gegeven dat een andere gebeurtenis B is opgetreden, (verkeerd) door uit te gaan van een (verkeerde) gelijkenis tussen A en B Met andere woorden, men negeert als het ware de base rates p(a) en p(b) en stelt (onterecht) dat p(a B) = p(b A) door te doen of p(a) = p(b) Voorbeelden: B A) A) A B) = B) Mensen schatten de kans op een bepaalde realisatie of gebeurtenis (verkeerd) vanuit de (onterechte) aanname deze kans te kunnen beïnvloeden Voorbeeld: kans op overlijden tijdens een autorit versus een vliegreis In een experiment (975) kon een groep van 26 mensen tickets voor een loterij kopen voor $ per stuk. Hoofdprijs was $5 voor het winnende lot, uit een vaas te trekken. Deze groep mocht zijn eigen tickets kiezen. Een 2 e groep van 27 mensen kreeg dezelfde mogelijkheid, maar mocht niet zelf zijn tickets kiezen. Vervolgens werd de deelnemers gevraagd voor welk bedrag zij hun tickets wilden verkopen. In de eerste groep lag de mediane prijs op $8,67. In de 2 e groep lag de mediane prijs op $,96. Combineren van expertmeningen: wanneer meer experts schattingen geven voor één variabele, zal een combinatie moeten worden gemaakt voor gebruik in de risicoanalyse Hierbij moeten de volgende problemen worden overwonnen: Correlatie tussen experts Ongelijke calibratie van experts Mogelijke oneerlijkheid van experts Verschillende manieren om gewichten toe te kennen aan experts:. Gelijke gewichten toekennen 2. Experts rangschikken naar voorkeur en gewichten toekennen naar rato van de rang 3. Laat experts zichzelf scoren 4. Laat experts elkaar scoren 5. Gebruik zuivere ( proper ) scoring regel: een expert krijgt zijn maximale verwachte score dan en slechts dan als zijn schatting overeenkomt met zijn echte mening

7 The Classical Model (Roger Cooke, Experts in Uncertainty, 99) Een expert wordt een aantal seed questions voorgelegd, waarvan de antwoorden bij de risicoanalist bekend zijn. De expert moet voor elk van deze vragen zijn schattingen geven via (5%-, 5%-, 95%-) percentielen, op basis waarvan worden bepaald: Calibratie: mate van betrouwbaarheid van de schattingen van de expert Informatie: relatieve informatie t.o.v. de uniforme verdeling Calibratie- en informatiescores C(e) en I(e) worden via statistiek bepaald Gewicht van expert e: w(e) = C(e) X I(e), genormeerd en rekening houdend met betrouwbaarheidsniveau α Var. Var. 2 Var. 3 Var. 4 Var. 5 Expert Expert 2 Expert 3 Expert Distribution Break Points x x x x x x x x x Expert Calibrated but not informative Expert 2 Informative but not calibrated Expert 3 Informative and calibrated Realization.5 Expert Verschillende individuele schattingen: q l q 5 q 5 q 95 q u.5 Expert 2 q l q 5 q 5 q 95 q u For a weighted combination of expert CDFs take the weighted combination at all break points (i.e. q i values for each expert) and then linearly interpolate Vragen? Expertschattingen m.b.v. momentenfit (o.b.v. µ en σ): a.willems@iv-infra.nl