Overzicht. Statistiek voor Informatica Hoofdstuk 2: Voorwaardelijke kansen. Voorwaardelijke kans. Voorbeeld: Probabilistisch redeneren

Transcriptie

1 Overzicht Statistiek voor Informatica Hoofdstuk 2: Voorwaardelijke kansen Cursusjaar 2009 Peter de Waal Departement Informatica Voorwaardelijke kans Rekenregels Onafhankelijkheid Voorwaardelijke Onafhankelijkheid Voorbeelden Hfdstk 2: / 42 Hfdstk 2: Inleiding 2 / 42 Voorbeeld: Probabilistisch redeneren Voorwaardelijke kans Een patiënt heeft mogelijk last van griep, verkoudheid of beide. Een verkouden patiënt heeft met kans 60% last van hoestbuien Een verkouden patiënt heeft kans 0% op hoofdpijnklachten. Een patiënt met griep heeft kans 20% op hoestbuien. Een patiënt met griep heeft kans 70% op hoofdpijn. Vragen De patiënt verteld dat hij last heeft van hoestbuien. Hoe groot is de kans dat hij griep heeft? Hij zegt dat hij ook last heeft van hoofdpijn. Hoe groot is de kans nu dat hij griep heeft? Voorbeeld Zuivere dobbelsteen D uitslag van worp met dobbelsteen P(D i) 6, voor i,..., 6, P(D even) P(D oneven) 2. Wat is de kans op (D 4) als gegeven is (D even)? Antwoord # uitkomsten (D even) 3 # uitkomsten (D 4) binnen gebeurtenis (D even) Kans ( (D 4) gegeven (D even) ) 3 Hfdstk 2: Inleiding 3 / 42 Hfdstk 2: Inleiding 4 / 42

2 Voorwaardelijke kans Voorbeeld 2 In een klinische studie zijn 0000 mannen boven de 40 jaar onderzocht op hypertensie en obesitas. hypertensie geen hypertensie obesitas geen obesitas Wat is de kans dat een patient obesitas heeft als je weet dat hij hypertensie heeft? Antwoord Aantal mannen met hypertensie 2002 Aantal obesitas binnen groep hypertensie 498 Kans (obesitas gegeven hypertensie) is Hfdstk 2: Inleiding 5 / 42 Voorwaardelijke Kans Een voorwaardelijke kans is een kans op een gebeurtenis, zeg A, waarbij bekend is dat gebeurtenis B optreedt. We noteren dit als P(A B). Het is de kans dat A optreedt, als we de uitkomsten beperken tot B. In een symmetrische kansruimte kunnen de voorwaardelijke kans uitrekenen door aantallen te delen: P(A B) #(AB) #(B) Notatie: AB betekent A B! Als we teller en noemen delen door het aantal elementen van de uitkomstenruimte S, dan krijgen we: P(A B) P(AB) P(B) Hfdstk 2: Inleiding Definitie 6 / 42 Venn diagram Definitie (Voorwaardelijke kans)) Als A en B twee mogelijke gebeurtenissen zijn met P(B) > 0, dan is de voorwaardelijke (of conditionele) kans op A gegeven B gedefiniëerd als P(A B) P(A B) P(B) P(AB) P(B) Als P(B) 0, dan is P(A B) niet gedefinieerd. In een Venn diagram zijn de onvoorwaardelijke kansen: S A B AB en de voorwaardelijke kansen gegeven B: B AB Hfdstk 2: Inleiding Definitie 7 / 42 Hfdstk 2: Inleiding Definitie 8 / 42

3 Speciaal geval De gewone kans die we al eerder gedefiniëerd hadden, is eigenlijk een speciaal geval van een voorwaardelijke kans, n.l. P(A) P(A S) P(A S) P(S) P(A S) Eigenschappen Voor voorwaardelijke kansen gelden de kansaxioma s. Als P(B) > 0, dan geldt namelijk: P(A B) 0; P(S B) ; ( ) P A i B i P(A i B) voor disjuncte A i ; i De voorwaardelijke kans gegeven B is dus ook weer een kansmaat. Eigenschappen Voor voorwaardelijke kansen gelden dezelfde soort eigenschappen als voor gewone kansen. P( B) 0 P(A C B) P(A B) P(A C B) P(A B) + P(C B) P(A C B) mits P(B) > 0. Hfdstk 2: Inleiding Eigenschappen 9 / 42 Hfdstk 2: Inleiding Eigenschappen 0 / 42 Voorbeeld Rekenregel : Vermenigvuldigingsregel Er geldt P(A B) P(AB) P(B) en dus ook Vraag: Wat is de kans op P(A\B)? Vraag: Wat is de kans op P ( (A\B) B )? P(AB) P(A B)P(B) Er geldt natuurlijk ook P(B A) P(AB) P(A) en dus P(AB) P(B A)P(A) Hfdstk 2: Inleiding Eigenschappen / 42 Hfdstk 2: Rekenregels Vermenigvuldigingsregel 2 / 42

4 Voorbeeld 3 Vaas met r rode ballen en b blauwe ballen: trek twee willekeurige ballen zonder terugleggen. Wat is de kans dat de eerste bal rood is en de tweede blauw? Oplossing: noem gebeurtenis R (eerste bal is rood) noem gebeurtenis B2 (tweede bal is blauw) r P(R ) r + b P(B 2 R ) P(R B 2 ) b r + b r r + b b r + b Vermenigvuldigingsregel (vervolg) Er geldt P(AB) P(B A)P(A) en dus ook P(ABC) P ( (AB)C ) P(C AB)P(AB) P(C AB)P(B A)P(A) Rekenregel : Vermenigvuldigingsregel (Algemeen) Als A, B,..., Z gebeurtenissen zijn waarvoor geldt P(ABC Z) > 0, dan is P(ABC Z) P(Z AB Y) P(C AB)P(B A)P(A) Voorbeeld 3 (vervolg) Vraag: Wat is P(eerste bal rood, tweede bal blauw en derde bal rood)? Hfdstk 2: Rekenregels Vermenigvuldigingsregel 3 / 42 Hfdstk 2: Rekenregels Vermenigvuldigingsregel 4 / 42 Voorbeeld 3 (vervolg) Vaas met r rode ballen, b blauwe ballen. Wat is de kans dat de tweede bal blauw is? Oplossing noem gebeurtenis R (eerste bal is rood) noem gebeurtenis B 2 (tweede bal is blauw) (R P(B 2 ) P( R C ) ) B2 P(R B 2 ) + P(R C B 2) P(R )P(B 2 R ) + P(R C )P(B 2 R C ) Rekenregel 2: Regel van Totale Kans (Conditionering) Als de uitkomsten A, A 2,..., A N elkaar uitsluiten, P(A i ) > 0, voor elke i,..., N, en N i P(A i), dan geldt voor elke gebeurtenis B: P(B) N P(B A i )P(A i ) i b r + b Hfdstk 2: Rekenregels Totale kans 5 / 42 Hfdstk 2: Rekenregels Totale kans 6 / 42

5 Voorbeeld 4 Voorbeeld 4 (vervolg) Drie machines M, M 2, M 3 produceren items: M M 2 M 3 percentage productie percentage defect 2 3 We kiezen willekeurig item uit de totale productie. Wat is de kans dat dit item kapot is? Benoem de uitkomsten: M i (het geselecteerde item komt uit machine M i ). D (het geselecteerde item is defect). We kennen P(D M ), P(D M 2 ), P(D M 3 ). Vraag: Hoe berekenen we P(D)? Drie machines M, M 2, M 3 produceren items: M M 2 M 3 percentage productie percentage defect 2 3 We kiezen willekeurig item uit de totale productie, en dit blijkt kapot te zijn. Wat is de kans dat dit item door M 2 gemaakt is? Hfdstk 2: Rekenregels Totale kans 7 / 42 Hfdstk 2: Rekenregels Regel van Bayes 8 / 42 Voorbeeld 4 (Uitwerking) Rekenregel 3 (Regel van Bayes) Bekijk een gemiddelde productierun van 000 items: M M 2 M 3 totaal goed 0,98 0,294 0,485 0,977 defect totaal De gevraagde kans is P(M 2 D) P(M 2D) P(D) P(D M 2)P(M 2 ) P(D) P(D M 2 )P(M 2 ) P(D M )P(M ) + P(D M 2 )P(M 2 ) + P(D M 3 )P(M 3 ) De Regel van Bayes Als P(B) > 0 en de uitkomsten A, A 2,..., A N elkaar uitsluiten, P(A i ) > 0, voor elke i,..., N, en N i P(A i), dan geldt voor elke i: P(A i B) P(B A i )P(A i ) N j P(B A j)p(a j ) Hfdstk 2: Rekenregels Regel van Bayes 9 / 42 Hfdstk 2: Rekenregels Regel van Bayes 20 / 42

6 A priori en a posteriori kans De kansen uit de stelling van Bayes hebben een naam: De kansen P(A i ) zijn gegeven voor het uitvoeren van het experiment (voordat een item geselecteerd is, en voordat bekend is of het defect is) en heten a priori kansen. De kans P(A i B) is een kans op de gebeurtenis A i (item gemaakt door machine i) als gegeven is dat gebeurtenis B optreedt (item defect). Dit heet een a posteriori kans. Hfdstk 2: Rekenregels Regel van Bayes 22 / 42 Voorbeeld 5 Uit bestanden met medische gegevens blijkt dat in een bepaalde groep patiënten tussen 35 en 40 jaar % kans hebben om longontsteking te krijgen. Longontsteking kan gedetecteerd worden op röntgenfoto s. We beschouwen een willekeurige patiënt uit de groep tussen 35 en 40 jaar. Benoem nu: K: de gebeurtenis dat deze patiënt longontsteking heeft R: de gebeurtenis dat een röntgenfoto een ontsteking aantoont. Uit de medische gegevens weten we: P(K) 0.0, Uit gegevens over de röntgenapparatuur weten we P(R K) 0.9, P( R K) Er wordt een röntgenfoto gemaakt en op die foto wordt een ontsteking waargenomen. Hoe groot is de kans dat de patiënt longontstekling heeft? Hfdstk 2: Rekenregels Regel van Bayes 23 / 42 Antwoord P(K R) P(K R) P(R) P(R K)P(K) P(R K)P(K) + P(R K)P( K) Voorbeeld 5 Als je een willekeurige kaart trekt uit een kaartspel van 52 kaarten, wat is de kans dat je een aas trekt? Wat is de kans dat je een aas trekt, als je weet dat de kaart rood is? Voorbeeld 6 Als je tweemaal met een dobbelsteen gooit, wat is de kans dat de tweede worp 6 is? Wat is die kans als je weet dat je de eerste keer een 6 geworpen hebt? Hfdstk 2: Rekenregels Regel van Bayes 24 / 42 Hfdstk 2: Onafhankelijkheid 25 / 42

7 Soms heeft het optreden van gebeurtenis B geen invloed op het optreden van gebeurtenis A. Dan geldt P(A B) P(A). Als dit geldt dan spreken we van de onafhankelijkheid van de twee gebeurtenissen A en B. Er geldt dan oftewel P(A) P(A B) én P(A B) P(AB) P(B) P(AB) P(A)P(B) In het algemeen gebruiken we de laatste formulering als definitie van onafhankelijkheid. Definitie (Onafhankelijkheid) Twee gebeurtenissen A en B heten onafhankelijk (ook wel: onderling onafhankelijk, afgekort tot o.o.) als P(AB) P(A)P(B) We kunnen onafhankelijkheid ook definiëren met behulp van voorwaardelijk kansen: Definitie (Onafhankelijkheid) Twee gebeurtenissen A en B met P(A) > 0 en P(B) > 0 heten o.o. als P(A B) P(A) en P(B A) P(B). Hfdstk 2: Onafhankelijkheid 26 / 42 Hfdstk 2: Onafhankelijkheid Definities 27 / 42 Voorbeeld Definitie (Paarsgewijze onafhankelijkheid) De gebeurtenissen A, A 2,..., A n, heten paarsgewijs onafhankelijk als elk tweetal gebeurtenissen onafhankelijk is. Definitie (Onafhankelijkheid van verzameling gebeurtenissen) Een verzameling van gebeurtenissen A, A 2,..., A n, heet onafhankelijk als voor elke deelverzameling van gebeurtenissen A i, A i2,..., A ik, (k n), geldt P(A i A i2 A ik ) P(A i )P(A i2 ) P(A ik ) Drie gebeurtenissen A, B en C zijn o.o. als P(AB) P(A)P(B) P(AC) P(A)P(C) P(BC) P(B)P(C) P(ABC) P(A)P(B)P(C) Bij 20 keer werpen met een dobbelsteen zijn de uitkomsten van afzonderlijke worpen onafhankelijk. Hfdstk 2: Onafhankelijkheid Definities 28 / 42 Hfdstk 2: Onafhankelijkheid Definities 29 / 42

8 Voorbeeld 7 2 Definitie (Conditionele onafhankelijkheid) Voor een gebeurtenis B met P(B) > 0 heten 3 4 als A en A 2 onafhankelijk gegeven B, A {, 2}, B {, 3}, C {, 4} A, B en C paarsgewijs onafhankelijk, immers: P(AB) 4 P(A)P(B) P(AC) 4 P(A)P(C) P(BC) 4 P(B)P(C) A, B, C niet onafhankelijk, want: P(ABC) 4 P(A)P(B)P(C) 8 Een equivalente definitie is: P(A A 2 B) P(A B)P(A 2 B) Voor drie gebeurtenissen A, A 2 en B met P(A B) > 0 en P(A 2 B) > 0 noemen we A en A 2 onafhankelijk gegeven B als P(A A 2 B) P(A B) en P(A 2 A B) P(A 2 B). Hfdstk 2: Onafhankelijkheid Definities 30 / 42 Hfdstk 2: Onafhankelijkheid Conditionele onafhankelijkheid 3 / 42 Interpretatie Conditionele onafhankelijkheid (equivalente definitie) P(A A 2 B) P(A B) en P(A 2 A B) P(A 2 B) Als A en A 2 onafhankelijk zijn gegeven B, dan kunnen we dit interpreteren als: en Als we weten dat gebeurtenis B optreedt, dan is alle informatie over het eventuele optreden van A 2 irrelevant met betrekking tot het eventuele optreden van A. Als we weten dat gebeurtenis B optreedt, dan is alle informatie over het eventuele optreden van A irrelevant met betrekking tot het eventuele optreden van A 2. Voorbeeld 8 We hebben twee flippo s, waarvan flippo no. een rode en een blauwe kant heeft, en flippo no. 2 een groene en een gele kant. We nemen willekeurig één van de flippo s en werpen twee keer met deze flippo. We noemen de gebeurtenissen: Vraag F 2 flippo no. 2 is gekozen; G de eerste worp is geel; G 2 de tweede worp is geel; Zijn G en G 2 onafhankelijk? Zijn G en G 2 onafhankelijk gegeven F 2? Hfdstk 2: Onafhankelijkheid Conditionele onafhankelijkheid 32 / 42 Hfdstk 2: Onafhankelijkheid Conditionele onafhankelijkheid 33 / 42

9 Voorbeeld 9 Een onderzoek bij 000 patiënten levert de volgende data op griep verkoudheid hoofdpijn aantal x x x x 0 x x - x 20 x x - 40 x x x Vraag: Is verkoudheid onafhankelijk van hoofdpijn? Vraag: Is verkoudheid onafhankelijk van hoofdpijn, gegeven griep? Voorbeeld 0 We hebben twee munten: een zuivere munt A met Kop en Munt, en een zuivere munt B met tweemaal Kop. We trekken aselect één munt en gooien hiermee Benoem de gebeurtenissen: A : munt A getrokken B : munt B getrokken K : eerste worp is Kop : eerste worp is Munt M De eerste worp blijkt Kop. Wat is de kans dat we munt A getrokken hebben? P(K A)P(A) P(A K ) P(K A)P(A) + P(K B)P(B) Hfdstk 2: Onafhankelijkheid Conditionele onafhankelijkheid 34 / 42 Hfdstk 2: Onafhankelijkheid Recursieve berekening 35 / 42 Voorbeeld 0 (Vervolg) We werpen dezelfde munt voor de tweede keer en weer krijgen we Kop. Wat is nu de kans dat we munt A getrokken hebben? Manier : P(A K K 2 ) P(K K 2 A)P(A) P(K K 2 A)P(A) + P(K K 2 B)P(B) P(K A)P(K 2 A)P(A) P(K A)P(K 2 A)P(A) + P(K B)P(K 2 B)P(B) Hfdstk 2: Onafhankelijkheid Recursieve berekening 36 / 42 Voorbeeld 0 (Vervolg) Manier 2: Gebruik een conditionele versie van de Regel van Bayes: P(A K 2 ) P(A K K 2 ) P(K 2 A)P(A) P(K 2 A)P(A) + P(K 2 B)P(B) P(K 2 AK )P(A K ) P(K 2 AK )P(A K ) + P(K 2 BK )P(B K ) P(K 2 A)P(A K ) P(K 2 A)P(A K ) + P(K 2 B)P(B K ) Hfdstk 2: Onafhankelijkheid Recursieve berekening 37 / 42

10 Toepassing: Spamfiltering Een spamfilter besluit op grond van het voorkomen van bepaalde woorden in een bericht of het spam of ham. Een Bayesian spamfilter gebruikt hiervoor voorwaardelijke kansen en de regel van Bayes. Het werkt als volgt: Geef de verschillende woorden in een bericht aan met w, w 2,..., w n. Het filter berekent en P(SPAM w w 2... w n ) P(HAM w w 2... w n ). Als de verhouding P(SPAM w w 2... w n ) voldoende groot is, P(HAM w w 2... w n ) dan besluit het filter dat het bericht SPAM is. Hoe berekenen we P(SPAM ) en P(HAM )? Met de Regel van Bayes! P(SPAM w... w n ) P(w... w n SPAM)P(SPAM) P(w... w n ) P(HAM w... w n ) P(w... w n HAM)P(HAM) P(w... w n ) en dus ook P(SPAM w... w n ) P(HAM w... w n ) P(w... w n SPAM)P(SPAM) P(w... w n HAM)P(HAM) Hfdstk 2: Onafhankelijkheid Toepassing Spamfiltering 38 / 42 Hfdstk 2: Onafhankelijkheid Toepassing Spamfiltering 39 / 42 Bij benadering geldt en P(w... w n SPAM) P(w... w n HAM) De verhouding P(SPAM ) P(HAM ) n P(w i SPAM) i n P(w i HAM). i wordt nu gelijk aan P(SPAM w... w n ) P(HAM w... w n ) P(SPAM) n i P(w i SPAM) P(HAM) n i P(w i HAM) De kansen P(SPAM) P(HAM) P(SPAM) P(w i SPAM) P(w i HAM) worden bepaald door te leren uit data. Dit gebeurt initiëel met een trainingsset van berichten; adaptief aan de hand van nieuwe berichten. Deze methode van filtering waarbij de benadering P(w... w n SPAM) P(w i SPAM), i gebruikt wordt, heet naïef Bayes filtering. Hfdstk 2: Onafhankelijkheid Toepassing Spamfiltering 40 / 42 Hfdstk 2: Onafhankelijkheid Toepassing Spamfiltering 4 / 42

11 Met de stof van Hoofdstuk 2 moet je kunnen Voorwaardelijke kansen herkennen ( als gegeven is..., als je weet dat... ) én uitrekenen. De rekenregels voor voorwaardelijke kansen toepassen om kansen uit te rekenen die rechtstreeks in de probleemomschrijving staan. (On)afhankelijkheid van gebeurtenissen afleiden Voorwaardelijke (on)afhankelijkheid afleiden Begrijpen hoe een Bayes spamfilter werkt. Hfdstk 2: Onafhankelijkheid Toepassing Spamfiltering 42 / 42