Kansrekening en Statistiek College 6 Donderdag 6 Oktober 1 / 1
1 Kansrekening Vandaag: Poisson verdeling Hypergeometrische verdeling Stelling van Bayes Bayesiaans leren 2 / 1
Poisson verdeling 3 / 1
Poisson verdeling Def. Een discrete stochast X waarvan de waardes in de natuurlijke getallen liggen, heeft een Poisson verdeling met gemiddelde λ als λ > 0 en er geldt dat P(X = k) = λk e λ k! (k = 0, 1, 2,... ). St. Voor grote n en kleine p benadert de Poisson verdeling met gemiddelde np de binomiale verdeling met kans op succes p en aantal herhalingen n, d.w.z: n k p k (1 p) n k (np)k e np. k! 4 / 1
Hypergeometrische verdeling 5 / 1
Hypergeometrische verdeling Def. Een stochast X waarvan de waardes in de natuurlijke getallen liggen heeft een hypergeometrische verdeling als er getallen n, m, i N zijn zodat `n ` m k i k P(X = k) = `n+m. i 6 / 1
Hypergeometrische verdeling Vb. Wanneer X het aantal rode ballen is bij het trekken van i ballen (zonder terug leggen) uit een vaas met n rode en m witte ballen, dan heeft X een hypergeometrische verdeling. Wanneer X het aantal illegalen is bij het oppakken van i willekeurige mensen in een flatgebouw waar n illegalen wonen en m niet-illegalen, dan heeft X een hypergeometrische verdeling. 7 / 1
Stelling van Bayes 8 / 1
Stelling van Bayes: gelijke kansen Vb. Twee enveloppen met kralen, waarvan 1 tevens e100 bevat: e100 Je mag een willekeurige envelop kiezen en ontvangt daarvan de inhoud. Je moet echter voordat je de envelop opent een bedrag x betalen, dat zodanig is dat het spel eerlijk is. Bij welke x is het een eerlijk spel? e50. Stel dat je eerst een willekeurige kraal uit de gekozen envelop mag nemen. Als die kraal rose is, wat moet x dan zijn? e 200 3 67. Als die kraal grijs is, wat moet x dan zijn? e 200 5 = 40. De kans dat het de i e envelop is gegeven dat de kraal rose (r) is: P(i r) = P(r i) P(r 1) + P(r 2). 9 / 1
Bayesiaans leren 10 / 1
Bayesiaans leren Def. Bayesiaans leren heeft (in essentie) de volgende vorm: Er zijn een aantal hypotheses H 1,..., H n die samen een partitie van de uitkomstenruimte vormen. De hypotheses zijn meer of minder waarschijnlijk: de (initiële) bijbehorende verdeling is de a-priori verdeling, de kansen P(H i ) zijn de a-priori kansen. Na het verkrijgen van nieuwe informatie/data/gebeurtenis E worden de kansen van de hypotheses aangepast volgens de stelling van Bayes: P(H i E) = P(E H i )P(H i ) P n j=1 P(E H j )P(H j ). De kansen P(H i E) zijn de a-posteriori kansen. De kansen P(E H i ) zijn de likelihoods van E. Om de a-posteriori kansen P(H i E) te berekenen moeten de a-priori kansen P(H i ) en de likelihoods P(E H i ) bekend zijn. Def. De a-priori kansen geven de bias bij aanvang weer: Bij P(H i ) > P(H j ) wordt H i waarschijnlijker geacht dan H j. Bij P(H i ) = P(H j ) worden beide hypotheses even waarschijnlijk geacht. 11 / 1
Bayesiaans leren Leren: Op grond van telkens nieuwe data E 1, E 2,... wordt de verdeling van de hypotheses voortdurend aangepast, P 0, P 1, P 2,... : P 0 is de a-priori verdeling, waarbij P 0 (H i ) = P(H i ). Na het verkrijgen van data E 1 wordt de nieuwe verdeling P 1, waarbij P 1 (H i ) = P 0 (H i E 1 ). Na het verkrijgen van data E 2 wordt de nieuwe verdeling P 2, waarbij P 2 (H i ) = P 1 (H i E 2 ). Etc. Def. Het Brute-Force MAP Learning Algoritme output na een update op grond van informatie E een hypothese die de hoogste waarschijnlijkheid heeft met betrekking tot E, dat wil zeggen een hypothese H i waarvoor P(H i E) maximaal is. 12 / 1
Bayesiaans leren Vb. Voor een spamfilter is c het percentage spam van alle emails die het woord VIAGRA bevatten. Stel dat het filter aanneemt dat c 80% of 90% is, en aanvankelijk beide waardes voor even waarschijnlijk houdt: P(c = 80%) = P(C = 90%) = 0.5. Hierbij wordt aangenomen dat de verdeling van spam/niet-spam binomiaal is. Jij bent het spamfilter aan het trainen en van de 100 emails die het woord VIAGRA bevatten geef je aan dat er 98 spam zijn. Noem deze data/gebeurtenis E. Dan zal op grond van deze data het filter voor c = 90% kiezen: P(E c = 90%) P(c = 90% E) = P(E c = 90%) + P(E c = 80%) = `100 (0.9) 98 98 (0.1) 2 `100 (0.8) 98 98 (0.2) 2 + `100 (0.9) 98 98 (0.1) = 0.9999612. 2 Daarmee is P(c = 80% E) = 1 0.9999612 < P(c = 90% E), en zoals verwacht is P(c = 90% E) de meest waarschijnlijke hypothese. 13 / 1
Bayesiaans leren Vb. Gegeven is een valse munt waarvan bekend is dat de kans p op K 0.42 of 0.43 is. Beide mogelijkheden worden even waarschijnlijk geacht: P(p = 0.42) = P(p = 0.43) = 0.5. De munt wordt 7 maal geworpen, X is het aantal maal K. Stel dat X = 3. Welke hypothese is op grond van deze informatie het waarschijnlijkste? P(X = 3 p = 0.42) P(p = 0.42 X = 3) = P(X = 3 p = 0.42) + P(X = 3 p = 0.43) = `7 (0.42) 3 3 (0.58) 4 `7 (0.42) 3 3 (0.58) 4 + `7 (0.43) 3 3 (0.57) = 0.4997. 4 Dus P(p = 0.43 X = 3) = 1 0.4997 = 0.5003 > 0.4997, en daarmee is p = 0.43 de meest waarschijnlijke hypothese op grond van de data 3 maal K bij 7 worpen. 14 / 1
Bayesiaans leren Vb. Gegeven is een valse munt waarvan bekend is dat de kans p op K 0.42 of 0.43 is. Op grond van de verkregen informatie dat er bij het 7 maal werpen van de munt 3 maal K is gegooid (zie vorige slide), is de (nieuwe) verdeling van p: P(p = 0.42) = 0.4997 en P(p = 0.43) = 0.5003. De munt wordt nog eens 11 maal gegooid, Y is het aantal maal K. Stel dat Y = 4. Welke hypothese is op grond van deze informatie het waarschijnlijkste? P(p = 0.42 Y = 4) = = P(Y = 4 p = 0.42)P(p = 0.42) P(Y = 4 p = 0.42)P(p = 0.42) + P(Y = 4 p = 0.43)P(p = 0.43) `11 (0.42) 4 4 (0.58) 7 (0.4997) `11 (0.42) 4 4 (0.58) 7 (0.4997) + `11 (0.43) 4 4 (0.57) 7 (0.5003) = 0.51. Dus P(p = 0.43 X = 3) = 1 0.51 = 0.49 < 0.51, en daarmee is p = 0.42 de meest waarschijnlijke hypothese op grond van de laatste data 4 maal K bij 11 worpen. Merk op: Hoewel de bias voor p = 0.42 (P(p = 0.42) = 0.4997) lager is dan die voor p = 0.43 (P(p = 0.43) = 0.5003) is de nieuwe informatie 4 maal K bij 11 worpen zodanig dat daarna p = 0.42 toch het meest waarschijnijk is. 15 / 1
Bayesiaans leren Vb. Een diagnostisch algoritme (DA) moet een zekere ziekte Z leren diagnostiseren op grond van drie symptomen S 1, S 2, S 3. Als leerdata krijgt het algoritme rijtjes ter lengte drie waarbij een 0 (1) staat voor het wel (niet) hebben van het symptoom. De hypotheses zijn verzamelingen rijtjes: de rijtjes in een hypothese beschrijven exact de mogelijke symptomen bij de ziekte. De grootte van de uitkomstenruimte is dus 2 23 = 256. Aanvankelijk wordt elke hypothese even waarschijnlijk geacht: P(H i ) = 1. Als likelihoods worden gekozen: 256 j 1 P(r H) = als r H 0 anders. De eerste data bestaan uit een zieke patiënt met symptomenrijtje (0, 1, 1). Door deze gevens vallen alle hypothesen die r 1 = (0, 1, 1) niet bevatten af, en de overige zijn allen even waarschijnlijk: j 1 als r P(H r 1 ) = 128 1 H 0 anders. De volgende data bestaan uit iemand die de ziekte niet heeft, met symptomenrijtje (1, 1, 1). Door deze gegevens vallen alle hypothesen die r 2 = (1, 1, 1) bevatten af, en de overige zijn allen even waarschijnlijk: j 1 als r P(H r 2 ) = 64 1, r 2 H 0 anders. Etc. 16 / 1
Bayesiaans leren Er zijn vele varianten van het voorbeeld op de vorige slide. In abstracto gebeurt er het volgende. Men begint met een aantal hypothesen die aanvankelijk even waarschijnlijk worden geacht. Verder is het zo dat hypothesen wel of niet consistent kunnen zijn met zekere data, wat de volgende likelihoods geeft: j 1 als H consistent is met d P(d H) = 0 anders. Op grond van data d zijn de a-posteriori kansen dan als volgt: j 1 als H consistent is met d P(H d) = het aantal hypothesen dat consistent is met d 0 als H inconsistent is met d. 17 / 1
Antwoord op een vraag: het drie gevangenen probleem Er zijn drie gevangen, A, B en C, die weten dat er twee van hen willekeurig gekozen en vervolgens terechtgesteld zullen worden. De overlevingskans voor ieder van hen is dus 1. A vraagt aan Rita, de cipier, om één gevange ongelijk A te noemen die 3 terechtgesteld wordt. Rita zegt: B. Wat is nu de kans dat A overleeft? Er lijken twee antwoorden mogelijk: A krijgt geen nieuwe informatie, hij wist toch al dat B of C terechtgesteld zou worden, dus zijn overlevingskans blijft 1 3. Eerst waren er drie mogelijkheden: A of B of C overleeft. Nu zijn er twee mogelijkheden: A of C overleeft. De kans dat A overleeft is 1 2. Wat is de juiste redenering? 18 / 1
2 Statistiek 19 / 1
2 Statistiek Vandaag: Maten Standaardscores Normale verdeling 20 / 1
Grapje http://abstrusegoose.com/54: 21 / 1
Vragen: Simpson paradox Het licht er maar aan welke data je gebruikt: Bij een universiteit met twee faculteiten, Geesteswetenschappen en Beta-wetenschappen, solliciteren 200 vrouwen en 200 mannen: 200 bij Geesteswetenschappen en de rest bij Beta-wetenschappen. Het percentage van de vrouwelijke sollicitanten dat wordt aangenomen bij de gehele universiteit blijkt lager dan het percentage van de mannelijke sollicitanten dat wordt aangenomen. Men spreekt er schande van. Bij de beide faculteiten apart is het andersom. Men spreekt zijn goedkeuring uit. Hoe dat kan: soll. aang. % ~soll. ~aang. ~% Universiteit 200 70 35 200 30 15 Geestes 190 70 39 10 10 100 Beta 10 0 0 190 20 11 22 / 1
Psychologisch onderzoek De meeste mensen hebben het nauwelijks in de gaten als er tegen hen wordt gelogen. Dat blijkt uit een onderzoek van Psychologie Magazine. Wanneer mensen moeten bepalen of iemand anders liegt of niet, slagen ze daar maar in 50 procent van alle gevallen in. Zeventig procent van de deelnemers waren van mening dat leugenaars meer nerveuze bewegingen maken dan mensen die de waarheid vertellen. Uit wetenschappelijk onderzoek blijkt echter dat lichaamstaal nauwelijks iets zegt over de betrouwbaarheid van een spreker. De deelnemers aan het onderzoek werden ook ondervraagd over hun persoonlijke neiging tot liegen. Uit hun antwoorden bleek dat vrouwen in het dagelijks leven vooral liegen over hun gewicht en de hoeveelheid geld die ze hebben uitgegeven. Mannen vertellen eerder een leugen over hun prestaties en over de hoeveel geld ze verdienen. (Bron: nu.nl 21 September 2011) 23 / 1
Hoe onderzoek wordt uitgevoerd In the International Herald Tribune 1 Juli 2010 stond de volgende tabel. Wat bijzonder was: er stond bij hoe het onderzoek was uitgevoerd. How the poll was conducted The poll on gender equality was conducted by the Pew Research Center in association with the International Herald Tribune in 22 countries: Argentina, Brazil, Britain, China, Egypt, France, Germany, India, Indonesia, Japan, Jordan, Kenya, Lebanon, Mexico, Nigeria, Pakistan, Poland, Russia, South Korea, Spain, Turkey and the United States. These questions are part of the larger 2010 Pew Global Attitudes Project. Interviews were conducted either by telephone or in person in April and May. In most countries, samples of 700 to 1,300 people were representative of the adult population. In China, India and Pakistan, the samples included at least 2,000 adults and were disproportionately urban. In addition, areas of instability in Egypt and Lebanon and remote sectors of Indonesia, Russia and South Korea were not surveyed. The margin of sampling error for each country was plus or minus three to five percentage points. In addition, the practical difficulties of conducting any survey of public opinion may introduce other sources of error into the poll. Translation of questions into the many languages involved, for example, may lead to somewhat differing results. Each survey was conducted under the direction of Princeton Survey Research Associates International. 24 / 1
Maten 25 / 1
Maten: percentiel, modus en mediaan Def. Het x percentiel van een verdeling is dat punt in de verdeling waarop of beneden x procent van de scores valt. Def. De modus is de score met de hoogste frequentie. Def. De mediaan is het 50e percentiel (de score waar beneden de helft van de scores valt). Bij een oneven aantal scores is het de middelste score, bij een even aantal scores het midden tussen de twee middelste scores. 26 / 1
Maten: percentiel, modus en mediaan Vb. Van http://www.politiekedialoog.nl: Nederlanders discussiëren op het internet over allerlei zaken die hen bezighouden. Dus ook over politiek. De modus is Wilders. De modus is een van de weinige maten die toepasbaar is op nominale distributies. Er zijn geen percentielen, en dus ook geen mediaan, omdat de schaal geen getalswaardes zijn. 27 / 1
Maten: percentiel, modus en mediaan Vb. Het aantal verkochte ijsjes in een ijskraam per smaak per dag: vanille pistache straciatelle framboos 100 110 80 110 De modus is/zijn pistache en framboos. De modus hoeft niet uniek te zijn. Er zijn geen percentielen, en dus ook geen mediaan, omdat de schaal nominaal is. 28 / 1
Maten: percentiel, modus en mediaan Vb. Het aantal computers per gezin in een bepaald dorp: aantal computers 0 1 2 3 4 5 6 7 frequentie 1 1 3 2 0 1 0 1 Er zijn 9 scores. De modus is 2. De mediaan is de middelste waarde, de waarde van de 5e score: 2. Wanneer de scores op een rij gezet worden is dat makkelijk te zien: 012223357. 7 scores vallen op en beneden score 3. 7 is 78% van 9, dus het 78e percentiel is 3. Vb. Het aantal computers per gezin in een bepaald dorp: aantal computers 0 1 2 3 4 5 6 7 frequentie 1 1 3 2 0 1 0 2 Er zijn 10 scores. De mediaan is het midden tussen de twee middelste waardes (de waardes van de 5e en de 6e score), die 2 en 3 zijn. De mediaan is dus 2.5. 29 / 1
Maten: gemiddelde Def. Het gemiddelde is het rekenkundig gemiddelde van de scores in de categorieën: de som van de scores gedeeld door het aantal categorieën: P n i=1 X = X i, n waarbij X i de scores zijn en n het aantal waarnemingen is. Merk op: Als de data gegeven zijn via een frequentie distributie, dan kan het gemiddelde zo berekend worden: P n i=1 X = f i X i, n waarbij X i de scores (klassen) zijn, n het aantal waarnemingen is en f i de frequentie (het aantal) van de waarnemingen in klasse X i. 30 / 1
Maten: percentiel, modus en mediaan Vb. Gegevens van TNS NIPO. Het aantal grove woorden per uur in 2004: NOS 0.3 IKON 1.5 KRO 1.7 Veronica 2.5 VARA 4.1 BNN 5.1 Modus: elke score, want elke score komt één maal voor. Mediaan: 1.7 + 2.5 = 2.1. 2 Gemiddelde: 0.3 + 1.5 + 1.7 + 2.5 + 4.1 + 5.1 6 = 2.533333. 31 / 1
Maten: gemiddelde Vb. Het aantal computers per huis in een dorp met 9 huizen, waarbij de categorieën de scores bevatten: huizen H1 H2 H3 H4 H5 H6 H7 H8 H9 aantal computers 2 3 0 2 5 2 3 1 7 Het gemiddelde aantal computers: 2 + 3 + 0 + 2 + 5 + 2 + 3 + 1 + 7 9 = 25 9 = 2.8. Het aantal computers per huis in hetzelfde dorp, waarbij de categorieën de scores zijn en hun inhoud de frequentie van het voorkomen van de score: aantal computers 0 1 2 3 4 5 6 7 aantal huizen 1 1 3 2 0 1 0 1 Het gemiddelde aantal computers: 0 1 + 1 1 + 2 3 + 3 2 + 0 4 + 1 5 + 0 6 + 1 7 9 = 25 9 = 2.8. 32 / 1
Maten: afwijking Def. Voor elke score (waarde) X i is de afwijking (van het gemiddelde), x i, het verschil met het gemiddelde: x i = (X i X ). Def. De gemiddelde afwijking is het gemiddelde van de absolute waardes van de afwijkingen van het gemiddelde: P n i=1 X i X. n 33 / 1
Maten: afwijking Vb. Het aandeel thuiswerk naar bedrijfstak (CBS 3 Oktober 2011): Het gemiddelde aandeel thuiswerk (afgerond): X = 13 + 15 + 16 + 17 + 18 + 22 + 24 + 26 + 32 + 33 + 41 + 63 12 = 27%. De afwijking van de score van Horeca is 16% 27% = 11%. Die van Onderwijs is 63 27 = 36%. 34 / 1
Vb. Dagelijkse rokers in 10 landen (2006): Maten: afwijking Het gemiddelde percentage van de dagelijkse rokers onder de mannen in de 10 landen: X = 37 + 47 + 35 + 37 + 41 + 32 + 25 + 31 + 22 + 13 10 = 32%. De afwijking van de score van Duitsland is 37% 32% = 5%. Die van Finland is 25 32 = 7%. Evenzo voor de andere landen: Nederland Hongarije Estland Roemenië Portugal... 3 5 9 0-1... 35 / 1
Maten: afwijking Vb. Hoeveelheid geïmporteerde wijn in miljoen liter(cbs 28 September 2011): Het gemiddelde in 2010 (afgerond): 13 + +14 + 15 + 19 + 23 + 25 + 42 + 47 + 75 + 112 X = = 39. 10 De gemiddelde afwijking: ( 13 39 + 14 39 + 15 39 + 19 39 + 23 39 + 25 39 + 42 39 + 47 39 + 75 39 + 112 39 )/10 = (26 + 25 + 24 + 20 + 16 + 14 + 3 + 8 + 36 + 73)/10 = 24.5 36 / 1
Maten: afwijking St. De som van de afwijkingen van het gemiddelde is 0. Bew. P nx nx nx n i=1 (X i X ) = X i nx = X i n X nx nx i = X i X i = 0. n i=1 i=1 i=1 i=1 i=1 37 / 1
Maten: gemiddelde afwijking Vb. Begrotingstekort verbeteren in miljarden euro s: VVD (39), CDA (34), PVV (17). Gemiddelde VVD, CDA, PVV: X = 39+34+17 3 = 30. Gemiddelde afwijking: 39 30 + 34 30 + 17 30 3 = 9 + 4 + 13 3 = 8.7. 38 / 1
Maten: gemiddelde afwijking Vb. Het aantal kinderen per persoon van 4 personen A, B, C, D: A B C D 0 2 1 2 Het gemiddelde is 5. De afwijkingen van het gemiddelde zijn 4 De gemiddelde afwijking is x A = 5 4 x B = 3 4 x C = 1 4 x D = 3 4. 5 4 + 3 4 + 1 4 + 3 4 4 = 12 4 4 = 3 4. 39 / 1
Finis 40 / 1