Statistische aspecten van de vaststelling van fraude na opsporing via datamining. Marjan Sjerps - KdVI (Uva) - NFI

Transcriptie

1 Statistische aspecten van de vaststelling van fraude na opsporing via datamining Marjan Sjerps - KdVI (Uva) - NFI

2 - Statistiek team - Principal scientist team - Stochastiek cluster

3 Inhoud De LR methode voor interpretatie van bewijs DNA database match interpretatie Search en selectie problemen Toepassing op verzekeringsfraude (?)

4 DE LR METHODE VOOR EVALUATIE VAN BEWIJS

5 Kansuitdrukkingen 1 rode 10 zwarte fractie: 1/11 frequentie: 1 op 11 percentage: 9,09% kansverhouding= 1:10 Engels: odds

6 Moord op de Costa Magica

7 Leve de wiskunde 2011

8 DNA profiel

9 Kans dat Jan het spoor maakte mogelijke daders: Jan anderen Hoe groot is de kans dat Jan het spoor maakte? Antwoord: 1 tegen /1001 Informatie: Het DNA profiel van Jan is hetzelfde als van het spoor. Er is een match. Berekende frequentie profiel is 1/100 Hoe groot is nu de kans dat Jan het spoor maakte? Antwoord: 1 tegen 10 1/11

10 Moord op de Judith

11 Kans dat Kees het spoor maakte Mogelijke daders: Kees anderen Hoe groot is de kans dat Kees het spoor maakte? Antwoord: 1 tegen 100 1/101 Informatie: Het DNA profiel van Kees is hetzelfde als van het spoor. Er is een match. Berekende frequentie profiel is 1/100 Hoe groot is nu de kans dat Kees het spoor maakte? Antwoord: 1 tegen 1 1/2

12 Kans dat verdachte het spoor maakte frequentie profiel 1/100 Aantal anderen Kans dat verdachte het spoor maakte / /2??

13 LR benadering H p : hypothese van het OM H d : alternatieve hypothese van de verdediging I: alle achtergrondinformatie over het misdrijf. E: DNA profielen van verdachte en spoor prior odds x LR = Posterior odds P[H p ] x [E H p ] = P[H p E] P[H d ] P[E H d ] P[H d E]

14 LR is maat voor bewijskracht H1 uitgesloten neutraal H2 uitgesloten 0 1 LR Bewijs steunt H2 Bewijs steunt H1

15 Het LR-framework: de magische vragen Welke hypothesen wil ik beschouwen? Hoe waarschijnlijk zijn deze a priori? (prior odds) Welke observaties vormen het bewijsmateriaal? Hoe waarschijnlijk zijn deze observaties als hypothese 1 waar is? En als hypothese 2 waar is? (LR) Hoe waarschijnlijk zijn de hypothesen gegeven dit bewijsmateriaal? (posterior odds)

16 LA-ICP-MS

17 Case data: 10 elemental concentrations (LA-ICP-MS)

18 Voorbeeld: chemische elementsamenstelling (glas) Hypothese 1: fragmentje is van ruitje achterdeur Hypothese 2: fragmentje is van andere glasbron Bevindingen: LA-ICP-MS data

19 Likelihood ratio (LR): chemisch (glas) Kans op bevindingen, als hypothese 1 waar is Kans op bevindingen, als hypothese 2 waar is Teller: Hoe goed passen de concentraties in het fragmentje bij de concentraties in het ruitje? (variatie binnen de bron) Noemer: Hoe goed passen de concentraties in het fragmentje bij de concentraties van een willekeurige glasbron? (variatie tussen bronnen) (zeldzaamheid) Teller/Noemer =LR

20 Conclusie: glas De bevindingen zijn veel waarschijnlijker wanneer het fragment afkomstig is van het ruitje van de achterdeur dan wanneer het fragment afkomstig is van een andere glasbron

21 Wat is de kans dat het glasfragment van de achterdeur afkomstig is? Hiervoor moet je twee dingen weten: 1. De LR van de bevindingen t.a.v. hypothese 1 en 2 2. Wat is de overige informatie in de zaak? Verdachte is op heterdaad gearresteerd Verdachte liep twee straten verder s nachts op straat

22 De regel van Bayes Prior odds x LR = posterior odds

23 De Likelihood Ratio (LR): algemeen Kans op bevindingen, als hypothese 1 waar is Kans op bevindingen, als hypothese 2 waar is = x% y% = LR

24 Bewijs principes Principe 1: De deskundige kan geen uitspraak doen over de kans op een hypothese, bijv. dat het spoor afkomstig is uit een bepaalde bron Principe 2: Om de waarde van een bewijsmiddel te bepalen moet je tenminste twee hypothesen beschouwen Principe 3: Bevindingen vormen bewijs als het waarnemen ervan waarschijnlijker is onder de ene hypothese dan onder de andere Principe 4: Bewijskracht kun je meten met de Likelihood Ratio Principe 5: De deskundige doet een uitspraak over de LR, de jurist stelt hiermee zijn a priori kans bij (regel van Bayes)

25 Interpretatie van database matches

26 DNA Database matches sporen verdachten Neemt de bewijswaarde van de DNA match af als de database groeit?

27 Match in UK database (5 miljoen personen) verdachten Jan 1 op 1 miljoen

28 Hoe groter de database, hoe meer personen zijn uitgesloten als mogelijke donor, hoe sterker het bewijs. Deskundige kan gewoon berekende frequentie rapporteren (p) Hoe groter de database, hoe groter de kans dat de zoekactie een toevalsmatch oplevert, dus hoe zwakker het bewijs. Deskundige moet frequentie corrigeren (n x p)

29 May DNA matches aren't always a lock At Puckett's trial earlier this year, the prosecutor told the jury that the chance of such a coincidence was 1 in 1.1 million. Jurors were not told, however, the statistic that leading scientists consider the most significant: the probability that the database search had hit upon an innocent person. In Puckett's case, it was 1 in 3. The case is emblematic of a national problem, The Times has found. Interpretatie van (DNA) bewijs

30 PS Public service.co.uk

31 ROTTERDAM - De Rotterdamse korpschef Frank Paauw wil dat alle Nederlanders dna afstaan, zodat de politie meer misdrijven kan oplossen. Tot nu toe moeten alleen verdachten van een misdrijf waar vier jaar celstraf of meer voor staat, hun dna afgeven. (14 maart 2011)

32 Likelihood Ratio (LR) voor DNA match Hypothesen: hypothese 1: Jan is de donor hypothese 2: onbekende persoon is de donor Kans op DNA match als Jan donor is Kans op DNA match als onbekende donor is = 1/Match kans (aanname: geen fouten) = (bijvoorbeeld voor partieel profiel) = 1 miljard (volledig DNA profiel)

33 De regel van Bayes Prior odds x LR = posterior odds

34 Aandachtspunt in NFIrapport Onvolledig DNA profiel / mengsel en geen andere aanwijzingen Volledig DNA profiel en andere aanwijzingen Toeval zeker niet uitgesloten Toeval vrijwel uitgesloten

35 Samenvatting database match Bewijskracht DNA neemt niet af bij meer vergelijkingen Bij een database match kan overige bewijs ontbreken Vooral bij profielen met lage bewijswaarde dan een reële kans dat DNA niet van verdachte is Jurist moet DNA-match wegen met overige bewijs

36 Search en Selectie effecten: algemeen

37 Interessante vragen: Stel dat een waarneming eerst wordt gebruikt voor identificatie van een interessant subject en vervolgens als bewijsmiddel tegen datzelfde subject. Mogen waarnemingen in deze dubbele rol worden gebruikt? Hypothesen worden opgesteld nadat men naar de waarnemingen gekeken heeft. Mogen dergelijke data-afhankelijke hypothesen worden geformuleerd? Stel dat de kenmerken van een spoor worden vergeleken met de kenmerken van meerdere potentiele bronnen. Daarna wordt ingezoomd op de best gelijkende bron en de bewijswaarde van de overeenkomst in de kenmerken tussen deze bron en het spoor wordt gerapporteeerd > Moeten we corrigeren voor het aantal vergelijkingen dat is gemaakt? > Moeten we corrigeren voor de voorselectie ( selection bias ), zodat we al bij voorbaat weten dat we een look-alike gaan vergelijken?

38 Fingerprints: Brandon Mayfield

39 Vezel vergelijking

40 Beeld vergelijking

41 Dienstroosterdata: Lucia de B.

42 Criminele analyses Kenniscentrum intelligente dataanalyse (NFI / KECIDA)

43 Antwoord: Bayesiaanse model voor interpretatie bewijs Er is geen enkel probleem met dubbele rollen Voor data-afhankelijke hypothesen en selection bias wordt gecorrigeerd via de prior kansen op de hypothesen, dus dit is ook geen enkel probleem Meer vergelijkingen voegt alleen maar informatie toe en is ook geen probleem Zie Sjerps en Meester (2009)

44 Search en Selectie effecten: verzekeringsfraude

45 Verzekeringsfraude (?) Twee situaties: 1. Probable cause: Er zijn externe aanwijzingen dat Jan fraudeert (bijvoorbeeld aangifte door collega). Op basis hiervan wordt de score op parameter S van Jan vergeleken met een databestand. Het blijkt dat de score van Jan (s) opvallend hoog is. 2. Database screen: Een analist onderzoekt een groot databestand. Jan valt op omdat hij een opvallend hoge score (s) heeft voor parameter S (bijv aantal declaraties). Jan wordt op basis hiervan verdacht van fraude en er wordt een onderzoek naar hem gestart. Relevante vraag: hoe groot is de kans dat Jan fraudeert?

46 Database screen: vragen - Mag de score s van Jan dubbel gebruikt worden in situatie 2: eerst om Jan als verdachte te selecteren en vervolgens als bewijs tegen hem? - Hypothese Jan fraudeert is data-afhankelijk (je stelt hem pas op nadat je het bestand hebt gescreend). Mag dat? - Zoekproces levert altijd een verdachte met hoge score op. Is er correctie nodig voor de selectie bias?

47 LR benadering H p : Jan fraudeert H d : Jan is eerlijk I: alle achtergrondinformatie E: score van Jan (s) prior odds x LR = Posterior odds P[H p ] x [E H p ] = P[H p E] P[H d ] P[E H d ] P[H d E]

48 De Likelihood Ratio (LR): verzekeringsfraude Kans dat Jan score s heeft, als hij fraudeert Kans dat Jan score s heeft, als hij eerlijk is = x% y% = LR

49 Aandachtspunt Vrij hoge score maar geen andere aanwijzingen Extreem hoge score en andere aanwijzingen Toeval zeker niet uitgesloten Toeval vrijwel uitgesloten

50 Samenvatting fraude Bewijskracht score s neemt niet af bij groter databestand Dubbele rol informatie (selectie en bewijs), dataafhankelijke hypothesen, selection bias zijn geen probleem: correctie met prior odds. Bij een database screen kan overige bewijs ontbreken Als bewijskracht (LR) van de score niet extreem hoog is dan een reële kans dat verdachte niet fraudeerde Beslisser moet bewijskacht van de score wegen met overige bewijs

51 ICFIS August 2014 Welcome to the Netherlands! 9th International Conference on Forensic Inference and Statistics