Statistische verwerking van ringtestresultaten

Transcriptie

1 25/02/2013 Statistische verwerking van ringtestresultaten Siegfried Hofman

2 ... In that Empire, the Art of Cartography attained such Perfection that the map of a single Province occupied the entirety of a City, and the map of the Empire, the entirety of a Province. In time, those Unconscionable Maps no longer satisfied, and the Cartographers Guilds struck a Map of the Empire whose size was that of the Empire, and which coincided point for point with it. The following Generations, who were not so fond of the Study of Cartography as their Forebears had been, saw that that vast Map was Useless, and not without some Pitilessness was it, that they delivered it up to the Inclemencies of Sun and Winters. In the Deserts of the West, still today, there are Tattered Ruins of that Map, inhabited by Animals and Beggars; in all the Land there is no other Relic of the Disciplines of Geography. Collected Fictions Jorge Louis Borges /02/2013 2

3 ISO Development and operation of proficiency testing schemes Algemene organisatie ISO Statistical methods for use in proficiency testing complementory to ISO on the use of statistical methods Concullega s 25/02/2013 3

4 Stalen(monsters) Rapportering Dataverwerking Evaluatie-eindrapport 25/02/2013 4

5 Stalen(monsters) Rapportering Dataverwerking Evaluatie-eindrapport 25/02/2013 5

6 Keuze van stalen volgens ISO : bepaling referentiewaarde CRM Analyse vs CRM µ uit aanmaak Expert labs Consensus deelnemers 25/02/2013 6

7 Keuze van stalen volgens ISO : bepaling referentiewaarde CRM Zeerbeperkt gekend WAC/BAM/BOC??? Analyse vs CRM Conformiteit WAC/BAM/BOC? µ uit aanmaak Geen rekening met methode bias Expert labs Minstens 11 experts nodig Consensus deelnemers 25/02/2013 7

8 Keuze van stalen volgens ISO : bepaling referentiewaarde CRM Zeerbeperkt gekend WAC/BAM/BOC??? Analyse vs CRM µ uit aanmaak Expert labs Conformiteit WAC/BAM/BOC? Geen rekening met methode bias Minstens 11 experts nodig Metrologische waarde Toegevoegde waarde Consensus deelnemers 25/02/2013 8

9 Keuze van stalen Reële stalen Soms + spike Keuze VITO/OVAM Voordelen Nadelen 25/02/2013 9

10 Keuze van stalen Keuze VITO/OVAM Reële stalen Soms + spike Voordelen Normale routine S meerwaarde «normale» hoeveelheden Bewaring volgens compendia Nadelen 25/02/

11 Keuze van stalen Keuze VITO/OVAM Reële stalen Soms + spike Voordelen Normale routine S meerwaarde «normale» hoeveelheden Bewaring CMA Nadelen Concniet gekend(bias?) Beperkt aantal componenten Concvs RG S vs staal kwaliteit ~ bepaling µ 25/02/

12 Stalen(monsters) Rapportering Dataverwerking Evaluatie-eindrapport 25/02/

13 Rapportering : invullen rapportageformulier ISO The proficiency testing provider shall: have policies and procedures to avoid involvement in any activities that might diminish confidence in its competence, impartiality, judgement or operational integrity Alle deelnemers moeten identiek behandeld worden («wat voor één kan, kan en moet voor allen») 25/02/

14 Rapportering : invullen rapportageformulier Alle deelnemers moeten identiek behandeld worden («wat voor één kan kan voor allen») Gerapporteerde resultaten mogen niet «geïnterpreteerd» worden maar moeten «as such» overgenomen worden Gevolg voor foutjes bij rapporteren : hier kan NIET MEER ingegrepen worden aangezien we niet kunnen garanderen dat de operator ALLE vergissingen opmerkt. (waar trek je de grens?) Rapportageformulier correct invullen, alle afwijkingen geven aanleiding tot een «slechte» evaluatie AARDE 2012 bodem 50% vd «slechte «scores (9/1822) agv rapportage («<«niet meegerekend) 25/02/

15 Stalen(monsters) Rapportering Dataverwerking Evaluatie-eindrapport 25/02/

16 Samenstelling dataset Berekenen van kengetallen 25/02/

17 : dataset Samenstelling dataset Verwijderen van nonsens niet erkende labo s Beduidende cijfers Behandeling van < Berekenen van kengetallen Algorithme A vs outliers test 25/02/

18 : dataset Samenstelling dataset Verwijderen van nonsens ph > 14 of < 1 waarde< 0 of = 0 of > x eenheidsfouten(vbno3 vs N) verhoudingmet mediaan> of < 10 niet erkende labo s : enkel indien gebruik v. CMA zeker en onder controle 25/02/

19 Rapportering van resultaten : Significante cijfers (beduidende, kenmerkende) Beduidende (significante) cijfers Het aantal significante cijfers van een meetwaarde is het aantal cijfers zonder op de komma te letten. Nullen aan het begin van machten van 10 tellen niet mee 87, 636 : 5 bc 56,33 : 4 bc = : 3 bc = : 2 bc 7 : 1 bc 25/02/

20 Rapportering van resultaten : Significante cijfers (beduidende, kenmerkende) ISO : For the purposes of the calculations required in proficiency testing, it is recommended that individual measurement results should not be rounded by more than σ r / 2 ISO In designing a statistical analysis, the proficiency testing provider shall give careful consideration to the following:......the relevance of significant figures to the reported result, including the number of decimal places; ISO (instructions for participants) specific and detailed instructions on the manner of recording and reporting test or measurement results NOTE : This instruction usually includes parameters such as the units of measurement, the number of significant figures or decimal places and reporting basis (e.g. on dry weight, or as received ). «De behandeling van het aantal beduidende cijfers bij rapportering en verwerking moet zo zijn dat de invloed er van op de statistische verwerking minimaal is» Typisch cfrσ r / 2 25/02/

21 Rapportering van resultaten : Significante cijfers (beduidende, kenmerkende) Analysen moeten in «routine» uitgevoerd worden, dus ook rapportering Rapportering moet rekening houden met de meetonzekerheid Als PT-provider kunnen we niet opleggen om hier van af te wijken (wel vragen ) Min σ voor evaluatie = 5% σ/2 = 2,5% of 0,025 voor 1 1,## We «vragen» 3 beduidende cijfers, indien meer gegeven wordt afgerond voorafgaand aan de verwerking. 25/02/

22 Samenstelling dataset : behandeling van < Niet uit te sluiten bij reële stalen Meerwaarde = blanco controle indien 1/3 van de deelnemers < : waarde vervangen door ½ van de RG indien > 1/3 maar minder dan 2/3 : dataset wordt niet gebruikt indien 2/3 : component is niet aanwezig : controle op vals positief 25/02/

23 0,018 0,016 0,014 0,012 RG Verschuiven van RG naar gemiddelde drie mogelijkheden: <RG verwijderen <RG vervangen door RG <RG vervangen door RG/2 invloed op µ en σ? 0,01 0,008 0,006 0,004 0,002 Hoe meer laboratoria < rapporteren hoe lager de consensuswaarde en hoe groter de onzekerheid hierop : dit moet gereflecteerd worden door de dataverwerking alle data 25/02/

24 0,025 Statistische verwerking van ringtestresultaten 0,03 0,02 0,015 0,01 0, ,005 0,025 0,02 0,015 0, ,005 alle data 4% 10% 14% 18% 30% 38% 0-0,005 0,018 0,016 0,014 0, , ,008 alle data 4% 10% 0,006 14% 18% 30% 38% 0,004 0, alle data 4% 10% 14% 18% 30% 38% 25/02/

25 : dataset Samenstelling dataset Verwijderen van nonsens niet erkende labo s Beduidende cijfers Behandeling van < Berekenen van kengetallen Algorithme A vs outliers test 25/02/

26 Data Data Data Data µ (referentiewaarde) σ (spreiding) z = x i µ σ Data 25/02/

27 : dataset ISO The influence of outliers on summary statistics shall be minimized by the use of robust statistical methods or appropriate tests to detect statistical outliers. ISO : this international standard recommends the use of robust statistical methods a robust statistic is resistant to errors in the results, produced by deviations from assumptions e.g.: lack of normality aberrant datapoints the identification of aberrant datapoints is the goal of Proficiency Testing!!! 25/02/

28 µ µ = gemiddelde σ = standaardafwijking σ 25/02/

29 µ µ = gemiddelde σ = standaardafwijking σ gewoon gemiddelde heeft een breakdown point = 0, één aberrante waarde is voldoende om het gemiddelde oneindig te verplaatsen. 25/02/

30 labo1 10,7 labo2 11,8 labo3 11,5 labo4 10,9 labo5 11,4 labo6 11,2 labo7 11,6 labo9 10,9 labo10 11,4 labo11 11,2 labo12 11,8 labo13 11,1 labo14 12,0 labo15 11,8 labo16 12,0 labo17 11,1 labo18 11,7 labo19 12,0 labo20 11,5 labo21 11,6 labo "X" 11,4 11, ,8 10,6 10,4 10,2 10 9,8 9,6 9,4 9,2 9 8,8 8,6 8,4 µ 11,46 11,45 11,44 11,43 11,42 11,41 11,40 11,39 11,38 11,37 11,36 11,35 11,34 11,33 11,32 11,32 σ 0,38 0,39 0,39 0,41 0,42 0,45 0,47 0,50 0,53 0,56 0,59 0,62 0,66 0,69 0,73 0,77 25/02/

31 25/02/

32 Data Data Data Data Data µ Data Data σ Data Data Outlier test z = x i µ σ Dataset testen op normaliteit (Anderson Darling, Shapiro Wilks, Kolmogorov, Liliefors, ) Onbetrouwbaar bij n<< én met outliers Wat indien niet normaal? vb orka 2012 VOCl : 15/85 niet normaal (Liliefors 95%) Outlier testen niet altijd effectief : gevaar voor onder- of overschatten van σ 25/02/

33 Data Data Data Data Data µ Data Data σ Data Data Outlier test z = x i µ σ outlier test is niet altijd effectief wat met niet normaal verdeelde data? 25/02/

34 Algoritme A Berekenen van µ en σ Ongevoelig aan outliers Geen veronderstelling van normaliteit Afwijkende resultaten worden niet verwijderd, blijven dus een beperkte invloed uitoefenen 25/02/

35 25/02/

36 Stap 1 : berekenen van : x* = mediaan s* = * mediaan xi-x* δ = 1.5 * s* δ δ Mediaan 25/02/

37 Stap 2 : tranformeren van de data, data verder verwijderd van de mediaan dan δ worden verplaatst tot op δ δ δ Mediaan 25/02/

38 Stap 3 : herberekenen van x*, s* en δ δ δ X* 25/02/

39 Stap 4 : tranformeren van de dataset δ δ X* Stap 5 tot (op basis van SD en gemiddelde): Procedure wordt herhaald tot convergentie (< 0.1% verschil tussen 2 stappen voor µ en σ) 25/02/

40 σ is grosso modo vergelijkbaar Bij aanwezigheid van (door Grubbs erkende) outliers geeft Alg A een iets grotere spreiding Veel lagere spreiding bij falen van de Grubbs test. 25/02/

41 Statistische kengetallen berekening via Alg. A uitschieters worden niet verwijderd data hoeven niet normaal verdeeld te zijn µ en σ steeds uit dataset σ valt meestal iets groter uit, kleiner in specifieke gevallen bij RSD > 50% wordt de parameter meestal niet weerhouden 25/02/

42 Stalen(monsters) Rapportering Dataverwerking Evaluatie-eindrapport 25/02/

43 µ = consensuswaarde (uit groep) reële stalen (methode bias) z = x i µ σ σ = groepsspreiding fit for purpose kleine datasets 25/02/

44 Kleine datasets Probleem bij kleine datasets: ISO 13528: The statistical design for a proficiency testing scheme must consider the minimum number of ISO participants that are needed to meet the objectives of the design, and alternative approaches that will be used if the minimum number is not achieved Kleine datasets worden stiefmoederlijk behandeld in de norm. 25/02/

45 z = x i µ σ Gebaseerd op normale verdeling Z=2 : 95% kans dat de waarde niet meer tot de groep behoort (dus 5% kans op onrechtmatige vlag) µ en ơ worden verondersteld «gekend» te zijn maar aangezien deze bepaald werden uit een steekproef is er een onzekerheid op beide waarden. Eigenlijk moet met een t-student verdeling gewerkt worden 25/02/

46 T-student verdeling Vorm is afhankelijk van het aantal vrijheidsgraden( # deelnemers), breder bij n< komtbijn >> overeenmet normale verdeling Bij evaluatie wordt de steekproef(=groep) vergeleken met de waarde van een labo Vrijheidsgraden ~aantal delnemers Hier wordthetcrietriumz>2 «strenger» bijeenkleineraantaldeelnemers. 25/02/ Bij5 deelnemersisde kans dateentekortkomingonterechtis= 10%

47 df (N) % conf /02/

48 z = x f i µ nσ Vanaf < 10 deelnemers wordt het criterium aangepast aan het aantal deelnemers zodat de gestrengheid van de test identiek is aan deze voor n=10 (internationaal wordt niet gecompenseerd vanaf n=10). F stijgt met dalend aantal deelnemers, max = 1.15 bij 5 deelnemers (< 5 deelnemrs = geen verwerking) Vlarel laat enerzijds enkel het gebruik van z-scores toe maar laat de keuze voor de gebruikte spreiding wel vrij. Interpretatie van z-scores blijft identiek 25/02/

49 Pakket 3.3 N σ-voor σ-na z-voor z-na Labo 2 1,1,2-trichloorethaan 6 0,091 0,100-19,81-19,14 Labo 3 hexaan 5 0,117 0,135 69,14 59,92 Labo 3 octaan 7 0,447 0,474 11,42 10,76 Labo 3 som tetrachloorbenzenen 9 0,781 0,793 2,06 1,99 Labo 3 pentachloorbenzeen 8 0,136 0,141 4,39 4,24 Labo 3 benzo(b)fluorantheen 8 0,823 0,852 4,06 3,92 Labo 5 naftaleen 7 0,190 0,202-3,07-2,89 Labo 5 minerale olie (GC-FID) 8 46,900 48,537 6,08 5,88 Labo 6 naftaleen 7 0,190 0,202 5,15 4,85 Labo 1 benzeen 8 0,256 0,265-4,08-3,94 Labo 1 tolueen 9 0,832 0,845-2,06-2,03 Labo 1 hexaan 5 0,117 0,135-23,92-20,73 Labo 1 octaan 7 0,447 0,474-4,23-3,99 Labo 1 1,1,2-trichloorethaan 6 0,091 0,100-19,67-17,91 Labo 1 tetrachlooretheen 9 0,206 0,209 2,05 2,02 Labo 7 1,1,2-trichloorethaan 6 0,091 0,100 4,52 4,11 Labo 8 benzo(a)anthraceen 9 2,120 2,152 2,09 2,05 25/02/

50 Fitness for purpose Probleem bij kleine datasets: Altijdgebruikenvan σ groep uit groep kan aanleiding geven tot bestraffen van zeer kleine afwijkingen Vroeger : deliberatie (*)(X) Nu : overstappen op vaste σ p Typisch 5% voor anorganische en 10% voor organische parameters, kan nog veranderen. 25/02/

51 Dataset ơ*, µ* N< 10? ơ < ơ min? Berekenen van z-scores Ơ p =f n Ơ* Ơ p =Ơ min Indien nodig kan nog een modifier ingevoerd om te compenseren voor inhomogeniteit van de monsters (indien van toepassing) 25/02/

52 x = gerapporteerde waarde (3 BC) bij < x wordt x gebruikt VP bij > 2*RG CMA z = x i µ σ σ = spreiding compensatie indien n <10 σ min bij lage spreidingen niet weerhouden bij RSD > 50% 25/02/

53 Stalen(monsters) Rapportering Dataverwerking Evaluatie eindrapport Vragen? 25/02/