6-SIGMA METRICS. Teaching old dogmas and learning new tricks. Douwe van Loon

Transcriptie

1 6-SIGMA METRICS Teaching old dogmas and learning new tricks Douwe van Loon

2 Na deze presentatie zou u kunnen weten: dat IQ controle meer is dan alleen de bewaking van de interne kwaliteit van onze analyses op basis van metingen aan controle materialen, het nemen van dagelijkse steekproeven slechts een onderdeel is van procesbewaking, het ontwerpen van de procesbewaking voor een testprocedure beter is dan slechts het toepassen van de Westgard regels, het ontwerpen van de procesbewaking leidt tot een reductie in kosten (minder management van gedoe!), dat inzicht in procesbewaking leidt tot inzicht in onze kwaliteit naar de kliniek toe enz, enz, enz

3 Allereerst: Technische autorisatie betekent de vrijgifte van resultaten aan de hand van steekproeven op geschikte controle materialen De controle materialen dienen stabiel te zijn in de tijd, een toegekende doelwaarde te hebben (de target value ) Het analyse syteem (combinatie van het meetinstrument en de reagentia) kent een interne meetfout, de standaarddeviatie (VC %) Het antwoordt ken een (klinische) tolerantie op basis van biologische spreidingen op basis van klinische beslisgrenzen Met behulp van de laatste gegevens kunnen we vaststellen hoeveel klinisch correcte antwoorden we geven aan de kliniek. Met de gegevens kunnen we kwaliteitsdoelen stellen voor elk analytisch proces in het laboratorium.

4 Allereerst: Voor het correct vast stellen van de interne fout van het meetsysteem (combinatie van het meetinstrument en de reagentia) wordt uitgegaan van minstens 20 waarden verkregen m.b.v. een controlemateriaal. Uit de resultaten wordt het gemiddelde berekend en de bijbehorende standaard deviatie (VC %) Bij minder dan 20 metingen kan niet worden uitgegaan van de normaalverdeling maar moet worden uitgegaan van de T-verdeling.

5 Allereerst: Als hulpmiddel wordt de Levey-Jenning plot gehanteerd met de 2sd en 3 sd bewakingsgrenzen. Waarnemingen (resultaten van controle metingen) buiten de specificaties zijn aanwijzingen dat het systeem niet in controle is. De controleregels zijn gericht op het herkennen van random fouten en systematische fouten

6 5

7

8 7

9 Levey-Jenning controlekaart met gecombineerde Westgard regel 1 2S, 2 2S, 1 3S, R 4S 3sd 2sd 1sd X gem -1sd -2sd -3sd

10 Levey-Jenning controlekaart met enkelvoudige Westgard regel 1 3S 3sd 2sd 1sd X gem -1sd -2sd -3sd

11 Soort fout Westgard regel Waarschuwing 1 2s Willekeurige fout (random) 1 2.5s, 1 3s, 1 3.5s R 4s, Systematische fout 2 2s, 4 1s, 2 of 3 2s, 3 1s 6 x, 8 x, 9 x, 10 x, 12 x x 0.05, x 0.01 cusum

12 Diagnostic Classification Goals Medically Important Changes Proficiency Testing Criteria Individual Biological Goals Clinical Outcome Criteria (D int ) Total Biological Goals Performance Criteria SD max, bias max Analytical Outcome Criteria (TE a ) State of the Art Operating Specifications s meas, bias meas, control rules, N Arbitrary Control

13 De normale verdeling N(0,1) met µ=0 en σ= f(x) = e σ 2π (x µ) 2 σ 2 Spreiding in sd eenheden X - µ

14 De 2sd- en 3sd bewakingslijnen en de kansverdeling (normaal verdeling) 95% 99%

15 90% 5% 1,65 sd

16 Buiten de bewakingsgrenzen wordt onterecht afgekeurd, het systeem is in control 0,13%

17 Buiten de bewakingsgrenzen wordt terecht afgekeurd, het systeem is out of control Bias = 1 sd 2 sd 2,5%

18 90 % AQA ; 5% eenzijdige overschrijding van controle waarnemingen 1,65 sd 5%

19 1 sd 16%

20 50%

21 Powercurve op basis van 3 sd bewakingsgrenzen percentage buiten specificaties Systematische afwijking in sd eenheden

22 Probability for false rejection (P fr ) Kans op onterechte afkeuring van een controlemeting Beschrijft de waarschijnlijkheid van het afkeuren van een serie metingen in een situatie dat geen analytische storingen aanwezig zijn in het meetsysteem, met uitzondering van de intrinsieke imprecisie van het meetsysteem. In het ideale geval is P fr gelijk aan 0.00, wat betekent dat geen enkele run onterecht wordt afgekeurd. In de praktijk wordt een P fr van 0.01 gezien als ideaal en een waarde tot 0.05 of 5% kan als praktisch worden beschouwd.

23 Probability for error detection (P ed ) Kans op detectie van echte afwijkingen Beschrijft de kans op het afkeuren van een serie metingen in het geval dat er een extra fout aanwezig is in het meetsysteem naast de intrensieke imprecisie van het meetsysteem. In het ideale geval is P ed gelijk aan 1.00, wat betekent dat iedere terechte fout wordt herkend. In de praktijk wordt een P ed van 0.90 (of 90%) gezien als optimaal.

24 Interne en externe fouten 4-Sigma proces (Faal) kosten 5-Sigma proces 6-Sigma proces beheerskosten Kwaliteitsniveau

25

26 Kans foutdetectie N R 1 3s /2 2s /R 4s /3 1s /6 x s /2 2s /R 4s /4 1s s /2 2s /R 4s s s 1 1 Systematische afwijking in sd eenheden

27 0,5 0,4 0,3 0,2 0,1 0 - tolerantie + tolerantie - TE a + TE a

28 Beschrijving van de performance (stabiliteit) van een proces op product niveau Sigma waarde absoluut Aantal fouten per miljoen percentage 1,00 1,65 2,00 2,50 3,00 3,50 4,00 4,50 5,00 5,50 6, ,8 0,57 0,038 0,002 31,7 9,8 4,5 1,2 0,3 0,0465 0,0063 0, , , ,

29 0,5 0,4 0,3 0,2 0,1 0 Maximale bias voor een 6-sigma proces is 4,35 sd (bij een 90% AQA) - tolerantie + tolerantie (=TE a ) TE a = 1.65 CV a + BIAS - TE a + TE a % Systematische afwijking 4,35 s

30 Sigma score Kans foutdetectie N R 1 3s /2 2s /R 4s /3 1s /6 x s /2 2s /R 4s /4 1s s /2 2s /R 4s s s 1 1 Kritische systematische afwijking in sd eenheden = Sigma Score 1.65

31 Beschrijving van de tolerantie in het antwoord CV a < 0.5 * CV w B(%) < 0.25 * (CV w2 + CV g2 ) 0.5 TE a = 1.65 CV a + B Testcode CV w CV g I(%) B(%) TE(%) ALAT AF Lipase

32 De OPSpecs chart : de Operational Specification Chart Sigma Score = (TE a Bias ) / VC a Sigma Score * VC a = TE a - Bias Bias (y) = - Sigma Score (m) * VC a (x) + TE a (a) Y = m * X + a Bias (%) 10-Sigma 5-Sigma 4-Sigma VC (%)

33 Beschrijving van de performance van het proces Sigma score = (TE a bias )/VC SE crit = Sigma score 1,65 SE crit = [(TE a bias )/VC] 1,65 C pk = (Tolerance specification - bias )/3VC RE crit = [(TE a bias )/1.96 VC

34 Voorbeeld Glucose mat Analyte CV w CV g I(%) B(%) TE(%) S Glucose mat analyt level1 vc1 sigma1 level2 vc2 sigma2 S Glucose

35 Zoek de TE a op Impr (IQC) Bias (EQC) Bereken Sigma Kwaliteitsdoel Controle regels frequentie Westgard advisor > <3 Kwaliteitsdoelen

36 Voorbeeld Glucose

37 Sigma score Westgard rules P fr P ed N L s /2 2s /R 4s /4 1s s /2 2s /R 4s /4 1s s /2 2s /R 4s /4 1s s /2 2s /R 4s /4 1s s /2 2s /R 4s /4 1s s /2 2s /R 4s /4 1s s s s s s s s s s 0.00 > s 0.01 >

38 Lean evalueren Te plannen werkzaamheden voor de implementatie van twee nieuwe analysesystemen (Cobas 6000) EP5 (CLSI); 160 test metingen (2 levels) EP9 (CLSI); 80 test metingen nieuwe methode ; 80 test metingen huidige methode 40 controlemetingen 40 test procedures Totaal of metingen te plannen (5 tot 6 maanden) 6 maanden loon voor 2 analisten Afschrijving (6 maanden ~ 7 % van de investering) Geschatte kosten totaal Euro

39 Lean evalueren Zoek de TE a op Opgegeven referentie interval Zoek Impr op Bepaal Imprecisie Stel Bias = 0 Bereken Sigma Kwaliteitsdoel Controle regels frequentie Westgard advisor Stel Bias = 0 Bereken Sigma Bepaal bias > <3 EP9 regr Referent Kwaliteitsdoelen Bereken Sigma Peer -groep

40 Lean evalueren Het evaluatie plan: Gegevens verzamelen: Per test : VC interne QC ; VC leverancier Biologische spreiding : VC within en VC between Bereken op basis van TE a en VC leverancier de Sigma score (2-levels) Deel in op basis van Sigma-score EP5 procedure alleen in het geval dat Sigma score<3 Alle testen methode vergelijk (4 pools in 5-voud) Stel kwaliteitsdoelen vast Ontwerp QC met behulp van Westgard advisor

41 Lean evalueren Werkzaamheden gedurende de implementatie van twee nieuwe analysesystemen (Cobas 6000) EP5 (CLSI); 160 test metingen (2 levels) Methode vergelijk; 20 test metingen nieuwe methode ; 20 test metingen bestaande methode 40 controlemetingen 8 test procedures Totaal of 3000 metingen (2,5 maanden) 2,5 maanden loon voor 2 analisten Afschrijving (2,5 maanden ~ 2 % afschrijving) Geschatte kosten totaal Euro

42 Sigma metrics wordt de norm De praktijk is de vorm DANK U