Kwaliteitsbewaking Nico Vandepoele Bio-Rad Laboratories. Wat is kwaliteitsbewaking? Kwaliteitsbewaking is een statistisch proces opgezet om het analytisch proces dat patiëntenresultaten voortbrengt te controleren en te evalueren. 1
Wat is kwaliteitsbewaking? Het statistisch proces vereist: * regelmatige analyse van controlematerialen tussen de patiëntenstalen in. * vergelijking van de resultaten van de controles ten opzichte van specifieke statistische regels of grenzen. Wat is kwaliteitsbewaking? Deze resultaten worden gebruikt om te beslissen of een instrument of procedure werkzaam is binnen de vooropgestelde specificaties. En dus of de geproduceerde resultaten betrouwbaar zijn of niet. 2
Waarom kwaliteitsbewaking? Patiënten nten- zorg Betrouwbaarheid Reglementatie Q.C. Controlematerialen. Een controle is een product dat zo dicht mogelijk de patiëntenmatrix moet benaderen om ook op eenzelfde manier te reageren als het patiëntenstaal. De controle kan gelyophiliseerd (gevriesdroogd) of vloeibaar zijn en bevat één tot meerdere analyten. 3
Soorten controlematerialen. Interne controlematerialen Externe controlematerialen Patiëntenpools In-kit controles Onafhankelijke controles Welke controle kiezen? Dit hangt af van meerder factoren die allemaal kunnen verschillen van lab tot lab: - Gelyophiliseerd of vloeibaar - Multiple of single analyt - 1 niveau of meerdere niveau s - Shelf-life - Bewaring en houdbaarheid na openen flesje. 4
Vraag 1 Hoeveel analyten zijn er officieel aanwezig in een Bio-Rad Lyphocheck Immunoassay controle? 1. 23 2. 73 3. 93 4. 103 1 of meerder niveau s Afwijkend Normaal 1 enkel niveau kan meestal niet het volledige meetbereik controleren. zelfs met een correct resultaat kan er een afwijking aanwezig zijn 5
1 of meerder niveau s Afwijkend Normaal 2 niveau s kunnen meestal het volledige meetbereik controleren. Bij niet lineaire curves zijn soms meer niveau s nodig. Is meest aangeraden manier van contoleren. Shelf-life Cross-over studies Lot 001 Lot 002 Lot 003 tijd Wanneer men overschakelt naar een nieuw lot controles moet men een periode beide controles evalueren om zo de nieuwe controle te valideren en een gemiddelde te berekenen. Hoe langer houdbaar een controle is hoe minder vaak men deze procedure moet herhalen. 6
Normaalverdeling Alle resultaten worden in een grafiek uitgezet. De Y-as toont ons hoe vaak ze voorkomen en de X-as toont de resultaten. Vraag 2 De normaalverdeling heeft nog een bekendere naam gekregen: 1. Levey-Jennings chart 2. Gauss curve 3. Youden Plot 4. Yundt curve 7
Normaalverdeling -3s -2s -1s M +1s +2s +3s X 68,5 % 95,5 % 99,7% Kwaliteit van een analytische methode BIAS (systematische fout) WERKELIJKE waarde JUISTHEID ACCURAATHEID x TOTALE FOUT PRECISIE IMPRECISIE (toevallige Fout) 8
Precisie of imprecisie Overeenkomst tussen de verschillende opeenvolgende metingen van een methode onder dezelfde condities. - wordt meestal uitgedrukt als standaarddeviatie of variatiecoëfficient. - Maat voor de reproduceerbaarheid van de methode De juistheid De overeenkomst tussen het gemiddelde van een oneindig aantal bepalingen van de controle en de werkelijke waarde ervan. - Juistheid is een maat voor systematische fout. - Werkelijke waarde is vaak niet gekend. - Juistheid hangt niet af van de toevallige fout 9
Accuraatheid Accuraatheid is de overeenkomst tussen één meetwaarde en de werkelijke waarde. - is dus bijvoorbeeld een patiëntenmeting, deze gebeurt maar één keer. - accuraatheid hangt af van juistheid en precisie. Voorbeeld Dit voorbeeld toont onze meetpunten op de schietschijf. * Het gemiddelde van de meetpunten is op doel dus juist * Onze meetpunten zitten dicht bij elkaar dus precies 10
Vraag 3 Wat denkt U van dit voorbeeld: 1. Niet precies en niet juist 2. Niet precies maar wel juist 3. Precies maar niet juist 4. Precies en juist Vraag 4 Wat denkt U van dit voorbeeld: 1. Niet precies en niet juist 2. Niet precies maar wel juist 3. Precies maar niet juist 4. Precies en juist 11
Hoe berekenen we deze waardes? We starten met het berekenen van het gemiddelde: x = n i = 1 n x i Som van alle waarden gedeeld door het aantal waarden. Verder De belangrijkste maat voor onze precisie is de standaarddeviatie: s = n i= 1 ( x) x i n 1 2 Is een uitdrukking van de spreiding van de resultaten. 12
Of algemener als Variatie Coëfficient Om de precisie gemakkelijk over verschillende eenheden of groottes te beoordelen drukken we deze in procent uit: CV = s x.100 Afbeelden van controles Wanneer we nu de controle op regelmatige tijdstippen uitvoeren bekomen we een lijst met resultaten. Deze lijst moet nu door ons geëvalueerd en opgevolgd worden om de eventuele aanwezige fouten op te sporen. Hoe gaan we hiermee aan de slag? 13
Onze resulaten Série Résultat Série Résultat 1 4,11 26 4,14 2 4,18 27 4,29 3 4,10 28 4,10 4 4,14 29 4,00 5 4,23 30 4,10 6 4,16 31 4,22 7 4,22 32 4,26 8 4,07 33 4,19 9 4,17 34 4,14 10 4,29 35 4,22 11 4,00 36 4,18 12 4,18 37 4,22 13 4,20 38 4,30 14 4,12 39 4,25 15 4,20 40 4,17 16 4,13 41 4,08 17 4,21 42 4,20 18 4,08 43 4,16 19 4,31 44 4,27 20 4,21 45 4,17 21 4,09 46 4,16 22 4,23 47 4,10 23 4,36 48 4,26 24 4,27 49 4,20 25 4,40 50 4,24 Maar wat is er nu goed? Wanneer moeten we een aktie ondernemen? Normaalverdeling De normaalverdeling wordt bepaald door onze precisie of standaard deviatie of variatie coëfficient. Uit de normaalverdeling kunnen we de betrouwbaarheid van onze resulaten berekenen. Aan de hand van deze betrouwbaarheid kunnen we nu verder regels gaan opstellen om onze kwaliteit op te volgen. 14
Vraag 5 Welke verdeling is betrouwbaarder of precieser? 2 1 QC Grafieken 15 12 9 6 3 0 Run 1 2 3 4 5 6 7 8 9 10 Run Waarde 1 8 2 10 3 5 4 14 5 6 6 12 7 3 8 7 9 12 10 11 30 15
Levey-Jennings grafiek We kunnen onze QC resultaten ook uitzetten in een grafiek, maar drukken deze nu uit ten opzichte van het gemiddelde en gebruiken als schaal de standaard deviatie. Dit wordt de traditionele Levey-Jennings grafiek. Levey-Jennings voor 1 niveau 16
Meerdere niveau s op Levey-Jennings Westgard Regels Nu kunnen we met onze berekende waardes aan de slag. Dr James Westgard stelde een aantal regels voor die we vandaag nog steeds dagelijks toepassen in de praktijk. Laten we deze nu eens opnieuw bekijken. 17
Westgard Regels 1 2s regel +3s +2s +1s M -1s -2s -3s Série 1 2 3 4 5 6 7 8 9 10 De waarde van de controle is +/- 2 SD Wijst op aanwezigheid van toevallige of systematische fout Alarm regel 1 2S Westgard Regels 1 2s regel -3S -2S -1S M +1S +2S +3S 18
Westgard Regels Binnen een normale verdeling vallen ongeveer 4% van alle resulaten tussen 2 en 3 SD. Hoe meer niveau s en analyten per run hoe meer kans dat waardes tussen 2 en 3 SD voorkomen die volledig normaal zijn in de normale populatie. Vandaar deze ALARM regel. Westgard Regels 2 2s regel (Intra-niveau) Spoort systematische fouten op 2 opeenvolgende 2SD overtredingen aan dezelfde kant van het gemiddelde voor eenzelfde niveau Verwerpingsregel 19
Westgard Regels 2 2s regel -3S -2S -1S M +1S +2S +3S Westgard Regels 2 2s regel (Inter-niveau) 2 verschillende niveau s vertonen beide een 2SD afwijking aan dezelfde zijde van het gemiddelde binnen dezelfde run. Verwerpingsregel 20
Westgard Regels. 2 2s regel -3S -2S -1S M +1S +2S +3S Westgard Regels. R 4s Regel niveau 1 niveau 2 +3s +2s +1s M -1s -2s -3s R4S Run 1 2 3 4 5 6 7 8 9 Deze regel spoort toevallige fouten op wanneer er meer als 4SD verschil is tussen 2 niveau s binnen eenzelfde run. Verwerpingsregel. 21
Westgard Regels. R 4s Regel -3S -2S -1S M +1S +2S +3S Westgard Regels. 1 3s Regel +3s +2s +1s M -1s -2s -3s 1 3S Run 1 2 3 4 5 6 7 8 9 10 Spoort waardes op die +/- 3 SD zijn. Spoort toevallige fouten op of beginnende systematische fouten. Verwerpingsregel 22
Westgard Regels 1 3s Regel -3S -2S -1S M +1S +2S +3S Westgard Regels 4 1s Regel (Intra-niveau) +3s +2s +1s M -1s -2s -3s 41S Run 1 2 3 4 5 6 7 8 9 10 Spoort systematische fouten op. Spoort fouten op wanneer er 4 opeenvolgende maal binnen één niveau eenzelfde 1SD overtreding optreedt. Kan als alarm of verwerpingsregel gebruikt worden. 23
Westgard Regels 4 1s Regel -3S -2S -1S M +1S +2S +3S Westgard regels 4 1s Regel (Inter-niveau) niveau 1 niveau 2 +3s +2s +1s M -1s -2s 41S -3s Série 1 2 3 4 5 6 7 8 9 - Regel wordt ook toegepast op verschillende niveau s 24
Westgard Regels 4 1s Regel -3S -2S -1S M +1S +2S +3S Westgard Regels 10 x Regel (intra niveau) +3s +2s +1s M -1s -2s 10X -3s Run 1 2 3 4 5 6 7 8 9 10 Regel spoort 10 opeenvolgende resultaten aan dezelfde kant van het gemiddelde op binnen één niveau. Spoort systematische fouten op Alarm regel. 25
Westgard Regels 10X Regel (Inter-niveaux) niveau 1 niveau 2 +3s +2s +1s M* -1s -2s 10X -3s Run 1 2 3 4 5 6 7 8 9 Deze regel is ook toepasbaar bij twee niveau s. Deze regel kan ook aangepast worden voor meerdere niveau s en ook aan gevoeligheid, daarom bestaan ook 7x, 8x, 9x en 12x. Westgard multi-regel toepassing QC Resultaten 1 2s NEE Analytisch proces onder controle Resulaten kunnen gerapporteerd worden JA NEE NEE NEE NEE NEE 1 3s 2 2s R 4s 4 1s 10 x JA JA JA JA JA Analytisch proces toont problemen Resultaten kunnen niet gerapporteerd worden 26
Vraag 6 Evalueer deze Levey-Jennings grafiek. 1. Normaal proces 5. 4-1s 2. 2-2s 6. 10x 3. 1-3s 4. R4s Vraag 7 Evalueer deze Levey-Jennings grafiek. 1. Normaal proces 5. 4-1s 2. 2-2s 6. 10x 3. 1-3s 4. R4s 27
Vraag 8 Evalueer deze Levey-Jennings grafiek. 1. Normaal proces 5. 4-1s 2. 2-2s 6. 10x 3. 1-3s 4. R4s Vraag 9 Evalueer deze Levey-Jennings grafiek. 1. Normaal proces 5. 4-1s 2. 2-2s 6. 10x 3. 1-3s 4. R4s 28
Vraag 10 Evalueer deze Levey-Jennings grafiek. 1. Normaal proces 5. 4-1s 2. 2-2s 6. 10x 3. 1-3s 4. R4s Vraag 11 Evalueer deze Levey-Jennings grafiek. 1. Normaal proces 5. 4-1s 2. 2-2s 6. 10x 3. 1-3s 4. R4s 29
Westgard Regels : Besluit Westgard regels laten toe om het statistisch proces op te volgen. Zijn ontworpen om toevallige en systematische fouten op te sporen. Zijn afhankelijk van aantal controlematerialen en aantal controles uitgevoerd door het lab. Opsporen van toevallige fouten Wat kan de oorzaak zijn van een toevallige fout: - Toestelgebonden: * luchtbellen in het staal of reactief * foutieve staalopname (pipeteervariatie) * temperatuurschommelingen * vervuilde meetcuvet * electrische schommelingen in detector - Gebruikersgebonden: * foutieve bewaring van de controle en/of reactief * verkeerde voorbehandeling van het staal * niet gecalibreerde pipet * meetfout 30
Opsporen van systematische fouten Wat kan de oorzaak zijn van een systematische fout: - Toestelgebonden: * verkeerde temperatuurinstelling * problemen met de lamp * waterkwaliteit * vervuilde meetcel * foutieve calibratie - Gebruikersgebonden: * verkeerd oplossen reactief * foutief onderhoud van het toestel * wisselen lot reactief zonder calibratie * calibratie met foutieve waardes of materialen Nog enkele begrippen De meeste van deze statistische begrippen worden vooral toegepast op quantitatieve methodes, dus we denken vooral aan de chemie analyses. Bij serologische analyses komen andere begrippen vaak voor zoals cut-off, sensitiviteit, specificiteit, 31
Maar eigenlijk hebben deze begrippen niets te maken met kwaliteitsbewaking, het zijn begrippen die eigenschappen van de methode of analyse beschrijven. Cut-off De cut-off is de waarde die gebruikt of berekend wordt om de qualitatieve grens van een methode aan te geven. 32
Specificiteit Positief voorspellende waarde 33
Wat na de statistiek Alle beproken statistische begrippen zijn identiek voor alle gebruikte analyses. De verwerpingen of regelovertredingen zullen er ons dus op wijzen dat het meetproces out of control is en dat het lab corrigerende akties zal moeten nemen. Vraag 12 Wat is geen correctieve aktie 1. herhaal de analyse van de controle 2. voer een calibratie uit 3. vervang de reagentia van de analyse 4. reining de meetcel 5. vervang de aspiratienaald van het toestel 34
Maar de belangrijkste aktie alle patiëntenresultaten die na de laatste correcte controle zijn bekomen moeten in twijfel gebracht worden en eventueel herhaald worden na de correctie van de out of control staat. Biologische variatie Maar is het nu ook noodzakelijk om bij deze out of control alle patiënten in twijfel te plaatsen? Hiervoor kunnen we een beroep doen op de Biologische variatie 35
Wat is biologische variatie? Dr Ricos en Dr Fraser publiceerden in 1999 een artikel over dit fenomeen. Iedere persoon heeft voor elke parameter een eigen Within Subject variatie (CVi) en ook tussen alle verschillende personen bestaat een Between Subject variatie (CVg) Deze variatie wordt gebruikt als referentie om onze biologische kwaliteit te definiëren. 36
Within Subject variatie (CVi) Als we bij een patient 4 willekeurige afnames doen en een analyse van de parameter uitvoeren bekomen we verschillenden waardes: Sodium 137 139 136 138 [135-147 mmol/l] Potassium 4.3 4.6 4.5 4.4 [3.5-5.0 mmol/l] Urea 4.0 4.4 4.1 3.9 [3.3-6.6 mmol/l] Creatinine 88 97 89 92 [64-120 µmol/l] Bilirubins 19 21 16 20 [up to 17 µmol/l] Within Subject variatie (CVi) Ricos en Fraser voerden een uitvoerige studie uit en bekwamen zo een gemiddelde variatie per analyt. Dit wordt met CVi beschreven in de tabel van Ricos en Fraser. 37
Between Subject variatie (CVg) Ricos en Fraser evalueerden ook de variatie tussen verschillende personen: sodium [mmol/l]. Individual 1 137 139 136 138 Individual 2 144 146 145 144 Individual 3 141 143 142 140 Individual 4 136 138 137 135 Between Subject variatie (CVg) Ricos en Fraser voerden een uitvoerige studie uit en bekwamen zo een gemiddelde variatie per analyt. Dit wordt met CVg beschreven in de tabel van Ricos en Fraser. 38
Biologische variatie Ricos en Fraser stelden drie verschillende principes voor, namelijk: Imprecisie Bias Total Error Biologische variatie Maar ze stelden nu ook drie mogelijke kwaliteitscriteria voor: Minimal Desirable Optimal 39
Imprecisie Deze is gebaseerd op de CVi. Een minimale imprecisie moet voldoen aan volgende formule: CV = 0.75 x CVi Een desirable imprecisie moet voldoen aan volgende formule: CV = 0.50 x CVi En een optimale imprecisie moet voldoen aan: CV = 0.25 x CVi Bias Deze is gebaseerd op de CVi en de CVg. Een minimale bias moet voldoen aan volgende formule: Bias = 0.375 (CVi²+CVg²) ½ Een desirable bias moet voldoen aan de volgende formule: Bias = 0.250 (CVi²+CVg²) ½ En een optimal bias moet voldoen aan de volgende formule: Bias = 0.125 (CVi²+CVg²) ½ 40
Total Error En uiteindelijk zullen beiden samen instaan voor de totale fout van de analyt of de TE. Deze wordt berekend met de volgende formule: TE = bias + (z-score x imprecisie) Waar de z-score gelijk staat met de betrouwbaarheid of confidence interval. 68% staat gelijk met 1 (of 1SD of CV) 95% staat gelijk met 1,65 99% staat gelijk met 2,33 Vraag 13 Welke groep van analyten heeft een zeer strenge of dus kleine Totaalfout volgens Ricos en Fraser? 1. Enzymes 2. Ionen 3. Proteïnes 4. Medicijnen 5. Vitamines 41
Volledige tabel (Desirable) Uiteindelijk bekomen we nu individuele kwaliteitsvoorwaarden per analyt door Ricos en Fraser berekend. Met deze voorwaarden kunnen we de kwaliteitsbewaking kunnen bijspringen. 42
43
De out of state moet gecorrigeerd worden, maar de patiëntenresulaten zijn betrouwbaar volgens Fraser en Ricos. Hun variatie valt binnen de totaalfout. Zo hebben we nu een individuele kwaliteitsbewaking per analyse die niet louter op de statistiek bewaking steunt. 44
Voor meer informatie 45