DE PRAKTIJKRICHTLIJN IN DE PRAKTIJK

Transcriptie

1 DE PRAKTIJKRICHTLIJN IN DE PRAKTIJK VALIDATIE VAN ANALYTISCHE PROCESSEN Aalst 17 november 2018 Dr Arnaud Capron Sciensano

2 Methodevalidatie in de praktijkrichtlijn Keuze, verificatie en validatie van onderzoeksmethoden «De gebruikte procedures beantwoorden aan de geldende wetenschappelijke kennis. De gebruikte procedures zijn aangepast om een adequaat technisch resultaat te garanderen. Elke wijziging van een procedure wordt gedocumenteerd.» Verificatie onderzoeksmethoden = Eis Validatie onderzoeksmethoden = Eis Meetonzekerheid = Aanbeveling

3 VERIFICATIE/VALIDATIE VAN DE PERFROMANTIE VAN EEN ANALYTISCHE METHODE Verification or validation, that is the question

4 Validatie of verificatie Verification : «provision of objective evidence that a given item fulfils specified requirements» [VIM3] «the independent verification by laboratory shall confirm, through obtaining objective evidence that the performance claims for EP have been met. The performance claims for the EP confirmed during the verification process shall be those relevant to the intended use of examination results» [ISO15189] Validation: «verification, where the specified requirements are adequate for the intended use» [VIM3] «The validation shall be as extensive as is necessary and confirm, through the provision of objective evidence (performance characteristics), that the specific requirements for the intended use of examination have been fulfilled» [ISO15189]

5 Validatie of verificatie Verwarring tussen validatie en verificatie Beschikbaarheid van gevalideerde en betrouwbare gegevens over de performanties van de beschouwde procedure CE, FDA Perreviewed texts Accredited labs validatie/verificatie

6 Validatie ISO15189 legt een paar situaties vast waar validatie noodzakelijk is. Er bestaan meerdere referenties/guidelines over validatie die toelaten om te voldoen aan de eisen gesteld door de norm ISO15189 Lab-designed examination procedures Procedures subsequently modified Validation Non-standard examination procedures Procedures use outside intended use

7 Verificatie Sommige procedures dienen niet gevalideerd te worden, maar dienen wel geverifieerd te worden wat de kritische performanties betreft Indien de gegevens van een externe bron onvoldoende blijken, is verificatie alleen onvoldoende en is een interne validatie nodig Indien meer dan 1 analyzer gebruikt wordt voor eenzelfde measurand, is een verificatie van elk toestel noodzakelijk met de gepaste acceptatiecriteria

8 Verificatie Er bestaan meerdere lokale referenties (accreditatie organisaties) wat betreft verificatie procedures De meest gebruikte benaderingen: Biais studies stalen vergelijken met de referentie methode en de te evalueren methode Voordelig waanneer de medische beslissing dicht bij de detectie limiet ligt Imprecision studies IQC op 2 concentratie niveaus Duplo/5 dagen achtereenvolgens /2 weken Data presentation and analysis Lineaire regressie, bias plot, analyse van de variantie Bepaling van de bias en de intra-/interrun variatie

9 Validatie vs Verificatie: Performantie Validatie Precisie- Juistheid Detectielimieten Stabiliteit Referentie interval Klinisch relevante cut-off waarden Interferenties Lineariteit Carry-over Meetonzekerheid Verificatie Precisie-Juistheid Detectielimieten Stabiliteit Referentie interval Klinisch relevante cut-off waarden Interferenties Meetonzekerheid

10 Validatie vs Verificatie Non-standard method Lab designed by developed method Standard method used outside their intended scope Modified validated method Existing METHOD with defined performance Existing METHOD used after repair VALIDATION Before use as diagnostic test/method VERIFICATION Before use as diagnostic test/method DEFINE PERFORMANCE CHARACTERISTICS As extensive as is necessary to confirm, throug the provision of objective evidence, that the specific requirements for the intended use have been fulfilled COMPARE PERFORMANCE CHARACTERISTICS, with specifications. Be aware of and respects specified requirements DOCUMENT and record the results obtained and the procedure use for the validation DOCUMENT and record the results obtained and the procedure use for the verification CONTINOUS VALIDATION

11 Verschillende scenario s en Flowchart START Plan Intended use Establishing measurand Asses performance characteristics Examination method yes VERIFICATION Confirming relevant performance characteristics Performances characteristics Known & Valid? Acceptance criteria are met no VALIDATION Quantifying relevant performance characteristics yes Report Intended use Acceptance limits (+modifications) Examination procedure (+extra experiments) Suitability of performance characteristics Acceptance criteria Investigator(s) Authorizer(s) yes no Modification required? no Conclusion Signed by authorizer(s) Examination procedure not validated Implementation protocol

12 Conclusie en perspectieven De keuze voor een verificatie of een validatie zal hoofdzakelijk berusten op de kwaliteit van de beschikbare analytische gegevens Het is essentieel dat men beschikt over validatie- en verificatieprocedures voor de verschillende diagnostische methodes Er is geen unieke methodologie voor de validatie/verificatie Voor het labo is dit een continu proces dat moet toelaten om kwaliteitsvolle resultaten te leveren in overeenstemming met de evolutie van de nieuwe accreditatiestandaarden

13 MEETONZEKERHEID Issue & challenge in medical laboratories

14 Wat is meetonzekerheid (MO)? VIM: «Niet-negatieve parameter, die de dispersie karakteriseert van de kwantitatieve waarden geassocieerd met een meeteenheid» [ Laat toe om een interval te bepalen met een zekere probabiliteit waarbinnen de veronderstelde echte waarde van een resultaat zich bevindt MO = kwaliteits- en betrouwbaarheidsindicator van een resultaat

15 Wat zijn de bronnen van MO? Als bronnen van meetonzekerheid kan men o.a. volgende punten aanhalen: staalafname, bereiding van de stalen, aliquoteren van stalen, calibratoren, referentiemateriaal, meetinstrumenten, omgevingsfactoren, enz

16 Waarom de MO bepalen? De MO is een hulpmiddel bij het nemen van beslissingen en interpretatie. Het omvat een belangrijke informatie van het analytisch proces dat het resultaat alleen niet weergeeft Vergelijking met een vorig resultaat: Beslissingshulpmiddel: Resultaten Résultats Meetresultaat + uitgebreide meetonzekerheid(k=2) + Beslissingsgrens Resultaten Résultats - Pt 0 Pt 1 R 1 R 2 R 3 R 4

17 Waarom de MO kwantificeren? De vraag kan komen vanuit de overheid, de voorschrijver, ISO 15189:2012 vereist de evaluatie van de MO voor elke meetprocedure in de analytische fase MO Diagnostische beslissing Terapeutische beslissing Interpretatie Opm: het is aangeraden om de MO te bepalen op verschillende concentratie niveaus en voornamelijk ter hoogte van de beslissingsgrenzen

18 Hoe de MO berekenen? (1) Analyse van het meetproces in 2 stappen I. Correcte bepaling van de measurand (measurand correct definiëren ( analyte) met een maximum aan informatie (methode, omgeving, matrix, ) Noties van metrologische traceerbaarheid SI units Internationa l standards Metrology agencies laboratories Pure chemical reference materials Primary methods Metrology laboratories Primary reference materials Secondary methods and reference materials Working methods and reference materials Reference laboratories and manufacturers of reference materials Medical laboratories

19 Hoe de meetonzekerheid berekenen? (2) Analyse van het meetproces in 2 stappen II. Analyse van het proces (pre-analytisch en analytisch) Uitgebreid identificeren van factoren die bijdragen aan de MO Personeel Milieu Methode Variatie op het resultaat Pre analytisch Analytisch Middel Matrix

20 Hoe de MO berekenen? (3) Evaluatie van de onzekerheid «bottom-up» vs «top-down» Bottom-up (ref GUM) Top-Down (alternatives) Samengestelde onzekerheid (u c ) = u² a + u² b + + u² z Uitgebreide onzekerheid (U) = k x u c [k=2; IC 95%]

21 Hoe de MO berekenen? (4) Alternatieve benaderingen voor het lab? standard work (manufacturer) preanalytical effects u result = u 2 standard + u 2 method + u 2 sample + u 2 divers long term reproducibility matrice Intra-laboratory method Validation/verification Accuracy, modelling, calibration,.. IQC/EQA method IQC, EQA Externalized IQC CQI/manufacturer standard method IQC manufacturer standard u result = u 2 IQC + u²(eqa) u result = u 2 IQC + u²(standard)

22 Uitdrukken van de MO Wordt uitgedrukt in dezelfde eenheid als het resultaat of relatief (%) Uitgebreide meetonzekerheid: U = k uresultaat[k=2, CI 95%] Op minstens 2 concentratie niveaus Houdt geen rekening met biologische variaties: Geen in vivo systeem U moet vergeleken worden met de referentie intervallen die representatief zijn voor de biologische variaties Bronnen van pre analytische variaties Worden tot een minimum gereduceerd door het toepassen van strikte procedures

23 Voorbeeld: Bepaling van de MO van resultaten van totale cholesterol Metingen uitgevoerd op een multiparametrische automaat Kalibrator (werkkalibrator) geassocieerd met een internationale kalibrator NIST909S 3.4 mmol/l ± 0.06 mmol/l (k=2) U e = 0.06 mmol/l, u kalibrator =0.03 Twee IQC stalen ഥm [1 jaar] = 4.2 et 6.2 mmol/l SD (s) = 0.15 mmol/l = u methode u 2 chol = u 2 kalibrator + u 2 methode = = u chol = = mmol/L U chol = k x u = 2x0.16 = 0.32mmol/L

24 Toepassing: intra patiënt variatie over de tijd Intra patiënt variatie over de tijd: R 1chol (01/2018) = 5.8 mmol/l ± 0.3 mmol/l R 2chol (09/2018) = 4.9 mmol/l ± 0.3 mmol/l Bepaling van het kritisch verschil: D (p<0.05) = k x uchol x 2 = 2.8 x uchol = 2.8 x 0.16 = 0.45 mmol/l R1-R2 > D het verschil is significant en niet te wijten aan de meetonzekerheid R1 et R2 R1 R2; het verschil betekent een physiopathologische variatie R1-R2 < 2.8u R1 = R2; het verschil kan te wijten zijn aan een variatie in de procedure

25 Overschatting MO MO uitgevoerd MO in de laboratoria: voorstel van methodologie Omschrijving van de measurand Selectie van de methode voor de MO bepaling Identificatie van de componenten van de MO Model opstellen R&D R&D of LAB KB LAB KB Componenten uitdrukken in SD, u xi Empirische benadering Neen Gecombineerde MO bepalen, u c Gebruik inter-run data Ja IQC lange termijn Neen Uitgebreide MO bepalen, U Gebruik validatie data Ja Validatie data Neen Rapporteren van de MO (absoluut, relatief, ) inter-labo vergelijking Ja inter-labo data Neen EKE/PT Ja EKE/PT data Neen Geen OM bepaling

26 Besluit Eis van de norm ISO15189:2012 Geen consensus over de evaluatie van de MO in de laboratoria voor klinische biologie (project ISO/NP TS 20914) Betere metrologische vergelijkbaarheid van de resultaten en een meer betrouwbare interpretatie ten opzichte van de referentiewaarden en de voorgaande resultaten van de patiënt Grote inspanning is nodig : Het opleiden van de MLTs en de biologen Het informeren van de artsen Het standaardiseren van de pre-analytische fase Het ontwikkelen van referentie materiaal en methodes Het opstellen van internationale aanbevelingen voor het standaardiseren van de referentieintervallen

27 BEDANKT VOOR UW AANDACHT VRAGEN?