Validatie/Verificatie van analysemethodes (et al.)

Maat: px

Weergave met pagina beginnen:

Download "Validatie/Verificatie van analysemethodes (et al.)"

Victor Gerritsen
8 jaren geleden
Aantal bezoeken:

1 Validatie/Verificatie van analysemethodes (et al.) Toetsing aan (de nieuwe versie van) de norm ISO Peter Declercq,

2 ISO-15189: 3de editie van de norm is verschenen op Wat zijn de belangrijkste wijzigingen? Meer logische en overzichtelijke opbouw Uitgebreid: van 25 naar 37 blz (zonder bijlagen) Concretisering via veelvuldige opmerkingen en voorbeelden : «Ethical conduct» : «Contingency plan» : nadruk op proces-matige aanpak

Meer logische en overzichtelijke opbouw Uitgebreid: van 25 naar 37 blz (zonder

3 ISO-15189: 3de editie 4.14 («Internal audits» in versie 2) is nu getiteld «Evaluation and audits» : EXTRA ELEMENTEN, zoals «user feedback», «staff suggestions», «risk management» en «quality indicators» 4.5 «Examination by referral laboratories» : resultaten moeten worden «gemerkt» op het rapport 5.1 «Personnel»: meer aandacht voor opleiding en «competence (re)assessment»

zoals «user feedback», «staff suggestions», «risk management» en «quality indicators» 4.

4 ISO-15189: 3de editie 5.2 «Accommodation and environmental conditions»: meer aandacht voor veiligheid en comfort van de medewerkers 5.3 («Laboratory equipment» in versie 2) is nu getiteld «Laboratory equipment, reagents, and consumables» «Equipment acceptance testing» : zie verder «Equipment calibration and metrological traceability» «Equipment adverse incident reporting»

5 ISO-15189: 3de editie «Reagents and consumables» met o.a. «acceptance testing», «adverse incident reporting» en «records» 5.4 «Pre-examination processes» vereist meer uitgebreide instructies dan versie «Examination processes» maakt een onderscheid tussen «validation» and «verification» : zie verder «Measurement uncertainty» was niet verplicht in de vorige versie, nu dus wel

4 «Pre-examination processes» vereist meer uitgebreide instructies dan versie 2 5.

6 ISO-15189: 3de editie 5.6 «Assuring quality of examination results» is beter uitgeschreven 5.9 «Release of results» : nieuwe paragraaf, met expliciete aandacht voor «Automated selection and reporting of results» ( 5.9.2) 5.10 «Laboratory information management» was een annex in versie 2, en behelst o.a. validatie en verificatie van informatica, inclusief data transfer naar externe systemen

7 2 Validatie? HEEFT GEEN BETREKKING op «review» (confirmatie, autorisatie) van individuele resultaten BETREFT procedures, methodes, systemen, toestellen, bepalingen,

8 Wat zegt ISO (versie 3) over validatie? 3 «Terms and definitions» 3.26 Validation = confirmation, through the provision of objective evidence, that the requirements for a specific intended use or application have been fulfilled 3.27 Verification = confirmation, through the provision of objective evidence, that specified requirements have been fulfilled

requirements for a specific intended use or application have been fulfilled 3.

9 ISO (versie 3) en validatie «Equipment acceptance testing» «The laboratory shall verify upon installation and before use that the equipment is capable of achieving the necessary performance and that it complies with requirements relevant to any examinations concerned (see also 5.5.1).» Installation Qualification, Operational Qualification, Performance Qualification

upon installation and before use that the equipment is capable of achieving the necessary

ISO-15189 (versie 3) en validatie 5.5.1 «Selection, verification and validation of examination procedures» «The laboratory shall select examination procedures which have been validated for their intended use» ( 5.

10 ISO (versie 3) en validatie «Selection, verification and validation of examination procedures» «The laboratory shall select examination procedures which have been validated for their intended use» ( ) «Validated examination procedures used without modification shall be subject to independent verification by the laboratory before being introduced into routine use» ( ) Het laboratorium moet elke methode verifiëren vóór gebruik, maar moet niet elke methode valideren.

5.1 «Selection, verification and validation of examination procedures» «The laboratory shall select examination procedures

11 ISO (versie 3) en validatie «The laboratory shall validate examination procedures derived from the following sources: a) Non-standard methods ; b) Laboratory designed or developed methods ; c) Standard methods used outside their intended scope ; d) Validated methods subsequently modified.» Een «echte» validatie is in het klinisch laboratorium niet nodig, voor zover een extern gevalideerde methode onveranderd wordt gebruikt.

following sources: a) Non-standard methods ; b) Laboratory designed or developed methods ; c) Standard methods

12 ISO (versie 3) en validatie «The laboratory shall determine measurement uncertainty for each measurement procedure in the examination phase used to report measured quantity values on patients samples. The laboratory shall define the performance requirements for the measurement uncertainty» De meetonzekerheid moet worden afgeleid uit de actuele reproduceerbaarheid. De meerwaarde van de meetonzekerheid is beperkt.

measurement procedure in the examination phase used to report measured quantity values on patients samples.

13 ISO (versie 3) en validatie «The criteria [for automated selection and reporting of results] are validated for proper functioning before use and verified after changes to the system that might affect their functioning ;»

2 «The criteria [for automated selection and reporting of

14 ISO (versie 3) en validatie «The system used for the collection, processing, recording, reporting, storage or retrieval of examination data and information shall be: a) validated by the supplier and verified for functioning by the laboratory before introduction, with any changes to the system authorized, documented and verified before implementation» De validatie van de informatica is wellicht de grootste uitdaging van de nieuwe versie van ISO

and information shall be: a) validated by the supplier and verified for functioning by the laboratory before

15 Wat staat NIET in ISO-15189? Hoe moet «Equipment acceptance testing» worden uitgevoerd? Hoe moet een informatica toepassing worden (gevalideerd en) geverifieerd? Welke performantie-karakteristieken van een (gevalideerde) analysemethode moeten worden onderworpen aan verificatie? Hoe moet een verificatie van een analysemethode worden uitgevoerd? Welke criteria moeten worden gehanteerd voor de toetsing van de resultaten van de verificatie?

Welke performantie-karakteristieken van een (gevalideerde) analysemethode moeten worden onderworpen aan

16 Equipment acceptance testing Moet minstens ten dele gebeuren door de fabrikant/leverancier, doch onder toezicht van het laboratorium. De methodes en criteria kunnen best in het aankoopcontract worden vastgelegd!! Installation qualification: o.a. CE label, beschikbaarheid van handleidingen, elektrische veiligheid, software versies en compatibiliteit, installatie conform fabrikant Operational qualification: toestel «uitdagen», bv. wat gebeurt er bij een clot, vervallen reagens, onvoldoende reagens, leeg staal, slecht leesbare barcodes, risico op carry over, extreme LHI indices, paswoord functionaliteit, etc. Performance qualification = validatie/verificatie

17 Validatie en verificatie van software Excel toepassingen (zelf ontwikkeld): Formules uitschrijven Manueel narekenen Formules beveiligen en rekenblad afsluiten! Limieten zetten op data input («gegevensvalidatie») Commerciële software Informeer bij de fabrikant wat zijn validatie-policy is Is de fabrikant ISO-9001 gecertifieerd? Verifieer output bij meerdere «challenging» inputs Korte validatie voor elke eigen aanpassing

Limieten zetten op data input («gegevensvalidatie») Commerciële software Informeer bij de fabrikant wat

18 3 Verificatie van analysemethodes Wanneer moet het laboratorium een analysemethode verifiëren? Vooraleer een gevalideerde methode (ongewijzigd) in routine te nemen. Welke performantiekarakteristieken verifiëren, en aan de hand van welke criteria? Onbepaald in de ISO-norm («those [performance claims] relevant to the intended use») Continue opvolging/update van de performantie in routine

Welke performantiekarakteristieken verifiëren, en aan de hand van welke criteria?

19 Verificatie (kwantitatieve test) Wat en hoe? Repeteerbaarheid (within run, within day) Reproduceerbaarheid (intermediate precision) Juistheid (bias) Correlatie met vorige methode Verificatie van referentiewaarden

20 Criteria? Verificatie (kwantitatieve test) Repeteerbaarheid (within run, within day) Fabrikant, of «beter dan reproduceerbaarheid» Reproduceerbaarheid (intermediate precision) Ricos, fabrikant, state of the art, intnl. guidelines Juistheid (bias) Ricos, eqc criteria, intnl. guidelines Correlatie met vorige methode Eventueel criterium afhankelijk van de bedoeling. Verificatie van referentiewaarden (19/20 «juist»)

reproduceerbaarheid» Reproduceerbaarheid (intermediate precision) Ricos, fabrikant, state of the art,

21 Verificatie (kwalitatieve test) Diagnostische accuraatheid: vergelijking van het resultaat met, indien mogelijk, een «gouden standaard». Maak een onderscheid tussen «aanvaardbare afwijking» en «onaanvaardbare afwijking» (niet-binaire resultaten)

22 Verificatie (semikwantitatieve test) Als het aantal categorieën heel groot is (bv. aantal baseparen van een PCR product) kan de benadering worden gebruikt van een kwantitatieve test. Als het aantal categorieën klein is, dient de aanpak van een kwalitatieve test te worden gebruikt.

23 Opbouw van een verificatiedossier Onderwerp en aanleiding Welke performantiekarakteristieken zullen worden geverifieerd, aan de hand van welke criteria Hoe zal de verificatie worden uitgevoerd Vanaf versie 2: Resultaten en bespreking Besluit en timing van implementatie Vanaf versie 3: Continue opvolging/update van de performantie in routine (robuustheid)

24 ISO en validatie Enkele nuttige referenties IQ/OQ/PQ : BCSH Guidelines for validation For. Sci. Int. (2007) Vol. 165: Eur. J. Hum. Genet. (2010) Vol. 18: National Physical Laboratory ( NPL report DEM-ES 014 (Validation of software for measurement systems) Software support for metrology, Best Practice Guide No. 9: Selection and use of LIMS (2001)

25 ISO en validatie/verificatie Vragen?

Vergelijkbare documenten

DE PRAKTIJKRICHTLIJN IN DE PRAKTIJK

DE PRAKTIJKRICHTLIJN IN DE PRAKTIJK VALIDATIE VAN ANALYTISCHE PROCESSEN Aalst 17 november 2018 Dr Arnaud Capron Sciensano (arnaud.capron@sciensano.be) Methodevalidatie in de praktijkrichtlijn 5.5.1 Keuze,