Wetenschappelijk Instituut Volksgezondheid

Transcriptie

1 Wetenschappelijk Instituut Volksgezondheid Dienst Kwaliteit van medische laboratoria Een 3-stapsmethode om bepaling in verschillende stalen globaal te evalueren Datum van bijwerking: 16/12/2013

2 INHOUDSTABEL Glossarium...3 Inleiding...4 Eerste stap...6 Tweede stap...7 Derde stap...7 Evaluatie van het verschil tussen het methodegemiddelde en de 45 rechte...8 Opstellen van het confidentieniveau...8 Literatuur...9 DOC 43/97/N V2 (bijlage 1) p. 2/9

3 Glossarium Afwijkend resultaat: resultaat met een te hoge variabiliteit en/ of bias voor een bepaald betrouwbaarheidsniveau. Betrouwbaarheidsniveau in het kader van het zoeken naar afwijkende waarden: proportie of percentage van niet-afwijkende punten die door een bepaalde statistische test effectief niet als afwijkend worden aangeduid. Betrouwbaarheidsregio rond een gemiddelde rechte: regio (ellips) waarbinnen de meerderheid van de punten die de intercept en helling van individuele regressierechtes voorstellen voor een bepaald betrouwbaarheidsniveau, vallen. Cook s distance: een maat voor de invloed van een individueel punt op een regressielijn. Least Trimmed square: robuuste regressietechniek die een regressierechte berekent die representatief is voor ten minste de helft van de gegevens. Deze rechte wordt niet door afwijkende resultaten beïnvloed. Mahalanobis afstand: de afstand van een punt tot het centrum van een multivariate verdeling, rekening houdend met de variabiliteit; te vergelijken met een z-score bij één dimensie. Outlier: afwijkend analyseresultaat waarvan de impact op de regressierechte ervoor zorgt dat deze niet meer representatief is voor de meerderheid van de punten. DOC 43/97/N V2 (bijlage 1) p. 3/9

4 Inleiding Ter gelegenheid van bepaalde externe kwaliteitsevaluatie enquêtes sturen wij stalen om de lineariteit van de resulaten te bestuderen. Een dergelijke studie kan worden uitgevoerd op voorwaarde dat matrixeffecten kunnen worden uitgesloten en dat een target waarde voor ieder staal kan worden bepaald. De gerapporteerde waarden kunnen met de target waarden vergeleken worden aan de hand van een regressierechte. De variabiliteit van de resultaten rond de regressierechte en de positie van de rechte zelf, informeert ons over de variabiliteit en de bias van het laboratorium. Verschillende gevallen kunnen optreden, zoals getoond in Figuur 1. A B C D Figuur 1: Illustratie van mogelijke afwijkingen voor regressielijnen De meest ideale situatie doet zich voor in grafiek (A). De regressielijn, voorgesteld door de volle lijn, ligt heel dicht bij de 45 -lijn (stippellijn). De punten die het gerapporteerde resultaat voorstellen voor elke target waarde liggen op hun beurt zeer dicht rond de regressierechte. Grafiek (B) geeft een regressierechte met vergelijkbare positie, al is de spreiding van de individuele punten rond de regressierechte groter dan bij (A). Deze grotere DOC 43/97/N V2 (bijlage 1) p. 4/9

5 spreiding duidt op een grotere onzekerheid van de resultaten. De metingen wijken af van de juiste waarde, maar het gemiddelde van verschillende metingen blijft dichtbij de 45 -lijn liggen. Grafiek (C) toont punten die heel dicht rond hun regressierechte liggen. De zekerheid rond de meting van een specifiek punt is dus groot. De lijn door alle punten wijkt echter sterk af van de 45 -lijn. Deze afwijking duidt op een bias, waarbij elke meting heel goed kan gereproduceerd worden, maar waarbij het resultaat steeds afwijkt van de target waarde. Grafiek (D) toont ten slotte een regressierechte die sterk afwijkt van de 45 -lijn, en die een grotere variabiliteit vertoont dan deze van grafiek (C). Bij het interpreteren van regressierechtes is de vraag die de performantie van methoden of laboratoria nagaat zodus tweeledig: 1- Hoe dicht liggen de punten die de metingen van de afzonderlijke stalen voorstellen rond de regressierechte van de methode of van het laboratorium? 2- Hoe dicht ligt de regressierechte van het laboratorium of de gemiddelde regressierechte van de methode bij de 45 -lijn (voor het laboratorium kunnen wij ook nagaan hoe dicht zijn regressierechte ligt bij de gemiddelde rechte van zijn groep). Voor we ons toespitsen op het antwoorden van die twee vragen dienen we er ons eerst van te vergewissen of een regressierechte altijd een representatieve voorstelling is tussen de gerapporteerde en de target waarde. Beschouw Figuur 2. A B Figuur 2: Effect van outliers op de regressierechte Beide voorbeelden hebben een gelijkaardig variabiliteit en een ongeveer zelfde positie van de regressielijnen. Het valt echter op dat het merendeel van de punten in de linkergrafiek dichter rond de regressierechte liggen dan die in de rechtergrafiek. In feite zijn slechts twee punten verantwoordelijk voor de grote variabiliteit in de linkergrafiek. Meer nog, outliers kunnen de positie van de regressielijn ook op een zodanige manier beïnvloeden dat ze niet meer representatief is voor het overgrote deel van de punten (zie bijvoorbeeld Figuur 3). DOC 43/97/N V2 (bijlage 1) p. 5/9

6 Er wordt daarom voorgesteld om, vooraleer bias en variabiliteit rond een regressielijn worden berekend, eerst de outliers tegenover de individuele regressielijnen op te sporen en te negeren. Er kan aldus als volgt worden verder gegaan (ref. 8): Eerste stap: Zoek outliers tegenover de regressielijn (ref. 1,2,3) Het zoeken van outliers tegenover een regressielijn op zich is opgedeeld in verschillende stappen, die als volgt kunnen worden omschreven: - Bereken een robuuste regressielijn tussen de opgegeven waarden en de target waarden (Least Trimmed Squares). - Bereken een maat voor variabiliteit van punten rond de robuuste regressielijn en gebruik die variabiliteit om de punten te identificeren die te ver van de robuuste regressielijn liggen. - Bereken een nieuwe lineaire regressielijn doorheen de punten die niet in de voorgaande stap werden geïdentificeerd. - Bereken tegenover deze regressielijn voor ieder afzonderlijk punt de Cook s distance (zie verklarende woordenboek). Dit helpt om de afwijkende punten die de positie van de rechte te sterk beïnvloeden te identificeren. Deze punten worden geschrapt om een nieuwe regressierechte te berekenen. - Men controleert of de toevoeging of weglating van elk punt een te grote invloed heeft op de positie van de regressierechte, of de schatter van de variabiliteit rond de rechte. Figuur 3: Outlierdetectie bij een regressielijn Figuur 3 toont het resultaat van de eerste stap. De volle lijn is de gewone regressielijn doorheen alle punten en wordt sterk beïnvloed door het punt rond target waarde 6, dat als outlier werd herkend. De gestippelde lijn is de regressielijn doorheen alle punten behalve de outlier. DOC 43/97/N V2 (bijlage 1) p. 6/9

7 Tweede stap: variabiliteit van de regressielijnen en aantonen van de afwijkende resultaten (ref. 4,5). Door het weglaten van outliers in de vorige stap werken we nu met regressielijnen die de relatie tussen target en gerapporteerde waarden correct voorstellen. Er wordt nu eerst gezocht naar rechtes waarvan de punten errond een te grote spreiding, of variabiliteit, vertonen. De variabiliteit, beschouwd als variantie, kan benaderd worden met een log-normale verdeling. De verdeling van de log-getransformeerde varianties kan aldus als een normale verdeling worden beschouwd en zo kunnen afwijkende resultaten tegenover deze verdeling worden gevonden. Iedere regressierechte waarvan de variabiliteit tegenover de andere rechtes als te hoog wordt beschouwd wordt gemerkt als afwijkend. Derde stap: studie van de bias van de regressielijnen per methode (ref. 6,7) De derde stap (Figuur 4) wordt uitgevoerd op basis van de regressierechten berekend zonder outliers en zonder de afwijkende resultaten van stap 2. Indien de intercept en slope als een bivariate verdeling worden verondersteld, kan men voor deze bivariate verdeling een robuuste multivariate covariantiematrix en centrumschatter opstellen. De Mahalanobis afstand ten opzichte van het robuust centrum van de multivariate verdeling kan dan als basis dienen om afwijkende resultaten te vinden. Deze afstanden volgen, indien er geen outliers zijn, een chikwadraat verdeling met 2 vrijheidsgraden. Op basis van intercept en slope wordt een robuuste confidentie-regio bepaald. Net zoals bij robuuste regressie wordt een robuuste confidentie-regio niet of nauwelijks beïnvloed door afwijkende waarden. Ieder punt dat buiten de confidentieregio valt wordt beschouwd als gebiased voor zijn methode. Als het laagste punt van 0 verschilt, kan van alle waarden het equivalent van het eerste punt van de rechte afgetrokken worden. Dit laat een betere interpretatie van de intercept toe. Eens de confidentie-regio is opgesteld kunnen ook de regressielijnen die in de tweede stap werden geëlimineerd in de vorige stap worden geëvalueerd voor hun bias. Een regressierechte waarvan de intercept en slope binnen de confidentie-regio vallen wordt beschouwd als een pure afwijkende waarde voor variabiliteit. Een rechte waarvan de intercept en slope buiten de confidentie-regio vallen wordt dan beschouwd als afwijkend voor variabiliteit en voor bias. DOC 43/97/N V2 (bijlage 1) p. 7/9

8 Slope Intercept Figuur 4: Detectie van afwijkende rechtes bij samen interpreteren van intercept en slope Het verschil tussen een confidentieregio gebaseerd op alle gegevens en een robuuste confidentieregio wordt geïllustreerd in Figuur 4. De volle lijn is de confidentie-regio gebaseerd op alle punten. De stippellijn is de robuuste confidentie-regio. Zoals op de figuur duidelijk is, ligt één punt buiten de robuuste confidentie-regio en wordt het zoals afwijkend aanzien. Evaluatie van het verschil tussen het methodegemiddelde en de 45 rechte De gemiddelde intercept en slope van alle rechtes die niet werden gemerkt als afwijkend voor bias en/of voor variabiliteit kunnen worden gebruikt om een vergelijking op te stellen met de 45 -lijn. Indien de gemiddelde intercept en slope significant verschillen van de 45 -lijn wordt er een bias beschouwd tussen de methoden en de 45 -lijn. Hier dient wel te worden opgemerkt dat de grootte van afwijking tegenover de 45 -lijn nog altijd binnen de limieten van het aanvaardbare zou kunnen liggen. Opstellen van het confidentieniveau In functie van de enquête wordt een confidentieniveau ingesteld op een manier die zoveel als mogelijk verhindert dat juiste waarden als afwijkend worden beschouwd. DOC 43/97/N V2 (bijlage 1) p. 8/9

9 Literatuur 1. Rousseeuw PJ, Leroy AM. Robust regression and outlier detection. New York: John Wiley&Sons; Rousseeuw PJ, van Zomeren B. Unmasking multivariate outliers and leverage points. J Am Stat Assoc 1990; 85: Atkinson AC. Masking unmasked. Biometrika 1986;73, Albert A, Harris EK. Multivariate interpretation of clinical laboratory data. New York: Marcel Dekker; Harris EK, Boyd JC. Statistical bases of reference values in laboratory medicine. New York: Marcel Dekker; Rousseeuw PJ, Van Driessen K. A Fast algorithm for the Minimum Covariance Determinant Estimator Technometrics 1999; 41: Willems G, Pison G, Rousseeuw PJ, Van Aelst S. A robust Hotelling test. Metrika 2002;55: Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, 48: DOC 43/97/N V2 (bijlage 1) p. 9/9