WIV J. Wytsmanstraat, 14 B-1050 BRUSSEL FEDERALE OVERHEIDSDIENST (FOD) VOLKSGEZONDHEID, VEILIGHEID VAN DE VOEDSELKETEN EN LEEFMILIEU COMMISSIE VOOR KLINISCHE BIOLOGIE DIENST VOOR LABORATORIA VAN KLINISCHE BIOLOGIE COMITE VAN DESKUNDIGEN Een 3-stapsmethode om bepaling in verschillende stalen globaal te evalueren Wim Coucke, 13 januari 2010 Dit rapport mag uitsluitend worden gereproduceerd, gepubliceerd of gedistribueerd met toestemming van het WIV DOC 33/N/97 V1 Bijlage 1 1/9
INHOUDSTABEL Glossarium... 3 Inleiding... 4 Eerste stap... 6 Tweede stap... 6 Derde stap... 7 Evaluatie van het verschil is tussen het methodegemiddelde en de 45 rechte... 8 Opstellen van confidentieniveau... 8 Literatuur... 9 DOC 33/N/97 V1 Bijlage 1 2/9
Glossarium Afwijkend resultaat: resultaat met een te hoge variabiliteit en / of bias voor een bepaald betrouwbaarheidsniveau. Betrouwbaarheidsniveau in het kader van het zoeken naar afwijkende waarden: proportie of percentage van niet-afwijkende punten die door een bepaalde statistische test effectief niet als afwijkend worden aangeduid. Betrouwbaarheidsregio rond een gemiddelde rechte: regio (ellips) waarbinnen de meerderheid van de punten die de intercept en helling van individuele regressierechtes voorstellen voor een bepaald betrouwbaarheidsniveau, vallen. Cook s distance: een maat voor de invloed van een individueel punt op een regressielijn. Least Trimmed square: robuuste regressietechniek die een regressierechte berekent die representatief is voor ten minste de helft van de gegevens. Deze rechte wordt niet door afwijkende resultaten beïnvloed. Mahalanobis afstand: Afstand van een punt tot het centrum van een multivariate verdeling, rekening houdend met de variabiliteit; te vergelijken met een z-score bij één dimensie. Outlier: Afwijkend analyseresultaat waarvan de impact op de regressierechte ervoor zorgt dat ze niet meer representatief is voor de meerderheid van de punten. DOC 33/N/97 V1 Bijlage 1 3/9
Inleiding Ter gelegenheid van bepaalde EKE-enquêtes sturen wij stalen om lineariteit van de resulaten te bestuderen. Een dergelijke studie kan worden uitgevoerd op voorwaarde dat matrixeffecten kunnen worden uitgesloten en dat een targetwaarde voor ieder staal kan worden bepaald. De gerapporteerde waardes kunnen met de target waardes worden vergeleken aan de hand van een regressierechte. A B C D Figuur 1: illustratie van mogelijke afwijkingen voor regressielijnen Op figuur 1 zijn verschillende regressierechtes getekend. De meest ideale situatie doet zich voor in grafiek (A). De regressielijn, voorgesteld door de volle lijn, ligt heel dicht bij de 45 -lijn (stippellijn). De punten die de gerapporteerde waarde voorstellen voor elke target waarde liggen op hun beurt zeer dicht rond de regressierechte. Grafiek (B) geeft een regressierechte met vergelijkbare positie, al is de spreiding van de individuele punten rond de regressierechte groter dan bij (A). Deze grotere spreiding duidt DOC 33/N/97 V1 Bijlage 1 4/9
op een grotere onzekerheid van de resultaten. De metingen wijken af van de juiste waarde, maar het gemiddelde van verschillende metingen blijft dichtbij de 45 -lijn liggen. Grafiek (C) toont punten die heel dicht rond hun regressierechte liggen. De zekerheid rond de meting van een specifiek punt is dus groot. De lijn door alle punten wijkt echter sterk af van de 45 -lijn. Deze afwijking duidt op een bias, waarbij elke meting heel goed kan gereproduceerd worden, maar waarbij het resultaat steeds afwijkt van de standaardwaarde. Grafiek (D) ten slotte toont een regressielijn die sterk afwijkt van de 45 -lijn, en die een grotere variabiliteit vertoont dan geval (C). Hier is sprake van grote variabiliteit, en een regressierechte die afwijkt van de 45 -lijn. Er zijn dus verschillende manieren waarop regressierechten kunnen afwijken van de theoretisch ideale 45 -lijn, en bij het interpreter en van regressierechtes is de vraag die de performantie van methoden of laboratoria nagaat zodus tweeledig: 1- Hoe dicht liggen de punten die de metingen van de afzonderlijke stalen voorstellen rond de regressierechte van de methode of het laboratorium? 2- Hoe dicht ligt de regressierechte van het laboratorium of de gemiddelde regressierechte van de methode bij de 45 -lijn (voor het laboratori um kunnen wij ook nagaan hoe dicht zijn regressierechte ligt bij de gemiddelde rechte van zijn groep) Voor we ons toespitsen op het antwoorden van die twee vragen dienen we er ons eerst van te vergewissen of een regressierechte altijd een representatieve voorstelling is tussen de gerapporteerde en de target waarde. Beschouw Figuur 2. A B Figuur 2: Effect van outliers tegenover een regressierechte Beide voorbeelden hebben een gelijkaardig variabiliteit en een ongeveer zelfde positie van de regressielijnen. Het valt echter op dat het merendeel van de punten in de linkergrafiek dichter rond de regressierechte liggen dan die in de rechtergrafiek. In feite zijn slechts twee punten verantwoordelijk voor de grote variabiliteit in de linkergrafiek. Meer nog, outliers kunnen de positie van de regressielijn ook op een zodanige manier beïnvloeden dat zijn positie niet meer representatief is voor het overgrote deel van de punten (zie bijvoorbeeld Figuur 3). DOC 33/N/97 V1 Bijlage 1 5/9
Er wordt daarom voorgesteld om, vooraleer bias en variabiliteit rond een regressielijn worden berekend eerst de outliers tegen de individuele regressielijnen op te sporen en te negeren. Er kan aldus als volgt worden verder gegaan (ref. 8): Eerste stap: Zoek outliers tegenover regressielijn (ref. 1,2,3) Het zoeken van outliers tegenover een regressielijn op zich is opgedeeld in verschillende stappen, die als volgt kunnen worden omschreven: - Bereken een robuuste regressielijn tussen de opgegeven waarden en de target waarden (Least Trimmed Squares). - Bereken een maat voor variabiliteit van punten rond de robuuste regressielijn en gebruik die variabiliteit voor de punten te identificeren die te ver van de robuuste regressielijn liggen. - Bereken een nieuwe lineaire regressielijn doorheen de punten die niet in de voorgaande stap werden geïdentificeerd; - Bereken tegenover deze lijn voor ieder afzonderlijk punt de Cook s distance. De Cook's distance is een maat om na te gaan in hoeverre de positie van de rechte wordt beïnvloed door elk punt afzonderlijk. Punten waarvoor de positie van de rechte te sterk wordt beïnvloed worden gekenmerkt als outlier. Figuur 3: outlierdetectie bij een regressielijn Figuur 3 toont het resultaat van de eerste stap. De volle lijn is de gewone regressielijn doorheen alle punten en wordt sterk beïnvloed door het punt rond target waarde 6, dat als outlier werd herkend. De gestippelde lijn is de regressielijn doorheen alle punten behalve de outlier. Tweede stap: variabiliteit van de regressielijnen en aantonen van de afwijkende resultaten (ref. 4,5) Door het weglaten van outliers in de vorige stap werken we nu met regressielijnen die de relatie tussen target en gerapporteerde waarden voor de overgrote meerderheid van de waarden correct voorstellen. Er wordt nu eerst gezocht naar rechtes waarvan de punten errond een te grote spreiding, of variabiliteit, vertonen. De variabiliteit, beschouwd als variantie, kan benaderd worden met een log-normale verdeling. De verdeling van de log-getransformeerde varianties kan aldus als een normale DOC 33/N/97 V1 Bijlage 1 6/9
verdeling worden beschouwd en zo kunnen afwijkende resultaten tegenover deze verdeling worden gevonden. Iedere regressierechte waarvan de variabiliteit te hoog tegenover de andere rechtes wordt beschouwd wordt gemerkt als afwijkend. Derde stap: studie van de bias van de regressielijnen per methode (ref. 6,7) De derde stap wordt uitgevoerd op basis van de regressierechten berekend zonder outliers en zonder de afwijkende resultaten van stap 2. Indien de intercept en slope als een bivariate verdeling worden verondersteld, kan men voor deze bivariate verdeling een robuuste multivariate covariantiematrix en centrumschatter opstellen. De Mahalanobis afstand ten opzichte van het robuust centrum van de multivariate verdeling kan dan als basis dienen om afwijkende resultaten te vinden. Deze afstanden volgen, indien er geen outliers zijn, een chikwadraat verdeling met 2 vrijheidsgraden. Op basis van intercept en slope wordt een robuuste confidentie-regio bepaald. Net zoals bij robuuste regressie wordt een robuuste confidentie-regio niet of nauwelijks beïnvloed door afwijkende waarden. Ieder punt dat buiten de confidentie-regio valt wordt beschouwd als gebiased voor zijn methode. Als het laagste punt van 0 verschilt, kan van alle waarden het equivalent van het eerste punt van de rechte afgetrokken worden. Dit laat een betere interpretatie van de intercept toe. Eens de confidentie-regio is opgesteld kunnen ook de regressielijnen die in de tweede stap werden geëlimineerd in de vorige stap worden geëvalueerd voor hun bias. Een regressierechte waarvan de intercept en slope binnen de confidentie-regio vallen wordt beschouwd als een pure afwijkende waarde voor variabiliteit. Een rechte waarvan de intercept en slope buiten de confidentie-regio vallen wordt dan beschouwd als afwijkend voor variabiliteit en voor bias. Slope 0.9 1.0 1.1 1.2 0.35 0.40 0.45 0.50 Intercept Figuur 4 Detectie van afwijkende rechtes bij samen interpreteren van intercept en slope Het verschil tussen een confidentieregio gebaseerd op alle gegevens en een robuuste confidentieregio wordt geïllustreerd in Figuur 4. De volle lijn is de confidentie-regio gebaseerd op alle punten. De stippellijn is de robuuste confidentie-regio. Zoals op de figuur DOC 33/N/97 V1 Bijlage 1 7/9
duidelijk is ligt één punt buiten de robuuste confidentie-regio en wordt het zoals afwijkend aanzien. Evaluatie van het verschil is tussen het methodegemiddelde en de 45 rechte De gemiddelde intercept en slope van alle rechtes die niet werden gemerkt als afwijkend voor bias en/of voor variabiliteit kan worden gebruikt om een vergelijking op te stellen met de 45 -lijn. Indien de gemiddelde intercept en slope s ignificant verschillen van de 45 -lijn wordt er een bias beschouwd tussen de methoden en de 45 - lijn. Hier dient wel te worden opgemerkt dat de grootte van afwijking tegenover de 45 -lijn nog altijd binnen de limieten van het aanvaardbare zouden kunnen liggen. Opstellen van confidentieniveau In functie van de enquête wordt een confidentieniveau ingesteld op een manier die zoveel als mogelijk verhindert dat juiste waarden als afwijkend worden beschouwd. DOC 33/N/97 V1 Bijlage 1 8/9
Literatuur 1. Rousseeuw PJ, Leroy AM. Robust regression and outlier detection. New York: John Wiley&Sons; 1987 2. Rousseeuw PJ, van Zomeren B. Unmasking multivariate outliers and leverage points. J Am Stat Assoc 1990; 85:633-39 3. Atkinson AC. Masking unmasked. Biometrika 1986;73,533-41 4. Albert A, Harris EK. Multivariate interpretation of clinical laboratory data. New York: Marcel Dekker; 1987 5. Harris EK, Boyd JC. Statistical bases of reference values in laboratory medicine. New York: Marcel Dekker; 1995 6. Rousseeuw PJ, Van Driessen K. A Fast algorithm for the Minimum Covariance Determinant Estimator Technometrics 1999; 41:212-23 7. Willems G, Pison G, Rousseeuw PJ, Van Aelst S. A robust Hotelling test. Metrika 2002;55:125-38 8.Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, accepted for publication DOC 33/N/97 V1 Bijlage 1 9/9