Alcoholbepaling in bloed

Transcriptie

1 ISSN WIV J. Wytsmanstraat, 14 B-1050 BRUSSEL FEDERALE OVERHEIDSDIENST (FOD) VOLKSGEZONDHEID, VEILIGHEID VAN DE VOEDSELKETEN EN LEEFMILIEU COMMISSIE VOOR KLINISCHE BIOLOGIE DIENST VOOR LABORATORIA VAN KLINISCHE BIOLOGIE COMITE VAN DESKUNDIGEN GLOBAAL RAPPORT EXTERNE KWALITEITSEVALUATIE VOOR ANALYSEN KLINISCHE BIOLOGIE Alcoholbepaling in bloed ENQUETE 02/2009 WIV 09/02/ALC. 01 Dit rapport mag uitsluitend worden gereproduceerd, gepubliceerd of gedistribueerd met toestemming van het WIV

2 EXPERTENCOMITE ALCOHOLBEPALING IN BLOED WIV (secretariaat) tel: 02/ ; fax: 02/ Enquête coördinators: N. Hamers: tel: 02/ ; Ph Van de Walle : tel : 02/ , p.vandewalle@iph.fgov.be Statisticus: W. Coucke: tel:02/ ; w.coucke@iph.fgov.be C. Charlier tel: 04/ ; fax: 04/ ; c.charlier@chu.ulg.ac.be W. Lambert tel: 09/ ; fax: 09/ ; willy.lambert@ugent.be F. Martens tel: 056/ ; fax: 056/ ; frank.martens@azgroeninge.be H. Neels tel: 03/ ; fax: 03/ ; hugo.neels@zna.be J. Tytgat tel: 016/ ; Jan.Tytgat@pharm.kuleuven.be V. Maes tel: 02/ ; fax: 02/ ; viviane.maes@uzbrussel.be A. Vanescote Tél : 081/ ; Fax : 081/ ; a.vanescote@gammamedic.be A. Verstraete tel: 09/ ; fax: 09/ ; alain.verstraete@ugent.be P. Wallemacq tel: 02/ ; fax: 02/ ; pierre.wallemacq@uclouvain.be ALCOHOL Globaal Rapport 2009/2 2/40

3 INHOUDSTABEL 1. INLEIDING TER BESCHIKKING STELLEN VAN DE RAPPORTEN STATISTISCHE STUDIE ALGEMENE VERWERKING... 7 Spreidingsparameters van het individueel rapport... 7 Grafische voorstelling toegevoegd aan het globaal rapport LINEARITEITSANALYSE OVERZICHT VAN DE GEBRUIKTE METHODEN KWANTITATIEVE RESULTATEN ALGEMENE VERWERKING Gebruikte interne standaarden voor de chromatografische methoden LINEARITEITSANALYSE Inleiding Eerste stap van de analyse: identificeren van de outliers (ref 1, 2 en 3) Tweede stap: variabiliteit van de regressielijnen (ref 4 en 5) Derde stap: studie van de bias van de regressielijnen per methode (ref 6 en 7) Resultaten EXPERTISE ADVIEZEN Staal E/ Commentaren E/ Staal E/ Commentaren E/ Algemene commentaar OPSTELLEN PRO JUSTITIA...31 BIJLAGE...33 EEN 3-STAPSMETHODE OM ALCOHOL BEPALING IN VERSCHILLENDE STALEN GLOBAAL TE EVALUEREN...33 Glossarium ALCOHOL Globaal Rapport 2009/2 3/40

4 Inleiding Eerste stap: Tweede stap: Derde stap: Literatuur ALCOHOL Globaal Rapport 2009/2 4/40

5 1. Inleiding Tijdens deze enquête werden 6 stalen, bereid op basis van een humane plasmapool, verstuurd. De volgende hoeveelheden ethanol waren aanwezig : Staal Nr Ethanol (g/l) E/9721 ± 1.0 E/9722 ± 0.4 E/9723 ± 0.6 E/9724 ± 0.8 E/9725 ± 0.5 E/9726 ± 1.2 Twee casussen werden aan de wettelijke experten voorgesteld voor de stalen E/9724 en E/9726. Sinds het nieuwe KB van juni 2007 is de deelname aan de externe kwaliteitsevaluatie verplicht voor de wettelijke experten. ALCOHOL Globaal Rapport 2009/2 5/40

6 2. Ter beschikking stellen van de rapporten De stalen van de enquête 2009/2 werden op 12 oktober verstuurd, de afsluit datum van de encodages was 4 november 2009, vanaf 9 november waren de individuele rapporten beschikbaar op toolkit (niet gevalideerd). De validatie gebeurde op 24 december. Vanaf deze datum zijn dus de definitieve rapporten beschikbaar op de Toolkit. Zoals u reeds kon vaststellen, vragen wij u om uw antwoorden vlugger terug te sturen zodat de resultaten voor de laboratoria, onder de vorm van een eerste niet gevalideerde draft, zo vlug mogelijk na het afsluiten van de enquête beschikbaar zijn. Voor die laboratoria waarvoor omwille van onvoorziene omstandigheden voor een bepaalde enquête er een probleem zou zijn voor de tijdslimiet, kan de toegang tot de TOOLKIT uitzonderlijk worden verlengd. Dit vertraagt echter de productie van de rapporten voor het geheel van de groep. In eenieders voordeel vragen wij u dus om aandachtig te zijn en de voorgestelde termijnen te respecteren. Gelieve ook te noteren dat vanaf het moment van beschikbaarheid van de individuele niet gevalideerde rapporten op onze site, er geen enkele correctie meer zal worden doorgevoerd; noch m.b.t. gebruikte methoden, noch m.b.t. encodeerfouten, eenheden, enz Deze beslissing werd genomen enerzijds om de reeds bekomen statistische gegevens niet te beïnvloeden en anderzijds om extra aandacht te vragen naar de deelnemers toe om naar aanleiding van elke enquête de parameterisatie te verifiëren en tijdig de nodige wijzigingen aan te brengen en de ingevoerde gegevens te controleren. Enkel via de juiste informatie kan aan alle deelnemers correcte statistische informatie worden bezorgd. Na de validatie van de enquête door het Expertencomité zal het gevalideerd globaal rapport beschikbaar zijn op onze Website op het volgende adres : Kies " rapporten " in het voorgestelde menu of op het volgende adres : Voor alcohol zijn de volgende globale rapporten beschikbaar op de site van de afdeling : Alcohol ALCOHOL Globaal Rapport 2009/2 6/40

7 3. Statistische studie 3.1 ALGEMENE VERWERKING De vergelijking van de resultaten gebeurde volgens een niet-parametrische methode, de methode van Tukey (J.W. Exploratory data analysis. Reading, M.A. : Addison-Wesley, 1977). Spreidingsparameters van het individueel rapport Wat de kwantitatieve resultaten betreft, wordt de positie van uw resultaten gegeven in vergelijking met alle resultaten van alle deelnemers en in vergelijking met de resultaten van de deelnemers die dezelfde methode gebruiken. De volgende informatie wordt gegeven: - Uw methode - Uw resultaat - De globale mediaan: de centrale waarde van de resultaten bekomen door het geheel van de laboratoria voor alle methoden. - De mediaan van uw methode: de centrale waarde van de resultaten bekomen door de laboratoria die eenzelfde methode gebruiken. - SD of standaarddeviatie: meting van de spreiding van de resultaten bekomen door het geheel van de laboratoria en door uw gebruikersgroep. - CV of variatiecoëfficient: CV = SD x 100/M (%) - Z of afstand (uitgedrukt in SD) van uw resultaat tot de mediaan: Z = (R - M) / SD - U of de procentuele afwijking van uw resultaat tov de mediaan: U = 100*( R M ) / M - een grafische interpretatie van de positie van uw resultaat in vergelijking met de mediaan gebaseerd op de methode van Tukey, voor elke parameter en voor elk geanalyseerd staal. R: uw resultaat M: mediaan H: percentielen 25 en 75 I: interne limieten (M ± 2.7 SD) O: externe limieten (M ± 4.7 SD) De globale grafiek en deze van uw methode worden uitgedrukt volgens dezelfde schaal, op deze wijze zijn beide vergelijkbaar. Deze grafieken geven u een ruw geschatte indicatie van de positie van uw resultaat. Wij herinneren u er aan dat er 3 brochures beschikbaar zijn op onze Website op het volgende adres: kies Brochures in het voorgestelde menu of op het volgende adres: 1) Informatiebrochure over de externe kwaliteitsevaluatieprogramma's voor klinische laboratoria (Algemene informatiebrochure over de externe evaluatie) 2) Statistische brochure (Algemene statistische berekeningsprocedure opgesteld door Professor Albert) 3) Verwerking van gecensureerde waarden (Statistische berekeningsprocedure toegepast op de gecensureerde waarden opgesteld door Professor Albert). ALCOHOL Globaal Rapport 2009/2 7/40

8 Grafische voorstelling toegevoegd aan het globaal rapport Naast de tabellen met de resultaten, is eveneens een grafische voorstelling van de resultaten als box en whisker plot toegevoegd; zij bevat de volgende elementen voor methoden met minstens 2 deelnemers: - een rechthoek met de percentielen 25 (P 25 ) en 75 (P 75 ) - een centrale lijn die de mediaan van de resultaten voorstelt (P 50 ) - een ondergrens die de kleinste waarde voorstelt x > P (P 75 -P 25 ) - een bovengrens die de grootste waarde voorstelt x <P (P 75 -P 25 ) - alle punten buiten dit interval worden voorgesteld door een cirkel Zoals aangeduid in de figuur hieronder, komen de grenzen (I) weergegeven in de grafieken van de individuele rapporten overeen met de onder- en de bovengrenzen van de box plots (te weten: P (P 75 - P 25 ) en P (P 75 - P 25 )), of in het geval van een normale distributie met M ± 3 SD. / O = P * (P 75 -P 25 ) LIMIETEN VAN TUKEY (niet normale verdeling) I H M H I O = P * (P 75 -P 25 ) = P * (P 75 -P 25 ) = P 25-3 * (P 75 -P 25 ) P 50 P 75 P 25 x < P * (P 75 -P 25 ) x > P * (P 75 -P 25 ) O I H M H I O M - 4.7σ M - 2.7σ P 25 P 75 M + 2.7σ M + 4.7σ slecht twijfelachtig goed twijfelachtig slecht OVEREENKOMSTIGE LIMIETEN IN GEVAL VAN NORMALE VERDELING ALCOHOL Globaal Rapport 2009/2 8/40

9 3.2 LINEARITEITSANALYSE De stalen van deze enquête bieden de mogelijkheid om de lineariteit van uw methode te testen tussen 0.4. en 1.2g/l. Een regressieanalyse werd gemaakt. 4. Overzicht van de gebruikte methoden De volgende grafiek geeft een overzicht van de verschillende methoden gebruikt tijdens de enquête 2009/2 002 Dir Gas Chrom - (capillary-column) 003 Dir Gas chrom (packed-column) 004 Headspace chrom (capillary-column ) 039 ADH - Abbott (Aeroset/ Architect) 041 ADH- Abbott AxSym 042 ADH- Abbott TDx/ADx 044 ADH- Beckman 045 ADH- Dade (Emit) 046 ADH- Roche 048 ADH- Vitros 049 ADH - Dade Dimension DF18/DF22 ALCOHOL Globaal Rapport 2009/2 9/40

10 5. Kwantitatieve resultaten 5.1. ALGEMENE VERWERKING Ethyl-alcohol - d (%) : 15.0 E/9721 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillary-column) Direct Gas chromatography (packed-column) Headspace chromatography (capillary-column ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) ALCOHOL Globaal Rapport 2009/2 10/40

11 Ethyl-alcohol - d (%) : 15.0 E/9722 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillarycolumn) Direct Gas chromatography (packed-column) Headspace chromatography (capillarycolumn ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym * * ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) * Enige methode met een CV>10% tijdens deze enquête ALCOHOL Globaal Rapport 2009/2 11/40

12 Ethyl-alcohol - d (%) : 15.0 E/9723 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillarycolumn) Direct Gas chromatography (packed-column) Headspace chromatography (capillarycolumn ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) ALCOHOL Globaal Rapport 2009/2 12/40

14 Ethyl-alcohol - d (%) : 15.0 E/9725 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillarycolumn) Direct Gas chromatography (packed-column) Headspace chromatography (capillarycolumn ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) Data not shown on the graph Method Value 46 < 0.01 g/l ALCOHOL Globaal Rapport 2009/2 14/40

16 Gebruikte interne standaarden voor de chromatografische methoden N n-propanol(1-propanol, 1-hydroxypropaan, ethylcarbinol) 14 t-butanol (2-methyl-2-propanol, t-butylalcohol) 7 acetonitrile 5 n-butanol(1-butanol, 1-hydroxybutaan, propylcarbinol) 3 Isopropanol(2-propanol, 2-hydroxypropaan, dimethylcarbinol) 2 2-butanone (ethyl methyl ketone) 1 THF, tetrahydrofuraan, 1,4-epoxybutaan, tetramethyleen oxyde 1 ALCOHOL Globaal Rapport 2009/2 16/40

17 5.2. LINEARITEITSANALYSE Inleiding De lineariteitsanalyse wordt met een 3 stapsmethode uitgevoerd en is in het volgende artikel beschreven : Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, accepted for publication. Alleen de methodes waarvoor minstens 4 laboratoria hebben deelgenomen worden opgenomen in deze studie. Voor ieder laboratorium wordt een regressielijn berekend (tussen de target waarden en de gerapporteerde waarden). Indien een laboratorium gegevens voor twee methodes heeft ingegeven wordt een regressielijn voor beide methodes apart berekend. Er zijn twee parameters die deze lijnen kenmerken: enerzijds de variabiliteit van de punten rond de regressielijn (reproduceerbaarheid), en anderzijds de positie van de regressielijn zelf (juistheid). Normaal rapporteert elk laboratorium zes waarden voor zijn methode(s). De medianen bekomen met alle resultaten van de chromatografische methoden tijdens deze enquête werden als targetwaarden gebruikt. Staal nr Targetwaarden (g/l) E/ E/ E/ E/ E/ E/ De resultaten bekomen door de deelnemers werden vergeleken met deze targetwaarden Vier laboratoria hebben twee resultaten (alco1 en alco2) geantwoord voor éénzelfde methode. Voor deze laboratoria wordt alleen rekening gehouden met de resultaten gerapporteerd voor alco1. Het gaat om de laboratoria 57, 62, 63 en 119. Eén laboratorium heeft voor slechts vijf stalen resultaten gerapporteerd: labo 129. Dit laboratorium wordt als alle andere laboratoria behandeld. Eerste stap van de analyse: identificeren van de outliers (ref 1, 2 en 3) Twee waarden, die duidelijk als outlier werden aanzien, worden niet in aanmerking genomen voor de verdere analyse: laboratorium 6, staal E/9725 <0.01g/L, en laboratorium 34 staal E/9726: 0.52g/L. ALCOHOL Globaal Rapport 2009/2 17/40

18 Tweede stap: variabiliteit van de regressielijnen en aantonen van de afwijkende resultaten (ref 4 en 5) Er wordt gezocht naar rechtes waarvan de punten errond een te grote variabiliteit vertonen. Er zijn vier laboratoria die geciteerd zijn voor excessieve variabiliteit, 2 Roche gebruikers (methode 046 labo s 69 en 133) en 2 Abbott TDx gebruikers (methode 042 labo s 138 en 163). Deze laboratoria zullen niet in rekening worden gebracht in de volgende stap. Doordat er dan te weinig punten overblijven voor methode 42 (Abbott TDx) zal deze verder in de tekst niet meer worden geëvalueerd. Derde stap: studie van de bias van de regressielijnen per methode (ref 6 en 7) De derde stap wordt uitgevoerd op basis van de regressielijnen berekend zonder outliers en die een aanvaardbare variabiliteit hebben. De intercept en de slope van elke regressierechte wordt berekend op basis van die twee parameters en een robuuste confidentie-regio wordt bepaald (vorm van een ellips). Een robuuste confidentie-regio wordt niet of nauwelijks beïnvloed door waarden met een afwijkende positie. Ieder punt dat buiten de confidentieregio (99.9%) valt wordt beschouwd als afwijkend voor bias. Resultaten Voor elke methode hebben wij 2 verschillende grafieken opgesteld, enerzijds de gewone regressielijn (linker grafiek) en anderzijds een scatterplot met de betrouwbaarheidsregio rond de slope en intercept (rechter grafiek). Een bias wordt significant beschouwd indien de P waarde van het verschil met de 45 lijn is. Links staat een regressie grafiek met de regressielijnen van de laboratoria. De zwarte lijn is de 45 -lijn; De grijze lijnen zijn de lijnen van de laboratoria voor de betrokken methode; De donkerblauwe lijnen zijn de lijnen van de labo s met te hoge variabiliteit; De lichtblauwe lijnen zijn de lijnen van de labo s met een bias; De rode lijnen zijn de lijnen van de labo s met te hoge variabiliteit en met een bias. ALCOHOL Globaal Rapport 2009/2 18/40

19 Rechts worden de betrouwbaarheidsregio voor de slopen tegenover de intercepts voor iedere methode in grafiek gezet De voorstelling van de betrouwbaarheidsregio wordt door middel van een ellips doorgegeven. - hoe breder de spreiding van de resultaten, hoe breder de ellips. - hoe meer gegevens, hoe smaller de ellips voor een bepaalde dispersie. - het zwarte kruis is de gemiddelde intercept en slope voor elke methode - grijze ellips: 99.9%-confidentie-ellips van de resultaten bekomen met één methode. Elk punt dat buiten deze ellips valt is een outlier tegenover zijn eigen groep (P<0.001). - de grijze cirkels zijn de intercepts en slopen voor ieder laboratorium (geen bias, aanvaardbare variabiliteit). - de donkerblauwe cirkels zijn de intercepts en slopen van de labo's met te hoge variabiliteit. - de lichtblauwe cirkels zijn de intercepts en slopen van de labo's met aanvaardbare variabiliteit maar te hoge bias - de rode cirkels zijn de intercepts en slopen van de rechten met te hoge variabiliteit en bias. ALCOHOL Globaal Rapport 2009/2 19/40

20 De volgende resultaten worden vastgesteld: Voor elke methode wordt het aantal laboratoria (n) dat voorgesteld wordt in de grafieken weergegeven. Per methode en voor elk punt van de rechte wordt slechts 1 enkel resultaat opgenomen in de analyse. Een minderheid laboratoria hebben twee resultaten geëncodeerd (alco1 en alco2) voor eenzelfde methode, in dit geval wordt alleen het resultaat van alco1 in rekening genomen voor de analyse. Na het schrappen van twee labo s met te hoge variabiliteit 138 en 163 werd dan ook de methode Abbott TDx niet meer evalueerbaar. Direct Gas Chromatography (capillary-column) Reported value Slope Target value Intercept Met direct capillair gas chromatografie (n=7) heeft geen enkel laboratorium een rechte met onaanvaardbare bias ten opzichte van zijn eigen groep (grijze lijnen in de linkergrafiek). Allen resultaten liggen mooi binnen de confidentie-ellips van hun eigen groep (grijze bolletjes in de rechter grafiek). Er wordt geen bias voor de methode zelf gevonden. Direct Gas chromatography (packed-column) Reported value Slope Target value Intercept Met direct packed gas chromatografie (n=10) heeft laboratorium nr 28 een rechte met onaanvaardbare bias ten opzichte van zijn eigen groep (lichtblauwe lijn in de linkergrafiek). Zijn punt is het enige dat buiten de confidentieregio van zijn groep valt (lichtblauwe bolletje in de rechter grafiek). Voor de methode zelf wordt er geen bias gevonden. ALCOHOL Globaal Rapport 2009/2 20/40

21 Headspace chromatography (capillary-column ) Reported value Slope Target value Intercept Met headspace gas chromatografie (n=17) heeft laboratorium nr 1 een rechte met onaanvaardbare bias ten opzichte van zijn eigen groep (lichtblauwe lijn in de linkergrafiek) Zijn punt is het enige dat buiten de confidentieregio van zijn groep valt (lichtblauwe bolletje in de rechter grafiek). Er wordt geen bias voor de methode zelf gevonden. ADH - Abbott (Aeroset/ Architect) Reported value Slope Target value Intercept Met Abbott Aeroset en Architect heeft laboratorium nr 84 een rechte met onaanvaardbare bias ten opzichte van zijn eigen groep (n=9, lichtblauwe lijn in de linkergrafiek) Zijn punt is het enige dat buiten de confidentieregio van zijn groep valt (lichtblauwe bolletje in de rechter grafiek). Er wordt een positieve bias voor de methode gevonden (P=0.013). Een meerderheid rechtes liggen boven de 45 lijn. ALCOHOL Globaal Rapport 2009/2 21/40

22 ADH- Abbott AxSym Reported value Slope Target value Intercept De gebruikers van de kit Abbott AxSym (n=6) leveren heterogene resultaten, er is echter geen rechte met onaanvaardbare bias ten opzichte van zijn eigen groep (grijze lijnen in de linkergrafiek). Alle resultaten van labo 172 liggen hoger dan de andere resultaten, het verschil is echter niet significant. De heterogeniteit is door een brede confidentie regio afgebeeld (brede confidentie-ellips in de rechter grafiek). Er wordt geen bias voor de methode gevonden. Dit is waarschijnlijk te wijten aan de heterogeniteit en aan de kleine hoeveelheid resultaten. ADH- Abbott TDx/ADx Twee regressierechten bekomen door de gebruikers van Abbott TDx (n=5) hebben een onaanvaardbare variabiliteit, na het verwijderen ervan blijven er 3 rechten over en er is geen statistiek meer mogelijk. ALCOHOL Globaal Rapport 2009/2 22/40

23 ADH- Beckman Reported value Slope Target value Intercept De gebruikers van Beckman (n=6) leveren heterogene resultaten, er is echter geen rechte met onaanvaardbare bias ten opzichte van zijn eigen groep (grijze lijnen in de linkergrafiek). De heterogeniteit is weergegeven door een brede confidentie regio, die alle punten omvat (brede confidentie-ellips in de rechter grafiek). Er wordt geen bias voor de methode gevonden. Dit is waarschijnlijk te wijten aan de heterogeniteit en aan de kleine hoeveelheid resultaten. In de linker grafiek liggen alle rechtes hoger dan de 45 -lijn (zwarte lijn), het verschil is echter niet significant ADH- Dade (Emit) Reported value Slope Target value Intercept Voor Dade Emit (n=8) hebben twee labo s rechten met een onaanvaardbare bias ten opzichte van hun eigen groep (lichtblauwe lijnen in de linkergrafiek voor labo nr 177 en 87). Deze twee labo s bekomen resultaten buiten de confidentie-ellips van hun eigen methode (lichtblauwe bolletjes in de rechter grafiek). Voor de methode wordt geen bias gevonden. ALCOHOL Globaal Rapport 2009/2 23/40

24 ADH- Roche Reported value Slope Target value Intercept Bij de Roche gebruikers (n=97) hebben de laboratoria nr 2, 144 en 161 rechten met een onaanvaardbare bias ten opzichte van hun groep (lichtblauwe lijnen in de linkergrafiek). Hun resultaten liggen buiten de limieten van hun eigen groep (lichtblauwe bolletjes in de rechtergrafiek). De resultaten van twee andere laboratoria (labo nr 69 en labo nr 133) waarvan de variabiliteit van de punten rond hun regressielijn te groot was, werden ook niet in rekening gebracht voor de berekening van de confidentieregio. Ze werden achteraf wel geëvalueerd tegenover de confidentieregio en bleken er buiten te liggen (rode bolletjes op de rechtergrafiek). Er wordt een significante bias voor de methode gevonden (P<0.001), een meerderheid resultaten ligt boven de 45 lijn (zwarte lijn). ADH- Vitros Reported value Slope Target value Intercept De groep Vitros (n=26) levert homogene resultaten, geen enkele rechte heeft een onaanvaardbare bias ten opzichte van zijn eigen groep (grijze lijnen in de linkergrafiek) Alle resultaten liggen binnen de confidentie-ellips van hun eigen groep (grijze bolletjes in de rechter grafiek). Hoewel niet significant, levert één laboratorium voor de overgrote meerderheid van de resultaten lagere waarden dan de andere deelnemers, labo nr 50. Er wordt een bias voor de methode gevonden (P<0.001). ALCOHOL Globaal Rapport 2009/2 24/40

25 ADH - Dade Dimension DF18/DF22 Reported value Slope Target value Intercept Met Dade Dimension (DF18/DF22) (n=8) heeft geen enkele rechte een onaanvaardbare bias ten opzichte van zijn eigen groep (grijze lijnen in de linkergrafiek). De punten liggen binnen de brede confidentie-ellips van hun eigen groep (grijze bolletjes in de rechter grafiek). Voor de methode wordt geen bias gevonden. ALCOHOL Globaal Rapport 2009/2 25/40

26 5.3. EXPERTISE ADVIEZEN Staal E/9724 Een ongeval gebeurt om 21 uur. Een bloedafname werd uitgevoerd om 21u30. De bestuurster (vrouw, 65 kg) verklaart 1 glas porto te hebben gedronken 20 minuten voor het ongeval. Rekening houdend met het analytische resultaat van het staal E/9724 wordt aan de expert gevraagd om het alcoholgehalte te berekenen op het ogenblik van de feiten: 1) Rekening houdend met de verklaring van de bestuurster 2) Zonder rekening te houden met de verklaring van de bestuurster Antwoorden voor het staal E/9724 Mediaan g/l SD CV N Antwoord % 27 Antwoord % 27 De analytische resultaten gaan van 0.74 tot 0.85g/l, met een mediaan van 0.80g/L en een CV van 4.2%. Herberekening die het experten advies ondersteunt: De antwoorden voor de herberekening zijn in de onderstaande tabel opgenomen (27 erkende experten). Rekening houdend met de verklaring van de bestuurster, liggen de antwoorden van 0.44 tot 0.78 g.l met een mediaan van 0.62g/L. Zonder rekening te houden met de verklaring van de bestuurster gaan de antwoorden van 0.72 tot 0.93g/L met een mediaan van 0.77g/L. Antwoord 1 rekening houdend met de verklaring (g/l) Antwoord 2 zonder rekening te houden met de verklaring (g/l) E/ 9724 Labo g/l ALCOHOL Globaal Rapport 2009/2 26/40

27 Evaluatie van de concentratie op het ogenblik van de feiten 1. Tijdscorrectie: 0.15x 30/60 = g/l. 2. Alcohol in een glas Porto (18%): 70ml aan 18% ofwel 12.6x0.789=9.94g alcohol. 3. Alcohol concentratie: 9.94/ (65x0.6)= 0.255/L. 1/ Dus als we rekening houden met de verklaring van de bestuurster Hoeveelheid geresorbeerd op het moment van de bloedafname: g/l x 50/60 = g/l Hoeveelheid geresorbeerd op moment van het ongeval: g/l x 20/60 = g/l. Alcoholgehalte op het ogenblik van de feiten: g/L-0.085g/L= g/L 0.80g/L- 0.10g/L(meetonzekerheid) g/L g/L= 0.65g/L 2/ zonder rekening te houden met de verklaring van de bestuurster 0.80 g/l g/l (meetonzekerheid) g/l = g/l Commentaren E/9724 Enkel 2 van de 27 experten bekomen, rekening houdend met de verklaring van de bestuurster, een antwoord <0.5g/L. Alle andere antwoorden liggen tussen 0.5 en 0.8g/L. Zonder rekening te houden met de verklaring van de bestuurster ligt het antwoord in 70% van de gevallen >0.5g/L. Zes antwoorden (22%) zijn 0.8g/L en 2 antwoorden liggen dichtbij 0.9g/L. ALCOHOL Globaal Rapport 2009/2 27/40

28 Staal E/9726 Een ongeval gebeurt om 19u30. Een bloedafname werd uitgevoerd om 21 uur. De bestuurder (man, 80kg) verklaart, om van de emotie te bekomen, 1 glas Duvel (8.5%) te hebben gedronken rond 20 uur. Rekening houdend met het analytische resultaat van het staal E/9726 wordt aan de expert gevraagd om het alcoholgehalte te berekenen op het ogenblik van de feiten: 1) Rekening houdend met de verklaring van de bestuurder 2) Zonder rekening te houden met de verklaring van de bestuurder Antwoorden voor het staal E/9726 Mediaan g/l SD CV N Antwoord % 27 Antwoord % 27 De analytische resultaten gaan van 1.07 tot 1.31g/l, met een mediaan van 1.20g/L. Herberekening die het experten advies ondersteunt: De antwoorden voor de herberekening zijn in de onderstaande tabel opgenomen (27 erkende experten). Rekening houdend met de verklaring van de bestuurder, liggen de antwoorden 1 van 0.80 tot 1.10 g.l met een mediaan van 0.93g/L. Zonder rekening te houden met de verklaring van de bestuurder vallen de antwoorden 2 tussen 1.19 en 1.51g/L met een mediaan van 1.33g/L. Antwoord 1 rekening houdend met de verklaring (g/l) Antwoord 2 zonder rekening te houden met de verklaring (g/l) E/ 9726 Labo g/l ALCOHOL Globaal Rapport 2009/2 28/40

29 Evaluatie van de concentratie op het ogenblik van de feiten 1. Tijdcorrectie: 0.15x 1.5 = g/l. 2. Alcohol in een glas Duvel (8.5%): 330ml aan 8.5% ofwel 28.05x0.789=22.13g alcohol. 3. Alcohol concentratie: 22.13/ (80x0.7)= 0.395g/L. 4. Hoeveelheid geresorbeerd op het moment van de bloedafname: g/l 1/ Dus als we rekening houden met de verklaring van de bestuurder Hoeveelheid geresorbeerd op het moment van de bloedafname: g/l 1.20 g/l g/l(meetonzekerheid) g/l g/l = 0.93 g/l 2/ zonder rekening te houden met de verklaring van de bestuurder 1.20 g/l g/l(meetonzekerheid) g/l = g/l Commentaren E/9726 Enkel 1 van de 27 experten bekomt, rekening houdend met de verklaring van de bestuurder, een antwoord = 0.8g/L. Alle andere antwoorden liggen tussen 0.8g/L en < 1.2g/L. Zonder rekening te houden met de verklaring van de bestuurder is zijn antwoord 1.19g/L, alle andere antwoorden zijn > 1.2g/L. De lagere antwoorden van dit laboratorium (labo nr 28) is door zijn lage analytische resultaat (1.07g/L) veroorzaakt. ALCOHOL Globaal Rapport 2009/2 29/40

30 Algemene commentaar Tijdens deze enquête werden twee casussen aan de experten voorgesteld, er schijnt een betere homogeniteit te zijn tussen de verschillende antwoorden dan in de vorige enquêtes. Voor de casus E/9724 verschillen enkel 2 interpretaties (labo147 en 39) van de andere, als rekening gehouden is met de verklaring van de bestuurder, omwille van een rekenfout. Het merendeel experten antwoorden >0.5g/L. De twee antwoorden dichtbij 0.9g/L, bekomen zonder rekening te houden met de verklaring, zijn veroorzaakt door het feit dat twee experten vergeten hebben 0.1g/L van de resultaten af te trekken, zoals vereist volgens het KB. Enkele factoren blijven een oorzaak van heterogeniteit zoals onder andere, volume toegekend aan een glas, alkohol gehalte van een drank. Gemiddelde inhoud van een glas op website van de belgische brouwers: bij een man van 75 kg zorgt een glas voor een bloedalcoholconcentratie van ongeveer 0,2, bij een vrouw van 60 kg is dit 0,3. Ongeacht het gaat om bier, wijn, aperitief of zwaardere dranken, bevat een normale consumptie steeds ongeveer 10 gram pure alcohol: BIER (PILS) WIJN APERITIEF STERKE DRANK 25 cl 10 cl 7 cl 3 cl (en niet 5 of 6 cl!) 5 12, ALCOHOL Globaal Rapport 2009/2 30/40

31 Opstellen PRO JUSTITIA Hieronder vindt u een voorstel voor een minimale inhoud van het expertise rapport. Wij stellen voor deze minimale inhoud te gebruiken voor het opstellen van de rapporten op het terrein. Een derde van de experten heeft ons een voorbeeld van hun experten rapport opgestuurd. Tussen deze rapporten waren er enkele waar de berekening niet duidelijk genoeg was, het aftrekken van 0.1g/L MOET ook expliciet vermeld worden. Logo Labo Adres Expertise rapport minimale inhoud: PRO JUSTITIA 1. Aanvaarden van de opdracht: (een formule zoals) Ondergetekende, titel Voornaam Naam, directeur (bioloog...) van het Laboratorium voor Toxicologie van, verklaart te zijn aangesteld door : Naam, Procureur des Konings te Stad datum :. P.V. /notitiën nummer : systeem nummer : teneinde het alcoholgehalte te bepalen bij Naam, Voornaam heeft zich als volgt van zijn opdracht gekweten. 2. Beschrijving van het monster : Aantal + nr afname buisjes : Datum en uur van de feiten : Datum en uur van de bloedafname : Tijd tussen de feiten en de bloedafname : 3. Bijkomende inlichtingen (indien van toepassing) : (verklaring van betrokkene, bewaringsconditie, volume ) ALCOHOL Globaal Rapport 2009/2 31/40

32 4. Alcoholbepaling : De analyse werd uitgevoerd conform de wettelijke voorschriften (K.B. van 27 april 2007 verschenen in Belgisch Staatsblad op 04/06/2007). Het resultaat is het gemiddelde van 2 metingen, waarvan het verschil conform is aan de regels van het K.B., verminderd met 0,10 g/l (ter correctie van de meetonzekerheid) : xx g/l 5. Schatting bloedalcohol op het ogenblik van de feiten : Het bloed werd afgenomen x uur yy minuten na de feiten. De terugrekening (uit te voeren als de alcoholbepaling 0,2 g/l) van het alcoholgehalte naar het uur van de feiten, uitgevoerd volgens de regels van het K.B. : er wordt teruggerekend voor een periode van maximum 6 uur (gemiddelde metabolisatie coëfficiënt van 0,15 g/l per uur gedurende de eerste 4 uren en 0,10 g/l per uur tijdens de 2 volgende uren) : yy g/l 6. Indien van toepassing, schatting bloedalcohol rekening houdend met nadronk : zz g/l 7. Afsluitingsformule : Ik zweer mijn opdracht in eer en geweten, nauwgezet en eerlijk vervuld te hebben Dit verslag bevat x bladzijde(n). Plaats, datum, handtekening ALCOHOL Globaal Rapport 2009/2 32/40

33 BIJLAGE Een 3-stapsmethode om alcohol bepaling in verschillende stalen globaal te evalueren Wim Coucke, 13 januari 2010 ALCOHOL Globaal Rapport 2009/2 33/40

34 Glossarium Afwijkend resultaat resultaat met een te hoge variabiliteit en / of bias voor een bepaald betrouwbaarheidsniveau. Betrouwbaarheidsniveau in het kader van het zoeken naar afwijkende waarden: proportie of percentage van niet-afwijkende punten die door een bepaalde statistische test effectief niet als afwijkend worden aangeduid. Voor deze studie werd het zeer hoge betrouwbaarheidsniveau van 99.9 % gehanteerd voor alle uitgevoerde statistische tests. Betrouwbaarheidsregio rond een gemiddelde rechte: regio (ellips) waarbinnen de meerderheid van de punten die de intercept en helling van individuele regressierechtes voorstellen, voor een bepaald betrouwbaarheidsniveau (99.9% in de huidige analysis), vallen. Cook s distance: een maat voor de invloed van een individueel punt op een regressielijn. Least Trimmed Square: robuuste regressietechniek die een regressierechte berekent die representatief is voor ten minste de helft van de gegevens. Deze rechte wordt niet door afwijkende resultaten beïnvloed. Mahalanobis afstand: Afstand van een punt tot het centrum van een multivariate verdeling, rekening houdend met de variabiliteit; te vergelijken met een z-score bij één dimensie. Outlier: Afwijkend analyseresultaat waarvan de impact op de regressierechte ervoor zorgt dat ze niet meer representatief is voor de meerderheid van de punten. ALCOHOL Globaal Rapport 2009/2 34/40

35 Inleiding De EKE enquêtes voor alcoholbepaling gebeuren met verschillende types gespiked matrixen: pool van serum, pool van plasma of bloed. Er wordt gewerkt met de mediaanwaarde van de chromatografische methodes als target waarde aangezien deze methoden het meest gevoelig, precies en robuust (niet beïnvloed door aanwezigheid van andere stoffen) zijn. Ter gelegenheid van sommige enquêtes sturen wij stalen om lineariteit van de resulaten te bestuderen. De gerapporteerde waardes kunnen met de target waardes worden vergeleken aan de hand van een regressierechte. Gerapporteerde waarde A Gerapporteerde waarde B Gerapporteerde waarde C Target waarde Gerapporteerde waarde D Target waarde Target waarde Target waarde Figuur 1: illustratie van mogelijke afwijkingen voor regressielijnen Op figuur 1 zijn verschillende regressierechtes getekend. De meest ideale situatie doet zich voor in grafiek (A). De regressielijn, voorgesteld door de volle lijn, ligt heel dicht bij de 45 lijn (stippellijn). De punten die de gerapporteerde waarde voorstellen voor elke target waarde liggen op hun beurt zeer dicht rond de regressierechte. ALCOHOL Globaal Rapport 2009/2 35/40

36 Grafiek (B) geeft een regressierechte met vergelijkbare positie, al is de spreiding van de individuele punten rond de regressierechte groter dan bij (A). Deze grotere spreiding duidt op een grotere onzekerheid van de resultaten. De metingen wijken af van de juiste waarde, maar het gemiddelde van verschillende metingen blijft dichtbij de 45 -lijn liggen. Grafiek (C) toont punten die heel dicht rond hun regressierechte liggen. De zekerheid rond de meting van een specifiek punt is dus groot.de lijn door alle punten wijkt echter sterk af van de 45 -lijn. Deze afwijking duidt op een bias, waarbij elke meting heel goed kan gereproduceerd worden, maar waarbij het resultaat steeds afwijkt van de standaardwaarde. Grafiek (D) ten slotte toont een regressielijn die sterk afwijkt van de 45 -lijn, en die een grotere variabiliteit vertoont dan geval (C). Hier is sprake van grote variabiliteit, en een regressierechte die afwijkt van de 45 -lijn. Er zijn dus verschillende manieren waarop regressierechten kunnen afwijken van de theoretisch ideale 45 -lijn, en bij het interpreteren van regressierechtes is de vraag die de performantie van methoden of laboratoria nagaat zodus tweeledig: 1- Hoe dicht liggen de punten die de metingen van de afzonderlijke stalen voorstellen rond de regressierechte van de methode of het laboratorium? 2- Hoe dicht ligt de regressierechte van het laboratorium of de gemiddelde regressierechte van de methode bij de 45 -lijn (voor het laboratorium kunnen wij ook nagaan hoe dicht zijn regressierechte ligt bij de gemiddelde rechte van zijn groep) Voor we ons toespitsen op het antwoorden van die twee vragen dienen we er ons eerst van te vergewissen of een regressierechte altijd een representatieve voorstelling is tussen de gerapporteerde en de target waarde. Beschouw Figuur 2. Gerapporteerde waarde A Gerapporteerde waarde B Target waarde Target waarde Figuur 2: Effect van outliers tegenover een regressierechte Beide voorbeelden hebben een gelijkaardige variabiliteit en een ongeveer zelfde positie van de regressielijnen. Het valt echter op dat het merendeel van de punten in de linkergrafiek dichter rond de regressierechte liggen dan die in de rechtergrafiek. In feite zijn slechts twee punten verantwoordelijk voor de grote variabiliteit in de linkergrafiek. Meer nog, outliers kunnen de positie van de regressielijn ook op een zodanige manier beïnvloeden dat zijn positie niet meer representatief is voor het overgrote deel van de punten (zie bijvoorbeeld Figuur 3). ALCOHOL Globaal Rapport 2009/2 36/40

37 Er wordt daarom voorgesteld om, vooraleer bias en variabiliteit rond een regressielijn worden berekend eerst de outliers tegen de individuele regressielijnen op te sporen en te negeren. Er kan aldus als volgt worden verder gegaan (ref. 8): Eerste stap: zoek outliers tegenover regressielijn (ref. 1,2,3) Het zoeken van outliers tegenover een regressielijn op zich is opgedeeld in verschillende stappen, die als volgt kunnen worden omschreven: - Bereken een robuuste regressielijn tussen de opgegeven waarden en de target waarden (Least Trimmed Squares). - Bereken een maat voor variabiliteit van punten rond de robuuste regressielijn en gebruik die variabiliteit om de punten te identificeren die te ver van de robuuste regressielijn liggen. - Bereken een nieuwe lineaire regressielijn doorheen de punten die niet in de voorgaande stap werden geïdentificeerd; - Bereken tegenover deze lijn voor ieder afzonderlijk punt de Cook s distance. De Cook's distance is een maat om na te gaan in hoeverre de positie van de rechte wordt beïnvloed door elk punt afzonderlijk. Punten waarvoor de positie van de rechte te sterk wordt beïnvloed worden gekenmerkt als outlier. Gerapporteerde waarde Target waarde Figuur 3: outlierdetectie bij een regressielijn Figuur 3 toont het resultaat van de eerste stap. De volle lijn is de gewone regressielijn doorheen alle punten en wordt sterk beïnvloed door het punt rond target waarde 6, dat als outlier werd herkend. De gestippelde lijn is de regressielijn doorheen alle punten behalve de outlier. Tweede stap: variabiliteit van de regressielijnen en aantonen van de afwijkende resultaten (ref. 4,5) Door het weglaten van outliers in de vorige stap werken we nu met regressielijnen die de relatie tussen target en gerapporteerde waarden voor de overgrote meerderheid van de waarden correct voorstellen. Er wordt nu eerst gezocht naar rechtes waarvan de punten errond een te grote spreiding, of variabiliteit, vertonen. De variabiliteit, beschouwd als variantie, kan benaderd worden met een log-normale verdeling. De verdeling van de log-getransformeerde varianties kan aldus als een normale verdeling worden beschouwd en zo kunnen afwijkende resultaten tegenover deze verdeling worden gevonden. ALCOHOL Globaal Rapport 2009/2 37/40

38 Iedere regressierechte waarvan de variabiliteit te hoog tegenover de andere rechtes wordt beschouwd wordt gemerkt als afwijkend Derde stap: studie van de bias van de regressielijnen per methode (ref. 6,7) De derde stap wordt uitgevoerd op basis van de regressierechten berekend zonder outliers en zonder de afwijkende resultaten van stap 2. Indien de intercept en slope als een bivariate verdeling worden verondersteld, kan men voor deze bivariate verdeling een robuuste multivariate covariantiematrix en centrumschatter opstellen. De Mahalanobis afstand ten opzichte van het robuust centrum van de multivariate verdeling kan dan als basis dienen om afwijkende resultaten te vinden. Deze afstanden volgen, indien er geen outliers zijn, een chikwadraat verdeling met 2 vrijheidsgraden. Alle punten verder dan het 99.9ste percentiel van de chi-kwadraat verdeling worden beschouwd als afwijkend. Op basis van intercept en slope wordt een robuuste confidentie-regio bepaald (99.9%). Net zoals bij robuuste regressie wordt een robuuste confidentie-regio niet of nauwelijks beïnvloed door afwijkende waarden. Ieder punt dat buiten de confidentie-regio valt wordt beschouwd als gebiased voor zijn methode. Als het laagste punt van 0 verschilt, kan van alle waarden het equivalent van het eerste punt van de rechte afgetrokken worden. Dit laat een betere interpretatie van de intercept toe. Eens de confidentie-regio is opgesteld kunnen ook de regressielijnen die in de tweede stap werden geëlimineerd in de vorige stap worden geëvalueerd voor hun bias. Een regressierechte waarvan de intercept en slope binnen de confidentie-regio vallen wordt beschouwd als een pure afwijkende waarde voor variabiliteit. Een rechte waarvan de intercept en slope buiten de confidentie-regio vallen wordt dan beschouwd als afwijkend voor variabiliteit en voor bias. Slope Intercept Figuur 4: detectie van afwijkende rechtes bij samen interpreteren van intercept en slope Het verschil tussen een confidentie-regio gebaseerd op alle gegevens en een robuuste confidentie-regio wordt geïllustreerd in Figuur 4. De volle lijn is de confidentie-regio gebaseerd op alle punten. De stippellijn is de robuuste confidentie-regio. Zoals op de figuur ALCOHOL Globaal Rapport 2009/2 38/40

39 duidelijk is ligt één punt buiten de robuuste confidentie-regio en wordt het als afwijkend aanzien. Evaluatie of er een significant verschil is tussen het methodegemiddelde en de 45 rechte De gemiddelde intercept en slope van alle rechtes die niet werden gemerkt als afwijkend voor bias en/of voor variabiliteit kunnen worden gebruikt om te vergelijken met de 45 -lijn. Indien de gemiddelde intercept en slope significant verschillen van de 45 -lijn wordt er een bias beschouwd tussen de methoden en de 45 -lijn. Hier dient wel te worden opgemerkt dat de grootte van afwijking tegenover de 45 -lijn nog altijd binnen de limieten van het aanvaardbare zou kunnen liggen. Opstellen van confidentieniveau Er werd overal gewerkt met een confidentieniveau van 99.9% teneinde het verkeerdelijk aanduiden van een goed presterende laboratorium als afwijkend zo veel als mogelijk uit te sluiten. ALCOHOL Globaal Rapport 2009/2 39/40

40 Literatuur 1. Rousseeuw PJ, Leroy AM. Robust regression and outlier detection. New York: John Wiley&Sons; Rousseeuw PJ, van Zomeren B. Unmasking multivariate outliers and leverage points. J Am Stat Assoc 1990;85: Atkinson AC. Masking unmasked. Biometrika 1986;73, Albert A, Harris EK. Multivariate interpretation of clinical laboratory data. New York: Marcel Dekker; Harris EK, Boyd JC. Statistical bases of reference values in laboratory medicine. New York: Marcel Dekker; Rousseeuw PJ, Van Driessen K. A Fast algorithm for the Minimum Covariance Determinant Estimator Technometrics 1999; 41: Willems G, Pison G, Rousseeuw PJ, Van Aelst S. A robust Hotelling test. Metrika 2002;55: Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, accepted for publication ALCOHOL Globaal Rapport 2009/2 40/40