De Nationale Levertransplantatie Registratie

Transcriptie

1 Opdracht 3: Data kwaliteit De Nationale Levertransplantatie Registratie Module 10: Registratie en Classificatie Suraja Padarath( ) & Diena Mahran ( )

2 Inhoudsopgave INLEIDING... 3 UITWERKING... 5 VRAAG VRAAG VRAAG BIJLAGEN LITERATUUR Pagina 2

3 Inleiding De afgelopen jaren zijn het aantal medische registraties scherp gestegen. De waarde van een medische registratie is enorm afhankelijk van de kwaliteit van de data die de registratie bevat. De basis van deze opdracht wordt gevormd door een fictieve landelijke medische registratie, waarvan uit wordt gegaan dat zij reeds enige tijd loopt. De registratie die aan ons werd toegekend is: De Nationale Levertransplantatie Registratie. Binnen de Nationale levertransplantatie Registratie worden gegevens verzameld van patiënten die een levertransplantatie hebben ondergaan in een van de Nederlandse ziekenhuizen. Doel Het doel van deze registratie is om: inzicht te krijgen in de overlevingskansen van patiënten die een levertransplantatie hebben ondergaan en onderzoek te doen naar de risicofactoren voor afstoting van de getransplanteerde lever. Data Voor de registratie worden gegevens verzameld over: - De patiënt (leeftijd, geslacht, lichaamsgewicht) - De voorgeschiedenis van de patiënt (type leverafwijking, eventuele eerdere ingrepen, comorbiditeiten) - De conditie/gezondheid van de patiënt voorafgaand aan de transplantatie (Bloeddruk, bilirubine) - Follow-up na de transplantatie (complicaties, afstoting, overleving) Procedures De meeste gegevens worden verzameld door de behandelende arts op drie verschillende momenten: 1. vlak voor de ingreep (patiëntgegevens, voorgeschiedenis en conditie) 2. gedurende het verblijf in het ziekenhuis na de ingreep (complicaties, afstoting, overleving) en 3. na ontslag tijdens de halfjaarlijkse follow-up bezoeken aan de behandelende arts (complicaties, afstoting, overleving). De arts verzamelt alle gegevens in een database. Eens per maand stuurt hij de volgende gegevens naar het centrale registratiebureau van de Nationale Levertransplantatie Registratie: - Alle gegevens van nieuwe patiënten die in de afgelopen maand een levertransplantatie hebben ondergaan - Alle follow-up gegevens van patiënten die in de afgelopen maand een follow-up bezoek hebben gebracht aan de arts. Het centrale registratiebureau importeert de aangeleverde gegevens in een landelijke database. Pagina 3

4 De opdracht De taak van de opdracht is om te kijken hoe de kwaliteit van de gegevens in deze registraties gemeten en gewaarborgd kan worden. Hiervoor dienen wij een 3-tal van vragen te beantwoorden: 1. a. Noem 3 aspecten van data kwaliteit die van groot belang zijn voor deze registratie. Leg uit waarom deze aspecten van groot belang zijn. b. Noem 3 aspecten van data kwaliteit die van minder belang zijn voor deze registratie. Leg uit waarom deze aspecten van minder belang zijn. 2. Hoe kun je de kwaliteit van de 3 belangrijke aspecten van data kwaliteit (zoals genoemd bij 1a) meten bij deze registratie? 3. Hoe waarborg je de kwaliteit van de 3 belangrijke aspecten van data kwaliteit bij deze registratie (zoals genoemd bij 1a)? Pagina 4

5 Uitwerking Vraag 1 a. Noem 3 aspecten van data kwaliteit die van groot belang zijn voor deze registratie. Leg uit waarom deze aspecten van groot belang zijn. Data compleetheid: Data compleetheid is de mate waarin alle noodzakelijke data die geregistreerd zou kunnen zijn, daadwerkelijk geregistreerd is. In klinische onderzoeken beïnvloedt incomplete data de bevindingen en resultaten, verhoogt het de verdenkingen van bias, vergroot het de sample size en reduceert het het aantal cases dat inbegrepen kan worden in multivariate analyses 1. Onder compleetheid verstaan wij twee soorten: Case compleetheid: de mate waarin alle cases aanwezig zijn in de registratie die volgens de inclusiecriteria aanwezig zouden moeten zijn. Onder de cases verstaan we hier de patiënten die een levertransplantatie hebben ondergaan in een van de Nederlandse ziekenhuizen. Als de database niet de hele target populatie bevat waarop bijvoorbeeld een survival analyse wordt uitgevoerd om de overlevingskansen te berekenen, zal een lagere power van de analyse en een minder representatieve uitkomst het resultaat zijn. Een deelaspect in de case compleetheid is ook dat er een variëteit dient te zijn met betrekking tot de ernst van de status van cases onder de populatie van mensen die een levertransplantatie hebben ondergaan. Er dient dus geen selectie binnen de targetgroep te zijn, zodat er een breder spectrum in kaart gebracht wordt van de cases. Item compleetheid: de mate waarin alle items in de registratie voor 1 case zijn ingevuld. Deze klasse van compleetheid is van essentieel belang bij het analyseren van de risicofactoren. Als niet alle items bij alle patiënten opgenomen worden, kan er geen conclusie getrokken worden of een specifiek item een afzonderlijke risicofactor is. Accuraatheid: Validiteit en Variabiliteit Onder accuraatheid wordt de mate waarin de geregistreerde data in overeenstemming is met de werkelijkheid, oftwel de nauwkeurigheid. De items die worden verzameld ter registratie over de patiënt (leeftijd, geslacht, lichaamsgewicht), voorgeschiedenis van de patiënt (type leverafwijking, eventuele eerdere ingrepen, comorbiditeiten), de conditie/gezondheid van de patiënt voorafgaand aan de transplantatie (bloeddruk, bilirubine) en gegevens over de follow-up na de transplantatie (complicaties, afstoting, overleving) moeten allen accuraat zijn en een hoge kwaliteit van validiteit en variabiliteit hebben. Volgens het artikel Assessing the quality of the data in a transplant registry: the European Liver Transplant Registry 13, wordt de accuraatheid ook beschreven als de mate waarin deze data items meten wat ze zouden moeten meten. Volgens het artikel Acquisition and use of clinical data for audit and research. Journal of Evaluation in Clinical 1 Multivariate analyse duidt op het analyseren van vele variabelen. Pagina 5

6 Practice 13, is dit de definitie van het deelaspect validiteit. De data items moeten relevant zijn aan de audit 2 of onderzoekvragen. Een tweede deelaspect dat van accuraatheid is de variabiliteit : de mate van consistentie van het verzamelen van een data item. Aangezien de data voor een case door de behandelende arts wordt verzameld, is er hier sprake van een withinobserver variability 3. Het is dus belangrijk dat de dataverzameling door de arts op de verschillende momenten met elkaar samenhangen en zo consistent zijn. Beschikbaarheid De mate waarin de data betrouwbaar en op het juiste moment beschikbaar en toegankelijk is, is van groot belang, aangezien de arts eens per maand alle gegevens van nieuwe patiënten en alle follow-up gegevens van patiënten naar het centrale registratiebureau van de Nationale Levertransplantatie Registratie stuurt. De beschikbaarheid van de gegevens stelt ter eis dat de gegevens toegankelijk en verkrijgbaar zijn op het moment dat ze nodig zijn ter analysering en onderzoek. Deze verschillende gegevens worden op drie verschillende momenten verzameld door de arts. Het is dus belangrijk dat deze verzameling aan gegevens ook beschikbaar gesteld worden voor het registratiebureau om deze te implementeren in de database zodat deze gegevens beschikbaar en toegankelijk zijn wanneer de overlevingskansen en risicofactoren gemeten worden. 2 Van een goed omschreven groep personen meer proces informatie vastleggen en er een oordeel aan koppelen. 3 Data verzameling door dezelfde observant op verschillende momenten. Pagina 6

7 Vraag 1 b. Noem 3 aspecten van data kwaliteit die van minder belang zijn voor deze registratie. Leg uit waarom deze aspecten van minder belang zijn. Toegankelijkheid Toegankelijkheid is de mate waarin toegang tot data beperkt is om privacy en veiligheid te waarborgen. Dit aspect is niet van enorm belang, aangezien er een beperkt aantal mensen werkt aan de registratie. De arts verzamelt de gegevens en stuurt deze naar het registratiebureau, waarbij er geen derden betrokken zijn die autorisatie nodig hebben om toegang te krijgen tot de gegevens. Bovendien is de registratie opgezet zodanig dat de naam noch het BSN- nummer van de patiënt worden geregistreerd. Zo doet de patiënt anoniem mee aan het onderzoek, en is er voldoende sprake van een privacy waarborging. Tijdigheid Tijdigheid is de mate waarin de data tijdig en up-to-date is. Bij deze registratie gaat het er meer om dat de gegevens worden geregistreerd, en dat dit correct gebeurt en onder de specifieke criteria geplaatst wordt. Het doel is om op lange termijn voorspellingen te doen en dat deze in het juiste raamwerk van procedures plaatsvindt, en is het dus niet relevant om gegevens snel binnen te hebben. Het doel van deze registratie is om inzicht te krijgen in de overlevingskansen en onderzoek te doen naar de risicofactoren voor afstoting van de getransplanteerde lever. Er is dus ook geen sprake van haast om een epidemie uitbraak of overdraging van een besmettelijke ziekte te voorkomen, of van een behandelplan van een patiënt waarin resultaten van een afzonderlijke behandeling tijdig aangeleverd dient te worden omdat de volgende behandeling daarvan afhankelijk is. Een voorbeeld dat genoemd werd in het artikel van Wyatt 13 is dat een radiografie op de schouder niet uitgevoerd kan worden voordat de drain erin gestopt wordt, of dat een bloedkweek niet genomen kan worden voordat antibiotica word toegediend. Representatie Representatie is de mate waarin de data in een overeenkomstig formaat en in de geschikte taal, symbolen en units zijn vastgelegd en de definities duidelijk zijn. In deze registratie is er geen sprake van een bepaalde coderingstaal waardoor er onduidelijkheden voor zullen komen over de representatie van definities. Bovendien gebeurt deze registratie op een landelijk niveau, waardoor de notatie van eenheden en de taal niet sterk van elkaar zal afwijken. Pagina 7

8 Vraag 2 Hoe kun je de kwaliteit van de 3 belangrijke aspecten van data kwaliteit (zoals genoemd bij 1a) meten bij deze registratie? ASSESSMENT OF DATA QUALITY Voordat we beginnen met het uitwerken van de methoden om de datakwaliteit van de verschillende aspecten te meten, willen we het model uit het artikel Data Quality Measurement and Assurance in Medical Registries, om data kwaliteit te meten, voorleggen. Aan de hand dit model dienen er zeven stappen te worden ondergaan om datakwaliteit te meten. In dit model worden definities van zowel belangrijke datakwaliteitsaspecten gegeven, als methoden aanbevolen om deze aspecten te meten. 1. Beschrijf de objectiviteit van de registratie 2. Bepaal de data items die gecontroleerd dienen te worden. 3. Definieer datakwaliteitsaspecten 4. Selecteer methoden voor kwaliteitsmetingen. 5. Bepaal de bijbehorende inclusie- en exclusiecriteria 6. Voer de kwaliteitsmeting uit. 7. Kwantificeer de gemeten datakwaliteit. Compleetheid: Item compleetheid Om de item compleetheid te meten, dient er te worden opgezocht of alle waarden in de database bij elke patiënt zijn ingevuld. Dit kan gedaan worden door de database te doorzoeken op missing values. Case compleetheid Om de kwaliteit van de case compleetheid te meten, dient er te worden geverifieerd of alle patiënten die op basis van de inclusiecriteria als kandidaat werden gesteld om mee te doen aan het onderzoek, daadwerkelijk in de database zijn opgenomen. Dit zal niet ten makkelijke zijn, aangezien patiënten anoniem worden geregistreerd. Mogelijke oplossingen zouden hierbij zijn het vergelijken van patiënten in de database met een externe informatiebron, bijvoorbeeld met gegevensverzamelingen van de arts, ziekenhuisopnamelijsten of ziekteregistraties (jaarcijfers van levertransplantaties). Indien er een afwijking is in het aantal registraties, dan is er sprake van een case incompleetheid. Accuraatheid Om te controleren of de geregistreerde data in overeenstemming is met de werkelijkheid, kunnen range checks uitgevoerd worden om onaannemelijke waarden te identificeren. Dit is relatief geschikt voor de Pagina 8

9 categoriele variabelen. Het variabele geslacht kan alleen de waarden 0 en 1 of 1 en 2 aannemen, dat elke andere waarde onaanneembaar maakt. Ook kan er gebruikt gemaakt worden van consistency checks om potentiële data errors te identificeren, door te onderzoeken of waarden buiten de ranges liggen, die gedefinieerd zijn door andere variabelen in de database. De ontslagdatum dient bijvoorbeeld na de transplantatie datum te zijn. Volgens het artikel Assessing the quality of the data in a transplant registry: the European Liver Transplant Registry 13, bestaat er een manier om de datakwaliteit te meten door de dataverzameling te repliceren en deze te vergelijken met de originele database. Dit wordt ook wel note validation genoemd. Omdat deze techniek aan de prijzige kant ligt, is het aan te raden om eerst de voorheen genoemde checks uit te voeren. Een vergelijking kan overigens ook uitgevoerd worden door de geregistreerde data te vergelijken met de verzamelgegevens van de arts. Tevens zijn er sommige gevallen waarin met de blote oog rare uitschieters geïdentificeerd kunnen worden. Beschikbaarheid Uit het artikel Data Quality Assessment 5, zijn wij op formules gekomen die meetregels samen stellen om de beschikbaarheid van data te meten. Deze meetregels vormen een dimensie die het gemak van de verkrijgbaarheid van data te reflecteren. De meetregels benadrukken het tijdsaspect van toegankelijkheid en is gedefinieerd als de maximumwaarde van twee termen: 0 of 1- het tijdsinterval van de maandelijkese aanleveringsdatum van data naar het registratiebureau, tot de daadwerkelijke aanleveringsdatum het tijdsinterval van de maandelijkese aanleveringsdatum, tot de datum waarin de data nodig was ter analysering, maar niet beschikbaar was In dit geval is het zo dat de tijd om data verkrijgbaar te stellen, toeneemt totdat de ratio negatief zal worden waarbij de toegankelijkheid een waarde van 0 krijgt. Dit is maximumwaarde van de twee termen. Omdat wij deze formule nogal omslachtig vinden, lijkt het ons logischer om de kwaliteit van beschikbaarheid te meten, door volgens de gouden standaard enquêtes rond te laten gaan op het registratiebureau, waarbij wij de gebruikers zelf vragen hoe zij de beschikbaarheid beoordelen. Pagina 9

10 Vraag 3 Hoe waarborg je de kwaliteit van de 3 belangrijke aspecten van data kwaliteit bij deze registratie (zoals genoemd bij 1a)? Om de kwaliteit van een registratie te waarborgen, wordt er in het algemeen onderscheid gemaakt tussen twee procedures: quality control en quality assurance. Quality control vindt plaats tijdens en na de dataverzameling door de arts en het registratiebureau, en heeft als doel om bronnen van data errors te identificeren en te corrigeren. Zo dienen er procedures ondergaan te worden voor completeness checks en vergelijkingen met de gouden standaard d.m.v. site visits. Quality Assurance bestaat uit activiteiten die ondernomen worden voorafgaand van de dataverzameling door de arts, om te verzekeren dat de data van de hoogst mogelijke kwaliteit is op het moment van de dataverzameling. Om kwaliteit van de Nationale Levertransplantatie Registratie te waarborgen, dient er volgens de literatuur een raamwerk gehanteerd te worden. Dit raamwerk dient verdeeld te worden over de procedures begaan door de arts en door het registratiebureau. Deze procedures zijn onderverdeeld in de volgende procedures: a) De preventie van data errors: selectie en training van de geschikte en gemotiveerde personen betrokken bij de registratie, en een design van een data verzamelingprotocol. Om de dataverzameling in de registratie te standaardiseren, dienen de data items voorzien te zijn van duidelijke definities en gestandaardiseerde leidraden om data- verzamelingmethoden te ontwerpen. b) De detectie van data errors en databronnen: routematige data monitoring, dat inhoudt dat data vergeleken dient te worden met data in een ander onafhankelijke databron. c) Acties die ondernomen dienen te worden om de errors te corrigeren en de oorzaken op te lossen. Onder data errors kunnen zowel systematische als random errors verstaan worden. Aan de hand van tabel 2 1 uit het artikel Defining and improving data quality in medical registries: A literature review, case study, and generic framework 13, kan er optimaal bepaald worden waar, wanneer en hoe de procedures uitgevoerd dienen te worden voor elk data aspect. Compleetheid Om een compleetheid van de data te waarborgen, is er een terugkoppeling van gegevens en het geven van feedback aan de aanleverende partij van uiterst belang. Indien er errors geïdentificeerd worden of er een vermoeden is van het bestaan van een error, dan dient er een efficiente communicatie plaats te vinden met de arts die gegevens verzamelde en het registratiebureau, om deze errors te rapporteren, te corrigeren en te voorkomen. Voor item compleetheid in het specifiek, is de optimale oplossing om de dataverzameling en registratie te digitaliseren. Zo kunnen d.m.v. range en consistency checks, errors makkelijker gedetecteerd worden. Wanneer het personeel betrokken bij het onderzoek goed getraind is, er ook minder errors zullen ontstaan. Data items en cases zullen vollediger worden ingevoerd, tevens zullen zij optimaal met geautomatiseerde- en/of datakwaliteitsprogramma s om kunnen gaan om d.m.v. checks errors te detecteren. Preventie & detectie Pagina 10

11 Accuraatheid Om de accuraatheid van de data kwaliteit te waarborgen, zo het ten goede zijn om een dubbele data- invoer en het opleggen van constraints om ervoor de zorgen dat gegevens consistent zijn en niet zullen afwijken, plaats te laten vinden. Door het generen van alerts kan er gedetecteerd worden of waarden afwijken van de gouden standaard. Training van personeel zorgt voor een betere data invoer en dat resultaten van analyses uitgevoerd met de data, kritisch bekeken worden. Tevens is het belangrijk dat wanneer de datakwaliteit onvoldoende is, analyses uit rapporten weggelaten worden. Deze resultaten vormen dus geen goede uitkomst om inzicht te verkrijgen in de overlevingskansen en het meten van de risicofactoren. Nadat data geïmporteerd is en data checks uitgevoerd zijn dienen er kwaliteitsrapporten aangeleverd te worden zodat inaccurate data gecorrigeerd kan worden. Na een variabiliteittest, dient er feedback gegeven te worden op de resultaten en aanbevelingen gegeven te worden die geïmplementeerd kunnen worden. Er dient dus een efficiënte communicatie plaats te vinden tussen de arts en het registratiebureau. Beschikbaarheid Door duidelijke afspraken te maken van te voren over deadlines en het ontwerpen van een en een design van een data verzamelingprotocol, kan het voorkomen worden dat data niet beschikbaar is en niet verkrijgbaar en toegankelijk is in de database. Om ervoor te zorgen dat de data betrouwbaar is, dienen er natuurlijk ook quality control en quality assurance plaats te vinden. En de zeven stappen behorende tot assessment of data quality dienen zorgvuldig uitgevoerd te worden. Pagina 11

12 Bijlagen 1 Pagina 12

13 Literatuur Artikelen: 1. Wyatt J. Acquisition and use of clinical data for audit and research. Journal of Evaluation in Clinical Practice (1): Arts DGT, De Keizer NF, Scheffer GJ. Defining and improving data quality in medical registries: A literature review, case study, and generic framework. Journal of the American Medical Informatics Association : Assessing the quality of the data in a transplant registry: the European Liver Transplant Registry. van der Meulen JH, Jacob M, Copley L. Transplantation Jun 27;75(12): Quality control of the European Liver Transplant Registry: results of audit visits to the contributing centers. Karam V, Gunson B, Roggen F, Grande L, Wannoff W, Janssen M, Guckelberger O, Delvart V, Bismuth H, Höckerstedt K, Rogiers X, Adam R; European Liver Transplant Association. Transplantation Jun 27;75(12): Leo L. Pipino, Yang W. Lee, Richard Y. Wang, Data quality assessment, Communications of the ACM, v.45 n.4, April DOD Guidelines on Data Quality Management. DISA. Aug. 15, Examining data quality. Tayi G, Ballou D. Commun ACM. 1998;41(2): Data Security and Data Availability in the Administrative Authority. Kenneth Pfeil. Microsoft Solutions Framework. Best Practices for Enterprise Security Overige: Collegesheets: 1. ERA-EDTA en datakwaliteit - K. Jager 2. Datakwaliteit - M.Tromp Pagina 13