Shewhartcontrolekaarten en cumulatieve somtest

Stand van zaken Shewhartcontrolekaarten en cumulatieve somtest Gebruik van klinische data bij kwaliteitscontrole Luc Noyez Nu kwaliteitscontrole in de gezondheidszorg steeds meer aandacht krijgt, is kennis en inzicht in de basisprincipes van de meest gebruikte methoden voor iedere arts noodzakelijk, zeker gezien kwaliteitscontrole start bij een nauwgezette controle van het dagelijkse handelen. De gebruikte methoden baseren zich op statistische procescontrole. Shewhartcontrolekaarten zijn gemakkelijk te construeren en voornamelijk geschikt voor het monitoren van een groep van resultaten. De cumulatieve somtest is meer geschikt voor continue procesmonitoring, ook bij kleinere aantallen. Deze methoden geven in de eerste plaats een waarschuwingssignaal, met de vraag voor nadere analyse, en niet een direct bewijs van slechte kwaliteit. Universitair Medisch Centrum St Radboud, Hartlongcentrum, afd. Cardio-thoracale chirurgie, Nijmegen. Dr. L. Noyez, cardiopulmonaal chirug. Contactpersoon: dr. L. Noyez (l.noyez@ctc.umcn.nl). In de gezondheidszorg wordt steeds meer aandacht besteed aan kwaliteitscontrole. Hoewel kwaliteitscontrole een heel ruim en wat abstract begrip is, mag het duidelijk zijn dat continue opvolging en controle van het dagelijkse werk hierbij een essentiële stap is). Goede dataregistratie is hiervoor een absolute noodzaak, maar even belangrijk is dat deze data op een goede manier worden gebruikt ter evaluatie (www.ahrq.gov). Denken we hierbij maar aan de problematiek rondom de hartchirurgie in het Universitair Medisch Centrum St Radboud te Nijmegen in 2005. In het rapport van de Inspectie voor de Gezondheidszorg (IGZ) na analyse van de verhoogde mortaliteit en morbiditeit na cardiochirurgische ingrepen, werd gesteld dat alle gegevens weliswaar aanwezig waren, maar niet werden gebruikt voor analyse van de kwaliteit van de uitgevoerde hartchirurgie. 1 Tijdens de laatste decennia is er in de industriële wereld een enorme ontwikkeling geweest betreft kwaliteitscontrole op de productie. Zelfs de kleinste bedrijven houden nauwlettend hun productieprocessen in het oog. Vele van deze industriële controleprocessen zijn aangepast en bruikbaar in de gezondheidszorg. Toch heerst er nog steeds een zekere afkeer voor deze methodieken, vooral in de medische wereld: wij behandelen patiënten, en zijn geen deel van een productieproces of dit is niet toepasbaar voor onze praktijkvoering. Ook tijdens het verrichten van audits is opvallend hoe weinig data systematisch worden geregistreerd en effectief worden gebruikt ter evaluatie en controle van de kwaliteit van het zorgproces. De meeste huidige methoden van kwaliteitscontrole in de zorg zijn gebaseerd op kwaliteitsmonitoring van industriële processen, controlegrafieken ( control charts ) en/of de statistische cumulatieve somtest ( cumulative NED TIJDSCHR GENEESKD. 2010;154:A1245 1

sum test ). In dit artikel geven wij een overzicht van deze methoden en van de basisprincipes waarop zijn steunen. 2-5 Achtergrond Statistische procescontrole De statistische procescontrole wordt gebruikt om een lopend proces te controleren aan de hand van zogenaamde control charts oftewel controlegrafieken. 6 Op deze manier kan een proces, als er tekenen zijn die wijzen op een probleem, stopgezet en gecontroleerd worden voordat er daadwerkelijk een probleem optreedt. Het belangrijkste doel van deze controlegrafieken bestaat erin een trend weer te geven. Wanneer deze aangeeft dat de uitkomst van het proces slechter wordt, zal het noodzakelijk zijn het proces nader te analyseren. Hetzelfde geldt echter ook voor positieve veranderingen: wanneer de resultaten van het proces steeds beter worden, is het belangrijk na te gaan waarom deze verbetering plaatsvinden. Natuurlijke schommelingen binnen een proces Binnen elk proces zit een golfbeweging, deze natuurlijke beweging van variaties kan niet vermeden worden. Voor bijvoorbeeld een wachtlijst lijkt het op zijn minst logisch dat dergelijke fluctuaties optreden de ene keer staan mensen langer op de wachtlijst dan de andere keer maar ook bij zogenaamde stabiele processen is deze golfbeweging onvermijdelijk. Als voorbeeld kan het vullen van bierflesjes in een brouwerij gehanteerd worden. Zelfs als de flessen met behulp van een machine worden gevuld, zullen ze nooit allemaal even vol zijn; er treedt altijd een zekere variatie op. Deze normale spreiding in de verdeling kan worden weergegeven met behulp van de welbekende gausscurve. Aangezien de normale verdeling geldt als het resultaat van toeval, is deze curve symmetrisch: de helft van de waarden bevindt zich links van het gemiddelde, de andere rechts (figuur 1). Gebruikmakend van het gemiddelde ± 3 maal de standaardafwijking (SD), omvatten we 99,7% van de waarden, met andere woorden: van de variatie. Deze variatie wordt begrensd door de bovenste controle-limiet (+ 3SD) en de onderste controlelimiet (- 3SD). Ongewone oorzaken van variatie In theorie wijzen alle punten die zich buiten de normale verdeling bevinden, dus buiten de grenzen van bovenste en onderste controle-limiet, op een proces dat mogelijk niet goed wordt beheerst. Men dient zich echter te reali- 500 OCL gemiddelde ± 3 SD BCL 400 300 aantal flesjes 200 100 0 18,0 21,0 24,0 27,0 30,0 33,0 36,0 39,0 hoeveelheid bier per flesje (cl) FIGUUR 1 Normale spreiding in de verdeling: gausscurve. Op de horizontale as is weergegeven de hoeveelheid (cl) bier waarmee 1500 flesjes machinaal in een brouwerij gevuld werden. Op de verticale as het aantal flesjes dat met die hoeveelheid gevuld werd. De normale schommeling binnen het vullingsproces kan worden beschreven door een gausscurve. Het gemiddelde (32,7cl) ± 3 maal de standaarddeviatie (SD) bepaalt de bovenste en onderste controle-limiet (BCL, respectievelijk OCL). 2 NED TIJDSCHR GENEESKD. 2010;154:A1245

seren dat in een dergelijk geval er steeds een kleine kans bestaat (0,3%) dat het punt zich tussen de 99,7 en de 100% marge van de normale verdeling bevindt, en dus onderdeel uitmaakt van een goed beheerst proces. Het is met andere woorden niet absoluut zeker dat het proces van haar normale verloop afwijkt. Wel zeker is dat de kans om buiten de normale verdeling te vallen minimaal is (0,3%). Dit is een uiterst belangrijk gegeven. Punten die buiten de grenzen van de bovenste en onderste controlelimiet liggen, moeten dus gezien worden als een alarmering dat er eventueel iets fout loopt, en er moet bijgevolg tot verdere controle worden overgegaan. In principe kunnen controle-limieten bepaald worden voor elke afstand tot het gemiddelde; men spreekt dan meestal van tolerantielimiet. Er geldt echter dat hoe kleiner de marges tussen de bovenste en onderste controle-limiet zijn, hoe groter de kans dat een goed lopend proces als onbeheerst wordt aangegeven. Om te vermijden dat een goedlopend proces wordt stopgezet, wordt voor de bovenste en onderste controle-limiet daarom over het algemeen een waarde van ± 3SD van het gemiddelde gebruikt. Binomiale data Bovenstaande is toepasbaar op numerieke gegevens. In de geneeskunde wordt echter veelal met binomiale data gewerkt: ja of nee, levend of dood. Maar ook in het voorbeeld van de flesjes kunnen we nagaan hoeveel flesjes wel of niet goed gevuld zijn. Voor deze binomiale data is het niet mogelijk om een gemiddelde met een SD te berekenen. In dergelijke gevallen werkt men met het percentage (p) events. De SD wordt dan bepaald als [p (1-p) /N], waarbij N het totale aantal bestudeerde cases is. gemiddeld aantal dagen na ontslag 12 10 8 5 2 1 2 3 4 5 6 7 8 9 10 cohort FIGUUR 2 Shewhartcontrolekaart, waarin per cohort van 100 patiënten (n = 1000) de tijd (dagen) tot het afwerken van de definitieve ontslagbrief na ziekenhuisopname is weergegeven (fictief bestand). Weergegeven zijn ook de gemiddelde tijd (3,4 ± 2,7 dagen, ), de bovenste tolerantielimiet (vastgesteld op 7 dagen, ), en de bovenste controle-limiet (3 SD boven het gemiddelde, ). Het is duidelijk dat tussen het 2e en 4e cohort het proces niet goed verliep en de bovenste tolerantie- en controle-limiet overschreden werden. Statistische procescontrole bij kwaliteitscontrole Statistische procescontrole is gebaseerd op de stelling dat de variatie in een proces aangeeft of dit proces al dan niet onder controle is. Gegevens die buiten de bovenste en onderste controle-limiet vallen, kunnen een teken zijn dat het proces niet goed loopt en dienen dus nader onderzocht te worden. Toch zijn hier een aantal kanttekeningen te plaatsen. Ten eerste is het min of meer vanzelfsprekend dat punten die zich vlakbij de mediaan bevinden, beter zijn dan punten die tegen de limietwaarden liggen. Maar er zijn een aantal situaties waarbij punten die binnen de bovenste en onderste controle-limiet liggen, toch reden zijn voor verdere analyse: sterke schommelingen, 2 of meer punten juist naast een controle-limiet, een plotse verandering of een blijvende trend van punten naar de controle-limiet. Daarnaast is het zo dat als een proces binnen de controlelimieten blijft, men weliswaar mag constateren dat het goed loopt, maar dat men op deze wijze geen enkele houvast krijgt om het proces verder te verbeteren. Een laatste punt handelt over het feit dat statistische procescontrole gebaseerd is op industriële processen, waarbij men kwaliteitscontrole gemakkelijk vertaalt naar een streven naar een minimale variatie. Hoe minder variatie er optreedt bij het vullen van flesjes bier, hoe beter de kwaliteit van dit vulproces. Geneeskunde wordt daarentegen juist gekenmerkt door een grote variabiliteit. Statistische procescontrole bij medische kwaliteitscontrole De shewhartcontrolekaart In de medische literatuur zijn de statistische procescontroles gekend onder de naam van Shewhart control charts. Het was namelijk Walter A. Shewhart die in 1920 het principe van statistische procescontrole voor het eerst gebruikte bij zijn werk, waarbij hij de kwaliteit van de telefoons in Bell Laboratories, VS moest evalueren en verbeteren. 2,7,8 Figuur 2 is een voorbeeld van een shewhartcontrolekaart. Hierin wordt per cohort van 100 patiënten (n = 1000) de tijd (dagen) tot het afwerken van de definitieve ontslagbrief na ziekenhuisopname weergegeven. Shewhartcontrolekaarten worden gebruikt voor de monitoring van een groep van resultaten. De gebruikswaarde van deze kaarten voor directe continue monito- NED TIJDSCHR GENEESKD. 2010;154:A1245 3

25 cumulatief falen 20 15 10 5 0 1 51 101 151 201 251 301 351 401 451 501 551 601 651 701 751 801 851 901 951 patiëntnummer FIGUUR 3 Cumulatieve-faalkaart voor definitieve ontslagbrieven die later dan 7 dagen na ontslag werden afgewerkt (fictief bestand). In de horizontale as zijn de ontslagen patiënten per nummer aangegeven, in de verticale as het cumulatief falen, waarbij een ontslagbrief die na meer dan 7 dagen afgewerkt werd, als een failure werd geregistreerd. Duidelijk is dat tussen patiënt 200 en 300 er een hoge failure rate was. ring is echter beperkt, zeker als het gaat om resultaten van beperkte omvang. Statistische- cumulatieve-somtest- (CUSUM)-kaarten zijn dan een goed alternatief. De cumulatieve-somtestkaart CUSUM-kaarten zijn gebaseerd op de sequentiële monitoring van de gecumuleerde resultaten over een bepaalde termijn. Het belang is hier dat iedere procedure geüpdatet wordt en dat er zo een realtime monitoring van het proces ontstaat. 9-17 Op deze manier kunnen deze CUSUMkaarten zelfs kleine sluipende verzwakkingen van een proces aan het licht brengen. Belangrijk is echter dat het event binair gedefinieerd wordt. De cumulatieve-faalkaart De cumulative failure chart is in feite de eenvoudigste CUSUM-kaart. Deze kaart wordt geconstrueerd door het plaatsen van het opeenlopende aantal failures (fouten) in de verticale as, ten opzichte van het aantal verrichtingen in de horizontale as. Nemen we ons voorbeeld uit figuur 2. Iedere ontslagbrief die langer dan 7 dagen na het eigenlijke ontslag van de patiënt wordt afgewerkt, wordt als een failure geboekt. In tegenstelling tot de shewhartcontrolekaart, wordt men hier direct bij het optreden van een aantal opeenvolgende failures geconfronteerd met het oplopen van de curve (figuur 3). Wel worden bij deze kaart alleen de negatieve prestaties in rekening gebracht, die bovendien allemaal op dezelfde manier worden geëvalueerd. Bij het voorbeeld van de ontslagbrieven is dit niet noodzakelijk een probleem, maar wanneer men daarentegen de mortaliteit van een ingreep met een dergelijke kaart gaat evalueren, dan houdt men er bij deze faalkaart geen rekening mee dat het risico op mortaliteit ingreep- en patiëntgebonden is. De standaard CUSUM-analyse De standaard CUSUM-kaart houdt rekening met een constant risico op falen voor ieder procedure of patiënt. Het basisprincipe van een CUSUM-kaart bestaat erin te belonen of te straffen in functie van het risico. 9-11 Een voorbeeld van een CUSUM-kaart is de mortaliteit na een operatie. Stel een operatie met een gekend sterfterisico van 10%. Indien de patiënt de operatie overleeft, krijgt men een beloning ter waarde van 0,10 punten. Indien de patiënt overlijdt, gaat dit echter gepaard met een straf van 1-0,10 = 0,90 punten. Door consecutief voor iedere operatie de beloning op te tellen en de strafpunten af te trekken, construeren we de CUSUM-grafiek. De horizontale as registreert de operaties in de loop van de tijd en de verticale as geeft de waarde van beloning of straf. Stel dat de eerste 9 patiënten de operatie overleven, 4 NED TIJDSCHR GENEESKD. 2010;154:A1245

dan wordt er met 9 maal 0,10 punten beloond, samen goed voor het oplopen van de curve naar 0,90. Wanneer nu de 10e patiënt overlijdt, te verwachten bij een sterfterisico van 10%, dan wordt er gestraft met 0,90 punten, waardoor de curve dus met 0,90 punten daalt. In normale omstandigheden zal een CUSUM-grafiek een golfbeweging vormen rondom de nullijn. Een opwaartse curve geeft aan dat het proces beter loopt dan verwacht, in dit geval dat er minder sterfte is dan verwacht,; een neerwaartse curve geeft aan dat het proces slechter loopt dan verwacht (meer sterfte). Ook kan in een CUSUM-grafiek op de verticale as de cumulatieve verwachte mortaliteit minus de cumulatieve geobserveerde mortaliteit worden weergegeven. Men labelt deze as dan als het aantal geredde levens. Het is niet onbelangrijk te beseffen dat ook het omgekeerde, de cumulatieve geobserveerde minus de cumulatieve verwachte sterfte, kan worden gebruikt om de verticale as te construeren, wat uiteraard tot een gespiegelde curve leidt. De risicogewogen CUSUM-analyse Gezien de diversiteit in patiëntenpopulaties bestaat er dan ook zelden een constant risico in de geneeskunde. Denken we maar aan de kans op sterfte na een hartoperatie, die wordt beïnvloed door leeftijd en andere comorbiditeit. Om hieraan tegemoet te treden, maakt men gebruik van de risicogewogen CUSUM-kaart. Het principe is identiek aan de standaard CUSUM-analyse, maar het verschil bestaat erin dat individuele risico s in rekening worden gebracht. 13-16 Zo wordt het overleven van een patiënt met een sterfterisico van 40% beloond met 0,40 punten, terwijl het overleven van een patiënt met een laag sterfterisico (bijvoorbeeld 5%) een lagere beloning ontvangt (0,05 punten). Op dezelfde manier wordt het overlijden van een hoog-risicopatiënt minder bestraft (1-0,40 = 0,60), dan het overlijden van een patiënt met een laag sterfterisico (1-0,05 = 0,95; figuur 4). In analogie met de controlegrafieken is het bij CUSUMkaarten ook mogelijk controle-limieten aan te geven. Hierbij wordt geen gebruik gemaakt van de standaardafwijkingen, maar worden de waarden berekend op basis van het geaccepteerde en het verwachte risico. 5 Aangezien de CUSUM-kaarten hoofdzakelijk gebruikt worden 60 geredde levens 40 20 0 1 101 201 301 401 501 601 701 801 901 FIGUUR 4 Risicogewogen CUSUM-analyse. Cumulatieve weergave van de ziekenhuissterfte van volwassen patiënten die in de periode 1 oktober 2006-29 september 2009 hartchirurgie ondergingen in het Universitair Medisch Centrum St Radboud te Nijmegen (n = 2082; sterfte = 38 patiënten (1,8%); bron: CORRAD-databank, Universitair Medisch Centrum St Radboud, Dr. L. Noyez). Op 1001 1101 1201 1301 1401 1501 1601 1701 1801 1901 2001 patiëntnummer de horizontale as zijn alle patiënten opeenvolgend in de tijd weergegeven. Op de verticale as is de grootte van de beloning weergegeven, waarbij de waardering wordt uitgedrukt in geredde levens. Deze waardering is afhankelijk van het risico, berekend door middel van de zogenaamde Euroscore. 17 NED TIJDSCHR GENEESKD. 2010;154:A1245 5

voor de continue evaluatie van een proces, waarbij de trend gemakkelijk te herkennen valt (opwaarts of neerwaarts), worden de meesten CUSUM-kaarten echter zonder controle-limieten opgezet. Conclusie Leerpunten Kwaliteitscontrole in de gezondheidszorg is gebaseerd op kwaliteitsmonitoring van industriële processen, waarbij statistische procescontrole een belangrijke rol speelt. Shewhartcontrolekaarten en cumulatieve somtesten zijn eenvoudige en bruikbare methoden. Deze methoden geven in de eerste plaats een waarschuwingssignaal en niet een direct bewijs van slechte kwaliteit. Shewhartcontrolekaarten geven op een eenvoudige grafische manier aan of een proces in de pas loopt of niet. Voor continue monitoring van een proces is de CUSUMmethodiek echter beter geschikt. Beide methoden zijn eenvoudig toepasbaar en geven een goede analyse van het dagelijkse proces, als een eerste stap in het geheel van de kwaliteitscontrole. Belangrijk is dat men steeds duidelijk definieert welk proces men evalueert en welk event in dat proces. Tevens zijn een goede beschrijving van de methodiek en van de verticale en de horizontale as essentieel, evenals, bij het gebruik van de CUSUM-techniek, een duidelijke indicatie of een opwaartse curve een positief of een negatief signaal inhoudt. Bovendien moet men zich goed realiseren dat deze methoden in de eerste plaats een waarschuwingssignaal geven en niet een direct bewijs van slechte kwaliteit. Mevr. M. Bodde, secretaresse, en mevr. E. Noyez bewerkten de tekst. Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld. Aanvaard op 4 november 2009 Citeer als: Ned Tijdschr Geneeskd. 2010;154:A1245 > Meer op www.ntvg.nl/klinischepraktijk Literatuur 1 Inspectie voor de Gezondheidszorg (IGZ).Een tekortschietend zorgproces. Een onderzoek naar de kwaliteit en veiligheid van de cardiochirurgische zorgketen voor volwassenen in het UM St Radboud te Nijmegen. 2006-04-24; www.igz.nl/15451/106463/2006-04-24_rapport_ een_teko1.pdf 2 Shewart WA. Economic control of quality of manufactured product. Princeton: D Van Nostrand Company, 1931. 3 Mohammed MA, Cheng KK, Rouse A, Marshall T. Bristol, Shipman, and clinical governance. Shewhart s forgotten lessons. Lancet 2001;357:463-7. 4 Grunkemeier GL, Wu YX, Furnary AP. Cumulative Sum Techniques for Assessing surgical results. Ann Thorac Surg 2003;76:663-7. 5 Noyez L. Control charts, Cusum techniques and funnel plots. A review of methods for monitoring performance in healthcare. ICVTS 2009;9:494-9. 6 Wheeler DJ, Chambers DS. Understanding statistical process control. second ed. Knoxville:SPC Press 1992 7 Shahian DM, Williamson WA, Svensson LG, Restuccia JD, D Agostino RS. Applications of statistical quality control to cardiac surgery. Ann Thorac Surg 1996;62:1351-9. 8 Rogers CA, Reeves BC, Caputo M, Ganesh JS, Bonser RS, Angelini GD. Control chart methods for monitoring cardiac surgical performance and their interpretation. J Cardiovasc Surg 2004:128:811-9. 9 Williams S, Perry B, Schlup M. Quality control: an application of the CUSUM. BMJ 1992;304:1359-61 10 De Leval M, Francois K, Bull C, Brawn W, Spiegelhalter D. Analysis of a cluster of surgical failures. Application to a series of neonatal arterial switch operations. J Thorac Cardiovasc Surg. 1994;107:914-24. 11 Biau DJ, Resche-Rigon M, Godiris-Petit G, Nizard RS, Porcher R. Quality control of surgical and interventional procedures: a reveiw of the CUSUM. Qua. Saf. Health. Care 2007;16:203-7. 12 Grunkemeier GL, Wu YX, Furnary AP. Cumulative sum techniques for assessing surgical results. Ann Thorac Surg 2003;76:663-7. 13 Steiner SH, Cook RJ, Farewell VT. Risk-adjusted monitoring of binary surgical outcomes. Med Decis Making 2001;21:163-9. 14 Sherlaw-Johnston C, Lovegrove J, Tresure T, Gallivan S. Likely variations in perioperative mortality associated with cardiac surgery: when does high mortality reflect bad practice? Heart 2000;84:79-82. 15 Spiegelhalter D, Grigg O, Kinsman r, Treasure T. Risk-adjusted sequential probability ratio tests: applications to Bristol, Shipman, and adult cardiac surgery. Int J Qual Health Care 2003;15:7-13. 16 Steiner SH, Cook RJ, Farewell VT, Treasure T. Monitoring surgical performance using risk-adjusted cumulative sum charts. Biostatistics 2000;1:441-52. 17 Nashef SAM, Roques F, Michel P, Gauducheau E, Lemeshow S, Salamon R. European system for cardiac operative risk evaluation (EuroSCORE). Eur J Cardio-thorac Surg 1999; 16: 9-13. 6 NED TIJDSCHR GENEESKD. 2010;154:A1245