Het effect van de klachtkans op een behandelbeslissing. Een exploratief onderzoek onder vierdejaarsstudenten tandheelkunde

A.M.F.P. Verweij, M.W. van der Wel, P.A. Mileman, J. den Dekker, W.B. van den Hout Het effect van de klachtkans op een behandelbeslissing Een exploratief onderzoek onder vierdejaarsstudenten tandheelkunde De perceptie van de ernst van een fout-positieve of fout-negatieve diagnose zou de behandelbeslissing van cariës kunnen beïnvloeden. Om dit te onderzoeken is als maat voor de ernst van de gevolgen van een foute behandelbeslissing de kans op een klacht bij een tuchtcollege gebruikt. Met behulp van een computerprogramma over röntgendiagnostiek en door middel van een schriftelijk vragenformulier aan een groep vierdejaarsstudenten tandheelkunde werd onderzocht of de nauwkeurigheid van hun behandelbeslissing omtrent cariës afhankelijk was van hun beoordeling van de kans op een klacht. Dit bleek nauwelijks het geval te zijn. Wel bleek dat de studenten de kans op een klacht door een foute behandelbeslissing omtrent cariës ruim overschatten. Verweij AMFP, Wel MW van der, Mileman PA, Dekker J den, Hout WB van den. Het effect van de klachtkans op een behandelbeslissing. Een exploratief onderzoek onder vierdejaarsstudenten tandheelkunde Ned Tijdschr Tandheelkd 2009; 116: 125-129 Inleiding In Nederland werden in 2007 bij tuchtcolleges 1.441 klachten ingediend tegen zorgverleners, waaronder tandartsen. Dit aantal is een toename van 26,6% ten opzichte van 2003, toen 1.138 klachten binnenkwamen (Tuchtcolleges voor de Gezondheidszorg, 2008). Fouten in de geneeskunde en de juridische gevolgen daarvan zijn in het verleden in de Verenigde Staten van Amerika onderwerp geweest van verschillende onderzoeken (Berlin, 2005). Daarbij bleek dat een behandelbeslissing van een zorgverlener kan worden beïnvloed door de mate van diens angst voor de juridische gevolgen voor een bepaalde gemaakte fout en door de perceptie van de kans dat deze juridische gevolgen zullen optreden (Poses et al, 1998). Deze bevindingen gelden mogelijk ook voor tandartsen. Een onderzoek naar de reproduceerbaarheid van behandelbeslissingen over cariës liet een aanzienlijke variatie zien (Eijkman et al, 2002). Op de nauwkeurigheid waarmee tandartsen bitewing-röntgenopnamen beoordelen, kunnen verschillende factoren invloed hebben (Poorterman et al, 1997). Het niet juist beoordelen van bitewing-röntgenopnamen kan tot gevolg hebben dat een dentinelaesie niet wordt gerestaureerd of dat een stabiele cariëslaesie of een gaaf gebitsvlak onnodig wordt gerestaureerd. Een patiënt kan voor een dergelijke fout een klacht indienen bij een tuchtcollege of de inspectie voor de gezondheidszorg inlichten. Voor de desbetreffende tandarts kan dit juridische gevolgen hebben. De perceptie van de kans dat een fout in de röntgendiagnostiek en de daaruit voortvloeiende onjuiste behandeling of juist het achterwege blijven van behandeling een klacht tot gevolg kan hebben, kan per tandarts verschillen. Dit zou tot uiting kunnen komen in de behandelbeslissingen van tandartsen. Het doel van het onderzoek was na te gaan of vierdejaarsstudenten tandheelkunde die de klachtkans door een fout in de diagnostiek met behulp van bitewing-röntgenopnamen als groot beoordelen, minder onjuiste behandelbeslissingen nemen dan vierdejaarsstudenten tandheelkunde die deze kans als klein beoordelen. 2 Materiaal en methode Bij het beoordelen van een bitewing-röntgenopname kunnen 2 soorten fouten worden gemaakt: een proximale carieslaesie kan over het hoofd worden gezien (fout-negatief, FN) of een gaaf gebitsvlak kan ten onrecht als carieus worden beoordeeld (fout-positief, FP). Om de klachtkans tegen een tandarts vanwege een foute behandelbeslissing te kunnen berekenen, was informatie nodig over het aantal ingediende klachten. Hiervoor werden gegevens gebruikt van de jaarverslagen 3over de periode 2001-2004 van de Nederlandse Maatschappij tot bevordering der Tandheel- 125

2001 2002 2003 2004 NMT 230 214 197 197 ANT 43 25 56 93 Amsterdam 16 16 13 38 Den Haag 10 17 13 21 Eindhoven 4 12 9 20 Groningen 2 3 1 2 Zwolle 14 7 6 2 Totaal 319 294 295 373 Tabel 1. Aantallen tegen tandartsen ingediende klachten in de periode 2001-2004 bij de NMT, de ANT en de regionale tuchtcolleges. kunde (NMT), de Associatie Nederlandse Tandartsen (ANT) en de regionale tuchtcolleges (tab. 1). Tevens was informatie nodig over het aantal in Nederland praktiserende tandartsen in de periode 2001-2004 (Ministerie VWS, 2005) (tab. 2). Helaas was de aard van de ingediende klachten niet in de jaarverslagen te achterhalen. Daardoor konden alleen de maximale klachtkansen door een foute behandelbeslissing met behulp van de gegevens uit de jaarverslagen worden berekend. De uitgevoerde berekeningen wijzen uit dat de klachtkans door een fout-negatieve of een fout-positieve behandelbeslissing niet groter kan zijn dan respectievelijk 0,03% en 0,01% (zie appendix en tab. 2). Op grond van deze berekeningen bestaat bij de auteurs van dit artikel niet de pretentie dat de uitkomsten een goede weergave zijn van de werkelijkheid, maar bestaat wel de overtuiging dat een hogere uitkomst onwaarschijnlijk is. Daarnaast is bepaald welke perceptie studenten hadden van de kans op een klacht. Voor dit deel van het onderzoek zijn alle 245 vierdejaarsstudenten tandheelkunde van het Academisch Centrum Tandheelkunde Amsterdam (ACTA) benaderd. Zij vulden op een vragenlijst hun mening in over de klachtkans door een fout-negatieve en een fout-positieve behandelbeslissing. Daarna beoordeelden ze met behulp van het Computer Assisted Learning (CAL)-programma Looking for Caries 105 approximale gebitsvlakken op 15 bitewing-röntgenopnamen (afb. 1) (Mileman et al, 2004). Van elk afgebeeld gebitsvlak werd bepaald of het wel of niet moest worden gerestaureerd (afb. 2). Het CAL-programma berekende voor elke student de nauwkeurigheid van de behandelbeslissing door deze te vergelijken met een gouden voor het diagnosticeren van approximale cariës (Mileman en Van den Hout, 2007). De gouden is opgesteld met behulp van microradiografie, een validatiemethode om de diepte van cariëslaesies te bepalen. Röntgenbestraling van ultradunne plakjes gebitsweefsel die worden verdacht van cariës, levert na bewerking in een computerprogramma de mate van demineralisatie (Gelhard, 1982; Mileman, 1985; De Josselin de Jong, 1986). De nauwkeurigheid van de behandelbeslissingen van de studenten werd weergegeven met 3 parameters: sensitiviteit, specificiteit en diagnostische oddsratio. Sensitiviteit is de verhouding tussen enerzijds het aantal terecht positieve (TP) beslissingen en anderzijds de som van het aantal terecht positieve en het aantal fout-negatieve beslissingen (FN): TP/(TP + FN). Specificiteit is de verhouding tussen enerzijds het aantal terecht negatieve (TN) beslissingen en anderzijds de som van het aantal terecht negatieve en het aantal fout-positieve beslissingen (FP): TN/(TN + FP). De diagnostische oddsratio is de verhouding tussen enerzijds het product van het aantal terecht positieve (TP) en terecht negatieve (TN) behandelbeslissingen en anderzijds het product van het aantal fout-positieve (FP) en fout-negatieve behandelbeslissingen (FN) : (TP x TN)/(FP x FN). De diagnostische oddsratio is een combinatie van de sensitiviteit en de specificiteit en is daarom een betere parameter voor de algehele nauwkeurigheid (Mileman en Van den Hout, 2007). Het effect van klachtkansen op behandelbeslissingen werd onderzocht door groepen studenten onderling te vergelijken op basis van hun beoordeling van de klachtkans door een foute behandelbeslissing. Daarbij werden groepsindelingen Tabel 2.Berekende maximale klachtkans door een fout-negatieve of fout-positieve behandelbeslissing op basis van bitewing-röntgenopnamen (voor berekening: zie appendix). 2001 2002 2003 2004 Gemiddeld Aantal praktiserende tandartsen 7.509 7.623 7.759 7.950 7.710 Aantal klachten ( tab. 1) 319 294 295 373 320 Aantal fout-negatieve beslissingen 916.000 930.000 947.000 970.0009 41.000 Aantal fout-positieve beslissingen 2.343.000 2.378.000 2.421.000 2.480.000 2.406.000 Berekende maximale kans door fout-negatieve beslissing 0,03% 0,03% 0,03% 0,04% 0,03% door fout-positieve beslissing 0,01% 0,01% 0,01% 0,01% 0,01% Op aanname dat elke klacht werd ingediend vanwege een fout-negatieve behandelbeslissing Op aanname dat elke klacht werd ingediend vanwege een fout-positieve behandelbeslissing 126

Verweij e.a.: Effect klachtkans op behandelbeslissing 100 80 Aantal studenten 60 40 Afb. 1. Vierdejaarsstudenten tandheelkunde beoordelen bitewingröntgenopnamen met behulp van het Computer Assisted Learning (CAL)-programma Looking for Caries? gemaakt op basis van verschillende criteria. Eerst werden 2 subgroepen gevormd door de geschatte klachtkansen van de studenten te vergelijken met de berekende maximale klachtkansen (zie appendix). De subgroepen waren studenten die de klachtkans door een fout-negatieve behandelbeslissing als gelijk aan of kleiner beoordeelden dan 0,03% (n = 24) en studenten die deze kans groter beoordeelden dan 0,03% (n = 221). De tweede indeling betrof subgroepen die de klachtkans door een fout-positieve behandelbeslissing als gelijk aan of kleiner beoordeelden dan 0,01% (n = 28) en groter dan 0,01% (n = 217). De grootte van de subgroepen van deze eerste 2 groepsindelingen was sterk onevenwichtig doordat een duidelijke meerderheid van de studenten de klachtkansen als te groot beoordeelde. Daarom werden in de plaats van de eerste en tweede groepsindeling een derde en vierde groepsindeling gemaakt, waarbij de grenswaarden niet meer werden bepaald op basis van de berekende maximale kansen, maar op basis van de grenswaarde van 2%. Met deze hogere grenswaarde werden naar grootte meer evenwichtige subgroepen verkregen voor zowel de derde (n = 98 versus n = 147) als de vierde groepsindeling (n = 100 versus n = 146). De vijfde groepsindeling was tussen subgroepen die de klachtkans door een fout-negatieve behandelbeslissing als groter beoordeelden dan de klachtkans door een fout-positieve behandelbeslissing (n = 76) en de overige studenten (n = 168). Voor elke van deze 5 groepsindelingen werd telkens de gemiddelde nauwkeurigheid van de behandelbeslissingen tussen de subgroepen statistisch vergeleken. Dit gebeurde met t-toetsen van het Statistical Package for the Social Sciences (SPSS) met een significantieniveau van 0,05. 20 0 0 3 6 9 12 15 kans op klacht door omissie in % / kans op een klacht door overbehandeling in % Afb. 2. Overzicht van de mogelijke uitkomsten wanneer bitewing-röntgenopnamen worden beoordeeld ten behoeve van behandelbeslissingen. Resultaten De studenten beoordeelden de klachtkans door een foutnegatieve behandelbeslissing gemiddeld als 11,2% (sd = 17,9; mediaan = 5,0) en door een fout-positieve behandelbeslissing gemiddeld als 14,4% (sd = 22,7; mediaan = 5). Er was een positieve correlatie tussen de beoordeling van deze 2 soorten klachtkansen (r = 0,53; p < 0,001). Een ruime meerderheid (88%) beoordeelde daarmee de klachtkansen groter dan de berekende maximale klachtkansen van respectievelijk 0,03 en 0,01% (appendix). De gemiddelde waarde van de verhouding tussen de kans op een klacht door een foutnegatieve en de kans op een klacht door een fout-positieve behandelbeslissing (klacht door FN/ klacht door FP) was 2,66 (sd = 13,37; mediaan = 1,0). Bij 88 studenten (36%) was deze verhouding kleiner dan 1. Bij 80 studenten (33%) was de verhouding 1. De overige 76 studenten (31%) scoorden een verhouding groter dan 1 (afb. 3). Studenten die de klachtkans als groot beoordeelden, namen niet vaker de juiste behandelbeslissing dan de studenten die deze kans relatief klein achtten. De gemiddelde sensitiviteit, specificiteit en diagnostische oddsratio in de eerste 4 groepsindelingen verschilden niet significant tussen de verschillende subgroepen. Het enige statistisch significante verschil betrof de diagnostische oddsratio in de tweede groepsindeling. Deze was significant gunstiger in de subgroep die de klachtkans door een fout-positieve beslissing als groter beoordeelde dan 2%. Ook de vergelijking van de subgroep die de klachtkans door een fout-negatieve behandelbeslissing als groter beoordeelde dan de klachtkans door een fout-positieve behandelbeslissing met de subgroep van de overige studenten (de vijfde groepsindeling) bleek geen statistisch significant verschil op te leveren. Discussie Onder de in dit onderzoek betrokken vierdejaarsstudenten tandheelkunde leek de beoordeling van de klachtkans door een foute behandelbeslissing nauwelijks een factor te zijn die een behandelbeslissing zou beïnvloeden. Wel valt op dat de meerderheid van de studenten de werkelijke klachtkans 127

Te restaureren Niet te restaureren Restaureren volgens behandelbeslissing Niet restaureren volgens behandelbeslissing Terecht positief (TP) Fout-negatief (FN) Fout-positief (FP) Terecht negatief (TN) Totaal aantal te restaureren gebitsvlakken volgens behandelbeslissingen Totaal aantal niet te restaureren gebitsvlakken volgens behandelbeslissingen Afb. 3. De verhouding tussen de klachtkans door een fout-negatieve en een fout-positieve behandelbeslissing. Totaal aantal te restaureren gebitsvlakken Totaal aantal niet te restaureren gebitsvlakken door een foute behandelbeslissing overschatte. Amerikaanse en Engelse medische specialisten beoordeelden de klachtkans door een fout-negatieve behandelbeslissing als groter dan de klachtkans door een fout-positieve behandelbeslissing (Poses et al, 1998). De Engelse specialisten beoordeelden de verhouding van de kansen op deze 2 soorten klachten (klacht door FN/ klacht door FP) als 3 en de Amerikanen als 1,5. In het hier beschreven onderzoek was deze verhouding 2,6. De studenten waren echter verdeeld in hun beoordeling van welke fout het meest waarschijnlijk tot een klacht zou leiden. De overweging hierbij is wellicht dat een fout-negatieve beslissing in de geneeskunde ernstigere consequenties kan hebben dan een dergelijke fout in de cariesdiagnostiek, terwijl een fout-positieve behandelbeslissing sneller aanleiding tot een klacht in de geneeskunde zou kunnen geven. Nederlandse tandartsen leken een fout-positieve behandelbeslissing ernstiger te vinden (Mileman en Van der Hout, 2002; Mileman en Van der Hout, 2008). In het onderwijs aan studenten tandheelkunde zou een punt van aandacht kunnen zijn dat studenten een realistischer verwachtingspatroon over de kwaliteit van de diagnostiek in de zorgverlening leren ontwikkelen (Berlin, 2005). Tuchtcolleges zouden een bijdrage kunnen leveren door een transparante registratie van klachten bij te houden over de geldende professionele voor mondzorg in het algemeen en voor röntgendiagnostiek in het bijzonder. Literatuur > Aken J van. Het verbruik van intra-orale röntgenfilms in de periode 1958-1988. Ned Tijdschr Tandheelkd 1991; 98: 362-364. > Berlin L. Errors of omission. Am J Roentgenol 2005; 185: 1416-1421. > Commissie Tandheelkundige Statistiek. Statistisch overzicht van de behandelgegevens door tandartsen-algemeen practici en regionale instellingen voor jeugdtandverzorging aan ziekenfondsverzekerden 1988. Zeist: Commissie Tandheelkundige Statistiek, 1989. > Gelhard TBFM. Remineralization of human enamel in vivo. Groningen: Rijksuniversiteit Groningen, 1982. Academisch proefschrift. > De Josselin de Jong E. Comparison of methods in caries research. Groningen: Rijksuniversiteit Groningen, 1986. Academisch proefschrift. > Eijkman MAJ, Kieft JA, Poorterman JHG. Verschillen in de beoordeling van restauratieve zorg. Ned Tijdschr Tandheelkd 2002; 109: 355-357. > Kalsbeek H, Poorterman JHG, Kivit MM. Tandheelkundige verzorging volwassen ziekenfondsverzekerden 1995-2002. Mondgezondheid, tandartsbezoek en preventief gedrag na de stelselherziening van 1995. Leiden: TNO Preventie en Gezondheid, 2003. > Mileman PA, Weele LT van der. Accuracy in radiographic diagnosis: Dutch practitioners and dental caries. J Dent 1990; 18: 130-136. > Mileman PA, Hout WB van den. Comparing the accuracy of Dutch dentists and dental students in the radiographic diagnosis of dentinal caries. Dentomaxillofac Radiol 2002; 31: 7-14. > Mileman PA, Hout WB van den, Sanderink GCH. Looking for caries? Teachers evaluate a program to improve caries diagnosis from radiographs. Eur J Dent Educ 2004; 8: 35-42. > Mileman PA. Radiographic caries diagnosis and restorative treatment decision making. Groningen: Rijksuniversiteit Groningen, 1985. Academisch proefschrift. > Mileman PA, Hout WB van den. Evidence-based diagnostiek en klinische besluitvorming. Ned Tijdschr Tandheelkd 2007; 114: 187-194. > Mileman PA, Hout WB van den. An evaluation by teachers of a decision aid for viewing bitewing radiographs. Dentomaxillofac Radiol 2009; 38: geaccepteerd. > Ministerie van Volksgezondheid, Welzijn en Sport. Brancherapport van het ministerie van Volksgezondheid, Welzijn en Sport. Versie 2.1. Den Haag: Ministerie VWS, 2005. http://www.brancherapporten.minvws. nl/object_class/br_cure_mond.html (Accessed 03-04-2008). > Poorterman JHG, Verheij JG, Kieft JA, Eijkman MAJ. Variatie onder tandartsen bij beoordeling van cariës en restauraties. Ned Tijdschr Tandheelkd 1997; 104: 214-218. > Poses RM, De Saintonge DM, McClish DK, et al. An international comparison of physicians' judgements of outcome rates of cardiac procedures and attitudes toward risk, uncertainty, justifiability, and regret. Med Decis Making 1998; 18: 131-140. > Tuchtcolleges voor de Gezondheidszorg. Jaarverslag Tuchtcolleges voor de Gezondheidszorg, 2007. Den Haag: Centraal Tuchtcollege, 2008. 128

Verweij e.a.: Effect klachtkans op behandelbeslissing Summary The effect of the risk of a complaint on treatment decision making. An explorative investigation in fourth-year dental students The perception of the seriousness of a false-negative or false-positive diagnosis could influence treatment decision making for carious lesions. In order to investigate this hypothesis, the perceived risk of a complaint at a disciplinary tribunal was used as an indicator of the seriousness of the consequences of treatment decision errors. Using a computer programme for caries diagnosis on radiographs and by means of a questionnaire, was investigated in a group of fourth-year dental students whether their accuracy of treatment decision making for carious lesions was dependent on the perception of the risk of a complaint at a disciplinary tribunal. The perception of the likelihood of complaints does not seem to play a significant role in the accuracy of decision making. However, the students demonstrated unrealistical high risk perceptions of a complaint at a disciplinary tribunal following a treatment decision making error by a false diagnosis of a carious lesion on a bitewing radiograph. Bron A.M.F.P Verweij 1, M.W. van der Wel 1, P.A. Mileman 1, J. den Dekker 2, W.B. van den Hout 3 Uit 1 de afdeling Tandheelkundige Radiologie, 2 de afdeling Sociale Tandheelkunde van het Academische Centrum voor Tandheelkunde Amsterdam (ACTA) en 3 de themagroep Medische Besliskunde van het Leids Universitair Medisch Centrum Datum van acceptatie: 18 juni 2008 Adres: dr. P.A. Mileman, ACTA, Louwesweg 1, 1066 EA Amsterdam phil.mileman@acta.nl Appendix Wijze van berekening van de maximale klachtkans door een foute behandelbeslissing De aard van klachten is uit de jaarverslagen van de tuchtcolleges niet te achterhalen. Daardoor zijn ook geen betrouwbare schattingen te geven voor de kans dat een fout-negatieve en fout-positieve behandelbeslissing tot een klacht leiden. Wel is, uitgaande van een aantal aannamen, de maximale klachtkans te berekenen. Deze berekende klachtkans is dus bewust groter dan de echte klachtkans. Uitgaande van de aannamen is de klachtkans als volgt berekend. Enige tijd geleden maakte een tandarts jaarlijks gemiddeld 1.000 röntgenfoto s, waarvan 750 bitewing-röntgenopnamen waren (Van Aken, 1991; Commissie Tandheelkundige Statistiek, 1989). Op een bitewing-röntgenopname waren gemiddeld 14,2 approximale vlakken zichtbaar (Kalsbeek et al, 2003). Een tandarts beoordeelde dus per jaar gemiddeld 750 x 14,2 = 10.650 approximale vlakken op bitewingröntgenopnamen. De kans op het op een bitewing-röntgenopname diagnosticeren van een cariëslaesie tot in het dentine uitgaande van een approximaal vlak werd in 2002 geschat op 2,5% (Kalsbeek et al, 2003). Dit betekent dat van de beoordeelde 10.650 approximale vlakken er 266 (0,025 x 10650) carieus tot in het dentine zijn, terwijl 10.384 dit niet zijn. De sensitiviteit en de specificiteit van de Nederlandse tandartsen bij het diagnosticeren van cariëslaesies op bitewing-röntgenopnamen zijn geschat op respectievelijk 54% en 97% (Mileman en Van der Weele, 1990). Het berekende jaarlijkse gemiddelde aantal foutnegatieve behandelbeslissingen per tandarts komt daarmee op 122 (46% x 266) en het jaarlijkse gemiddelde aantal fout-positieve behandelbeslissingen op 312 (3% x 10.384). In totaal werden dus door de tandartsen in Nederland in de periode 2001-2004 per jaar gemiddeld 941.000 (7.710 x 122) fout-negatieve en 2.406.000 (7.710 x 312) foutpositieve behandelbeslissingen genomen. Als elke klacht in deze periode een fout-negatieve behandelbeslissing betrof, zou de klachtkans door een fout-negatieve behandelbeslissing 0,03% zijn (320/941.000). Als elke klacht in deze periode een fout-positieve behandelbeslissing betrof, zou de klachtkans door een fout-positieve behandelbeslissing 0,01% zijn (320/2.406.000) (tab. 2). 129