TGO. Betrouwbaarheid schattingsmethodiek PTSS-protocol, ll. dr. AS Fokkens. prof. dr. JW Groothoff. prof. dr. JJL van der Klink

Transcriptie

1 TGO TOEGEPAST GEZONDHEIDS ONDERZOEK dr. AS Fokkens prof. dr. JW Groothoff prof. dr. JJL van der Klink dr. J Tuinstra Betrouwbaarheid schattingsmethodiek PTSS-protocol, ll Een vergelijking tussen de schattingsmethodiek PTSS protocol, het PIM rapport en de schattingsmethodiek AMA-guides 6e druk bij psychische aandoeningen

2 Betrouwbaarheid schattingsmethodiek PTSS-protocol, II Een vergelijking tussen de schattingsmethodiek PTSS protocol/pim rapport en de schattingsmethodiek AMA-guides 6 e druk bij psychische aandoeningen Onderzoeksteam TGO, UMCG Dr. Andrea Fokkens Prof. dr. Johan Groothoff Prof. dr. Jac van der Klink Dr. Jolanda Tuinstra Met dank aan: drs. Nienke Verheij, dr. Roy Stewart, dr. Roel Bakker, drs. Lex van de Ven Toegepast GezondheidsOnderzoek (TGO) Afdeling Gezondheidswetenschappen Universitair Medisch Centrum Groningen Groningen, december 2012 TGO / UMCG

3

4 Samenvatting Achtergrond van het onderzoek Sinds 1 juli 2008 gebruikt het Zorgloket MOD (Militaire Oorlogs- en Dienstslachtoffers) een nieuwe schattingsmethodiek voor het bepalen van het percentage invaliditeit bij militairen met beperkingen door psychische aandoeningen. Het onderzoek naar de betrouwbaarheid van deze schattingsmethodiek is in december 2011 afgerond 1. De belangrijkste conclusie van dit onderzoek is dat de schattingsmethodiek betrouwbaar is: er bestaat weinig variatie in uitkomsten, zowel tussen artsen als binnen artsen, bij toepassing van de schattingsmethodiek bij een post-actieve militair met beperkingen door psychische aandoeningen. De vervolgvraag die nu aan de orde is, luidt: Hoe verhoudt de PIM schattingsmethodiek zich tot een vergelijkbare schattingsmethodiek? In het huidige vervolgonderzoek wordt de PIM schattingsmethodiek vergeleken met een andere schattingsmethodiek, die in Amerika is ontwikkeld en is opgenomen in de richtlijnen van de American Medical Association s Guides to the Evaluation of Permanent Impairment 2. Het betreft het hoofdstuk Mental and Behavioral disorders van de AMA-guides, 6 e druk. Doel van de aanvullende vraag is het inzichtelijk maken hoe de uitkomsten, de invaliditeitspercentages, zich verhouden, en hoe de interdoktervariaties van de PIM schattingsmethodiek zich verhouden tot die van de AMA schattingsmethodiek. Onderzoeksdoelen 1. Inzichtelijk maken hoe de twee methodieken (a) de PIM schattingsmethodiek en (b) de AMA schattingsmethodiek zich onderling verhouden met betrekking tot de uitkomsten in invaliditeitspercentage (IP). 2. Inzichtelijk maken wat de betrouwbaarheid van de AMA schattingsmethodiek is, in termen van interdoktervariatie. 3. Inzichtelijk maken hoe de twee methodieken (a) de PIM schattingsmethodiek en (b) de AMA schattingsmethodiek zich onderling verhouden met betrekking tot de interdoktervariatie. Methoden van het onderzoek Voor de huidige vervolgstudie is gebruik gemaakt van dezelfde 24 films uit de eerdergenoemde betrouwbaarheidsstudie. Deze 24 films zijn de gefilmde beoordelingsgesprekken tussen een postactieve militair en een verzekeringsarts van het Zorgloket MOD. Vijf onafhankelijke verzekeringsartsen bekijken en beoordelen dezelfde film. Zij scoren zowel de PIM schattingsmethodiek als de AMA schattingsmethodiek. De scores, het invaliditeitspercentage en de overeenstemming tussen de artsen op beide instrumenten worden met elkaar vergeleken. Resultaten en conclusies van het onderzoek Resultaten - Op alle drie vragenlijsten waar de AMA schattingsmethodiek uit bestaat: BPRS, GAF en PIRS 3 is er sprake van een scheve verdeling. Er wordt in deze studie relatief laag gescoord op de AMA schattingsmethodiek. - Het IP PIM is over het algemeen hoger dan het IP AMA (doelstelling 1). In deze studie is het IP AMA gemiddeld ongeveer de helft van het IP PIM. Waarbij in deze studie voor beide 1 Betrouwbaarheid schattingsmethodiek PTSS-protocol. De intra- en interdoktervariatie van de schattingsmethodiek ter beoordeling van de mate van invaliditeit bij psychische aandoeningen bij post-actieve militairen. AS Fokkens, JW Groothoff, JJL van der Klink, J Tuinstra. UMCG, Groningen, Guides to the Evaluation of Permanent Impairment, chapter 14, Mental and Behavioral disorders, 6th Edition, American Medical Association, Brief Psychiatric Rating Scale (BPRS), Global Assessment of Functioning Scale (GAF), Psychiatric Impairment Rating Scale (PIRS).

5 methodieken geldt dat er relatief vaak laag gescoord wordt. In 77.5% van de 120 beoordelingen is het IP AMA 5% of 0%. - Er is voor zowel de AMA schattingsmethodiek als de PIM schattingsmethodiek weinig variatie gevonden tussen de onafhankelijke artsen (doelstelling 2 en 3). - Zowel de variatie tussen de 5 onafhankelijke artsen als het verschil tussen de twee schattingsmethodieken neemt toe naar mate het gemiddelde IP toeneemt. Overall conclusies De PIM schattingsmethodiek geeft gemiddeld een hoger IP weer in vergelijking met de AMA schattingsmethodiek. Voor zowel de PIM schattingsmethodiek als de AMA schattingsmethodiek geldt dat de variatie tussen de artsen laag is.

6 Inhoudsopgave Hoofdstuk 1 Achtergrond van het onderzoek Inleiding 1 Hoofdstuk 2 Twee schattingsmethodieken De PIM schattingsmethodiek De AMA schattingsmethodiek De drie vragenlijsten van de AMA schattingsmethodiek De Brief Psychiatric Rating Scale De Global Assessment of Functioning Scale De Psychiatric Impairment Rating Scale 5 Hoofdstuk 3 Data en methode 7 Hoofdstuk 4 Resultaten Beschrijving uitkomsten van de AMA schattingsmethodiek Doelst. 1: Vergelijking uitkomsten van het IP PIM met het IP AMA Doelst. 2: Interdoktervariatie van de AMA schattingsmethodiek Doelst. 3: Vergelijking interdoktervariatie van de twee schattingsmethodieken 19 Hoofdstuk 5 Conclusie en discussie 23 Bijlagen 27 1 De AMA schattingsmethodiek en de PIM schattingsmethodiek 29 De Brief Psychiatric Rating Scale 29 De Global Assessment of Functioning Scale 31 De Psychiatric Impairment Rating Scale 32 De PIM schattingsmethodiek 35 2 Organisatie en betrokken partijen 45

7

8 Hoofdstuk 1 Achtergrond van het onderzoek 1.1. Inleiding Sinds 1 juli 2008 gebruikt het Zorgloket MOD (Militaire Oorlogs- en Dienstslachtoffers) een nieuwe schattingsmethodiek voor het bepalen van het percentage invaliditeit bij militairen met beperkingen door psychische aandoeningen. Deze methodiek is ontwikkeld op basis van het PIM-rapport (juni ) dat richtlijnen bevat voor het beoordelen van de invaliditeit van militairen. Het onderzoek naar de betrouwbaarheid van deze schattingsmethodiek is in december 2011 afgerond 5. De belangrijkste conclusie van dit onderzoek is dat de schattingsmethodiek betrouwbaar is: er bestaat weinig variatie in uitkomsten, zowel tussen artsen als binnen artsen, bij toepassing van de schattingsmethodiek bij een post-actieve militair met beperkingen door psychische aandoeningen. De PIM schattingsmethodiek is betrouwbaar en indirect valide verklaard door de klankbordgroep (zie bijlage 2) die betrokken is bij de betrouwbaarheid studie 6. Er is nu een vervolgvraag gesteld, doel hiervan is bepalen hoe de PIM schattingsmethodiek zich verhoudt tot een vergelijkbare schattingsmethodiek. In dit vervolgonderzoek wordt de PIM schattingsmethodiek vergeleken met een andere schattingsmethodiek, die in Amerika is ontwikkeld en opgenomen in de richtlijnen van de American Medical Association s Guides to the Evaluation of Permanent Impairment 7. Het betreft het hoofdstuk Mental and Behavioral disorders van de AMA-guides, 6 e druk. Verder in dit rapport wordt dit de AMA schattingsmethodiek genoemd. Doel van de aanvullende vraag is het inzichtelijk maken hoe de uitkomsten, de invaliditeitspercentages zich verhouden, en hoe de interdoktervariaties zich verhouden van beide schattingsmethodieken. Op deze manier kan bepaald worden hoe de PIM schattingsmethodiek zich verhoudt tot een bestaande schattingsmethodiek. Het doel van het huidige aanvullende onderzoek bestaat uit drie delen: 1. Inzichtelijk maken hoe de twee methodieken (a) de PIM schattingsmethodiek en (b) de AMA schattingsmethodiek zich onderling verhouden met betrekking tot de uitkomsten in invaliditeitspercentage (IP). 2. Inzichtelijk maken wat de betrouwbaarheid van de AMA schattingsmethodiek is, in termen van interdoktervariatie. 3. Inzichtelijk maken hoe de twee methodieken (a) de PIM schattingsmethodiek en (b) de AMA schattingsmethodiek zich onderling verhouden met betrekking tot de interdoktervariatie. 4 Schade in Schalen de psyche in beeld. Het vaststellen van de mate van psychische invaliditeit in het kader van militaire pensioenvoorschriften. Advies Commissie WPC-PIM, s Gravenhage, juni Betrouwbaarheid schattingsmethodiek PTSS-protocol. De intra- en interdoktervariatie van de schattingsmethodiek ter beoordeling van de mate van invaliditeit bij psychische aandoeningen bij post-actieve militairen. AS Fokkens, JW Groothoff, JJL van der Klink, J Tuinstra. UMCG, Groningen, Validatie schattingsmethodiek Defensie. Rapportage Klankbordgroep. 21 december Guides to the Evaluation of Permanent Impairment, chapter 14, Mental and Behavioral disorders, 6th Edition, American Medical Association,

9 2

10 Hoofdstuk 2 Twee schattingsmethodieken Hieronder volgt informatie over beide schattingsmethodieken die centraal staan in het huidige onderzoek. In bijlage 1 zijn zowel de PIM schattingsmethodiek als de AMA schattingsmethodiek toegevoegd. 2.1 De PIM schattingsmethodiek De ontwikkeling van de PIM schattingsmethodiek is onder meer ingegeven door het ontbreken van een goed alternatief. De andere toen bestaande schattingsmethodieken, waaronder de AMAguides 5 e druk, waren kwalitatief niet te vergelijken met de nieuwe PIM schattingsmethodiek. De PIM schattingsmethodiek beoogt psychische beperkingen vast te leggen in het kader van de invaliditeitsbeoordelingen. Het invullen van de PIM scoringslijst is telkens het resultaat van een daaraan voorafgaande verzekeringsgeneeskundige beoordeling. De beperkingen zijn onderverdeeld in 4 rubrieken met 10 subrubrieken (zie tabel 1 en bijlage 1). Tabel 1: De vier rubrieken met de tien subrubrieken van de PIM schattingsmethodiek Rubriek Subrubriek 1. Activiteiten van het dagelijkse leven 1. Persoonlijke hygiëne en zelfzorg 2. Mobiliteit 3. Slapen 4. Seksuele functie 2. Sociaal functioneren 5. Basale communicatie 6. Communicatief sociaal functioneren 7. Communicatieve (emotionele) vaardigheid 3. Concentratie, doorzettingsvermogen en 8. Structuur aanbrengen tempo 9. Huishoudelijke activiteiten 4. Adaptatie aan stressvolle omstandigheden 10. Omgaan met stressvolle gebeurtenissen Per subrubriek wordt de ernst van de beperkingen bepaald en gescoord. De scores zijn onderverdeeld in klasse 0 tot en met klasse 5 (variërend van normaal tot en met extreme beperkingen ) (zie bijlage 1 voor een uitgebreide omschrijving van de verschillende klassen per subrubriek). Invaliditeitspercentage op basis van de PIM schattingsmethodiek Elke rubriek, onafhankelijk van het aantal subrubrieken telt even zwaar mee bij de berekening van het invaliditeitspercentage. De scores van alle subrubrieken, behorend tot dezelfde rubriek worden bij elkaar opgeteld en vervolgens gedeeld door het aantal subrubrieken. Daarna worden de subscores van de 4 rubrieken bij elkaar opgeteld en gedeeld door vier. Dit quotiënt, een getal tussen de 0 en 5, geeft de gemiddelde rubriekscore aan. De waarden 0-5 vertegenwoordigen een percentage tussen de 0 en 100 procent. De vertaalslag van rubriekscore naar invaliditeitspercentage verloopt vervolgens lineair en wordt weergegeven in stappen van 5%. Zo komt een gemiddelde rubriekscore van 2,4 uit op een percentage van 48%, een schatting van 45-50%. Het hiermee overeenkomende pensioenrecht bedraagt 45%. 2.2 De AMA schattingsmethodiek Er is inmiddels een nieuwe uitgave van de AMA-guides, de 6 e druk (vanaf nu wordt dit de AMA schattingsmethodiek genoemd). Hierin is expliciet meer aandacht voor psychische beperkingen in het hoofdstuk, Mental and Behavioral disorders, dan in de AMA 5 e druk. De AMA schattingsmethodiek beoogt permanente psychische beperkingen vast te stellen. De eerste stap bij de AMA schattingsmethodiek bestaat uit het stellen van een diagnose, gebaseerd op de American Psychiatric Association DSM-IV. Vervolgens worden psychische beperkingen geduid en het invaliditeitspercentage vastgesteld. Dat gebeurt op basis van drie vragenlijsten. Deze vragenlijsten zijn gevalideerd voor klinische diagnostiek, echter (nog) niet voor het duiden van 3

11 beperkingen of het schatten van invaliditeitspercentages bij post-actieve militairen met psychische beperkingen (zie tabel 2 en bijlage 1). Beperkingen door mentale- of gedragsstoornissen worden door de AMA schattingsmethodiek gemeten aan de hand van de volgende 3 vragenlijsten, 1) de Brief Psychiatric Rating Scale (BPRS), 2) de Global Assessment of Functioning (GAF) en 3) de Psychiatric Impairment Rating Scale (PIRS). De auteurs van de AMA guide 6 e editie hebben gekozen voor drie vragenlijsten die functieverlies en het algemeen functioneren van een persoon meten. Op deze manier wordt er getracht een betrouwbaar en algemeen beeld van het functieverlies van een persoon in kaart te brengen. De vragenlijsten worden veelvuldig gebruikt in de psychiatrie en zijn eenvoudig in te vullen door deskundigen. In de volgende paragraaf worden de drie vragenlijsten uitgebreider toegelicht. Tabel 2: De drie schalen van de AMA schattingsmethodiek Schaal Kenmerken 1. Brief Psychiatric Rating Scale (BPRS) - 24 symptomen - scoren op basis van interview en op basis van observatie gedrag tijdens het interview - scores op 7-puntsschaal, variërend van niet aanwezig tot zeer ernstig - handleiding aanwezig met omschrijving van scores per symptoom - somscore wordt getransformeerd tot score van functieverlies (0-50%) 2. Global Assessment of Functioning scale (GAF) - overall inschatting van psychologisch, sociaal en beroepsmatig functioneren, variërend van 0 tot en met puntsschaal geeft omschrijvingen weer - score wordt getransformeerd tot score van functieverlies (0-50%) 3. Psychiatric Impairment Rating Scale (PIRS) - 6 rubrieken - score op 5-puntsschaal, omschreven per rubriek - middelste 2 scores zijn bepalend voor de score - score wordt getransformeerd tot score van functieverlies (0-50%) Invaliditeitspercentage op basis van de AMA schattingsmethodiek De totale score van functieverlies van de AMA guide 6 e editie is de middelste score van de drie scores van de BPRS, GAF en de PIRS (zie bijlage 1 voor de berekening van de scores van de BPRS, GAF en PIRS). In de handleiding van de AMA is gekozen voor de mediaan als maat; op deze manier wordt voor de invloed van outliers gecorrigeerd. Er is nog geen onderzoek gedaan naar de vraag of de mediaan een meer betrouwbare maat is dan het gemiddelde De drie vragenlijsten van de AMA schattingsmethodiek De Brief Psychiatric Rating Scale (BPRS) De BPRS meet psychotische en non-psychotische symptomen in patiënten met een ernstige psychiatrische ziekte. De schaal is bedoeld voor opgenomen en poliklinische patiënten (AMA, 2008). De BPRS bestaat uit 24 vragen en leent zich goed voor een semi-gestructureerd interview. Ongeveer de helft van de scores is gebaseerd op het interview, de andere helft door observaties van de patiënt 9. Elk item wordt gescoord op een zevenpuntschaal die varieert van 1 niet aanwezig tot 7 8 Goldstein, S. & Naglieri, J. A. Assessing Impairment: from theory to practice (2009). 9 Dingemans, P.M.A.J, Frohn-de Winter, M.L., Bleeker, J.A.C., Rathod, P. (1983). A cross-cultural study of the reliability and factorial dimensions of the Brief Psychiatric Rating Scale (BPRS) Psychopharmacology,

12 extreem ernstig. De scores worden bij elkaar opgeteld en in de tabel wordt voor de somscore het bijbehorende invaliditeitspercentage opgezocht, zie bijlage 1. Bijvoorbeeld; een somscore van is 0% invaliditeitspercentage, een somscore van is de maximale score behorend bij 50% invaliditeitspercentage. De vragenlijst wordt vaak gebruikt bij patiënten met een ernstige en voortdurende psychische stoornis 10,11. De BPRS was in eerste instantie ontwikkeld in 1962 als een instrument dat snel verandering door behandeling kon evalueren en een globale omschrijving van de ernstige symptomen kon geven. Bij patiënten met een ernstige psychiatrische stoornis is het een valide en betrouwbaar instrument gebleken 9. Het gebruik van de BPRS komt vooral in aanmerking als hulpmiddel bij klinische diagnostiek wanneer er ernstige psychopathologie wordt vermoed waarvan de precieze aard nog onduidelijk is 12. Er zijn geen onderzoeken gedaan naar de validiteit van de BPRS bij het meten van psychische beperkingen De Global Assessment of Functioning Scale (GAF) De GAF is een beoordelingsschaal die de vijfde as van de DSM-IV-RT vertegenwoordigt, de algemene beoordeling van het functioneren. De GAF meet een combinatie van algemene psychologische symptomen, functioneren op het werk en het sociaal functioneren. De schaal loopt van 1 tot 100, waar betekent dat de persoon uitstekend functioneert zonder actieve psychopathologie. Een score van betekent een invaliditeitspercentage van 0%, een score van 1-10 is de maximale score van 50%, zie bijlage 1. De GAF wordt meestal gebruikt als onderdeel van een algehele schatting van een persoon. Een score van 1-10 betekent dat iemand slecht voor zichzelf kan zorgen en een gevaar kan zijn voor zichzelf of voor anderen. De GAF heeft een goede interbeoordelaarsbetrouwbaarheid 14. Zie bijlage 1 voor de betekenis van de verschillende scores De Psychiatric Impairment Rating Scale (PIRS) De PIRS was in eerste instantie bedoeld om de schade van motor-ongelukken in Australië in kaart te brengen 15. De schaal is van oorsprong ontwikkeld om beperkingen te meten. De PIRS bestaat uit zes schalen, die een specifiek gebied van functieverlies meet, zie bijlage 1. De score van elke schaal loopt van klasse 1 tot en met klasse 5. Een score van 1 betekent dat de persoon geen enkele beperking heeft. Een score van 5 betekent dat de persoon volledig beperkt is. De 6 scores worden oplopend in een rij gezet, de middelste twee waarden worden vervolgens bepaald. Deze twee waarden worden bij elkaar opgeteld en de som vertegenwoordigt een PIRS invaliditeitspercentage lopend van 0 tot 50% 16, zie bijlage Burlingame G, Chen, S., Lehman, A., Dunn, T., Axman R. (2004). Outcome Assessment with the Severely and Persistently Mentally Ill (SPMI): A Guide for Instrument Selection Outcome assessment with the severely and persistently mentally ill Psychiatric Services. Under review Burlingame, G. M., Seaman, S., Johnson, J. E., Whipple, J., Richardson, E., & Rees, F. (2006). Sensitivity to change of the Brief Psychiatric Rating Scale-Extended (BPRS-E): An item and subscale analysis. Psychological Services, 3(2), Hafkenscheid, A. (2005). De Brief Psychiatric Rating Scale. Psychopraxis, 07, Goldstein, S,. & Naglieri, J, A. (2009). Assessing Impairment: from theory to practice. New York: Springer. 14 Moos, R.H., Nichol, A.C., Moos, B.S., (2002) Global Assessment of Functioning Ratings and the Allocation and Outcomes of Mental Health Services. Psychiatric Services, 53 (6), Goldstein, S,. & Naglieri, J, A. (2009). Assessing Impairment: from theory to practice. New York: Springer. 16 Davies, G.R. (2008) The Psychiatric Impairment Rating Scale: Is it a valid measure? Australian psychologist, 43(3),

13 6

14 Hoofdstuk 3 Data en methode Voor de beantwoording van de onderzoeksvragen van de vervolgstudie is gebruik gemaakt van dezelfde 24 films uit de oorspronkelijke studie 17. Deze 24 films zijn filmopnames van het beoordelingsgesprek van de post-actieve militair met verzekeringsartsen van het Zorgloket Militair en Oorlogs- en Dienstslachtoffers (MOD). Het expertpanel (zie bijlage 2) heeft aangegeven, na beoordeling, dat deze films geschikt zijn voor de toepassing van de AMA schattingsmethodiek. Dezelfde onafhankelijke verzekeringsartsen (VA-G) van de oorspronkelijke studie doen mee aan het huidige vervolgonderzoek, met uitzondering van drie van de 14 VA-G. Zij doen niet mee aan het vervolgonderzoek, omdat het niet in te plannen is in hun werkschema. De 11 VA-G zijn al getraind in de PIM schattingsmethodiek en zijn voor dit vervolgonderzoek ook getraind in de AMA schattingsmethodiek. Procedure Vijf VA-G bekijken en beoordelen - afzonderlijk van elkaar - dezelfde film. Iedere VA-G krijgt een film die hij of zij nog niet eerder heeft gezien. De VA-G scoren zowel de PIM schattingsmethodiek als de AMA schattingsmethodiek. In totaal zijn voor de huidige studie de 24 films eenmaal door 5 VA-G beoordeeld. Door middel van een dobbelsteen is bepaald of zij beginnen met het invullen van de PIM schattingsmethodiek (oneven) of met de AMA schattingsmethodiek (even). Vergelijkbaar met het eerste deel van deze studie starten de dagen waarop de VA-G films kijken en scoren met een plenaire bijeenkomst, waarin de aandachtpunten van beide schattingsmethodieken naar voren worden gebracht. Verder geldt dat alle films individueel worden bekeken, er achtergrond informatie beschikbaar is, een lijst met aandachtspunten van beide schattingsmethodieken aanwezig is en er de mogelijkheid is om aantekeningen te maken. Het kan zijn dat een betreffende subrubriek volgens de VA-G niet te schatten is doordat deze, volgens de VA-G, onvoldoende aan de orde is gekomen in het beoordelingsgesprek. De mogelijkheid om niet aan de orde gekomen in te vullen is aanwezig op het scoringsformulier. De rubriekscores en het invaliditeitspercentage (IP) van zowel de PIM schattingsmethodiek als de AMA schattingsmethodiek worden achteraf berekend door het onderzoeksteam. Analyse Beschrijving uitkomsten AMA schattingsmethodiek Om te beginnen worden de uitkomsten van de AMA schattingsmethodiek weergegeven in frequentie tabellen, zowel het uiteindelijke IP AMA als het IP van de drie afzonderlijke vragenlijsten. Daarnaast wordt onderzocht hoe de IP AMA tot stand zijn gekomen, door te bepalen welke vragenlijst(en) de mediaan is/zijn. Vervolgens worden de correlaties tussen het IP AMA, het IP van de drie vragenlijsten en het IP PIM weergegeven. Doelstelling 1: Vergelijking uitkomstmaten van het IP PIM met het IP AMA De uitkomstmaten, het IP PIM en het IP AMA, worden met elkaar vergeleken. Dat gebeurt om te beginnen door een vergelijking te maken tussen de gemiddelden, per film en per beoordeling tussen de twee schattingsmethodieken. Ook wordt bepaald hoe vaak het voorkomt dat op de ene schattingsmethodiek hoger of lager wordt gescoord dan op de andere schattingsmethodiek. Hierbij wordt ook gekeken of het verschil tussen het IP van de twee schattingsmethodieken afhangt van de hoogte van het IP. Voor het inzichtelijk maken hoe het verschil tussen de twee schattingsmethodieken zich verhoudt tot het gemiddelde IP is daarnaast gebruik gemaakt van een plot. In deze plot, waar de Bland- 17 Betrouwbaarheid schattingsmethodiek PTSS-protocol. De intra- en interdoktervariatie van de schattingsmethodiek ter beoordeling van de mate van invaliditeit bij psychische aandoeningen bij post-actieve militairen. AS Fokkens, JW Groothoff, JJL van der Klink, J Tuinstra. UMCG, Groningen,

15 Altman 18 procedure wordt gebruikt, is het verschil tussen het IP AMA en het IP PIM voor iedere beoordeling afgezet tegen het gemiddelde van het IP AMA en het IP PIM. Zo wordt bepaald of het verschil tussen de twee schattingsmethodieken ook afhankelijk is van de uitkomst, het IP. Daarnaast is hiervan een correlatie bepaald om inzicht te krijgen wat de samenhang is tussen het verschil tussen het IP AMA en het IP PIM aan de ene kant en de gemiddelde uitkomst per film aan de andere kant. Tenslotte worden regressiecoëfficiënten bepaald om de sterkte van het verband weer te geven tussen het IP AMA en het IP PIM. Ook worden regressiecoëfficiënten berekend voor het verband tussen de grootte van het verschil (IP PIM IP AMA) en het gemiddelde IP. Doelstelling 2: Interdoktervariatie van de AMA schattingsmethodiek De variatie tussen de 5 VA-G, de interdoktervariatie op de AMA schattingsmethodiek, wordt weergegeven in een tabel. In deze tabel wordt de verdeling van het IP AMA weergegeven per film, daarnaast wordt de spreiding per film tussen de 5 VA-G weergegeven. Een spreiding van meer dan 10% wordt als een onderscheidende interdoktervariatie gezien 19. Doelstelling 3: Vergelijking interdoktervariatie van de twee schattingsmethodieken Om de interdoktervariatie van de twee schattingsmethodieken te vergelijken wordt eerst ook de interdoktervariatie bepaald voor de PIM schattingsmethodiek, vergelijkbaar als bij doelstelling 2 voor de AMA schattingsmethodiek. In een tabel wordt de verdeling van het IP PIM weergegeven per film, daarnaast wordt de spreiding per film tussen de 5 VA-G weergegeven. Vervolgens zijn de variantie componenten van beide schattingsmethodieken met elkaar vergeleken met behulp van General Lineair Models. Bepaald is hoeveel variantie verklaard wordt door de films, de VA-G, de interactie component en door de error component (verklaarde variantie die niet verklaard kan worden door de andere variabelen). De percentages (van het totaal) van de verschillende variantie componenten zijn bepaald en vergeleken tussen de PIM schattingsmethodiek en de AMA schattingsmethodiek. De percentages van de totale variantie worden voor beide schattingsmethodieken met elkaar vergeleken. Om inzicht te krijgen hoe de spreiding zich verhoudt ten opzicht van het gemiddelde IP voor beide schattingsmethodieken zijn plots gemaakt. In deze plots wordt het gemiddelde IP afgezet tegen de variatie en worden de correlaties hiervan voor beide schattingsmethodieken bepaald en met elkaar vergeleken. Op deze manier kan bepaald worden hoe de variatie (tussen de VA-G en tussen de films) van de uitkomstmaat, het invaliditeitspercentage, samenhangt met de gemiddelde IP en of dit voor beide schattingsmethodieken vergelijkbaar is. Met regressiecoëfficiënten wordt de sterkte van het verband weergegeven tussen het gemiddelde IP en de variatie. 18 JM Bland, DG Altman, Measuring agreement in method in comparison studies. Statistical Methods in Medical Research 8:135, Betrouwbaarheid schattingsmethodiek PTSS-protocol. De intra- en interdoktervariatie van de schattingsmethodiek ter beoordeling van de mate van invaliditeit bij psychische aandoeningen bij post-actieve militairen. AS Fokkens, JW Groothoff, JJL van der Klink, J Tuinstra. UMCG, Groningen,

16 Hoofdstuk 4 Resultaten In dit hoofdstuk worden eerst de uitkomsten van de AMA schattingsmethodiek beschreven. Vervolgens worden de uitkomsten van de AMA schattingsmethodiek vergeleken met de uitkomsten op de PIM schattingsmethodiek (doelstelling 1). Daarna wordt de variatie van de AMA schattingsmethodiek (doelstelling 2) en de PIM schattingsmethodiek gepresenteerd (onderdeel van doelstelling 3). Waarna beide variaties met elkaar worden vergeleken (doelstelling 3). 4.1 Beschrijving uitkomsten van de AMA schattingsmethodiek In onderstaande tabellen worden de uitkomsten op de drie verschillende vragenlijsten van de AMA schattingsmethodiek weergegeven in invaliditeitspercentage (IP). Dat gebeurt op basis van alle uitkomsten in deze studie (N=24 films * N=5 VA-G = N=120). De mediaan van de uitkomsten van de drie vragenlijsten (BPRS, GAF en PIRS) is het uiteindelijke invaliditeitspercentage van de AMA (IP AMA). Een aantal keren is op een van de subschalen van de drie vragenlijsten niet aan de orde gekomen gescoord (zie laatste kolom van tabel 3). Dit betekent, dat er 1 getal mist op een van de subonderdelen van de betreffende vragenlijst. Er kan dan geen invaliditeitspercentage berekend worden. Voor de resultaten van tabel 3 betreft dat bijvoorbeeld bij de BPRS n=11 van de n=120 waarnemingen waarbij niet aan de orde gekomen is gescoord op één (of meer bij dezelfde VA-G en film) van de 24 subrubrieken van de BPRS. Tabel 3: Verdeling percentages IP op de 3 vragenlijsten van de AMA en de mediaan, N (%) 0% 5% 10% 15% 20% 25% 30% 35% 40% NG BPRS 56 (46.7) 25 (20.8) 18 (15.0) 5 (4.2) 3 (2.5) 2 (1.7) 11 (9.2) GAF 45 (37.5) 48 (40.0) 17 (14.2) 9 (7.5) 1 (0.8) PIRS 67 (55.8) 18 (15.0) 26 (21.7) 4 (3.3) 4 (3.3) 1 (0.8) AMA Mediaan 50 (41.7) 36 (30.0) 17 (14.2) 5 (4.2) 2 (1.7) 10 (8.3) N=120, NG= niet aan de orde gekomen: niet aan de orde gekomen is niet meegenomen in de berekeningen IP. Indien twee van de drie getallen voor het bepalen van de mediaan gelijk aan elkaar zijn, en het derde getal mist, kan alsnog de mediaan bepaald worden. De mediaan verandert niet wanneer het derde getal wel berekend zou kunnen worden. Wat valt op: - Bij alle drie vragenlijsten is er sprake van een scheve verdeling: er komen relatief veel lage percentages voor. - Op de PIRS wordt relatief het meest 0% gescoord. - Op de GAF wordt relatief het meest 5% gescoord. - Het uiteindelijke IP AMA, de mediaan, is in 71.7% van alle gescoorde films 5% of minder. - Met de GAF en de PIRS kan altijd een invaliditeitspercentage worden bepaald. - Bij de BPRS wordt er 11 keer van de n=120 niet aan de orde gekomen gescoord op een (of meerdere) van de subonderdelen, waardoor het uiteindelijke IP niet berekend kan worden. - Uiteindelijk kan 10 keer van de n=120 de AMA mediaan, het IP AMA, niet bepaald worden. De volgende tabel, tabel 4, is vergelijkbaar met tabel 3, maar in dit geval wordt niet aan de orde gekomen meegenomen in de berekeningen als normaal. Op die manier kan altijd de uitkomstmaat, het IP AMA, worden berekend. 9

17 Tabel 4: Verdeling percentages IP op de 3 vragenlijsten van de AMA en de mediaan, N(%) 0% 5% 10% 15% 20% 25% 30% 35% 40% BPRS 63 (52.5) 26 (21.7) 18 (15.0) 6 (5.0) 4 (3.3) 3 (2.5) GAF 45 (37.5) 48 (40.0) 17 (14.2) 9 (7.5) 1 (0.8) PIRS 67 (55.8) 18 (15.0) 26 (21.7) 4 (3.3) 4 (3.3) 1 (0.8) AMA (mediaan) 56 (46.7) 37 (30.8) 18 (15.0) 5 (4.2) 3 (2.5) 1 (0.8) N=120, niet aan de orde gekomen is meegenomen in de berekening als normaal. Wat valt op: - De verdeling over de verschillende percentages verandert in geringe mate (tabel 4 vergeleken met tabel 3) wanneer de niet aan de orde gekomen subonderdelen worden mee genomen als normaal in de berekening van IP AMA. - Het uiteindelijke IP AMA, de mediaan, is in 77.5% van alle gescoorde films 5% of minder. De mediaan bepaalt het uiteindelijke IP AMA. De vraag die zich voordoet, is of er een van de drie vragenlijsten is die consequent de mediaan is, en daarmee het uiteindelijke AMA IP bepaalt. Indien dit het geval is, kan de vraag worden gesteld of alle drie vragenlijsten nodig zijn om het IP AMA te bepalen. In de onderstaande tabel 5 wordt weergegeven hoe vaak de mediaan bepaald wordt door welke vragenlijst. Tabel 5: Welk instrument is de mediaan en bepaalt daarmee het IP van de AMA? N % BPRS, GAF, PIRS gelijk GAF en PIRS gelijk BPRS en PIRS gelijk BPRS en GAF gelijk GAF BPRS PIRS Wat valt op: - Er is niet een vragenlijst van de AMA die consequent de mediaan vormt en daarmee het IP AMA bepaalt. - Vaak komen er vergelijkbare invaliditeitspercentages uit twee (53.4% van de n=120) of drie (39.2% van de n=120) van de vragenlijsten van de AMA. - Wanneer alle drie vragenlijsten een vergelijkbare uitkomstmaat hebben (n=47) is in 41 (87.2%) van de gevallen de uitkomst op alle drie de vragenlijsten 0%, in 5 gevallen 5% en in 1 geval 10%. - De BPRS en PIRS zijn beide bijna nooit het bepalende instrument voor het IP AMA, beide 0.8%, de GAF is dit in iets grotere mate (5.8%). Samenhang Om de samenhang tussen de drie vragenlijsten van de AMA schattingsmethodiek te bepalen zijn in de volgende tabel de correlaties weergegeven tussen de drie vragenlijsten en de AMA schattingsmethodiek. Ook is de samenhang met de PIM schattingsmethodiek weergegeven. 10

18 Tabel 6: Correlaties tussen IP AMA, de drie vragenlijsten van de AMA schattingsmethodiek, en de IP PIM IP AMA IP BPRS IP GAF IP PIRS IP AMA - IP BPRS IP GAF IP PIRS IP PIM N=120, alle correlaties zijn statistisch significant Wat valt op: - De samenhang tussen de verschillende schattingsmethodieken of vragenlijsten is sterk of erg sterk. Een correlatie boven de 0.8 wordt gezien als zeer sterk verband. Boven de 0.6 wordt gezien als sterk verband. - De correlaties tussen de schattingsmethodieken en de vragenlijsten van de AMA schattingsmethodiek zijn alle statistisch significant. - Het IP AMA heeft een hogere correlatie met de drie vragenlijsten dan het IP PIM. Dit is volgens verwachting, omdat het IP AMA uit de drie vragenlijsten wordt samengesteld. - Het IP PIM en IP AMA correleren sterk met elkaar, Doelstelling 1: Vergelijking uitkomstmaten van het IP PIM met het IP AMA In deze paragraaf worden het IP PIM en het IP AMA met elkaar vergeleken, de eerste doelstelling komt in deze paragraaf aan bod. Doelstelling 1: Inzichtelijk maken hoe de twee methodieken (a) de PIM schattingsmethodiek en (b) de AMA schattingsmethodiek zich onderling verhouden met betrekking tot de uitkomsten in invaliditeitspercentage (IP). Per schattingsmethodiek wordt het gemiddelde IP per film weergegeven (tabel 7). Voor de vergelijking wordt bepaald hoe vaak de ene schattingsmethodiek een hoger, gelijk of een lager IP heeft dan de andere schattingsmethodiek (tabel 8 op filmniveau met N=24 en tabel 9 op beoordelingenniveau met N=120). Vervolgens wordt weergegeven wat de vijf beoordelende VA-G per film hebben gescoord in termen van het verschil tussen het IP AMA en het IP PIM (tabel 10). Daarnaast wordt bepaald of het verschil tussen de twee schattingsmethodieken afhankelijk is van de hoogte van de uitkomst (IP) aan de hand van een aantal grafieken (figuur 2 t/m 5). Tenslotte worden de regressiecoëfficiënten bepaald om de sterkte van het verband te bepalen. Op deze manier wordt in deze paragraaf inzichtelijk gemaakt of er sprake is van een verschil tussen de uitkomst (IP) van de twee schattingsmethodieken. Daarnaast wordt inzicht gegeven of dit verschil samenhangt met de hoogte van de uitkomst (IP). Gemiddelde IP, de range voor de PIM schattingsmethodiek en de AMA schattingsmethodiek In de onderstaande tabel 7 worden per film (n=24) voor zowel de PIM schattingsmethodiek als voor de AMA schattingsmethodiek de volgende resultaten weergegeven: (1) het gemiddelde IP van de 5 VA-G, (2) de range IP van de 5 VA-G en (3) de spreiding van de range. 11

19 Tabel 7: Het gemiddelde IP, de range en de spreiding van het afgeronde IP PIM en IP AMA per film PIM AMA Film Gemiddelde Range (%) Spreiding (%) Gemiddelde Range (%) Spreiding (%) IP PIM (%) IP AMA (%) VA-G per film, niet aan de orde gekomen is in de berekeningen meegenomen als normaal. IP PIM zijn de volgens het PIM protocol afgeronde IP. In de volgende tabel 8, is een samenvatting van tabel 7 weergegeven. Per film is het gemiddelde IP PIM vergeleken met het gemiddelde IP AMA. In tabel 8 zijn de films samengevoegd in drie categorieën: 1) films waar het IP PIM hoger is dan het IP AMA, 2) films waar het IP PIM gelijk is aan het IP AMA en 3) films waarin het IP PIM lager is dan het IP AMA. Wanneer er sprake is van een verschil tussen het IP PIM en IP AMA is ook het gemiddelde percentage verschil en de range weergegeven. Tabel 8: Vergelijking IP PIM met IP AMA van 24 films (gemiddelde van 5 VA-G), een samenvatting van tabel 7 N (%) Gemiddelde % verschil (SD) Range 1.PIM hoger dan AMA 20 (83.3%) 5.9% (4.2) 1-18% 2.PIM gelijk aan AMA 3 (12.5%) PIM lager dan AMA 1 (4.2%) 1% (-) - N=24; missende waarden zijn in de berekening meegenomen als normaal. 12

20 Wat valt op in tabel 7 en tabel 8: - Het gemiddelde IP PIM is hoger dan het gemiddelde IP AMA in 20 van de 24 films (83%). - In 1 film, film 4 (zie tabel 7) is het gemiddelde IP AMA hoger dan IP PIM. - In drie films (films 6, 11 en 13) is het gemiddelde IP PIM en IP AMA gelijk aan elkaar, in alle drie gevallen is het IP 0%. Tabel 7 en tabel 8 betreffen de 24 films. Per film werd het IP berekend voor de 5 VA-G gemiddeld. In tabel 9 is voor alle beoordelingen (N=120; 24 films * 5 VA-G) het IP PIM vergeleken met het IP AMA. Ook hier is dit weergegeven in de drie categorieën: 1) films waar het IP PIM hoger is dan het IP AMA 2) films waar het IP PIM gelijk is aan het IP AMA en 3) films waarin het IP PIM lager is dan het IP AMA. Tabel 9: Vergelijking IP PIM met IP AMA van alle beoordelingen, N=120 N (%) Gemiddelde % verschil (SD) Range 1.PIM hoger dan AMA 76 (63.3%) 8 %(5) PIM gelijk aan AMA 41 (34.0%) PIM lager dan AMA 3 (2.5%) 5% (0) - Wat valt op: - In het merendeel van de beoordelingen, 76 van de n=120 (63.3%) is het IP PIM hoger dan het IP AMA. Het gemiddelde verschil is 8% en de range 5-30%. - In 41 (34%) van de n=120 beoordelingen zijn het IP PIM en het IP AMA gelijk aan elkaar. Hiervan is het IP PIM en IP AMA 28 keer 0%, 10 keer 5% en 3 keer 10 %. - Het IP PIM is bijna nooit lager dan het IP AMA, slechts in 3 (2.5%) van de n=120 beoordelingen. Het verschil is dan 5%. Vervolgens wordt verder ingezoomd op de resultaten van tabel 9 om inzicht te krijgen hoe groot het verschil is tussen de twee schattingsmethodieken. In tabel 10 is per film voor de vijf VA-G het verschil in IP weergegeven. Per film (horizontale rij) wordt van de vijf VA-G weergegeven wat de verschilscore is in de uitkomstmaat (IP PIM IP AMA). De drie vergelijkingscategorieën worden uitgesplitst in stappen van 5%. Bijvoorbeeld + 5%, houdt in dat het IP PIM 5 % hoger is dan het IP AMA. Per kolom staat het aantal VA-G weergegeven. Bij film 1 zijn er dus 2 VA-G die op de AMA en de PIM hetzelfde IP hebben geschat (N=2 in kolom 0% ) en 3 VA-G hebben bij film 1 het IP PIM 5% hoger geschat dan het IP AMA (N=3 in kolom 5% ). 13

21 Tabel 10: Vergelijking IP PIM met IP AMA: de verdeling van het aantal VA-G over de verschilscores per film 1.IP PIM 2. IP PIM 3. IP PIM hoger dan IP AMA lager dan IP AMA gelijk aan IP AMA Film -5% 0% +5% +10% +15% +20% +25% +30% totaal 3 (2.5) 41 (34.1) 49 (40.8) 19 (15.8) 3 (2.5) 3 (2.5) 1 (0.8) 1 (0.8) Totaal per categorie 3 (2.5) 41 (34.1) 76 (63.3) * niet aan de orde gekomen is in de berekeningen meegenomen als klasse normaal. Wat valt op: - In het merendeel van de beoordelingen, 76 van de n=120 (63.3%) is het IP PIM hoger dan het IP AMA. In meer dan de helft van de beoordelingen, 68 van 120 (56.6%) is het IP PIM 5% of 10 % hoger dan het IP AMA. In 8 van de n=120 beoordelingen (6.6%) is IP PIM 15% of meer hoger dan het IP AMA, met een maximaal verschil van 30%. Bij het verschil van 30% is het IP AMA 15% en het IP PIM 45%. - Films 5, 7 en 8 laten de grootste spreiding zien tussen de VA-G in verschil IP PIM en IP AMA. - In de 3 beoordelingen van de n=120 dat het IP PIM lager is dan het IP AMA is dit verschil 5%. Om het verband tussen het IP PIM en IP AMA te bepalen is de regressiecoëfficiënt bepaald. In figuur 1 is het IP PIM afgezet tegen het IP AMA. 14

22 Figuur 1: Plot van de regressievergelijking waarin het IP PIM is afgezet tegen het IP AMA N=120, een vetgedrukte stip zijn meerdere beoordelingen met hetzelfde IP PIM en IP AMA De regressievergelijking ziet er als volgt uit: IP AMA = (0.49 x IP PIM) Wat valt op: - Elke eenheid die het IP PIM toeneemt, neemt het IP AMA met 0.49 eenheden toe. Dit betekent dat het IP AMA gemiddeld ongeveer de helft is van het IP PIM. Vervolgens wordt nog verder ingezoomd op de verschillen tussen het IP PIM en het IP AMA om inzicht te krijgen of het verschil tussen de twee schattingsmethodieken afhangt van de hoogte van het IP. In onderstaande figuren (2 t/m 4) wordt per verschil tussen het IP AMA en het IP PIM bepaald hoe hoog het gemiddelde IP is. Zo wordt inzichtelijk hoe hoog het IP is per verschilscore. De volgende figuren worden weergegeven: IP PIM en IP AMA gelijk aan elkaar, IP PIM 5% hoger, IP PIM 10% hoger. Door de lage frequentie wordt niet in een figuur maar in tekst weergegeven: IP PIM lager dan IP PIM, IP PIM 15% hoger dan IP AMA of meer. IP PIM lager dan IP AMA Voor de 3 beoordelingen waarbij het IP PIM lager is dan het IP AMA is voor alle drie de beoordelingen het IP PIM 0%, en het IP AMA 5%. IP PIM en IP AMA gelijk In figuur 2 is per percentage (in stappen van 5%) het aantal beoordelingen weergegeven van het IP AMA en IP PIM wanneer deze gelijk aan elkaar zijn (n=41). 15

23 Aantal % 5% 10% IP AMA = IP PIM Figuur 2: IP AMA en IP PIM gelijk aan elkaar Aantal beoordelingen per percentage IP PIM en IP AMA. N=41 Wat valt op: - Wanneer het IP PIM en het IP AMA gelijk aan elkaar zijn dan is in 68%, 28 van de 41 beoordelingen, beide IP 0%. IP PIM 5% hoger dan IP AMA In figuur 3 is het aantal beoordelingen weergegeven waarbij het IP PIM 5% hoger is dan het IP AMA, N=49. In de figuur is te zien hoe vaak het in deze situatie voorkomt dat het IP AMA, 0%, 5% of 10% is. Voor alle beoordelingen geldt dat het IP PIM 5% hoger is dan het IP AMA (IP PIM is niet weergegeven in de figuur) Aantal IP AMA 0 0% 5% 10% Figuur 3: IP PIM 5% hoger dan IP AMA Aantal beoordelingen per percentage IP AMA (IP PIM is steeds 5% hoger). N=49 Wat valt op: - Wanneer het IP PIM 5% hoger is dan het IP AMA, dan geldt voor de meeste beoordelingen dat het IP AMA 0% is (43% van deze beoordelingen) of 5% (in 41% van deze beoordelingen). IP PIM 10% hoger dan IP AMA In figuur 4 is het aantal beoordelingen weergegeven waarbij het IP PIM 10% hoger is geschat dan het IP AMA, N=19. In de figuur is te zien hoe hoog in deze situatie het IP AMA is. Voor alle beoordelingen geldt hier dat het IP PIM 10% hoger is (IP PIM is niet weergegeven in de figuur). 16

24 Aantal IP AMA 0 0% 5% 10% 15% 20% 25% 30% Figuur 4: IP PIM 10% hoger dan IP AMA Aantal beoordelingen per percentage IP AMA (IP PIM is dus steeds 10% hoger). N=19 Wat valt op: - Wanneer het IP PIM 10% hoger is dan het IP AMA, dan geldt voor de meeste beoordelingen dat het IP AMA 5% of hoger is, 68% van de beoordelingen. - In 6 van de 19 (32%) beoordelingen is het IP AMA 0% en het IP PIM 10%. - Het komt één keer voor dat het IP AMA 30% is en het IP PIM 40%. In acht beoordelingen is het IP PIM 15%, 20%, 25% of 30% hoger dan het IP AMA. Vanwege de kleine aantallen worden hiervan geen figuren gepresenteerd maar wordt dit toegelicht in tekst. Een verschil van 15% en 20% tussen het IP PIM en het IP AMA komt in 6 beoordelingen (beide 3) voor. Voor een verschil van 15% IP PIM hoger dan IP AMA geldt: - In 1 van de 3 beoordelingen is het IP AMA 5 % en het IP PIM 20%. - In 1 van de 3 beoordelingen is het IP AMA 15% en het IP PIM 30%. - In 1 van de 3 beoordelingen is het IP AMA 20% en het IP PIM 35%. Voor een verschil van 20% IP PIM hoger dan het IP AMA geldt: - In 1 van de 3 beoordelingen is het IP AMA 0% en het IP PIM 20%. - In 1 van de 3 beoordelingen is het IP AMA 10% en het IP PIM 30%. - In 1 van de 3 beoordelingen is het IP AMA 20% en het IP PIM 40%. Voor een verschil van 25%, dat 1 keer voor komt, geldt dat het IP AMA 20% is en het IP PIM 45%. Voor een verschil van 30%, dat 1 keer voor komt, geldt dat het IP AMA 15% is en het IP PIM 45%. Wat valt op aan bovenstaande figuren en tekst: - Wanneer het IP PIM en het IP AMA gelijk aan elkaar zijn, betreft dit vaak een IP van 0%. - Wanneer het IP PIM 5% hoger is dan het IP AMA, dan geldt voor de meeste beoordelingen dat het IP AMA 0% is (43% van de beoordelingen) of 5% (41% van de beoordelingen). - Wanneer het verschil tussen het IP PIM en het IP AMA groter is, 10-20%, komt het vaker voor dat het IP AMA (en daarmee het IP PIM) hoger zijn. Het IP AMA is dan vaak 10% of hoger. 17

25 In de onderstaande figuur 5 zijn de bovenstaande figuren en informatie samengevat op een andere wijze. Daarbij is de Bland-Altman procedure toegepast 20. In figuur 5 is voor alle N=120 beoordelingen het verschil tussen het IP PIM en het IP AMA grafisch afgezet tegen het gemiddelde van het IP AMA en het IP PIM. Als op beide schattingsmethodieken exact hetzelfde wordt gescoord, liggen de stippen op de referentielijn 0. Een stip boven de referentielijn 0 betekent een beoordeling waarbij het IP PIM hoger is dan het IP AMA. Figuur 5: Het verschil tussen het IP PIM en het IP AMA afgezet tegen het gemiddelde IP van beide schattingsmethodieken N=120, een dikkere stip is een groter aantal beoordelingen. Schuine lijn=regressielijn. Horizontale lijn= referentie lijn 0. Wat valt op: - Ook hier komt naar voren dat het IP PIM in bijna alle beoordelingen hoger is dan het IP AMA, de meeste stippen liggen boven de referentielijn 0. - Het verschil tussen het IP PIM en IP AMA wordt groter bij een hoger gemiddelde van het IP AMA en IP PIM. - De correlatie is 0.73, dit is een sterke correlatie. Dit betekent dat er een sterke samenhang is tussen het verschil tussen het IP PIM en het IP AMA en het gemiddelde IP. Hoe hoger het gemiddelde, hoe groter het verschil tussen IP PIM en IP AMA. - De regressievergelijking ziet er als volgt uit: Verschil PIM AMA = (0.60 x gem PIM AMA). 4.3 Doelstelling 2: Interdoktervariatie van de AMA schattingsmethodiek In deze paragraaf komt doelstelling 2 aanbod: Inzichtelijk maken wat de betrouwbaarheid van de AMA schattingsmethodiek is, in termen van interdoktervariatie. In tabel 11 is de verdeling van het IP AMA weergegeven per film. In de laatste kolom van de tabellen is de spreiding per film tussen de 5 VA-G gepresenteerd. In oranje is weergeven wanneer de spreiding groter is dan 10%. 20 JM Bland, DG Altman, Measuring agreement in method in comparison studies. Statistical Methods in Medical Research 8:135,

26 Tabel 11: De verdeling van het IP AMA van de 5 VA-G, per film Film 0% 5% 10% 15% 20% 25% 30% Spreiding N=120 niet aan de orde gekomen is in de berekeningen meegenomen als klasse normaal. Wat valt op: - De meeste films, 23 van de 24 films hebben een spreiding van 10% of minder tussen de laagst en de hoogst scorende VA-G films hebben een spreiding van 5% of minder tussen de laagst en de hoogst scorende VA-G. - Er zijn 6 films waarbij de spreiding tussen de 5 VA-G 0% is. In 5 van deze 6 films schatten alle 5 VA-G 0% IP AMA. - Film 7, heeft de grootste spreiding IP AMA, 20% tussen de laagst en de hoogst scorende VA-G. 4.4 Doelstelling 3: Vergelijking interdoktervariatie van de twee schattingsmethodieken In deze paragraaf komt doelstelling 3 aan bod: Inzichtelijk maken hoe de twee methodieken (a) de PIM schattingsmethodiek en (b) de AMA schattingsmethodiek zich onderling verhouden met betrekking tot de interdoktervariatie. Hiervoor wordt eerst een vergelijkbare tabel weergegeven als tabel 11, maar nu wordt de verdeling van het IP PIM weergegeven per film (tabel 12). Wederom is hier in de laatste kolom van de tabel de spreiding per film tussen de 5 VA-G gepresenteerd. In oranje is weergeven wanneer de spreiding groter is dan 10%. 19

27 Tabel 12: De verdeling van het IP PIM van de 5 VA-G, per film Film 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% Spreiding N=120, niet aan de orde gekomen is in de berekeningen meegenomen als klasse normaal. Wat valt op: - De meeste films, 21 van de 24 laten een kleine spreiding zien tussen de 5 VA-G, 10% of minder. - Vier van de 24 films hebben een spreiding van 0%. In 3 van deze 4 films schatten alle 5 VA-G een IP PIM van 0%. - Twee films, film 5 en 7 hebben een spreiding van 20% tussen de laagst en de hoogst scorende VA-G. - Film 8 heeft de grootste spreiding tussen de vijf VA-G, met 30% IP PIM verschil tussen de laagst en de hoogst scorende VA-G. Om de interdoktervariatie tussen de twee schattingsmethodieken met elkaar te vergelijkingen worden de resultaten in tabel 11 en 12 met elkaar vergeleken. De resultaten in de kolom spreiding van het IP PIM en het IP AMA laten zien dat de spreiding op de AMA schattingsmethodiek wat kleiner is dan op de PIM schattingsmethodiek. In tabel 13 gaan we hier verder op in om te bepalen welk deel van de variantie verklaard wordt door de variatie tussen de VA-G, de artsen die de films bekijken en scoren, (de interdoktervariatie) of tussen de films. Met een general lineair model, zijn de percentages van de verschillende variantie componenten, zoals de VA-G en de films, bepaald. Bepaald is hoeveel variantie verklaard wordt door de films, de VA-G, de interactie component en door de error component. In tabel 13 is weergegeven hoe veel 20

28 variantie er toe te schrijven valt aan de VA-G of aan de films zowel voor de uitkomsten van PIM als van de AMA. De variantie en het percentage van de totale variantie wordt weergegeven. Tabel 13: Percentages van het totaal per variantie component per schattingsmethodiek PIM AMA Variantie componenten Variantie Percentage van totale variantie Variantie Percentage van totale variantie Films % % VA-G % % Interactie (VA-G*Films) % % Error % % N=120 De VA-G, de artsen, dragen in zowel de PIM schattingsmethodiek als de AMA schattingsmethodiek weinig toe aan de totale variantie. Dit betekent dat de VA-G het vaak met elkaar eens zijn wanneer de PIM of de AMA schattingsmethodiek wordt gebruikt. De meeste variantie wordt verklaard door de variabele film. De error component is 0%, dit betekent dat alle variantie door de drie bronnen (films, VA-G, en interactie film * VA-G) gebonden wordt. Wat valt op: - Er valt bij beide schattingsmethodieken weinig variantie toe te schrijven aan de VA-G. De variantie die toe te schrijven valt aan de VA-G verschilt niet betekenisvol tussen de PIM en de AMA schattingsmethodiek. Respectievelijk 1.8% en 0.4%. Ten slotte wordt figuur 6 toegevoegd aan het resultatenhoofdstuk. Om inzicht te krijgen over het verloop van de variatie tussen de VA-G bij een oplopend IP is een plot gemaakt. In onderstaande plot is de variatie, in de vorm van de standaarddeviatie (SD), afgezet tegen het gemiddelde per film voor zowel het IP PIM (rondjes) als het IP AMA (ruitjes). Voor beide schattingsmethodieken geldt N=24. Figuur 6: De variatie tussen de VA-G afgezet tegen het gemiddelde invaliditeitspercentage (IP) per film, N=24 21