wetenschap Vooruitgang in de behandeling meten Een vergelijking van vragenlijsten voor zelfrapportage

Transcriptie

1 1 / 11 Vooruitgang in de behandeling meten Een vergelijking van vragenlijsten voor zelfrapportage Om te weten of een behandeling aanslaat, laten behandelaars hun patiënten vragenlijsten invullen. Er zijn verschillende vragenlijsten in omloop die vermindering van klachten meten. Ze blijken echter niet allemaal even gevoelig of responsief te zijn. De resultaten zijn niet zonder meer onderling vergelijkbaar. Door Edwin de Beurs, Marko Barendregt, Gerard Flens, Eduard van Dijk, Irma Huijbrechts & Willem Jan Meerding Ggz-instellingen gebruiken vaak vragenlijsten om het resultaat van een behandeling vast te stellen. In de ambulante curatieve zorg zijn dit meestal zelfrapportage-klachtenlijsten. De patiënt geeft voor een reeks symptomen aan in hoeverre ze de afgelopen tijd (week) optraden; een hoge score duidt op veel klachten. Patiënten vullen zo n vragenlijst in aan het begin van de behandeling (pretest), aan het eind (posttest) en soms ook tussentijds, om de voortgang te bepalen. De uitkomst wordt meestal uitgedrukt in een verschilscore: het verschil tussen de ernst van de klachten aan het begin en die aan het eind van een behandeling. Er zijn meerdere vragenlijsten in omloop die hetzelfde beogen te meten (zie kader Vragenlijsten), met elk een eigen schaal en scorebereik, waardoor verschilscores niet direct vergelijkbaar zijn. Dit maakt het moeilijk om de uitkomsten van individuele patiënten of afdelingen en instellingen te vergelijken. De Beurs pleitte er eerder al voor om scores op vragenlijsten vergelijkbaar te maken met een gemeenschappelijke maat (de genormaliseerde T-score). 1 Maar daarnaast weten we ook niet of elke vragenlijst even gevoelig is voor het meten van verandering. Zulke gevoeligheid voor verandering van een vragenlijst heet responsiviteit. Om het beloop van de klachten bij een individuele patiënt te kunnen volgen is het belangrijk om een maximaal responsieve vragenlijst te gebruiken. Ook voor de vergelijking van behandelresultaat van afdelingen of instellingen (benchmarking) is dat nodig. Je kunt de responsiviteit onderzoeken door bij dezelfde patiëntengroep pre- en postscores op verschillende vragenlijsten te vergelijken. Wij hebben dat gedaan: we kregen de beschikking over vijf patiëntgroepen die telkens twee vragenlijsten hebben ingevuld. De belangrijkste vraag die we ons stelden was: is er verschil tussen de vragenlijsten in responsiviteit?

2 2 / 11 Vragenlijsten Bij ambulante behandelingen in de curatieve ggz worden doorgaans klachtenlijsten gebruikt die de patiënt zelf invult. Ze hebben elk hun eigen schaal en scorebereik. Wij vergeleken de volgende zes lijsten: SCL-90 en de BSI De SCL-90 wordt in Nederland het meest gebruikt. De vragenlijst bestaat uit 90 items met symptomen of klachten. 2,3 Hiermee komt een ruime variëteit aan psychische klachten en problemen aan bod. De patiënt geeft voor iedere klacht of symptoom aan in welke mate hij er de afgelopen week door gehinderd werd, op een vijfpuntsschaal (1 = helemaal niet tot 5 = heel erg). De BSI 4 is een verkorte 53 itemvariant van de SCL-90 en is in het Nederlands vertaald en bewerkt door De Beurs a en Zitman. 5 Men gebruikt op beide vragenlijsten de totaalscore als algemene maat om het therapie-effect te bepalen. OQ-SD De Outcome Questionnaire is ontwikkeld door Lambert en collega s om meerdere keren af te nemen tijdens behandeling voor psychische klachten. 6 De patiënt geeft aan hoe hij / zij zich de afgelopen week heeft gevoeld door op 45 items aan te kruisen hoe vaak een klacht of probleem optrad (0 = nooit, 1 = zelden, 2 = soms, 3 = regelmatig, 4 = bijna altijd). De psychometrische kenmerken zijn goed. De Nederlandse vertaling is van de groep van Lambert zelf en werd onderzocht door De Beurs et al. en De Jong et al. 7,8 De OQ omvat drie subschalen: Klachten en symptomen of Symptomatische Distress (SD), functioneren in Interpersoonlijke Relaties (IR) en functioneren op werk of school (SR). De OQ-SD-schaal komt qua meetpretentie het meest overeen met de totaalscore op andere klachtenlijsten, en deze subschaal hebben we gebruikt voor het onderzoek naar equivalentie in responsiviteit. DASS-42 De Depressie Angst Stress Schaal (DASS) is ontwikkeld om symptomatologie bij stemmingsen angststoornissen te meten. 9 De DASS bestaat uit drie subschalen (stemmings-, angst-, en stressklachten) en een totaalscore. De patiënt geeft aan in hoeverre beschreven gevoelens of klachten de afgelopen week van toepassing waren, met vier antwoordmogelijkheden: 0 = helemaal niet of nooit, 1 = een beetje of soms, 2 = behoorlijk of vaak, 3 = zeer zeker of meestal. Er zijn twee varianten van het instrument: een uitgebreide schaal met de 42 oorspronkelijke items en een ingekorte versie van 21 items. Er is een Nederlandse versie. 10 De DASS-42 en DASS-21 worden in Nederland veel gebruikt ter evaluatie van arbeidsgerelateerde hulpverlening omdat ze een specifieke schaal hebben voor het meten van stressgerelateerde klachten. 11 In de verslavingszorg is de DASS-21 opgenomen in het MATE-instrumentarium als maat voor de ernst van (bijkomende) psychopathologie (MATE-10). 12 KKL Een nieuwe vragenlijst is de Korte Klachten Lijst (KKL). 13 De lijst, van Nederlandse origine, bestaat uit 13 items van het Likerttype. Het gaat om een probleem of een klacht met het verzoek aan te geven in hoeverre u er last van heeft (of recentelijk heeft gehad) met vijf antwoordmogelijkheden (0 = geen, 1 = een beetje, 2 = nogal, 3 = tamelijk veel en 4 = heel erg). Een veertiende open vraag geeft de mogelijkheid andere problemen in te vullen en van een intensiteitsscore te voorzien. De 13 items beschrijven onder meer angst, depressiviteit, lichamelijke klachten, relatieproblemen en verslaving. De totaalscore wordt berekend door de antwoorden over de eerste 13 items op te tellen. CORE De Clinical Outcomes in Routine Evaluation (CORE) is een 34-item zelfrapportage-vragenlijst om problemen en risicogedrag te meten. 14 De patiënt geeft aan hoe vaak hij of zij zich de afgelopen week voelde zoals verwoord in het item. De items worden gescoord op een vijfpunts-likertschaal met als antwoordcategorieën 0 = nooit, 1 = zelden, 2 = soms, 3 = vaak en 4 = (bijna) altijd. De CORE levert scores op voor problemen, functioneren, welbevinden, risico s en een totaalscore (met en zonder risico-items). De schaalscores worden berekend door de gemiddelde score op alle items te vermenigvuldigen met 10. De CORE-subschaal voor problemen (CORE-P) komt in meetpretentie het meest overeen met de totaalscore op andere klachtenlijsten, en deze subschaal is gebruikt voor het huidige onderzoek naar equivalentie.

3 vragenlijsten 3 / 11 Gevoeligheid voor verandering: hoe vast te stellen? Wanneer we een uitspraak willen doen over de vooruitgang die is bereikt bij een bepaalde patiënt of bij een groep patiënten, dan zou het niet moeten uitmaken of dit resultaat nu is vastgesteld met de SCL-90 of met de OQ-45. Als deze vragenlijsten bij eenzelfde groep herhaald gemeten patiënten dezelfde verandering over dezelfde periode aanduiden, spreken we van gelijkwaardige of equivalente responsiviteit of gevoeligheid voor verandering. Om twee vragenlijsten met elkaar te kunnen vergelijken moet je ze dus minimaal twee keer afnemen bij dezelfde groep patiënten. De eerste meting en de vervolgmeting moeten voor beide instrumenten op hetzelfde moment hebben plaatsgevonden. Bij voorkeur vond er behandeling plaats tussen de metingen, zodat er werkelijk verandering in klachten of symptomen vast te stellen valt. Hoe groter de verandering, des beter kun je bekijken of beide vragenlijsten ook dezelfde mate van verandering aangeven. Je hebt een steekproef van 100 tot 200 patiënten nodig; alleen dan kun je betrouwbare resultaten verkrijgen. 15 Er zijn verschillende manieren om de omvang van de verandering in de loop der tijd uit te drukken. Helaas zijn onderzoekers het er niet over eens wat de beste manier is. 16 Wij beperken ons hier tot drie maten of indices. ES SRM ΔT De effectgrootte-index van Cohen. Dit is het pretest-posttest verschil gedeeld door de SD van pretestscores. 15 Het gestandaardiseerde responsgemiddelde of Standardised Response Mean. Dit is de ruwe verschilscore gedeeld door de SD van de verschilscore. 17 Het pre-postverschil van genormaliseerde T-scores. De ES, de SRM en de ΔT lijken veel op elkaar. Bij de ES wordt de ruwe verschilscore gestandaardiseerd door te delen door de spreiding (standaarddeviatie of SD) in beginscores. Bij de SRM wordt de ruwe verschilscore gestandaardiseerd door te delen door de spreiding van verschilscores; bij de ΔT is eerst standaardisatie toegepast op de scores van de eer- ste en de herhaalde meting en bovendien zijn de scores bewerkt, opdat de verdelingen worden genormaliseerd. 17 Vergelijking van vragenlijsten Vijf instellingen hebben gegevens van patiënten beschikbaar gesteld: GGZ ingeest, Rivierduinen, Skils, Indigo en Mentaal Beter. We vergelijken de gevoeligheid van twee (door patiënten reeds ingevulde) zelfrapportage-vragenlijsten steeds op één van deze vijf datasets. Het is dus niet de bedoeling om verschillende groepen patiënten onderling, of instellingen te vergelijken; we kijken uitsluitend naar eventuele verschillen tussen de twee vragenlijsten. Als ze gelijkwaardig gevoelig zijn, maakt het niet uit welk instrument je gebruikt om de uitkomst van de behandeling te meten. We toetsen met variantieanalyse en drukken de gevoeligheid per vragenlijst uit in ES, SRM en ΔT. Dat levert verschillende getallen op, maar de cruciale vraag is of we per paarsgewijze vergelijking min of meer gelijkwaardige uitspraken kunnen doen over het verschil tussen het test- en hertestmoment. Beschrijvende gegevens van de patiënten, het aantal respondenten per dataset en het gemiddelde test-hertestinterval staan in tabel 1. Bij dataset 1 en dataset 2 ging het om patiënten die de vragenlijsten invulden tijdens de behandeling of in een wachtlijstperiode. Bij dataset 3, 4 en 5 ging het om metingen bij het begin en na afsluiting van de behandeling. Tabel 2 biedt een aantal relevante kenmerken van de vergeleken vragenlijsten. Resultaten: verschillen tussen voor- en nameting Allereerst onderzochten we de correlatie (pmcccoëfficiënten) tussen scores op beide vragenlijsten bij voormeting en bij nameting. Ook bekeken we de correlatie tussen de verschilscores en tussen de residual change scores. Residual change scores zijn verschilscores gecorrigeerd voor aanvangsverschillen tussen patiënten. De correlatiecoëfficiënten (pmcc s) zijn weergegeven in tabel 3. De resultaten laten een aanzienlijke samenhang bij voormeting zien; de vragenlijsten brengen dus

4 4 / 11 Tabel 1 Kenmerken van de onderzochte patiënten bij vijf datasets Vragenlijsten (% ) Leeftijd (M, SD) Range n Hertest interval (wkn) 1 SCL-90 & DASS 63,6 39,1 (9,1) BSI & OQ-SD 62,4 39,2 (11,6) BSI & OQ-SD 71,2 41,8 (9,4) KKL & OQ-SD 64,4 42,3 (12,8) CORE-P & SCL-90 60,0 36,4 (14,1) Tabel 2 Kenmerken van de gebruikte vragenlijsten Vragenlijst Schaal # items Score range α M SD RCI CO SCL-90 TOT ,97 203, 6 61, BSI TOT ,97 1, 21 0,72 0,35 0,65 DASS-42 TOT ,98 39, 45 31, OQ45 SD ,91 48, 9 16, CORE-P TOT ,89 18, 85 6,24 5,7 11,8 KKL TOT ,85 18, 2 9, α M SD RCI CO Cronbachs α, de index voor betrouwbaarheid (interne consistentie) van een vragenlijst Gemiddelde score van patiënten voor behandeling Standaarddeviatie Reliable Change-Index, ofwel het aantal schaalpunten verschuiving benodigd voor statistisch betrouwbare verandering De Cut-Off, ofwel de grenswaarde tussen ziek en gezond (RCI en CO zijn verkregen uit de gebruiksaanwijzing van de vragenlijst of berekend volgens de formules van Jacobsen & Truax (1991); b een patiënt met een verschilscore RCI wordt als onveranderd beschouwd; een patiënt met een score CO wordt als ziek beschouwd). Tabel 3 Correlatiecoëfficiënten tussen ruwe scores op vragenlijsten in vijf datasets Vragenlijsten Voormeting Nameting Verschilscore Residual Change 1 SCL-90 & DASS-42 0,82 0,78 0,48 0,54 2 BSI & OQ-SD 0,79 0,88 0,66 0,74 3 BSI & OQ-SD 0,82 0,81 0,77 0,79 4 KKL & OQ-SD 0,62 0,75 0,67 0,74 5 CORE-P & SCL-90 0,79 0,74 0,69 0,71

5 vragenlijsten 5 / 11 over het algemeen dezelfde concepten in kaart. Bij de voormeting is de samenhang tussen de KKL en de OQ-SD lager dan bij de andere vragenlijsten. Ook bij de nameting vinden we nog een substantiële samenhang tussen verschillende vragenlijsten. De correlatie van verschilscores is echter over de gehele linie lager, met name bij de vergelijking tussen SCL-90 en DASS-42, wat een eerste aanwijzing is dat er verschillen zijn in responsiviteit. De lagere correlatie bij de verschilscore laat zich echter ook verklaren door de geringere betrouwbaarheid van verschilscores in vergelijking met de ruwe scores. Met name wanneer de pre- en posttestscore onderling positief correleren (gewoonlijk r = 0,50 tot r = 0,60 in therapie-effectonderzoek) is de betrouwbaarheid van de verschilscore aanzienlijk lager dan die van de oorspronkelijke scores. 18 De samenhang tussen residual change scores is weer iets hoger dan de ruwe verschilscores. Verschillen in gevoeligheid voor verandering Vervolgens toetsten we met variantieanalyse in een 2 bij 2-design of er (a) een significant verschil was bij voor- en nameting, en (b) of de vragenlijsten verschilden in gevoeligheid voor verandering door de tijd heen. Deze analyses werden gedaan op zowel ruwe scores als op genormaliseerde T-scores. Tevens bepaalden we de effectgrootte (ES), het gestandaardiseerde responsgemiddelde (SRM) en ΔT. In tabel 4 zijn de gemiddelde scores op vragenlijsten en de standaarddeviatie bij voor- en nameting weergegeven en de uitkomst van de varian tieanalyse (F-waardes). Tussen haakjes staat het meetresultaat uitgedrukt in genormaliseerde T-scores, wederom het resultaat van variantieanalyse op T-scores en het gemiddeld verschil in T-scores tussen beide metingen (ΔT). Met de variantie-analyse is getoetst of de gemiddelde scores significant van elkaar verschillen, zowel tussen de meetmomenten (tijdseffect) als tussen de vragenlijst (maat-effect). Het tijdseffect geeft aan dat, ongeacht het instrument, de gemiddelde score verschilt over de tijd; het maateffect geeft aan dat, ongeacht het tijdsmoment, er verschil is in de scores op beide vragenlijsten. Een verschil in responsiviteit komt bij deze analyse tot uiting in een statistisch significante interactie tussen tijd en maat (T M). We zien bij elke dataset een effect van vragenlijst en een interactie-effect van tijd en vragenlijst. In de meeste gevallen wordt dat effect kleiner of valt De gelijkgevoeligheid van veelgebruikte vragenlijsten valt tegen zelfs weg (bij dataset 3 en dataset 4) na omzetting van de ruwe scores naar genormaliseerde T-scores. Kijken we naar de diverse responsiviteitsindices dan liggen de waarden op de ES, SRM en ΔT dicht bij elkaar en duiden ze over het algemeen een verschil in dezelfde richting aan. In dataset 1 worden de SCL-90 en de DASS-42 vergeleken. Het meetinterval was bij deze dataset kort, gemiddeld vier weken, waardoor het verschil tussen eerste en tweede meting geringer is dan bij de andere datasets. De SCL-90 blijkt in deze vergelijking het meest responsief, al ontlopen de twee vragenlijsten elkaar weinig (ES = 0,42 vs. 0,38). Het verschil in responsiviteit komt het duidelijkst naar voren bij de genormaliseerde T-scores (ΔT SCL-90 = 4,6 vs. ΔT DASS-42 = 3,4). De vergelijking van uitkomsten volgens de BSI en OQ-SD bij patiënten van dataset 2 laat een verschil zien met de OQ-SD-score als responsiever dan de BSI-score (ΔT OQ-SD = 6,7 vs. ΔT BSI = 5,6). In de derde dataset worden wederom de BSI en de OQ-SD vergeleken. Hier pakt de vergelijking echter anders uit. Na T-scoreconversie is er geen significante interactie meer van vragenlijst en tijd en de BSI en OQ-SD blijken nagenoeg gelijk responsief (ΔT BSI = 9,9 vs. ΔT OQ-SD = 9,8). De analyse van de vierde dataset laat ook zien dat na normalisatie van de scores er geen statistisch significant verschil meer is tussen de KKL en de OQ-SD in responsiviteit. Bij vergelijking van de gemiddelde waarde van de genormaliseerde T-scores komt er toch nog een verschil in gevoeligheid naar voren (ΔT OQ-SD = 4,6 vs. ΔT KKL = 4,1). Uit de analyse van de vergelijking van de CORE en de SCL-90 komt de CORE als significant responsiever naar voren, zowel bij vergelijking van ruwe scores als bij vergelijking van genormaliseerde T-scores (ΔT CORE = 15,1 vs. ΔT SCL-90 = 12,3)

6 6 / 11 Tabel 4 Vergelijking van de uitkomst van herhaalde metingen bij gebruik van verschillende vragenlijsten in vijf gegevensbestanden Eerste Tweede SRM ES (Δ T) Dataset 1 F-toets (1,131) M SD M SD Tijd Maat T M SCL ,9 59,4 166,7 58,3 42,47*** 2072,31*** 17,70*** 0,52 0,42 (49,7) (9,7) (45,1) (10,0) (28,82***) (12,20**) (17,71***) (4,6) DASS-42 41,0 25,7 31,2 23,4 0,45 0,38 (49,1) (8,9) (45,7) (8,1) (3,4) Dataset 2 F-toets (1,156) M SD M SD Tijd Maat T M BSI 1,20 0,68 0,86 0,63 96,78*** 1601,56*** 93,52*** 0,65 0,50 (52,1) (9,1) (46,5) (9,6) (103,02***) (15,50***) (7,55*) (5,6) OQ-SD 48,2 14,8 37,6 15,7 0,78 0,72 (50,1) (9,3) (43,4) (9,9) (6,7) Dataset 3 F-toets (1,190) M SD M SD Tijd Maat T M BSI 0,93 0,56 0,38 0,40 251,48*** 1389,42*** 245,22*** 1,04 0,98 (47,1) (8,3) (37,2) (7,1) (297,42***) (71,77***) (0,87) (9,9) OQ-SD 39,5 13,6 23,9 13,7 0,79 1,15 (44,5) (8,6) (34,7) (8,6) (9,8) Dataset 4 F-toets (1,100) M SD M SD Tijd Maat T M KKL 14,3 6,2 11,1 5,5 40,98*** 883,55*** 17,54*** 0,55 0,52 (46,4) (7,4) (42,3) (7,5) (41,35***) (1,90) (0,44) (4,1) OQ-SD 41,5 11,2 34,4 13,9 0,59 0,63 (45,9) (7,0) (41,3) (8,7) (4,6) Dataset 5 F-toets (1,87) M SD M SD Tijd Maat T M CORE-P 18,9 6,2 7,1 5,5 164,50*** 2071,09*** 109,92*** 1,65 1,90 (49,9) (9,6) (32,0) (8,5) (264,73***) (2,08) (48,65***) (15,1) SCL ,1 46,3 114,1 26,7 1,26 1,23 (46,5) (7,9) (34,2) (5,8) (12,3) Tijd Maat T M SRM ES ΔT Hoofdeffect tijd Hoofdeffect vragenlijst Interactie effect van tijd en vragenlijst Standardised Response Mean of gemiddelde gestandaardiseerd verschil Effect Size of verschil gedeeld door voormeting SD Verschil in genormaliseerde T-score * p < 0,05 ** p < 0,01 *** p < 0,001

7 vragenlijsten 7 / 11 Betrouwbare en klinisch significante verandering Ten slotte pasten we criteria voor betrouwbare en significante verandering toe op de uitkomsten van de verschillende vragenlijsten en vergeleken we het resultaat. De proportie betrouwbaar verbeterde patiënten (Reliable Change Index; RCI) en de proportie patiënten met een klinisch relevant verbeterde eindscore (voorbij de cut-off; CO) volgens telkens twee vragenlijsten vergeleken we met de McNemar chikwadraattest (tabel 5); een categorisering van patiënten op basis van de combinatie van RCI en CO in vijf groepen (hersteld, verbeterd, onveranderd, verslechterd en teruggevallen) vergeleken we met een chikwadraattoets en Spearmans correlatiecoëfficiënt voor ordinale variabelen (tabel 6). Voor tabel 5 hebben we ruwe scores gebruikt en de grenswaarden van tabel 1 toegepast. Verschillen in de proportie betrouwbaar veranderde patiënten of proportie klinisch significant veranderden, zijn getoetst met de McNemar chikwadraattest. In tabel 6 is dit in vijf categorieën weergegeven, gebaseerd op een combinatie van de RCI en de CO. Overeenkomst in categorisering is getoetst met Spearmans maat van associatie tussen ordinale variabelen. De vergelijking van de datasets wijst uit dat de gebruikte vragenlijst wel degelijk van invloed is op hoe de categorisering uitpakt. In dataset 1, 4 en 5 vinden we bij toepassing van de RCI een statistisch significant verschil: volgens de DASS-42 zijn meer patiënten verbeterd dan volgens de SCL-90, volgens de OQ-SD zijn er meer verbeterd dan volgens de KKL, en volgens de CORE zijn er meer verbeterd dan volgens de SCL-90. Vooral het verschil tussen de OQ-SD en de KKL is substantieel (38,6 vs. 12,9 % betrouwbaar veranderden). c Bij de CO-index (de proportie patiënten met een nametingsscore als gezonden) zien we juist bij de vergelijking tussen BSI en OQ-SD in datasets 2, 3 en 5 een significant verschil: er zijn meer patiënten hersteld volgens de BSI dan volgens de OQ-SD. Bij de categorisering in tabel 6 valt op dat maar weinig patiënten verslechterd of teruggevallen zijn. Alleen in de eerste dataset, waar sprake was van een korte test-hertestinterval, is volgens de DASS-42 ruim 10 % van de patiënten verslechterd. Volgens de andere datasets verslechteren maar Tabel 5 Vergelijking van vragenlijsten bij operationalisering van uitkomst in categorieën RCI CO % p* % p * Dataset 1 SCL-90 37,1 0,001 47,0 0,134 DASS-42 44,7 53,0 Dataset 2 BSI 43,9 0,20 46,5 0,001 OQ-SD 49,7 35,0 Dataset 3 BSI 63,4 0,56 87,4 0,001 OQ-SD 66,0 78,5 Dataset 4 KKL 12,9 0,001 45,5 0,815 OQ-SD 38,6 47,5 Dataset 5 CORE-P 81,8 0,08 84,1 0,004 SCL-90 72,7 94,3 * McNemar chikwadraattest, een p-waarde < 0,05 duidt een significant verschil in proportie aan. NB: proporties die verschillen zijn vet gedrukt. weinig patiënten. Beperking tot drie niveaus van oplopend therapiesucces (onveranderd, verbeterd en hersteld) past beter voor categorisering van de behandeluitkomst. Verder bevestigen de uitkomsten het voorgaande beeld: in alle vijf datasets is de gebruikte vragenlijst van invloed op de categorisering. De verschillen zijn het grootst tussen de OQ-SD en de KKL. Er is wel telkens een significante en substantiële samenhang tussen de categorisering volgens verschillende vragenlijsten, getuige de Spearman correlatie.

8 8 / 11 Tabel 6 Informatie van RC en CO gecombineerd Hersteld Verbeterd Onveranderd Verslechterd Terugval Spearman r Dataset1 SCL-90 20,5 16,7 62,9 r = 0,48** DASS-42 25,0 19,7 44,7 10,6 Dataset 2 BSI 24,2 19,7 49,7 6,4 r = 0,51** OQ-SD 25,5 24,2 45,2 4,5 0,6 Dataset 3 BSI 58,6 7,3 31,4 2,1 0,5 r = 0,53** OQ-SD 57,6 5,8 34,6 2,1 Dataset 4 KKL 7,9 5,0 87,1 r = 0,30** OQ-SD 30,7 7,9 54,5 6,9 Dataset 5 CORE-P 73,9 8,0 18,2 r = 0,50** SCL-90 71,6 1,1 27,3 Hersteld Verbeterd Onveranderd Verslechterd Terugval Verschilscore RCI; Pretest score > Posttest score; Posttest score < CO Verschilscore RCI; Pretest score > Posttest score; Posttest score CO Verschilscore < RCI Verschilscore RCI; Pretest score < Posttest score; Pretest score CO Verschilscore RCI; Pretest score < Posttest score; Pretest score < CO * p < 0,01 ** p < 0,001 Conclusies: vragenlijsten niet even responsief De belangrijkste bevinding van ons onderzoek is dat het tegenvalt met de gelijkgevoeligheid van veelgebruikte vragenlijsten in de ggz. Per dataset treffen we aanzienlijke verschillen in behandeluitkomst die afhankelijk zijn van (a) de gebruikte vragenlijst, (b) de maat voor responsiviteit en (c) de methode die gebruikt wordt om uitkomst van de behandeling te meten (een verschilscore op een continue meetschaal of een categorisering in hersteld, verbeterd, onveranderd, et cetera). De maten voor gevoeligheid en de methode van uitkomst bepaling (verschilscores of categorisering in klinisch betekenisvolle subgroepen van patiënten) wijzen in een dataset over het algemeen wel steeds dezelfde kant op. Volgens de variantieanalyse is de SCL-90 responsiever dan de DASS-42, de OQ-SD responsiever dan de BSI en de CORE-P responsiever dan de SCL-90. Wanneer we patiënten categoriseren in subgroepen met verschillende behandeluitkomsten, dan geeft de OQ-SD een groter aantal verbeterde patiënten aan, de KKL juist minder en de CORE-P weer meer; bij gebruik van de CO-index zijn volgens de BSI meer patiënten hersteld dan volgens de OQ-SD. De andere vergelijkingen laten geen significante verschillen zien. Overigens is dit onderzoek geen wedstrijd tussen vragenlijsten. De uiteindelijke keuze voor een vragenlijst wordt niet alleen bepaald door de gevoeligheid voor verandering. Andere factoren zijn ook van belang, zoals bekendheid van behandelaars met het instrument, invulgemak voor de patiënt, afnameduur, beschikbaarheid en prijs.

9 vragenlijsten 9 / 11 PROMIS De Amerikaanse overheid heeft de afgelopen jaren een project (PROMIS) gefinancierd met als doel te komen tot meer uniformiteit en efficiëntie bij het meten van uitkomsten in de gezondheidszorg ( Meer uniformiteit in gebruikte vragenlijsten kan de vergelijkbaarheid bevorderen van uitkomsten van medisch pelijk onderzoek en een einde maken aan de huidige praktijk waarin honderden verschillende vragenlijsten gebruikt worden voor hetzelfde doel. Meer uniformiteit kan precies ook ons doel van een landelijke benchmark voor de ggz dienen. De efficiëntieslag wordt nagestreefd met adaptief testen middels de computer, oftewel Computer Adaptive Testing (CAT). Met PROMIS is een systeem voor CAT ontwikkeld dat is gebaseerd op de Item Response Theory. Hierbij worden uit een itembank alleen vragen gesteld die zijn toegesneden op de respondent en die relevant zijn gezien het ernstniveau van diens klachten. Het antwoord op eerdere items bepaalt telkens welk item vervolgens aangeboden wordt. Met CAT volstaan zo zes tot zeven vragen om een even accurate en betrouwbare meting tot stand te brengen als waar er bij de traditionele manier van testen dertig of meer vragen nodig waren. Er zijn itembanken voor diverse meetdomeinen samengesteld met rond de dertig items per domein (voorbeelden van domeinen zijn depressie, angst of boosheid). Het NIH-project heeft geresulteerd in een zogenaamd assessment center, een web-based systeem waarmee onderzoekers en andere vragenlijstgebruikers gratis vragenlijsten kunnen afnemen bij respondenten ( Men kan daarbij kiezen voor de volledige itembank, een selectie van items of de CAT-versie. Als metrische eenheid gebruikt men de T-score met als referentiegroep de algemene bevolking. De Nederlands / Vlaamse vertaling van de itembanken was begin 2012 klaar en wordt momenteel psychometrisch onderzocht (http: // nl / promis_13_0.html). Met een gezamenlijke inspanning ter validatie en normering zou op korte termijn een veelbelovend (en gratis) alternatief voor traditionele vragenlijsten beschikbaar kunnen komen. Zo kan meteen tegemoet worden gekomen aan een veelgehoorde wens van het veld om over gratis vragenlijsten voor ROM en de landelijke benchmark te kunnen beschikken. 19 Invulvolgorde Een factor die van invloed kan zijn geweest op de verschillen in responsiviteit tussen vragenlijsten is de volgorde waarin de vragenlijsten werden aangeboden aan de patiënt. Zo is het waarschijnlijk dat patiënten een tweede vragenlijst met minder aandacht en daardoor minder nauwkeurig invullen dan de eerste. De volgorde van invullen werd in dit onderzoek niet systematisch gevarieerd, waardoor we daar hier geen uitspraken over kunnen doen. Variatie in de instructies bij een vragenlijst is een andere factor. Een onduidelijke instructie kan tot onnauwkeurigheid van de score leiden. De KKL geeft als enige vragenlijst niet expliciet een periode aan waarover de patiënt een oordeel moet geven; in de andere lijsten wordt altijd een oordeel gevraagd over de afgelopen week. In het algemeen betekent grotere onnauwkeurigheid ook geringere betrouwbaarheid en geringere responsiviteit. Andere verschillen tussen vragenlijsten kunnen ook bijdragen aan verschillen in responsiviteit. De SCL-90, de BSI en de KKL vragen naar de intensiteit van de symptomen, de CORE naar hun frequentie en de DASS naar een combinatie van frequentie en intensiteit. Uniformiteit op dit gebied is wenselijk om vergelijkbare uitkomsten te genereren. Geen beeld van zorgkwaliteit De resultaten van ons onderzoek laten ook aanzienlijke verschillen zien tussen de behandeluitkomsten van diverse instellingen. Het is belangrijk te benadrukken dat deze verschillen vooral zijn toe te schrijven aan verschillen in manier van data verzamelen. Ze geven vooralsnog absoluut geen beeld van verschillen in de kwaliteit van de geleverde zorg. De datasets 3, 4 en 5 geven begin- en eindmetingen van de behandeling. Dataset 2 bevatte meerdere opeenvolgende ROM-metingen met een

10 10 / 11 tussenpauze van gemiddeld vijf maanden. Dataset 1 was een steekproef ter bepaling van de testhertestbetrouwbaarheid van vragenlijsten met een meetinterval van slechts vier weken; bij deze patiënten was het einde van de behandeling stellig nog niet in zicht. Zoals gezegd, de vragenlijsten zijn binnen een dataset vergeleken, en niet tussen de datasets. De conclusie is dat we consistente verschillen zien in gevoeligheid van vragenlijsten voor verandering bij drie van de vijf datasets, ongeacht de gebruikte index of methodiek. ΔT, de maat die we eerder voorstelden om tegemoet te komen aan het probleem van onvergelijkbare scores van verschillende vragenlijsten in de ggz, 1 doet het daarbij niet beter of slechter dan ES of SRM. Standaardisering en normalisering van ruwe scores in T-scores maakt weliswaar eenmalige uitkomsten van vragenlijsten onderling vergelijkbaar, maar het zorgt slechts in twee van de vijf datasets voor voldoende vergelijkbare verschilscores. Het verschil in responsiviteit ligt tussen de 10 en 15 %. Zo n verschil in uitkomst is substantieel en moet bij vergelijking van de resultaten van twee ggz-instellingen als betekenisvol beschouwd worden. Dit staat eenduidige vergelijking van uitkomsten ten behoeve van een landelijke benchmark in de weg. Discussie: het aantal vragenlijsten beperken? De gevonden verschillen zijn substantieel en de vragenlijsten zijn onvoldoende gelijkwaardig responsief voor een benchmark in de ggz. Je kunt de verschillen in responsiviteit verminderen door standaardisatie en normalisering naar T- scores (ΔT), verschilscores te standaardiseren (SRM) of het verschil van gestandaardiseerde scores te nemen (ES). Dat biedt echter onvoldoende garantie dat de uitkomsten van de verschillende vragenlijsten die ggz-aanbieders die gebruiken, onderling zonder meer vergelijkbaar zijn. Dit heeft implicaties voor het verzamelen en analyseren van gegevens in een landelijke benchmark. Tot nog toe voerde Stichting Benchmark GGZ een ruimhartig beleid bij de instrumentkeuze door instellingen. Ze zocht aansluiting bij tradities in ggz-instellingen en bij de praktijk van ROM in het veld. Alternatieve vragenlijsten waren welkom, mits aangetoond kon worden dat ze gelijkwaardig gevoelig waren voor verandering. Dit heeft een uitgebreide set van vragenlijsten opgeleverd (zie Zorgdomeinen, meetdomeinen, vragenlijsten op http: // / SBG_zorgdomeinen.aspx). Omdat wij van een aantal vragenlijsten geen equivalente responsiviteit konden aantonen, zal in de toekomst een beperktere set moeten worden voorgeschreven en zullen we voor de landelijke benchmark meer uniformiteit in vragenlijsten moeten nastreven. De bevindingen van dit onderzoek kunnen er ook toe leiden dat men zich in de ggz zelf bezint op de instrumentkeuze. Want niet alleen voor benchmarking, maar ook voor het volgen van het beloop van de klachten bij een individuele patiënt (ROM) is het immers belangrijk om een maximaal responsieve vragenlijst te gebruiken. Gelukkig staat de ontwikkeling van vragenlijsten niet stil en bieden recente ontwikkelingen in de VS en Nederland uitzicht op nieuwe mogelijkheden (zie kader PROMIS). a b Noten Dezelfde De Beurs als de hoofdauteur van dit artikel, die eraan hecht te verklaren dat hij noch SBG enig financieel of ander belang heeft bij de uitgave van de BSI. De gebruikte formules zijn: RC = 1.96 * 2 * SEM 2 en SEM = SD * 1 r ; CO = Sd pat * M norm + Sd norm * M pat Sd pat + Sd norm c De lagere betrouwbaarheid van de KKL (Cronbachs α is.85) en de aanzienlijke spreiding in scores (SD = 9,9) leidt ertoe dat de minimaal vereiste verschilscore op de KKL voor betrouwbare verandering 10 punten bedraagt en dat wordt klaarblijkelijk maar bij weinig patiënten (12,9%) bereikt. Cronbachs α wordt mede bepaald door het aantal items in een schaal: hoe meer items, des te vaker een concept wordt uitgevraagd en des te groter de betrouwbaarheid van de meting. Hier keert een voordeel van de KKL (een handzame korte lijst) zich tegen het instrument. De KKL lijkt daarmee minder geschikt om statistisch betrouwbare verandering vast te stellen.

11 vragenlijsten 11 / 11 Literatuur 1 Beurs E de. De genormaliseerde T- score: Een euro voor testuitslagen. Maandblad Geestelijke volksgezondheid 2010; 65 (10): Arrindell WA, Ettema JHM. SCL-90: Herziene handleiding bij een multidimensionele psychopathologieindicator. (SCL-90: Revised manual for a multidimensional indicator of psychopathology). Lisse: Swets & Zeitlinger; Derogatis LR. The Symptom Checklist-90-R. Baltimore MD: Clinical Psychometric Research; Derogatis LR. The Brief Symptom Inventory. Baltimore MD: Clinical Psychometric Research; Beurs E de, Zitman FG. De Brief Symptom Inventory (BSI): De betrouwbaarheid en validiteit van een handzaam alternatief voor de SCL-90. Maandblad Geestelijke volksgezondheid 2006; 61(2): Lambert MJ, Morton JJ, Hatfield DR, et al. Administration and scoring manual for the OQ-45.2 (Outcome Questionnaire)(3th ed.) Wilmington DE: American Professional Credential Services LLC; Beurs E de, Hollander-Gijsman ME de, Buwalda V, et al. De Outcome Questionnaire (OQ-45): een meetinstrument voor meer dan alleen psychische klachten. De Psycholoog 2005; 40: Jong K de, Nugter A, Polak MG, et al. The Outcome Questionnaire (OQ-45) in a Dutch population: A cross-cultural validation. Clinical Psychology and Psychotherapy 2007; 14: Lovibond PF, Lovibond SH. The structure of negative emotional states: comparison of the Depression Anxiety Stress Scales (DASS) with the Beck Depression and Anxiety Inventories. Behaviour Research and Therapy 1995; 33: Beurs E de, Dyck R van, Marquenie LA, et al. De DASS: een vragenlijst voor het meten van depressie, angst en stress. Gedragstherapie 2001; 34: Beurs E de, Zweden S van, Hamming C. De bruikbaarheid van de DASS voor evaluatie van de behandeling van arbeidsgerelateerde psychische klachten. Tijdschrift voor Bedrijfs- en Verzekeringsgeneeskunde 2010; 18: Schippers GM, Broekman TG, Buchholz A, et al. Measurements in the Addictions for Triage and Evaluation (MATE): an instrument based on the World Health Organization family of international classifications. Addiction 2010; 105: Lange A, Appelo M. Korte Klachtenlijst, handleiding. Houten: Bohn Stafleu van Loghum; Barkham M, Gilbert N, Connell J, et al. Suitability and utility of the CORE-OM and CORE-A for assessing severity of presenting problems in psychological therapy services based in primary and secondary care settings. British Journal of Psychiatry 2005; 186: Cohen J. Statistical power analysis for the behavioral sciences. (2 ed.) Hillsdale NJ: Lawrence Erlbaum Associates; Norman GR, Wyrwich KW, Patrick DL. The mathematical relationship among different forms of responsiveness coefficients. Quality of Life Research 2007; 16: Streiner DL, Norman GF. Health measurement scales: a practical guide to their development and use. (3 ed.) Oxford: Oxford University Press; Cronbach LJ, Furby L. How should we measure change or should we? Psychological Bulletin 1970; 74: Kooiman K, Klaassens E. GeROMmel in de markt. Maandblad Geestelijke volksgezondheid 2010; 65 (11): Samenvatting Ggz-instellingen gebruiken diverse vragenlijsten om verandering in de klachten van een patiënt in de loop der tijd te meten. Om de behandelresultaten van instellingen te vergelijken, bijvoorbeeld voor de landelijke benchmark, moeten we zeker weten dat de vragenlijsten in gelijke mate veranderingen oppikken ofwel even responsief zijn. De SCL-90, DASS-42, BSI, OQ, KKL en CORE werden onderzocht met vijf gegevensbestanden, waarbij telkens twee vragenlijsten zijn vergeleken op ruwe scores, genormaliseerde T-scores en een categorisering van patiënten op basis van betrouwbare en klinisch significante verandering. De respon siviteit van de instrumenten stemt redelijk overeen. Waar ruwe scores onvergelijkbaar zijn, brengen ge normaliseerde T-scores in twee datasets gelijkwaardige responsiviteit tot stand. Bij drie datasets blijven echter verschillen in responsiviteit bestaan. Meer uniformiteit in vragenlijsten is wenselijk om behandelresultaten goed te kunnen vergelijken. Dr. E. de Beurs, inhoudelijk directeur Stichting Benchmark GGZ SBG, Bilthoven sbggz.nl Dr. M. Barendregt, senior onderzoeker, SBG, Bilthoven Drs. G. Flens, onderzoeker, SBG, Bilthoven Drs. E. van Dijk, gz-psycholoog, Skils, Capelle aan den IJssel Dr. I. Huijbrechts, senior onderzoeker PsyQ- Nederland, Rotterdam Dr. W. J. Meerding, voormalig consultant, Mentaal Beter, Dordrecht