Effectmeting als effectieve interventie

Transcriptie

1 Effectmeting als effectieve interventie Jan Willem Veerman Studiedag NIP/NVO Utrecht, 10 februari 2012

2 Waar hebben we het over? Routine outcome monitoring (ROM) Routine outcome measuring (ROM) Periodieke uitkomstmetingen Herhaalde effectmetingen Uitkomstenmonitoring Uitkomstenmanagement Patient-focused research Praktijkgestuurd effectonderzoek Resultaatgericht meten

3 Wat is het? Het systematisch volgen van veranderingen in problematiek of competenties bij cliënten die (jeugd)zorg ontvangen Via het periodiek, als onderdeel van het werk, afnemen van gestandaardiseerde tests of vragenlijsten En het benutten van deze uitkomsten voor interne behandelplanning en evaluatie in primair proces en beleid; en voor externe verantwoording naar derden (o.a. financiers)

4 Ontstaan (top-down) Druk van externe partijen (vooral financiers) Erkenningscommissie Gedragsinterventies Justitie Databank NJi ROM in de GGZ verplicht, benchmarking Onvrede met bestaand effectonderzoek Geeft gemiddelde uitkomsten voor een onderzochte experimentele groep ten opzichte van een controlegroep over bewezen effectiviteit Gaat niet over vooruitgang individuele cliënten Problemen met generalisatie naar de praktijk Evidence-based interventies helpen niet bij iedereen, schatting: 50% vooruit, 40% gelijk en 10% achteruit (Lambert e.a.)

5 Ontstaan (bottom-up) (Sommige) behandelaars gingen uitkomsten uit vragenlijsten bij intake en bij evaluatiemomenten bespreken met hun clienten. Zij merkten dat zij hierdoor: sneller samen met hun clienten een gezamenlijk gedragen beeld hadden van de aard en ernst van de problemen en betere afspraken over de behandeldoelen sneller een goede werkalliantie met hun clienten hadden in kortere tijd betere behandelresultaten bereikten en minder uitval hadden

6 Gebruik Individueel niveau -> 1e gebruiker Hulpverlener en cliënt (jeugdige en/of ouders) Geaggregeerd niveau -> 2e gebruiker Caseload hulpverlener Teams Afdelingen Geaggregeerd niveau -> 3e gebruiker Instellingen Groep van instellingen Geaggregeerd niveau -> 4e gebruiker Financiers Wetenschap Doel: Professionaliseren: verbeteren Profileren: verantwoorden Profiteren: verder onderzoek

7 Voorbeeld 1. Individuele uitkomstmeting (Bron: BergOp 3.0)

8 Voorbeeld 2. Individuele uitkomstmeting

9 Voorbeeld 3. Groepsuitkomstmetingen (ontleend aan het Hulp aan Huis-onderzoek, De Meyer & Veerman, ) Ons team Excellent (++) Goed (+) Matig (0) Slecht (-)

10 Voorbeeld 4. Benchmarking van groepsuitkomsten (ontleend aan het Hulp aan Huis-onderzoek, De Meyer & Veerman, ) Ons team Ander team Landelijk Excellent (++) Goed (+) Matig (0) Slecht (-)

11 Voorbeeld 5. Benchmarking individueel beloop 4 3,5 Deviatiescore CBCL 3 2,5 2 1,5 1 0,5 0 bij opname een halfjaar na opname een jaar na opname anderhalf jaar na opname tw ee jaar na opname Klinische norm Casus A (fictief) Casus B (fictief) Normaal Bron klinische norm: Onderzoek Boddaertcentra Kloosterman & Veerman (1999)

12 Voorbeeld 6. Benchmarking van groepsbeloop 4 3,5 Deviatiescore CBCL 3 2,5 2 1,5 1 0,5 0 bij opname een halfjaar na opname een jaar na opname anderhalf jaar na opname tw ee jaar na opname Norm Instelling A (fictief) Instelling B (fictief) Norm Bron klinische norm: Onderzoek Boddaertcentra Kloosterman & Veerman (1999)

13 Voorbeeld 7: Effecten over de jaren Effectgroottes IOG 1,2 1,1 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 1,21 0,97 0,93 1 0,89 0,82 0,81 0,74 0,74 0,79 0,68 0,62 0,51 0, Probleemgedrag Opvoedingsbelasting 0.80 : Groot effect : Klein effect : Middelgroot effect < 0.20 : Verwaarloosbaar effect Bron: Leijsen (2008)

14 Bespreekmomenten van uitkomsten uit vragenlijsten in de behandelcyclus moment Aanmelding en aanvang Tussenevaluatie Eindevaluatie en afsluiting doel Samen met cliënt de aard en ernst van de problemen in kaart brengen en bepalen met welke doelen welke behandeling ingezet gaat worden. Samen met cliënt evalueren van bereikte resultaten, beoordelen of deze goed genoeg zijn en bepalen waar komende periode nog aan gewerkt moet worden. Samen met cliënt evalueren van bereikte resultaten en beoordelen of deze goed genoeg zijn. Indien wenselijk samen bepalen met welke doelen welke vervolghulp ingezet gaat worden.

15 Bespreekstramien Activiteit Herkennen Begrijpen Waarderen Handelen Vraag Zijn de uitkomsten te plaatsen? - Uit de lijst komt naar voren dat. herkent u dat? - Bij evaluatie verschillen 1 e en 2 e meting bepalen: herkent u de vooruitgang/achteruitgang? Wat gaat er nu anders? - Doorvragen naar concrete situaties en voorbeelden uit dagelijks leven als illustratie van de scores, of de scores eventueel tegenspreken. Kunnen we ze verklaren? - Erkenning geven (hoe heeft u dat zolang kunnen volhouden?) - Doorvragen naar uitzonderingen, hulpbronnen & krachten, - Vragen naar eigen verklaring van ouders - Bij evaluatie 1 e en 2 e meting vragen verklaring van veranderingen. Vinden we ze goed genoeg? - Wat betekenen deze uitkomsten voor u en uw kind? - Schaalvragen stellen (op een schaal van 0-10, waar zit u nu?) Zijn er verbeteracties nodig? - Zo ja: Doelen stellen. - Wondervraag stellen (stel dat er een wonder is gebeurd en problemen zijn verdwenen, waar zou u dat aan merken? Wat zou uw kind anders doen, wat zou u anders doen? Wat is eerste stapje in deze richting?

16 Theoretische onderbouwing Meten maakt therapeuten beter Meten maakt cliënten beter

17 Meten maakt therapeuten beter (1) Feedback mechanisme Leren van gevolgen Bekrachtiging van eigen therapeutisch handelen Ontstaan gevoelens van efficacy Zonder feedback is behandelen als geblindoekt schieten op een doel (Sapyta e.a., 2005)

18 Meten maakt therapeuten beter (2) (Lambert, 2010; Feedback werkt vooral bij cliënten bij wie een negatieve uitkomst dreigt. Van deze cliënten: Verbetert 22% zonder feedback Verbetert 33% met feedback aan therapeut Verbetert 39% met feedback aan therapeut en cliënt Verbetert 45% met feedback en suggesties voor behandeling [N.B. Onderzoek bij volwassen patiënten (Lambert)]

19 Meten maakt cliënten beter (1) (Finn, 2007; Therapeutic assessment Samenwerking Respect Bescheidenheid Begaanheid Openheid/ nieuwsgierigheid Verwerkt in diagnostische procedures Betrekken van cliënt bij diagnostisch proces Bespreken van uitkomsten volgens vast stramien Op een empathische en oplossingsgerichte wijze Met als doel: vergroten begrip van ouders over problemen kind en faciliteren van verandering

20 Meten maakt cliënten beter (2) Therapeut Cliënt Uitkomst Actief betrekken van cliënten bij diagnostiek en evaluatie Bespreken van uitkomsten met cliënten Vanuit een empathische, oplossingsgerichte houding - Inzicht - Reflectie - Verlichting draaglast - Realistische verwachtingen - Motivatie - Hoop - Self-verification - Self-enhancement - Self-efficacy - Vermindering problematiek bij ouder en kind - Toename (gevoelens van) competenties bij ouder en kind Onderzoek 1. Tharinger e.a. (2009) zagen afname probleemgedrag (ES=0,28 tot 0,74) en toename gezinscohesie (ES=0,38 tot 0,50) in 3 mnd. (wekelijkse sessies) 2. Meta-analyse van 17 studies met 1496 deelnemers gaf een een ES van 0,42 (Poston & Hanson, 2010) 3. Met name onderzoek bij kinderen en jeugdigen

21 Conclusie Niet alleen meten van effecten, maar ook effect van meten Periodiek meten van uitkomsten is een krachtige algemeen werkzame factor voor effectief hulpverlenen Dit mag jezelf en je cliënten niet onthouden! Maar: wat is er nodig om dit te gaan doen?

22 Factoren voor succesvolle implementatie Verzamelen van gegevens Genormeerde, betrouwbare en valide meetinstrumenten Aansluitend bij inhoud en doelen behandeling Systeem van voor- en nametingen (eventueel: tussentijds) Protocol voor gegevensverzameling Inbedding in werkprocessen Zicht op (non)respons Benutten van uitkomsten Bespreken met individuele cliënten Groepsrapportage voor beleid, verantwoording en verder onderzoek Voorstellen voor verbeteracties en verder onderzoek Randvoorwaarden Computerprogramma (zoals bijv. BergOp) Secretariaat voor invoer en verwerking Bewaking verankerd in de lijn Betrokkenheid inhoudelijk verantwoordelijken: effectivitteit is van ons Aanwezigheid procesbewaker/ aandachtsfunctionaris/ onderzoeker Know how om effectrapportages op teamniveau te maken Training, coaching, supervisie op alle onderdelen Communicatie met externe partijen (zoals verwijzers) Betrokkenheid directie/ management

23 Discussie Waarom doet niet iedereen het? Onbekendheid Tijdgebrek Complexiteit van het werk Wetenschappelijk schaamte Maatschappelijke schaamte Vrijblijvendheid (Veerman, 2008) Hoe evidence-based zijn we dan? Moeten we niet streven naar RCT s? En als we het niet doen?

24 Literatuur Finn, S.E. (2007). In our clients shoes. Theory and technique of therapeutic assessment. New York: Psychology Press. Kloosterman, M.V., & Veerman, J.W. (1999). Boddaert Belicht. Eindrapport Interventieonderzoek Boddaert. Utrecht: VOG. Lambert, M.J. (2010). Yes it is time for clinicians to routinely monitor treatment outcome. In B.L.Duncan, S.D. Miller, B.E. Wampold, & M.A. Hubble (Eds.), The heart and soul of change, Delivering what works in therapy(2 nd edition). (pp ). Washington, DC: American Psychological Association. Leijsen, M. (2008). Onderzoeksgegevens als sturingsinformatie voor hulpverleners en teams. In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg (blz ). Delft: Eburon. Poston, J.M., & Hanson, W.E. (2010). Meta-Analysis of Psychological Assessment as a Therapeutic Intervention. Psychological Assessment, 22, Sapyta, J., Riemer, M., & Bickman, L. (2005). Feedback to clinicians: Theory, research, and practice. Journal of Clinical Psychology, 61, Tharinger, D.J., Finn, S.E., et al. (2009). Therapeutic assessment with children. A pilot study of treatment applicability and outcome. Journal of Personality Assessment, 91, Veerman, J.W. (2008). Het mooie van meten. Maandblad Geestelijke Volksgezondheid, 63, Literatuur op te vragen bij jw.veerman@acsw.ru.nl Zie ook: voor databank NJi voor erkenningscommissie justitie voor informatie over ROM in GGZ voor informatie over ROM in GGZ Kinderpsychiatrie voor informatie voor uitkomstmetingen jeugdzorg voor informatie over het programma BergOp