Zicht op kwaliteit van de jeugdzorg Een wetenschappelijk perspectief Jan Willem Veerman Jeugd in Onderzoek Nieuwegein, 11-03-2013
Opbouw 1. Waar gaat het over? 2. Hoe ziet het eruit? 3. Hoe wordt het gebruikt? 4. Werkt het ook? 5. Hoe implementeren we het? 6. Besluit
1. Waar gaat het over?
Veel gebruikte termen Routine outcome monitoring (ROM) Routine outcome measurement (ROM) Periodieke uitkomstmetingen Herhaalde effectmetingen Uitkomstenmonitoring Uitkomstenmanagement Patient-focused research Praktijkgestuurd effectonderzoek Resultaatgericht meten
Een definitie Het systematisch volgen van veranderingen in problematiek of competenties bij cliënten die (jeugd)zorg ontvangen Via het periodiek, als onderdeel van het werk, afnemen van gestandaardiseerde tests of vragenlijsten En het benutten van deze uitkomsten voor interne behandelplanning en evaluatie in primair proces en beleid, voor externe verantwoording naar derden (o.a. financiers) en voor verder onderzoek
2. Hoe ziet het eruit?
Twee varianten 6 5 4 3 2 1 0 Diagnostiekvariant 6 5 4 3 2 1 Beloopsvariant Voormeting Nameting Norm 0 Maand 1Maand 2Maand 3Maand 4Maand 5Maand 6 Totaalscore Klinische groep Norm
Voorbeeld Diagnostiekvariant (Bron: BergOp 3.0)
Voorbeeld Benchmarkvariant
Oplossingsgericht bespreekstramien voor benutting van uitkomsten Activiteit Vraag Herkennen Zijn de uitkomsten te plaatsen? Begrijpen Kunnen we ze verklaren? Waarderen Vinden we ze goed genoeg? Handelen Zijn er verbeteracties nodig? Dit kan zowel in primair proces als bij beleid! Zie voor een voorbeeld in primair proces: http://www.insideout.nl/professionals/clinten_volgsysteem_frcm/filmpjes_bespreken_vragenlijsten
Professionaliseren: Waarom doen we het? Leren Goed voor de verbetering van het vak Profileren: Verantwoorden Goed voor de legitimering van het vak Profiteren: Kennis delen Goed voor de positionering van het vak
3. Hoe wordt het gebruikt?
Effectgrootte Jaarlijks meten en verbeteren bij IOG (Leijsen, 2008) 1,2 1 0,8 0,6 0,4 0,2 0 1999 2000 2001 2002 2003 2004 2005 Opvoedingsbelasting Gedragsproblemen Toelichting Effectgroottes: < 0,20: verwaarloosbaar 0,20 0,50: klein effect 0,50 0,80: middelgroot effect > 0.80: groot effect
Effect size van twee fictieve varianten van mijn behandeling voor gedragsproblemen vergeleken met landelijke standaarden 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
Effect sizes externaliserende problemen: Fictieve locaties onderling vergeleken 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 Locatie 1 Locatie 2 Locatie 3 Locatie 4
Deviatiescore CBCL Benchmarking van een beloop 4 3,5 3 2,5 2 1,5 1 0,5 0 bij opname een halfjaar na opname een jaar na opname anderhalf jaar na opname tw ee jaar na opname Norm Instelling A (fictief) Instelling B (fictief) Norm Bron voor de norm: Onderzoek Boddaertcentra Kloosterman & Veerman (1998)
4. Werkt het ook?
Hypothese: Periodiek meten is een algemeen werkzame factor voor effectief hulpverlenen Meten maakt therapeuten beter Meten maakt cliënten beter Meten maakt organisaties beter
% Reliable change Meten maakt therapeuten beter Effecten van feedback lijken klein: ES=0,10 (meta-analyse Knaup et al., 2009) Feedback werkt vooral bij cliënten bij wie een negatieve uitkomst dreigt ( not on track cases ): ES=0,53 tot 0,70 (meta-analyse Lambert & Shimokawa, 2011) % Reliable change uit deze studie in onderstaande figuur 60 50 40 30 20 Treatment as usual Feedback therapeut Feedback ther. & cliënt Feedback & support tools 10 0 Feedbackcondities
Meten maakt cliënten beter Therapeut Cliënt Uitkomst Actief betrekken van cliënten bij diagnostiek en evaluatie Bespreken van uitkomsten met cliënten Vanuit een empathische, oplossingsgerichte houding - Inzicht - Reflectie - Verlichting draaglast - Realistische verwachtingen - Motivatie - Hoop - Self-verification - Self-enhancement - Self-efficacy - Vermindering problematiek bij ouder en kind - Toename (gevoelens van) competenties bij ouder en kind Onderzoek 1. Tharinger e.a. (2009) zagen afname probleemgedrag (ES=0,28 tot 0,74) en toename gezinscohesie (ES=0,38 tot 0,50) in 3 mnd. (wekelijkse sessies) 2. Meta-analyse van 17 studies met 1496 deelnemers gaf een een ES van 0,42 (Poston & Hanson, 2010)
Meten maakt organisaties beter (Veerman, 1993, 1999, 2008 ) Meten heeft al effect als de lijsten rechtstreek de prullenbak ingaan Soorten effecten: Sensitiserend Structurerend Stimulerend Profilerend It seems to be the case that patients have a tendency to improve in a setting where structure is imposed by research design (Raskish, 1960) Dus: wil je een effectieve organisatie? Ga meten!
5. Hoe implementeren we het?
Randvoorwaarden voor succesvolle implementatie ROM (1) Betrokkenheid inhoudelijk verantwoordelijken Psychologen, pedagogen, psychiaters Eigenaarschap: onderzoek is van ons Benutting in eerste plaats in primair proces (hulpverlener-client en team/afdeling) Daarna voor beleid en wetenschap Betrokkenheid directie/ management Visie op interne ontwikkelingen Visie op externe ontwikkelingen Financiën
Randvoorwaarden voor succesvolle implementatie ROM (2) Geschikte meetinstrumenten Aansluitend bij inhoud en doelen behandeling Snel en makkelijk in te vullen Vaak af te nemen (wekelijks of maandelijks) Genormeerd, betrouwbaar en valide Ondersteuning Vanuit de lijn : bewaking logistiek Secretariaat: invoer, verwerking Contact met onderzoekers Techniek: computerprogramma, bijv. BergOp Training in gebruik vragenlijsten
Wat weten we over succesvolle implementatie evidence-based interventies? Want: dat moet dan ook voor de implementatie van ROM gelden!
Belang van parallelle processen Wetenschap: Empirische cyclus evidence Behandelingsbeleid: Kwaliteitscyclus Practicebased Evidencebased practice Primaire proces: Hulpverleningscyclus
6. Besluit
Gevaren? Meten (ROM) voor intern gebruik prima: verbeteren van effectiviteit en kwaliteit van zorg Voor extern gebruik, naar financiers: voorlopig niet doen (Van Os e.a., 2012) Casemix: appels en peren Belangenmix: naar jezelf toepraten Instrumentenmix: ratjetoe Meetmix: weet wat je meet Copyrightmix: en nog betalen ook
Conclusie Periodiek meten is op zich een bewezen effectieve methode, dus evidence-based Claim van Lambert e.a. (FB), Finn e.a. (TA) Onderzoeksgebieden FB en TA zijn nog gescheiden Maar leveren zo wel onafhankelijke bewijskracht Ook in meta-analyses onderwijs! (John Hattie) Periodiek meten is een krachtige algemeen werkzame factor van effectief hulpverlenen Hypothese Roosma, Van Yperen, Veerman Praktische implicatie: Periodiek meten (of ROM) mag je jezelf en je cliënten niet onthouden!