Monitoren van resultaten en werken met prestatie-indicatoren: principes en processen Jan Willem Veerman SEJN, 24 juni 2 Meten in de praktijk: zo doe je dat! Personele, materiële, organisatorische randvoorwaarden Bejegening Aanvang Interventie Einde Primair proces Personele, materiële, organisatorische randvoorwaarden Interventietheorie
Organiseren van effectmonitoring en werken met prestatie-indicatoren Drie principes Aansluiten Inbedden Benutten Drie niveaus Primaire proces Beleid Wetenschap Uit: Van Yperen & Veerman, 28, Hoofdstuk en 4) Aansluiten Keuze van meetinstrumenten en design, aansluiten bij: Inhoud interventies Niet meten om het meten Niet standaard de CBCL Wel vanuit theorie en doelen Niveau interventies In hoeverre staat de interventie? Hoe sterk uitgewerkt in protocol? Belangrijk in verband met toeschrijven van effecten Ervaring behandelaars Wat vinden zij belangrijke aspecten van de interventie? In hoeverre vinden zij dat randomisatie kan plaatsvinden? 2
Inbedden Meten moet onderdeel van het werk worden, daarom inbedding in: Procedures in de werkprocessen De lijn (werkbesprekingen, functioneringsgesprekken) Respons als maat voor inbedding Schoolcijfer-indicatie: 8% of meer is goed Benutten Benutting als kroon op het werk! Primair proces en beleid Verschillende niveaus van abstractie Primair proces: concreet en gedetailleerd (effectprofiel) Beleid: abstract en algemeen (% verandering) Conceptueel en instrumenteel Denken en doen Verbeteren en verantwoorden 3
Parallelle processen op drie niveaus Wetenschap: Empirische cyclus evidence Beleid: Kwaliteitscyclus Practicebased Evidencebased practice Primaire proces: Hulpverleningscyclus Waar doen we het voor? Evidence-based in 4 stappen (Effectladder Van Yperen & Veerman, 28, Hoofdstuk ) Effectstatus Bewezen effectief Indicatief effectief Theoretisch effectief Descriptief effectief Opiniërend effectief Typering interventie Werkzaam Doeltreffend Veelbelovend Potentieel Ongewis 4 3 2 De 5 W s (Orobio de Castro, 27) 4
Enkele voorbeelden Uitkomsten in primaire proces: CBCL-profiel (Bron: BergOp 3.) 5
Uitkomsten op teamniveau Effectgroottes IOG,2,,9,8,7,6,5,4,3,2,,2,97,93,89,82,8,79,74,74,68,62,5,44 999 2 2 22 23 24 25 Probleemgedrag Opvoedingsbelasting.8 : Groot effect.2-.49: Klein effect.5-.79: Middelgroot effect <.2 : Verwaarloosbaar effect Bron: Leijsen (28) Landelijk Families First (994-23),9,8,7,6,5,4,3,2, 3 5 7 9 3 5 7 9 Gem. Effectgrootte 2 onderzoeken op 5 locaties, verschillende jaren, totale N=65 (Veerman & Van Yperen, 25) 6
Landelijke uitkomsten Hulp aan Huis (Onderzoek De Meyer & Veerman, bron: Veerman, 28) 35 3 25 2 % 5 Excellent (++) Goed (+) Matig () Slecht (-) 5 Wat is het ideale beloop van gedragsproblemen? Bron: Kloosterman & Veerman (998) 4 3,5 Deviatiescore CBCL 3 2,5 2,5,5 bij een halfjaar na een jaar na anderhalf jaar na tw ee jaar na Norm A (fictief) B (fictief) 7
Wat is het ideale beloop van gedragsproblemen? Bron: Kloosterman & Veerman (999) 4 3,5 Deviatiescore CBCL 3 2,5 2,5,5 bij een halfjaar na een jaar na anderhalf jaar na tw ee jaar na Norm A (fictief) B (fictief) Conclusie Meten moet Maar moet georganiseerd worden Principes Processen % inspiratie, 99% transpiratie (Edison) We hebben beelden nodig: om te laten zien wat kan en om te inspireren om uitkomstmonitoring en werken met prestatieindicatoren levend en levendig te houden om te kunnen verbeteren en te verantwoorden 8
Literatuur BergOp 3.. Informatie te verkrijgen via www.bergop.info. Kloosterman, M.V., & Veerman, J.W. (999). Boddaert Belicht. Eindrapport Interventie-onderzoek Boddaert. Utrecht: VOG. Leijsen, M. (26). Onderzoeksgegevens als sturingsinformatie voor hulpverleners en teams. In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg (blz. 95-25). Delft: Eburon. Orobio de Castro, B. (27). Woede, wraak en leedvermaak. Op zoek naar drijvende krachten achter de ontwikkeling van gedragsproblemen. Kind en Adolescent, 28, 62-79. Veerman, J.W. (28). Methoden voor het kwantificeren en toetsen van effecten. In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg (blz. 37-329). Delft: Eburon. Veerman, J.W., & Yperen, Y.A. van (25, januari). Degrees of freedom and degrees of certainty. Developmental stages in the search for the effects of youth care. Paper presented at the preconference workshop Jeugdzorg in Onderzoek: focus op effectiviteit, Amsterdam, De Meervaart. Yperen, T.A. van & Veerman, J.W. (Red.). (28). Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Delft: Eburon. 9