Sturen op resultaten. Zijn gestandaardiseerde vragenlijsten bruikbaar?

Maat: px

Weergave met pagina beginnen:

Download "Sturen op resultaten. Zijn gestandaardiseerde vragenlijsten bruikbaar?"

Anita Martens
7 jaren geleden
Aantal bezoeken:

1 Sturen op resultaten Zijn gestandaardiseerde vragenlijsten bruikbaar? Anna van Spanje (Kenniscentrum Kinder- en Jeugdpsychiatrie) Jan Willem Veerman (Radboud Universiteit, NJi / SEJN) Congres Transformeren doe je samen Ede, 16 juni 2014

2 Opzet workshop Inleiding Inventarisatie thema s Bespreking thema s Afsluiting

3 Onze niche Bron: Van Yperen e.a. (2014)

4 Veel gebruikte termen Routine outcome monitoring (ROM) Routine outcome measurement (ROM) Periodieke uitkomstmetingen Herhaalde effectmetingen Uitkomstenmonitoring Uitkomstenmanagement Patient-focused research Praktijkgestuurd effectonderzoek Resultaatgericht meten

effectmetingen Uitkomstenmonitoring Uitkomstenmanagement

5 Een definitie Het systematisch volgen van veranderingen in problematiek of competenties bij cliënten die (jeugd)zorg ontvangen Via het periodiek, als onderdeel van het werk, afnemen van gestandaardiseerde tests of vragenlijsten En het benutten van deze uitkomsten voor interne behandelplanning en evaluatie in primair proces en beleid, voor externe verantwoording naar derden (o.a. financiers) en voor verder onderzoek

tests of vragenlijsten En het benutten van deze uitkomsten voor interne behandelplanning en evaluatie in

6 Een voorbeeld: Hoe gaat het met cliënt X?

7 Nog een (fictief) voorbeeld: Hoe doen we het als instelling vergeleken met anderen? 80% 70% 60% 50% 40% 30% 20% 10% 0% Onze instelling Andere instelling Landelijke benchmark Verbeterd Gelijk Achteruit

8 Wat heb je eraan? Praktijk: Vergroten kwaliteit en effectiviteit jeugdzorg Onderzoek: Beter onderzoekbaar maken van de jeugdzorg Beleid: Verantwoording van de jeugdzorg

9 Inventarisatie thema s

10 Implementatie (1) Betrokkenheid inhoudelijk verantwoordelijken Psychologen, pedagogen, psychiaters Eigenaarschap: onderzoek is van ons Benutting in praktijk en beleid Betrokkenheid directie/ management Visie op interne ontwikkelingen Visie op externe ontwikkelingen Partnership met onderzoeksorganisaties Financiën Aanstelling procesbewaker Aanschaf/ licentie computerprogramma (internet)

directie/ management Visie op interne ontwikkelingen Visie op externe ontwikkelingen Partnership

11 Implementatie (2) Geschikte meetinstrumenten Aansluitend bij inhoud en doelen behandeling Snel en makkelijk in te vullen Vaak af te nemen (wekelijks of maandelijks) Genormeerd, betrouwbaar en valide Ondersteuning Vanuit de lijn : bewaking logistiek Secretariaat: invoer, verwerking Contact met onderzoekers Techniek: computerprogramma, bijv. BergOp Training in gebruik vragenlijsten Regelmatige terugkoppeling van respons van inhoud

Vanuit de lijn : bewaking logistiek Secretariaat: invoer, verwerking Contact met onderzoekers Techniek:

12 Wat gaat goed? Nr. Item Gem. Niet Deels Geheel C1 A2 A1 Enquête SEJN-leden (N=26) Er is goed werkende software aanwezig om individuele profielen uit te draaien, gegevens op te slaan en zo nodig voor verder onderzoek aan te leveren. Werkers zijn geïnstrueerd om meetinstrumenten in te (laten) vullen. Er wordt gebruik gemaakt van betrouwbare en valide meetinstrumenten. 1, , , A3 Er is sprake van een voormeting en een nameting. 1, A8 A4 C2 Het afnemen van meetinstrumenten is zichtbaar ingebed in de werkprocessen. Er is een voor iedereen duidelijk protocol voor de gegevensverzameling. Er is een (pro)actief secretariaat voor het invoeren en controleren van gegevens. 1, , ,

aan te leveren. Werkers zijn geïnstrueerd om meetinstrumenten in te (laten) vullen. Er wordt gebruik gemaakt van betrouwbare en valide meetinstrumenten.

13 Enquête SEJN-leden (N=26) Wat kan beter? Nr. Item Gem. Niet Deels Geheel B7 A7 B2 B6 Resultaten worden aantoonbaar gebruikt voor verdere wetenschappelijke theorievorming en onderzoek. Er is respons van minimaal zestig procent op de voor- en nameting Individuele uitslagen van voor- en nametingen spelen een rol bij intervisie en supervisie (bijvoorbeeld in werkoverleg en behandelplanbesprekingen). Resultaten van meerdere teams (afdelingen, interventies, hele instelling) worden door directie en management zichtbaar benut voor sturing van het beleid van de instelling. 0, , , , A6 Er is respons van minimaal 80% op de voormeting 0, C9 C6 Er is een programma voor scholing en bijscholing voor het werken met instrumenten en het benutten van uitkomsten. Monitoring en bewaking van gegevensverzameling zijn verankerd in de lijn. 0, ,

behandelplanbesprekingen). Resultaten van meerdere teams (afdelingen, interventies, hele instelling) worden door directie en management zichtbaar benut voor sturing van het beleid van de instelling.

14 Benutting Cijfers spreken niet voor zich, er moet over gesproken worden Activiteit Herkennen Vraag Zijn de uitkomsten te plaatsen? Begrijpen Waarderen Handelen Kunnen we ze verklaren? Vinden we ze goed genoeg? Zijn er verbeteracties nodig? Op individueel cliëntniveau en op niveau van teams en instellingen

Begrijpen Waarderen Handelen Kunnen we ze verklaren?

15 Effectsize Jaarlijks meten en verbeteren (Leijsen, 2008) 1,2 1 0,8 0,6 0,4 0, Opvoedingsbelasting Gedragsproblemen Toelichting Effect sizes: < 0,20: verwaarloosbaar 0,20 0,50: klein effect 0,50 0,80: middelgroot effect > 0.80: groot effect

Gedragsproblemen Toelichting Effect sizes: < 0,20: verwaarloosbaar

16 Werken met vragenlijsten (1) Verschillende vragenlijsten ASEBA (CBCL, YSR, TRF) SDQ Kidscreen HoNOSCA Verschillende informanten Ouder Kind Leerkracht

17 Werken met vragenlijsten (2) Benutting in de behandeling Benutting in het team of in de instelling Benutting voor wetenschappelijk onderzoek

18 Kritische noten voor sturing (zie Van Os e.a., 2012) Casemix: appels en peren Belangenmix: naar jezelf toepraten Instrumentenmix: grote verschillen Meetmix: weet wat je meet Copyrightmix: betalen of niet?

19 Samenwerking is een must Beleid Praktijk Wetenschap

20 Ingangen voor samenwerking Praktijk Werk meetbaar willen maken In gesprek durven gaan Beleid Vragen naar effecten van het werk In gesprek willen gaan Wetenschap Ondersteuning in methoden en technieken In gesprek mogen gaan

effecten van het werk In gesprek willen gaan Wetenschap

21 Samenvatting en afsluiting Samen sturen!

22 Anna van Spanje Jan Willem Veerman

Vergelijkbare documenten

Zicht op kwaliteit van de jeugdzorg Een wetenschappelijk perspectief

Zicht op kwaliteit van de jeugdzorg Een wetenschappelijk perspectief Jan Willem Veerman Jeugd in Onderzoek Nieuwegein, 11-03-2013 Opbouw 1. Waar gaat het over? 2. Hoe ziet het eruit? 3. Hoe wordt het gebruikt?