Invoering praktijkgestuurd effectonderzoek jeugdzorg Utrecht Inventarisatie stand van zaken en plannen van aanpak

Invoering praktijkgestuurd effectonderzoek jeugdzorg Utrecht Inventarisatie stand van zaken en plannen van aanpak Marc Delsing Gert Kroes Jan Willem Veerman

Invoering praktijkgestuurd effectonderzoek jeugdzorg Utrecht Inventarisatie stand van zaken en plannen van aanpak

Praktikon BV Postbus 9104 6500 HE Nijmegen www.praktikon.nl tel. 024-3611150 praktikon@acsw.ru.nl fax. 024-3611152 2009 Praktikon Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen zonder de voorafgaande schriftelijke toestemming van Praktikon. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.

Inhoudsopgave Hoofdstuk 1 Inleiding 5 Hoofdstuk 2 Kader 7 2.1 Achtergrond 7 2.2 Uitgangspunten 8 Fase 1: Inventarisatie 11 Hoofdstuk 3 Doel en opzet fase 1 13 Hoofdstuk 4 Resultaten fase 1 15 4.1 Met betrekking tot de huidige situatie 15 4.2 Met betrekking tot de gewenste situatie 18 4.3 Met betrekking tot het bereiken van de gewenste situatie 20 Hoofdstuk 5 Conclusies en aanbevelingen fase 1 23 Fase 2: Plannen van aanpak 29 Hoofdstuk 6 Doel en opzet fase 2 31 Hoofdstuk 7 Resultaten fase 2 33 Hoofdstuk 8 Conclusies en aanbevelingen fase 2 35 Bijlagen 39 Bijlage 1 Overzicht prestatie-indicatoren 41 Bijlage 2 Topics gesprekken praktijkinstellingen jeugdzorg 42 Bijlage 3 Voorbeeld Effect sheet CBCL/6-18 44 Bijlage 4 Format plan van aanpak invoering praktijkgestuurd 45 effectonderzoek Bijlage 5 Criteria en scoringslijst Best Research Practice 47 Colofon 49

Hoofdstuk 1. Inleiding Het hier beschreven project is uitgevoerd door Praktikon in opdracht van de Provincie Utrecht en had als algemeen doel om samen met elk van de zeven Utrechtse jeugdzorgaanbieders (Joozt-LSG, Lijn 5, De Rading, Timon, Trajectum, UJL en Zandbergen) en het Bureau Jeugdzorg een plan van aanpak op te stellen voor de invoering van praktijkgestuurd effectonderzoek in de periode 2009-2011. Dit plan dient te voorzien in de realisatie van een eerder door de stuurgroep Utrechtse Jeugd Centraal vastgesteld projectplan. Het onderzoek kent twee fasen. Doel van Fase 1 is te inventariseren wat bij elke zorgaanbieder de huidige en gewenste situatie is ten aanzien van praktijkgestuurd effectonderzoek. Op basis van deze inventarisatie zal een advies gegeven worden over: - De functionaliteiten van een samenhangend instrumentarium en de plek in de keten waar dit instrumentarium wordt geïmplementeerd. - De functionaliteiten van de database voor opslag en bewerking van gegevens. - De wijze van analyseren van gegevens, zodanig dat benchmarking tussen aanbieders mogelijk is. - De wijze van gegevensuitwisseling tussen betrokken partijen. - De relatie met de landelijk in te voeren prestatie-indicatoren 1. Dit advies dient als basis voor Fase 2 waarin de aandachtsfunctionaris van elke zorgaanbieder onder begeleiding van Praktikon gaat werken aan een plan van aanpak voor implementatie. Op basis van dit plan van aanpak zal de Provincie Utrecht vaststellen op welke wijze middelen beschikbaar zal stellen voor de uitvoeringsfase bij de Utrechtse zorgaanbieders en het Bureau Jeugdzorg In dit rapport worden allereerst het Utrechtse en landelijke kader en de context van het onderzoek geschetst. Daarna volgt per fase een bespreking van de vraagstellingen en opzet, de resultaten en de belangrijkste conclusies, waarna in een slothoofdstuk de algemene conclusies en aanbevelingen worden gegeven. 1 Interprovinciaal Overleg / IPO (2006). Prestatie-indicatoren jeugdzorg. Naar een gezamenlijke integrale visie en implementatie. Den Haag: IPO (www.ipo.nl). 5

6

Hoofdstuk 2. Kader 2.1 Achtergrond De Nederlandse jeugdzorg is de laatste jaren sterk in beweging. In de aanloop naar en bij de implementatie van de in 2005 in werking getreden Wet op de jeugdzorg was en is het creëren van meer samenhang in het beleid en de organisatie van de jeugdzorg een belangrijk thema. Het brengen van samenhang in beleidsonderdelen van verschillende ministeries vormt ook het hart van de opdracht van de nieuwe programmaminister voor Jeugd en Gezin. Het beleidsprogramma van het in 2007 opgerichte programministerie kent als centrale punten dat de kracht van het gezin versterkt en beter benut wordt, dat er een omslag naar preventief werken dient te komen en dat we de vrijblijvendheid voorbij zijn: ongewenste situaties mogen niet voortduren, iedereen moet zijn verantwoordelijkheid nemen wanneer een kind of gezin in de problemen dreigt te raken 2. Deze ontwikkelingen vormden voor de provinciale staten en het college van gedeputeerden aanleiding om het beleid ten aanzien van de jeugdzorg een inhoudelijke en bestuurlijke vernieuwingsimpuls te geven. Dit resulteerde in het in mei 2008 uitgebrachte programmaplan Utrechtse Jeugd Centraal (UJC). Het programmaplan pleit voor een omslag in het denken en handelen in de jeugdzorg en formuleert daarvoor drie leidende principes: 1. het centraal stellen van het kind, waarbij niet het voorhanden aanbod leidend moet zijn voor het inzetten van hulp, maar de vraag en het probleem van het kind (vraagsturing), 2. empowerment van kind en opvoedingssysteem als grondslag van de hulpverlening, ouders aanspreken op hun verantwoordelijkheid en versterken van competenties zijn hierbij belangrijke thema s, en 3. werken met bewezen effectieve interventies door professionals die een partnership aangaan met cliënten, het zoeken naar de samenhang tussen algemeen werkzame en specifiek werkzame factoren om zo goed mogelijk op de vraag van de cliënt in te spelen. Uit het programmaplan wordt ook duidelijk dat de verantwoordelijkheid voor het jeugd(zorg)beleid geen exclusieve zaak is voor de provincie, maar gezamenlijk gedragen moet worden door de provincie, het rijk, de gemeenten en de jeugdzorg- en onderwijsinstellingen uit de verschillende sectoren. Het onderhavige onderzoek richt zich echter in eerste plaats uitsluitend op de provinciale jeugdzorgaanbieders en het Bureau Jeugdzorg. Om de ambities van het programmaplan te concretiseren is een zestal programmalijnen opgesteld, waaronder de programmalijn Kwaliteit van zorg en zorgvernieuwing. Het doel van deze programmalijn is de effectiviteit van interventies op een hoger plan te brengen door het toepassen en ontwikkelen van aantoonbaar bewezen effectieve interventies en door het versterken van het partnership tussen professional en cliënt. Hiervoor is een verbeterslag nodig van de kwaliteit en effectiviteit van het huidige aanbod in de keten van de Utrechtse jeugdzorg. De landelijke aanpak Zicht op 2 Zie Alle kansen voor kinderen, het actieprogramma van het ministerie voor Jeugd en Gezin uit 2007. 7

Effectiviteit is hierbij leidend 3, binnen de context van het programma UJC. De uitgangspunten van deze aanpak en de aansluiting bij het landelijke traject van resultaatmeting in de jeugdzorg worden in de volgende paragraaf verder verduidelijkt. De Utrechtse zorgaanbieders hadden al vóór de uitvoeringsfase van het programma UJC een eerste stap gezet door af te spreken om op uniforme wijze het Utrechtse jeugdzorgaanbod te beschrijven en te onderbouwen, o.a. met ondersteuning van Praktikon 4. Inmiddels is deze eerste stap afgerond en is een aantal modules binnen het Utrechtse jeugdzorgaanbod zodanig beschreven dat inzichtelijk wordt wat de werkzame elementen zijn binnen die module, voor welke doelgroep de module werkzaam is en waarom. Een logische volgende stap is het meten of de betreffende module daadwerkelijk leidt tot de beoogde effecten, waarbij de specifieke doelen van de modules als uitgangspunt dienen. Het opzetten van praktijkgestuurd effectonderzoek is dan ook de volgende trede op de effectladder, zoals beschreven door Van Yperen en Veerman in het handboek Zicht op Effectiviteit. Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en ten opzichte van buitenstaanders te legitimeren is (Van Yperen & Veerman, 2008, p. 23). Praktijkgestuurd effectonderzoek impliceert dat effectonderzoek zowel wetenschappelijk verantwoord als voor de praktijk uitvoerbaar en bruikbaar dient te zijn en in samenwerking tussen onderzoekers en praktijkfunctionarissen dient te worden uitgevoerd 2.2 Uitgangspunten 1. Praktijkgestuurd effectonderzoek (1) sluit aan bij wensen en feitelijke situatie van een instelling voor jeugdzorg, waarbij (2) procedures en instrumenten deel gaan uitmaken van het hulpverlenend handelen en (3) resultaten benut worden op uitvoerings- en beleidsniveau 5. 2. Instellingen zijn zelf eigenaar van praktijkgestuurd effectonderzoek. Om die reden kiest Praktikon er dan ook voor om in het kader van de huidige opdracht niet zelf plannen van aanpak te schrijven, maar dit onder haar begeleiding door aandachtsfunctionarissen van de instellingen te laten doen. Zowel uitgangspunt 1 als 2 sluiten aan bij het provinciale beleidskader 2009-2012 van de Provincie Utrecht. 3. Vergelijkbaarheid van gegevens is vereist. Instelling zijn niet vrij om voor zichzelf een uniek instrumentarium voor praktijkgestuurd effectonderzoek te kiezen, het onderhavige project moet uitmonden in een gezamenlijk gedragen instrumentarium 6. 3 Zie Utrechtse jeugd centraal. Utrecht: Provincie Utrecht. Zie www.sejn.nl voor informatie over het project Zicht op Effectiviteit. 4 Zie Zorgaanbod beschrijven en onderbouwen. Het provinciaal gefinancierde zorgaanbod in de provincie Utrecht beschreven en theoretisch onderbouwd. Utrecht: NJi. 5 Zie Yperen, T.A. van & Veerman, J.W. (Red.). (2008). Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek. Delft: Eburon. 6 Instellingen kunnen voor specifieke doelgroepen uiteraard wel specifieke vragenlijsten inzetten naast het gezamenlijk gedragen instrumentarium. 8

Datzelfde geldt voor de wijze van opslag, bewerking en uitwisseling van gegevens die worden verzameld met praktijkgestuurd effectonderzoek. Wat betreft de functionaliteiten gaat het erom dat de gekozen instrumenten aan expliciet te formuleren kwaliteitseisen dienen te voldoen. Deze hebben onder meer te maken met de betrouwbaarheid, validiteit en bruikbaarheid van instrumenten. Bovendien dient de database geschikt te zijn om het gebruik van die instrumenten in het kader van praktijkgestuurd effectonderzoek te ondersteunen en gegevensuitwisseling met andere instellingen en andere registratiesystemen mogelijk te maken 7. 4. Praktijkgestuurd effectonderzoek dient aan te sluiten bij het invoeringstraject van de landelijk vastgestelde prestatie indicatoren jeugdzorg (zie Bijlage 1), zoals de reeds ingevoerde C-toets/ exitvragenlijst, doelrealisatie, registratie reden beëindiging zorg en de (nog in te voeren) STEP bij BJZ. In het kader van UJC is gekozen om in aanvulling op deze in het kader van de landelijke prestatie indicatoren vastgestelde instrumenten de Child Behavior Checklist (CBCL) te gaan gebruiken. In dit onderzoek moet duidelijk worden wat de plek van de CBCL in de keten zal worden en welke instrumenten daarnaast nog van belang kunnen zijn voor het meten van vermindering van de gezinsproblemen in de Utrechtse jeugdzorg. En tenslotte dient er afstemming plaats te vinden met de andere prestatie-indicatoren, zoals de mate van reguliere beëindiging van de hulp en de vraag naar voortgezette hulp in al dan niet zwaardere vorm. 5. Het meten van de verschillende prestatie-indicatoren in hun onderlinge samenhang impliceert ook dat er een goede afstemming dient te zijn tussen de verschillende ketenpartners, met name tussen Bureau Jeugdzorg en de zorgaanbieders. Immers, een systematische analyse van aard en ernst van de problemen door het Bureau Jeugdzorg draagt wezenlijk bij aan adequate doorverwijzingen naar betreffende modules. Het heeft geen zin om het effect van een module te meten wanneer niet eerst systematisch inzichtelijk wordt gemaakt waarom juist deze module antwoord biedt op de problematiek van de cliënt. 6. Er is een nauwe relatie tussen praktijkgestuurd effectonderzoek, professionalisering en vraagsturing. Zo zal het gebruiken van instrumenten in het primaire proces leiden tot verdere professionalisering van uitvoerders. Zij krijgen instrumenten in handen om hun werk beter te doen. Met name het bespreken van uitkomsten van vragenlijsten als de CBCL met ouders en andere betrokkenen kan, los van de feitelijke uitkomsten, het hulpverleningsproces al ten goede komen 8. Daarnaast geven uitkomsten feedback op het handelen en mogelijkheden tot bijsturen. Omdat instrumenten ook door ouders en jeugdigen worden ingevuld zullen worden zal hierdoor ook beter aangesloten kunnen worden op de vraag van cliënten. Dit zal vraagsturing geven aan de uitvoering van de zorg. Tenslotte zal het werken met instrumenten zeker deel moeten gaan uitmaken van de pilots zorgvernieuwing, waardoor zicht ontstaat op de effectiviteit van deze pilots. 7 Te denken valt aan IJ en CARE4. 8 Veerman, J.W. (2008). Het mooie van meten. Maandblad Geestelijke Volksgezondheid, 63, 1019-1024. 9

10

Fase 1. Inventarisatie 11

12

Hoofdstuk 3. Doel en opzet fase 1 Het doel van de eerste fase was in de eerste plaats het in kaart brengen van de stand van zaken bij zorgaanbieders en BJZ t.a.v. praktijkgestuurd effectonderzoek, na te gaan welke ambities men heeft t.a.v. praktijkgestuurd effectonderzoek en hoe men vanuit de huidige situatie daar kan komen. Op basis van deze inventarisatie zal in de tweede plaats een advies gegeven worden over: - De functionaliteiten van een samenhangend instrumentarium en de plek in de keten waar dit instrumentarium wordt geïmplementeerd. - De functionaliteiten van de database voor opslag en bewerking van gegevens. - De wijze van analyseren van gegevens, zodanig dat benchmarking tussen aanbieders mogelijk is. - De wijze van gegevensuitwisseling tussen betrokken partijen. - De relatie met de landelijk in te voeren prestatie-indicatoren 9. Om een inventarisatie te maken van de stand van zaken t.a.v. praktijkgestuurd effectonderzoek bij zorgaanbieders en BJZ, is bij elke instelling een gesprek gevoerd met een directielid en/of andere leidinggevende(n), de reeds aangewezen aandachtsfunctionaris en in een aantal gevallen ook uitvoerend werkers. De gesprekken zijn door twee onderzoekers van Praktikon gevoerd (een senior en een onderzoeker). De gesprekken in de eerste fase zijn vooraf gegaan door een gezamenlijke bijeenkomst van de aandachtsfunctionarissen en de onderzoekers, waarin het doel van de gesprekken is voorbesproken aan de hand van een topiclijst (zie Bijlage 2), zodat de gesprekken werden voorgestructureerd en zo effectief en efficiënt mogelijk zouden verlopen. Uit deze topiclijst en de reacties daarop tijdens de gezamenlijke bijeenkomst van aandachtsfunctionarissen en de onderzoekers is een semigestructureerd interview samengesteld. Dit interview bevat de volgende vragen, die in de inventariserende gesprekken bij de afzonderlijke instellingen aan de orde zijn gekomen 10 : A. Met betrekking tot de huidige situatie: 1. Welke vragenlijsten worden gebruikt om ernst en aard van klachten te meten? Wanneer worden deze afgenomen? 2. Welke ervaringen heeft de instelling met effectonderzoek en welke instrumenten worden gebruikt om effecten van zorg te meten? 3. Hoe worden vragenlijstgegevens geregistreerd/opgeslagen? 4. Hoe worden vragenlijstgegevens benut? 5. Hoe ervaart men het werken met vragenlijsten? B. Met betrekking tot de gewenste situatie: 6. Welke andere vragenlijsten dan de CBCL en de STEP worden voorgesteld in het kader van een samenhangend instrumentarium voor invoering van praktijkgestuurd effectonderzoek, en welke vragenlijsten worden afwijkend van het samenhangend instrumentarium voorgesteld ten behoeve van specifieke doelgroepen? 9 Interprovinciaal Overleg / IPO (2006). Prestatie-indicatoren jeugdzorg. Naar een gezamenlijke integrale visie en implementatie. Den Haag: IPO (www.ipo.nl). 10 Hierbij wordt in aanmerking genomen dat de positie van Bureau Jeugdzorg een andere is dan die van de zorgaanbieders. De afstemming tussen deze twee partijen was in elk gesprek een aandachtspunt. 13

7. Op welke plek in de keten zou het voorgestelde instrumentarium moeten worden geïmplementeerd? 8. Hoe dienen de gegevens die met de vragenlijsten worden verzameld te worden geregistreerd en geanalyseerd? 9. Hoe wil men vragenlijstgegevens benutten? C. Met betrekking tot het bereiken van de gewenste situatie: 10. Hoe denkt men van de huidige naar de gewenste situatie te kunnen komen en hoeveel tijd denkt men hiervoor nodig te hebben? Door de onderzoeker van Praktikon is van elk gesprek in Fase 1 een verslag gemaakt. Dit verslag is naar de jeugdzorginstellingen en BJz gestuurd met het verzoek eventuele correcties en aanvullingen erin aan te brengen. De belangrijkste resultaten van deze gesprekken worden in het volgende hoofdstuk weergegeven. 14

Hoofdstuk 4. Resultaten fase 1 In dit hoofdstuk worden de resultaten van de inventariserende gesprekken van fase 1 weergegeven. De eerder geformuleerde vraagstellingen vormen hiervoor het kader. We geven hier een samenvatting van de antwoorden die de gesprekken met de afzonderlijke instellingen hebben opgeleverd. De tekst geeft dus de mening van de zorgaanbieders en BJZ weer, op een paar plaatsen aangevuld met een suggestie van de onderzoekers of een voorstel dat gedaan is na bespreking van deze resultaten in het overleg met de aandachtsfunctionarissen. 4.1 Met betrekking tot de huidige situatie 4.1.1 Welke vragenlijsten worden gebruikt om ernst en aard van klachten te meten? Wanneer worden deze afgenomen? Deze vraag richt zich in eerste instantie op een breed scala aan vragenlijsten die voor effectmeting gebruikt zouden kunnen worden, zowel voor het meten van de ernst van klachten bij het kind of de jongere als voor het meten van (opvoedings)problematiek bij ouders of algehele gezinsproblematiek. Uit de antwoorden blijkt dat sommige zorgaanbieders gebruik maken van de CBCL (kindproblematiek) en, in mindere mate, de NOSI (opvoedingsstress) bij ouders. Maar dit gebeurt veelal incidenteel, op basis van indicatie wanneer er aanleiding voor is in diagnostische zin. Slechts bij een enkel programma of module maakt afname van de CBCL standaard deel uit van de methodiek. Overige instrumenten die genoemd worden en die worden ingezet bij specifieke hulpvormen zijn: - GIH observatielijst: lijst die binnen pleegzorg wordt gebruikt als indicatie voor hechtingsproblematiek - Parent Daily Report (PDR): Vragenlijst bestaande uit 5 vragen die betrekking hebben op hoe het in de thuissituatie gegaan is. Bij BJZ wordt om de aard en ernst van de klachten te meten onder andere de Toolkit diagnostiek gebruikt. In het kader van het traject Verbetering Indicatiestelling Bureaus Jeugdzorg (VIB), dat landelijke richtlijnen geeft voor het gebruik van instrumenten bij indicatiestelling, dienen een aantal instrumenten standaard te worden ingezet bij de Toegang. Dit zijn de GCT (gestructureerde Checklist Toegang), de STEP en de CBCL. De STEP geeft een schatting door de medewerker van BJZ van ernst van de klachten, de risico s voor jongere en omgeving en de zorgzwaarte. Tijdens de inventarisatieronde is niet helemaal duidelijk geworden in hoeverre deze instrumenten ook daadwerkelijk bij BJZ Utrecht zijn geïmplementeerd. Optioneel bij de Toegang zijn de LIRIK (Licht Instrument Risicotaxatie Kindermishandeling) en de CARE-NL; deze instrumenten kunnen worden afgenomen indien er een vermoeden van kindermishandeling bestaat. Daarnaast wordt de NOSI (incidenteel?) gebruikt om de opvoedingsproblematiek bij de ouders te meten. 15

4.1.2 Welke ervaringen heeft de instelling met effectonderzoek en welke instrumenten worden gebruikt om effecten van zorg te meten? Effecten van hulpverlening worden op verschillende manieren gemeten. Allereerst worden in het kader van de landelijke prestatie indicatoren jeugdzorg gegevens verzameld, waarover jaarlijks prestatieafspraken worden gemaakt met de Provincie Utrecht. Instellingen maken momenteel hiervoor gebruik van verschillende instrumenten: - de C-toets om cliënttevredenheid te meten. Dit instrument wordt doorgaans (twee)jaarlijks afgenomen bij cliënten en hun ouders. De C-toets is over het algemeen goed geïmplementeerd en de verkregen gegevens worden teruggekoppeld naar de betrokkenen. Daarnaast worden in een enkel geval nog korte zelf ontwikkelde instrumenten afgenomen om de cliënttevredenheid bij afsluiting van de hulp te meten. Overigens is landelijk een keuze gemaakt voor invoering van de EXITvragenlijst, die gekoppeld is aan de prestatie-indicatoren. Deze moet nog geïmplementeerd worden. Een aantal Zorgverleners overweegt de frequentie van afname van de C-toets verminderen als de EXIT-vragenlijst is ingevoerd, of de C- toets helemaal niet meer af te nemen. Ook worden gegevens met betrekking tot uitval door Zorgaanbieders geregistreerd. - Doelrealisatie: sinds 2005 vindt bij alle instellingen de registratie van doelrealisatie plaats aan de hand van de KWIS-domeinen. De doelrealisatie wordt gescoord door hulpverlener, ouder, cliënt en casemanager van BJZ. - Reden beëindiging zorg door zorgaanbieders. - De STEP bij BJZ; onduidelijk is nog in welke mate dit instrument wordt ingezet. Tot slot wordt bij zorgaanbieder de effecten van zorg incidenteel gemeten aan de hand van herhaaldelijk afgenomen instrumenten als CBCL en NOSI. 4.1.3 Hoe worden vragenlijstgegevens geregistreerd/opgeslagen? De gegevens van de C-toets worden geregistreerd met het aan de toets gekoppelde programma. Een aantal Zorgaanbieders geeft aan voor de verwerking iemand in te huren. De met de vragenlijst verzamelde gegevens worden dan vervolgens centraal verwerkt in rapporten. Gegevens met betrekking tot doelrealisatie en uitval worden in de meeste gevallen in Care4 geregistreerd. De gegevens die met de CBCL worden verzameld worden in het daaraan gekoppelde softwareprogramma ingevoerd of in BergOp. BIJ BJZ worden de STEP en CBCL verwerkt en opgeslagen in BergOp. Gegevens die met de CARE-NL en de LIRIK zijn verzameld worden geregistreerd in de contactjournaals veiligheid en in het cliëntdossier. 4.1.4 Hoe worden vragenlijstgegevens benut? Doelrealisatiegegevens (in de vorm van percentages) worden elk jaar naar de Provincie gestuurd ter verantwoording. In een enkel geval worden doelrealisatiegegevens geaggregeerd op afdelingsniveau. Verschillen tussen afdelingen zijn dan onderwerp van discussie. Benutting op deze wijze staat echter veelal nog in de kinderschoenen. In een enkel geval is er discussie naar aanleiding van verschillen tussen de beoordeling van 16

doelrealisatie door de cliënt, diens ouder(s), de zorgverlener en/of de casemanager van BJZ. Over het algemeen is echter nog onduidelijk wat de doelrealisatiescores nu precies betekenen en zijn de zorgaanbieders van mening dat deze scores lastig te interpreteren zijn, zolang ze niet gekoppeld kunnen worden aan andere gegevens over het verloop van de behandeling zoals gegevens met betrekking tot aard en ernst van de problematiek. Ook BJZ is van mening dat met name de GAS-scoring nog van onvoldoende kwaliteit is om de resultaten zinvol te kunnen benutten. BJZ wil vanaf de tweede helft van 2009 doelen gaan formuleren op domein- en doelgebiedniveau. Kortom, zowel voor de zorgaanbieders als voor BJZ geldt dat de rapportages over uitsluitend doelrealisatie nog niet als erg zinvol worden ervaren. Diverse zorgaanbieders en BJZ spreken echter tegelijkertijd de verwachting uit dat, wanneer het in de toekomst mogelijk wordt om gegevens van meerdere prestatie-indicatoren naast elkaar te leggen, de interpretatie van doelrealisatiescores helderder zal worden en de betekenis ervan kan toenemen doordat ze in een bredere context geplaatst kunnen worden. De CBCL en NOSI worden met name gebruikt voor diagnostiek op individueel niveau (wanneer hulpverleners vragen hebben of in handelingsverlegenheid geraken) en zelden of niet op geaggregeerd niveau (afdelingen, modules). Scores op de C-toets worden in de meeste gevallen teruggekoppeld naar de betrokkenen. Ook bij BJZ worden de CBCL, STEP en NOSI vooral gebruikt ten behoeve van de indicatiestelling. 4.1.5 Hoe ervaart men het werken met vragenlijsten? Werken met vragenlijsten wordt door de meeste instellingen inclusief BJZ - als tamelijk arbeidsintensief ervaren; het vormt een grote administratieve last. Als het gebruik is ingebed in het primaire proces (instrumenten worden benut voor diagnostiek en indicatiestelling), is dit minder het geval dan wanneer lijsten standaard afgenomen moeten worden. Met name de CBCL en NOSI brengen voor de cliënt veel invulwerk met zich mee. Doelregistratie en C-toets zijn over het algemeen dusdanig ingebed in de praktijk van alledag dat ze niet direct ervaren worden als extra werk. Bij BJZ is de ervaring dat er expliciet en langdurig op het gebruik van vragenlijsten gecoacht moet worden wil een en ander naar behoren verlopen. Daarnaast dienen de nodige randvoorwaarden (opvang urenverlies etc.) te zijn gewaarborgd. Zo vergt de implementatie van de VIB-instrumenten (STEP, CBCL, LIRIK en CARE-NL) bij BJZ veel tijd. De eerste ervaringen met deze instrumenten wijzen uit dat het gebruik van genormeerde vragenlijsten (CBCL) eerder als een meerwaarde ervaren wordt dan het gebruik van zogenoemde practice-based instrumenten (onduidelijk is welke instrumenten daarmee precies bedoeld zijn), die slechts dienen om het onderzoek en de aard van de problematiek te systematiseren. 17

4.2 Met betrekking tot de gewenste situatie 4.2.1 Welke andere vragenlijsten dan de CBCL worden voorgesteld in het kader van een samenhangend instrumentarium voor invoering van praktijkgestuurd effectonderzoek, en welke vragenlijsten worden afwijkend van het samenhangend instrumentarium voorgesteld ten behoeve van specifieke doelgroepen? Naast het gebruik van de CBCL zijn de meeste Zorgaanbieders voorstander van het gebruik van een gezinsvragenlijst. De NOSI wordt in dit verband regelmatig genoemd. Ook de Gezinsklimaatschaal wordt in dit verband een aantal keren genoemd. Daarnaast wordt het wenselijk geacht dat voor specifieke doelgroepen (ADHD, autisme) specifieke instrumenten ingezet worden. BJZ is voorstander van effectmeting op drie resultaatgebieden: jeugdige (CBCL), gezin (NOSI) en ondersteunend familiair en sociaal netwerk (instrumentkeuze is nog open). BJZ wil de effectmeting kunnen relateren aan de resultaten op de landelijke prestatie-indicatoren. 4.2.2 Op welke plek in de keten zou het voorgestelde instrumentarium moeten worden geïmplementeerd? Voor landelijke prestatie-indicatoren jeugdzorg geldt het schema zoals dat is opgenomen in bijlage 1. In dat schema is per indicator aangegeven of het bijbehorende instrumentarium wordt afgenomen door de zorg aanbieder, door BJZ, of door beide. In aanvulling op de landelijke afspraken neemt BJZ Utrecht ook deel aan doelrealisatie, omdat zij met dit instrument de verleende hulp kan evalueren. Naast de instrumenten uit bijlage 1 worden in de Utrechtse situatie (mondjesmaat) de CBCL en NOSI gebruikt. Zowel BJZ als ZA zien een meerwaarde in de afname ervan; BJZ ten behoeve van de indicatiestelling, de zorgaanbieders ten behoeve van behandeldiagnostiek om een onderbouwd behandelplan op te stellen. In overleg tussen zorgaanbieders en BJZ is aan het eind van de inventarisatie besloten om de CBCL-afname, behoudens uitzonderingsgevallen, te implementeren bij de zorgaanbieders, zowel voor wat betreft de voor- als de nameting. BJZ heeft aangegeven in dat geval te overwegen de Spsy in te voeren, een vergelijkbaar instrument dat ook deel uitmaakt van de VIB-instrumenten en dat als alternatief voor de CBCL kan worden afgenomen ten behoeve van indicatiestelling. Hiermee wil BJZ voorkomen dat de CBCL door ouders binnen korte tijd twee maal wordt afgenomen. 4.2.3 Hoe dienen de gegevens die met de vragenlijsten worden verzameld te worden geregistreerd en geanalyseerd? Twee instellingen (BJZ, Joozt) maken gebruik van BergOp voor de registratie van vragenlijstgegevens. De overige instellingen (Trajectum, Lijn 5, Rading, Timon, UJL) zijn geïnteresseerd of voornemens BergOp te gaan gebruiken. Men is voorstander van zo weinig mogelijk losse systemen voor verwerking en opslag van vragenlijstgegevens. Wat dat betreft voorziet het programma BergOp in een duidelijke behoefte omdat het alle instrumenten voor effectmeting bevat, behalve de instrumenten die in de 18

cliëntregistratiesystemen van BJZ (IJ) en de zorgaanbieders (meest Care4) zijn opgenomen. De voorkeur gaat uit naar een enkel geïntegreerd systeem, of een goede koppeling c.q. communicatie tussen verschillende systemen als BergOp, IJ en Care4. 4.2.4 Hoe wil men vragenlijstgegevens benutten? De Zorgaanbieders geven aan vragenlijstgegevens zoals verzameld met de CBCL op verschillende niveaus te willen benutten. Allereerst wil men op het niveau van de individuele cliënt vragenlijstgegevens gaan benutten om in dialoog te kunnen treden met de cliënt (en/of zijn/haar ouders) met betrekking tot zijn/haar problematiek. Daarnaast leveren vragenlijstgegevens belangrijke informatie voor het opstellen van individuele hulpverleningsplannen. In het gebruik van tussentijdse metingen ziet men mogelijkheden om inzicht te krijgen in het verloop van de problematiek, hetgeen aanleiding kan geven tot bijstelling van hulpverleningsplannen. Tussentijdse metingen kunnen ook meer zicht geven op de oorzaken van een eventuele voortijdige beëindiging van de hulpverlening of een niet goed lopend traject. Ook ziet men potentie in het aggregeren van vragenlijstgegevens op afdeling-, module-, team- en hulpverlenerniveau. Dit zou inzicht bieden in de effectiviteit van afdelingen, modules, teams en hulpverleners ten opzichte van elkaar. Eventuele onderlinge verschillen zouden tot verbeteringsacties kunnen leiden. Zo zou bijvoorbeeld besloten kunnen worden de hulpverlening binnen een bepaalde afdeling op een andere manier te gaan inrichten of hulpverleners een scholingsprogramma aan te bieden. Door middel van intervisie zouden de verschillende onderdelen van de organisatie van elkaar kunnen leren. Het gebruik van vragenlijsten bij aanvang van de hulpverlening ziet men ook als mogelijk middel om de doelgroep helderder te krijgen. Een aantal Zorgaanbieders geeft aan graag doelrealisatie per afdeling, module en locatie in kaart te willen brengen. Uiteindelijk wil men deze gegevens gebruiken voor het verbeteren van het primaire proces (en niet slechts ter verantwoording aan de Provincie). Doelrealisatiegegevens dienen daarom regulier teruggekoppeld te worden naar de werkvloer. Over het algemeen is men van mening dat geïsoleerde doelrealisatiegegevens niet zo veel zeggen, maar pas reliëf en betekenis krijgen wanneer ze gekoppeld worden aan overige gegevens, namelijk de gegevens uit voor- en nametingen met de vragenlijsten (zoals de CBCL- en eventueel de NOSI) en gegevens over cliënttevredenheid (EXIT-vragenlijst). Deze meervoudige invalshoek maakt het effectverhaal compleet. 19