Effecten in Beeld. Ontwikkeling, Implementatie en de eerste resultaten van praktijkgestuurd onderzoek bij Pactum. I.L.W. Bastiaanssen. H.

Transcriptie

1 Effecten in Beeld Ontwikkeling, Implementatie en de eerste resultaten van praktijkgestuurd onderzoek bij Pactum I.L.W. Bastiaanssen H. Damen J.W. Veerman

2

3 Effecten in Beeld Ontwikkeling, Implementatie en de eerste resultaten van praktijkgestuurd onderzoek bij Pactum

4 Praktikon maakt deel uit van de Stichting de Waarden te Nijmegen en is gelieerd aan de bijzondere leeropdracht Speciale Kinder- en jeugdzorg, die vanwege deze stichting is verbonden aan de Faculteit der Sociale Wetenschappen van de Radboud Universiteit Nijmegen. Praktikon Postbus HE Nijmegen tel: fax Praktikon Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen zonder de voorafgaande schriftelijke toestemming van Praktikon. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.

5 Inhoudsopgave Voorwoord 7 Hoofdstuk 1 Achtergronden Inleiding Pactum Effecten in Beeld Pactum en Zicht op Effectiviteit 10 Hoofdstuk 2 Plan van Aanpak Inleiding De Pilot Beloop Doelrealisatie Cliënttevredenheid Protocollen en Gegevensverwerking 13 Conclusies 14 Hoofdstuk 3 Proces Inleiding Clientenraad en Jongerenraad Tussentijdse Evaluatie Verbeterpunten Ervaringen medewerkers 17 Conclusies 18 Hoofdstuk 4 Resultaten Inleiding De onderzoeksgroep: Achtergronden Respons 21 Conclusies op basis van resultaten: respons Beschrijving van enkele inhoudelijke kenmerken 25 Conclusies op basis van resultaten: Inhoudelijke kenmerken Hoofdstuk 5 Overzicht conclusies en verdere voortgang project Inleiding Overzicht conclusies Verdere voortgang project 35 Bijlagen 39 5

6 6

7 Voorwoord Dit rapport is een beschrijving van het project Effecten in Beeld, een project voor het opzetten van doelrealisatie en effectmeting binnen verschillende hulpvormen van jeugdzorginstelling Pactum Jeugdzorg & Educatie. Doel van dit project is het inzichtelijk maken van de effectiviteit van de behandelingen die binnen Pactum worden geboden en daarmee bij te dragen aan een verdere professionalisering en profilering van het zorgaanbod binnen de organisatie. Het project Effecten in Beeld maakt vanaf halverwege 2006 deel uit van het landelijk project Zicht op Effectiviteit, een project waarin zeven instellingen binnen hun eigen organisatie bezig zijn om de effectiviteit van het zorgaanbod in beeld te brengen en hun ervaringen hiermee onderling delen. Om zicht te krijgen op de effectiviteit van het zorgaanbod is een systeem voor gegevensverzameling ontwikkeld en als eerste geïmplementeerd binnen vier pilotlocaties van Residentiële Behandeling en Daghulp van Pactum. In dit rapport wordt ingegaan op de opzet en implementatie van het systeem. Na een korte achtergrondbeschrijving van het project (hoofdstuk 1) is in hoofdstuk 2 het plan van aanpak (opzet systeem van gegevensverzameling) beschreven. In hoofdstuk 3 is vervolgens een beschrijving gegeven van het proces waarbinnen het systeem van gegevensverzameling binnen de pilotlocaties is geïmplementeerd. Inmiddels is gedurende ruim anderhalf jaar met het systeem informatie verzameld over 57 jongeren die binnen Residentiële Behandeling en Daghulp zijn geholpen. Op basis van deze informatie werden in hoofdstuk 4 enkele resultaten gepresenteerd. In het laatste hoofdstuk geven we een overzicht van de conclusies uit de verschillende hoofdstukken en gaan we in op de verdere voortgang van het project. Met dit rapport wordt de pilotfase van het Effecten in Beeld definitief afgesloten. Inmiddels is de verbreding binnen de organisatie in volle gang. De bedoeling is dat eind 2008 effectonderzoek binnen alle hulpvormen van Pactum een plaats heeft gekregen. Maart 2008 Inge Bastiaanssen (Pactum) Harm Damen (Praktikon) Jan Willem Veerman (Praktikon) 7

8 8

9 Hoofdstuk 1 Achtergronden 1.1 Inleiding In dit hoofdstuk worden de achtergronden van het implementeren van praktijkgestuurd effectonderzoek bij Pactum beschreven. In de eerste paragraaf komt de instelling Pactum aan bod. In de daaropvolgende paragraaf wordt het project Effecten in Beeld toegelicht. En in de laatste paragraaf wordt de betrokkenheid van Pactum bij het landelijke VWS project Zicht op Effectiviteit beschreven. 1.2 Pactum Pactum Jeugdzorg & Educatie is een multifunctionele organisatie voor jeugdhulpverlening voor het verlenen van psychosociale en educatieve hulp aan kinderen en jongeren tot en met de leeftijd van 21 jaar en hun ouders en gezinnen. Het werkgebied omvat de provincies Gelderland en Overijssel, met name de regio s Noord- en Midden-Gelderland en de regio Midden-IJssel, met vestigingen in Arnhem, Deventer, Ede, Nunspeet, Harderwijk, Apeldoorn, Zutphen en Lochem. Het hoofdbureau is gevestigd in Arnhem. Het aanbod van Pactum bestaat uit verschillende behandelvormen die vanuit een viertal sectoren geleverd kunnen worden, te weten: (1) de sector Intensief Ambulante Gezinsbehandeling en Pleegzorg, (2) de sector Intensieve Behandeling van het Jonge Kind, (3) de sector Integrale Daghulp Oudere Jeugd en Rijnside (4) en de sector Residentiële Behandeling. De totale hulpverleningscapaciteit kent ruim 1000 plaatsen. Er wordt binnen Pactum gewerkt vanuit een gemeenschappelijke oplossingsgerichte en handelingsgerichte hulpverleningsvisie die gebaseerd is op een contextueel geïntegreerd model. Hierbij wordt aangesloten wordt bij de wensen en waarden van de jongeren en diens ouders. Dat betekent dat de dialoog met het cliëntsysteem van groot belang is, het cliëntsysteem wordt actief bij de zorg betrokken en bepaalt mede de inhoud van het behandelplan. 1.3 Effecten in Beeld Directie en staf van Pactum hebben ruime tijd geleden te kennen gegeven de effecten van de zorg op een meer systematische wijze te willen vastleggen. Met deze gegevens hoopt Pactum zicht te krijgen op wat er aan behandeling nodig is en wat werkt. Hierdoor verwacht Pactum de kwaliteit zorg verder te verbeteren en de zorg ook beter te verantwoorden ten opzichte van de financiers (de landelijke, provinciale en gemeentelijke overheden). Voor de realisatie van deze voornemens is Praktikon verzocht ondersteuning te bieden. Praktikon is een organisatie voor onderzoek en ontwikkeling in de jeugdzorg, gelieerd aan de Radboud Universiteit Nijmegen. In 2004 werd op basis van een door Praktikon opgesteld projectplan gestart met het onderzoek Effecten in beeld. Het doel van dit projectplan was te komen tot een samenhangend instrumentarium voor effectmeting dat ingebed is in het hulpverlenend handelen. Dat wil zeggen: hulpverleners zorgen zelf, al dan niet met behulp van ondersteunende diensten voor de verzameling, scoring, verwerking en analyse van effectgegevens. Tevens benutten zij deze gegevens voor verbetering en verantwoording van de door hen verleende zorg. Op een hoger aggregatieniveau krijgt de directie inzicht in de effectiviteit van afdelingen en sectoren. Een en ander dient ondersteund te worden door een geautomatiseerd registratiesysteem. Op deze wijze zijn uitvoerend medewerkers en hun leidinggevenden zelf de eigenaars van het effectonderzoek. Het uiteindelijke doel is dat er bij Pactum een attitude van resultaatgericht meten ontstaat, die past binnen de oplossings- en handelingsgerichte hulpverleningsvisie van de organisatie en die een continue monitoring van effecten geeft op basis waarvan sturing van zorgprocessen kan plaatsvinden. Wat betreft de projectstructuur en de inbedding heeft Pactum een procesbewaker in dienst gesteld van het project. In eerste instantie voor per januari 2006 voor een dag in de week (8 uur), dit is in maart 2007 uitgebreid naar twee dagen (16 uur) in de week. De procesbewaker heeft naast procesbewakerstaken (trainen en coachen medewerkers 9

10 bij uitvoeren van onderzoek, zorgdragen voor heldere protocollen, signaleren en oplossen knelpunten, monitoren van datainzameling, contactpersoon voor onderzoekers van Praktikon) ook onderzoekstaken uitgevoerd op het gebied van ontwikkeling/training. Er is een stuurgroep (bestaande uit directielid, sectormanager residentiële behandeling en onderzoekers Praktikon) en een werkgroep (sectormanager residentiële behandeling, procesbewaker en verschillende disciplines uit de praktijk). Tevens zijn medewerkers betrokken bij de ontwikkeling om het onderzoek zo praktijkgestuurd mogelijk te maken. Zo is er een deelwerkgroep doelrealisatie ingesteld, en kunnen meer deelwerkgroepen ingesteld worden met een specifieke opdracht die bijdraagt aan verbetering van de kwaliteit van het onderzoek en/of de hulpverlening. 1.4 Pactum en Zicht op Effectiviteit Om meer zicht op effectiviteit van de jeugdzorg te krijgen is in 2005 een projectgroep gestart met vertegenwoordigers van Praktikon, NJI, PI Research, Collegio, Bureau Jeugdzorg Drenthe/Jeugdzorg Drenthe en de Hoenderloogroep. Met financiële steun van het ministerie van VWS voert deze groep in de periode van 2005 t/m 2007 verschillende projecten uit. Na een aanmeldings- en selectieprocedure sluit Pactum halverwege 2006 aan bij het verbredingsproject. Het Verbredingsproject van Zicht op effectiviteit biedt een aantal instellingen tijdelijk extra ondersteuning bij de implementatie van praktijkgestuurd onderzoek naar de effectiviteit van de hulpverlening. De deelnemende instellingen krijgen tot eind 2007 ondersteuning bij het opbouwen van een werkwijze om gegevens over de effectiviteit van het eigen aanbod te verzamelen en te rapporteren. Pactum is en van de zeven instellingen die deze ondersteuning ontvangen. Omdat Pactum al enige tijd bezig is met het ontwikkelen van praktijkgestuurd effectonderzoek binnen de instellingen krijgt Pactum een smal pakket aangeboden. Een smal pakket houdt in dat Pactum kan gaan deelnemen aan het reeds bestaande effectiviteitsplatform waarin alle aan het project verbonden instellingen participeren. Middels de deelname kan Pactum profiteren van de ervaringen die in zes modellocaties zijn opgedaan, en de ervaringen van de vers op te starten projecten van de overige zes nieuwe instellingen. Daarnaast krijgt Pactum een ondersteuningspakket aangeboden in de vorm van een workshop voor medewerkers over een specifiek onderdeel van praktijkgestuurd effectonderzoek. Dit laatste gaat binnenkort plaatsvinden: gedragswetenschappers van Pactum worden getraind om andere medewerkers te trainen in het gebruiken van vragenlijsten in de hulpverlening. 10

11 Hoofdstuk 2 Plan van Aanpak 2.1 Inleiding In dit hoofdstuk wordt allereerst uitleg gegeven over de pilotfase van het project Effecten in Beeld. Vervolgens komen de drie onderdelen van effectonderzoek (beloop, doelrealisatie, en cliënttevredenheidsonderzoek) aan bod en welke inhoud Pactum hieraan heeft gegeven. Met name doelrealisatie is uitgebreid beschreven middels een uiteenzetting van de verschillende onderdelen zoals de gespreksmethode Samen Beslissen en standaarddoelen op kaarten (zgn. doelkaarten ). Tenslotte wordt stil gestaan bij de protocollen en gegevensverwerking. 2.2 De Pilot In eerste instantie vond het onderzoek als pilot plaats in de sectoren Integrale Daghulp Oudere Jeugd en de Residentiële Behandeling, beide te Arnhem (zie tabel 2.1 voor overzicht van betrokken locaties en hulpvormen). Voor beschrijving van de verschillende hulpvormen van Pactum per sector zie bijlage 1. Tabel 2.1 deelnemende locaties pilot Effecten in Beeld Sector Locatie Zorgmodule Capaciteit Integrale Daghulp Bloemstraat Arnhem Centrale Opvang Oudere Jeugd 1 Daghulp Niet Schoolgaande Jeugd 29 Residentiële Behandeling Eusebiusbuitensingel Arnhem Leefgroep 9 Apeldoornseweg Arnhem Fasehuis 11 Lawick van Pabststraat Fasehuis 11 Het gaat om drie lijnen waarlangs effecten in beeld worden gebracht: (1) verrichten van voor- en nametingen om het beloop in kaart te brengen, (2) evaluatie van bereikte doelen om de mate van doelrealisatie na te kunnen gaan, (3) vaststellen van cliënttevredenheid. 2.3 Beloop Wat betreft het volgen van het beloop werd gekozen voor het gebruik van een aantal vragenlijsten, te weten: de Sterke Kanten en Moeilijkheden Vragenlijst 2 (Strengths and Difficulties Questionnaire, SDQ; versie ouders en jongeren), en de Empowerment Vragenlijst (EMPO, versie voor ouders en versie voor jongeren ouders dan 16 jaar) 3. Met de keuze voor deze vragenlijsten is aangesloten op de oplossingsgerichte en handelingsgerichte hulpverleningsvisie van Pactum (bijlage 2: beschrijving instrumenten). Bij aanvang, tussentijds (jaarlijks) en bij einde worden ouders en jongeren gevraagd deze vragenlijsten in te vullen. De vragenlijsten worden verwerkt door het secretariaat en uitkomsten worden besproken met ouders en jongere. 2.4 Doelrealisatie Wat betreft doelrealisatie is gekozen voor het werken met standaarddoelen volgens de methode van het project Samen Beslissen in de verslavingszorg 4. Daarvoor zijn alle 1 In deze rapportage in vervolg veelal afgekort als Daghulp. 2 Goodman, R. (1997). The Strenghts and Difficulties Questionnaire: A research note. Journal of Child Psychologie and Psychiatry, 38, Damen, H., & Veerman, J.W. (2005). Achtergronden: Empowerment en jeugdzorg. Nijmegen: Praktikon. 4 Dit betreft het promotieonderzoek van E. Joosten (promotor prof. dr. C. de Jong, NISPA/ NOVADIC). 11

12 standaarddoelen op kaartjes gezet. Zo ontstonden doelkaarten die de hulpverlener en de cliënt een praktisch middel bieden om tot overeenstemming te komen over doelen en inhoud van de zorg. De standaarddoelen (ook wel veelgebruikte doelen genoemd; oftewel doelen die bij hulpvormen van Pactum veelvuldig gebruikt worden) zijn geordend volgens bepaalde domeinen (ook wel KWIS domeinen genoemd). Voor het samenstellen van een overzicht van standaarddoelen van Pactum is gebruik gemaakt van de standaarddoelen van een collega-instelling 5 die al geruime tijd met standaarddoelen werkt. Een werkgroep bestaande uit een sectormanager, stafmedewerker en twee gedragswetenschappers heeft deze doelen vertaald naar de zorgcultuur van Pactum. Daarbij hebben doelen aangaande scholing en werk een expliciete plaats gekregen (zie tabel 2.2). Tabel 2.2 Domeinen en standaarddoelen van Pactum; aantallen en voorbeelden Domein Standaarddoel Aantal Voorbeeld Persoonlijkheid 14 Ik heb voldoende eigenheid. Gedrag 28 Ik accepteer grenzen. Emotie/ gevoelens 16 Ik durf fouten te maken. Gezin 42 Ik kan een conflict oplossen met mijn kind. Onderwijs/werk 10 Ik heb mijn diploma gehaald. Omgeving 22 Ik heb eigen woonruimte. Sociaal netwerk 21 Mijn familie helpt mij. Lichaam 8 Ik ga verantwoord om met mijn medicatie. Totaal 161 Novadic-Kentron, een gespecialiseerde instelling voor verslavingszorg in Noord-Brabant, heeft in nauwe samenwerking met cliëntenraad, wetenschappelijke commissie, cliënten en hulpverleners de gespreksmodule 'Samen Beslissen' ontwikkeld. 'Samen Beslissen' is een gestandaardiseerde methode om te komen tot een verantwoorde zorgovereenkomst, die op systematische wijze wordt geëvalueerd. Pactum heeft ervoor gekozen het gedachtegoed van deze gespreksmodule te hanteren bij het doelen stellen samen met de cliënt (jongere en/of ouders). Daarvoor zijn alle behandeldoelen op kaartjes gedrukt. Elk domein heeft een eigen kleur. Dit betekent dat er totaal 161 kaartjes zijn, in 8 verschillende kleuren. Omdat het aantal behandeldoelen zo groot is zijn binnen de domeinen trefwoorden aangebracht, om de doelen overzichtelijk te kunnen categoriseren voor de gebruiker (ouders, jeugdige en hulpverlener). Voor het gebruiken van de doelkaarten middels de samen beslissen methode is een procedure opgesteld voor de medewerkers van Pactum. De procedure is beschreven in een protocol. Het belangrijkste uitgangspunt bij het werken met de doelkaarten is dat de doelkaarten als middel gebruikt kunnen worden en niet als doel op zich. Men hoeft niet alle kaarten door te werken met de cliënt om te kijken welke van toepassing zouden kunnen zijn. Dit zijn er immers te veel. Met behulp van de trefwoordenlijst kan men dit beperken. Waar het omgaat, is dat er samen met de ouders/jeugdige en hulpverlener vooraf vastgesteld wordt welke behandeldoelen van belang zijn bij de betreffende cliënt. Wanneer doelen zijn uitgekozen worden ze geregistreerd op een doelenformulier. Er zijn twee soorten doelenformulieren: een voor aanvang van de hulpverlening (start), en een voor tussentijds (halfjaarlijkse evaluatie van de zorgovereenkomst) en voor einde hulpverlening. Op het doelenformulier tussentijds/einde kan een waardering gegeven worden aan elk doel wat bij start gekozen is. Tijdens de evaluatie van de 5 Lindenhout ( 12

13 zorgovereenkomst (tussentijds) of de eindbespreking (bij het beëindigen van de hulpverlening) kunnen jongere, ouders en de hulpverlener van Pactum (de pedagogisch medewerker 6 die de mentor is van de jongere van de jongere, of de ambulant hulpverlener 7 ) apart van elkaar aangeven in hoeverre zij vinden dat een doel behaald is. De waardering geschiedt volgens GAS; Goal Attainment Scaling. Middels GAS kan aangegeven worden in hoeverre een doel behaald is (verslechterd, niet behaald, deels behaald, of behaald). Tijdens de bespreking wordt wederom samen besloten of een doel blijft staan of dat een doel behaald is en dus voor de komende hulpverleningsperiode komt te vervallen. 2.5 Cliënttevredenheid Voor het meten van cliënttevredenheid is aangesloten bij de landelijke door de MOgroep aanbevolen C-toets 8 (bijlage 2: beschrijving instrumenten). Deze wordt tussentijds (jaarlijks), en bij einde van de zorg afgenomen, tegelijkertijd met de vragenlijsten die het beloop meten. De bedoeling is dat de hulpverlener de vragenlijst met de cliënt (ouders/jongere) terugbespreekt. Op deze manier krijgt de hulpverlener feedback van de cliënt over de uitgevoerde zorg. Omdat deze vragenlijst ook tussentijds wordt afgenomen, is hiermee de mogelijkheid gecreëerd om gedurende zorg zaken bij te stellen om de tevredenheid van de cliënt toe te laten nemen. In 2006 heeft Pactum tevens de C-toets collectief en anoniem afgenomen bij alle cliënten waarvan de zorg in 2005 was beëindigd. De uitslag van het cliënttevredenheidsonderzoek liet zien dat cliënten positief zijn over de ontvangen hulp, ouders zijn meer tevreden dan jongeren 9. De respons op de C-toets was echter vrij laag (21%). 2.6 Protocollen en gegevensverwerking De procesbewaker heeft voor alle hulpvormen protocollen gemaakt (wie doet wat wanneer). De gegevensverzameling is zoveel mogelijk aangepast aan de gebruikelijke gegevensinzameling die bij het zorgproces hoort. Tegelijkertijd met het opstarten van het pilotproject Effecten in Beeld werden nieuwe prestatieafspraken ingevoerd tussen Bureau Jeugdzorg en Zorgaanbieders Gelderland. Er is voor gekozen om deze twee processen op elkaar af te stemmen. Dit betekende voor de medewerkers die werkzaam waren binnen de hulpvormen die deelnamen aan het pilotproject dat zij niet alleen effectmeting gingen uitvoeren, maar ook dat zij binnen het zorgproces zich moesten gaan houden aan vastgestelde termijnen (eerste gesprek binnen 3 weken na binnenkomst indicatie, zorgovereenkomst vaststellen binnen 6 weken, afspraken over overbruggingszorg tot aan starten van de geïndiceerde zorg). De protocollen zijn besproken met de sleutelfiguren die betrokken zijn bij de datainzameling (teamleider, gedragswetenschapper, ambulant werker, secretariaat). In januari 2006 is gestart met datainzameling (vragenlijsten). Jongeren die nieuw instroomden binnen de hulpvormen behoorden bij de onderzoeksgroep. In mei 2006 is gestart met doelrealisatie. Bijhouden van dossier is een taak van de verantwoordelijke van desbetreffende hulpvorm/locatie. De vragenlijsten blijven tijdens en ook na afloop van het onderzoek (en het zorgproces) in dit dossier, dat valt onder privacyregels voor cliëntgegevens. 6 Met pedagogisch medewerker wordt tevens bedoeld: mentor, groepsleider of educatiemedewerker. 7 Met ambulant werker wordt tevens bedoeld: maatschappelijk werker, trajectbegeleider, gezinswerker of ouderbegeleider. 8 Jumelet, H., Welling, M., Jurrius, K., en Havinga, L. (2004). Handleiding C-toets voor de jeugdzorg. Utrecht: MOgroep ouders en 61 jongeren retourneerden de vragenlijst. Ouders scoorden een gemiddelde van 3,35 op de stellingen (range 1-4) en gaven een gemiddeld rapportcijfer van 7,8. Jongeren scoorden een gemiddelde van 2,91 op de stellingen (range 1-4) en gaven een gemiddeld rapportcijfer van 6,9. 13

14 Software voor de opslag van onderzoeksgegevens wordt door Praktikon aangeleverd (BergOp). Dit bevordert een uniforme opslag van gegevens. Vanuit deze database kunnen ook een aantal vragenlijsten eenvoudig worden gescoord, en profielen en procesformulieren worden geprint. Secretariaatsmedewerkers voeren de gegevens in in BergOp. De procesbewaker is beheerder van BergOp i.s.m. de afdeling ICT van Pactum. De procesbewaker traint de secretariaatsmedewerkers voor het gebruik van BergOp en is eerste aanspreekpunt voor secretariaatsmedewerkers in geval van vragen of irregulariteiten in het programma. De procesbewaker draagt zorg voor de export van de gegevens naar Praktikon. Praktikon verwerkt de gegevens tot een rapportage volgens afspraken met directie/managementteam Pactum. Als extra controle naast het databaseprogramma BergOp houdt het secretariaat een datamonitoringslijst bij. Een datamonitoringslijst bevat het identiteitsnummer van de cliënt (BergOp), naam, geboortedatum, welke lijsten zijn ingevuld, welke lijsten ontbreken, of doelenformulieren zijn ingevuld (bij aanvang, halfjaarlijks en bij einde). Bij opmerkingen kan het secretariaat aangeven waarom vragenlijsten ontbreken (bijv. geen ouder betrokken bij de hulpverlening, cliënt niet gemotiveerd), en wanneer beide ouders vragenlijsten hebben ingevoerd, wie de onderzoeksouder is. Wanneer de onderzoeker met onderzoeksgegevens aan de slag gaat kan deze de datamonitoringslijst gebruiken naast de databasegegevens uit BergOp. Pactum heeft de mogelijkheden onderzocht om gegevens over beloop en doelrealisatie (verwerken van vragenlijsten en doelenformulieren) te registreren middels het cliëntregistratieprogramma Care 4. Dit vanuit de wens om voor het volledige elektronische cliëntdossier één programma te kunnen gebruiken. Uiteindelijk is ervoor gekozen om BergOp voorlopig te handhaven, omdat de mogelijkheden van het programma BergOp beter aansloten bij de doelstellingen van praktijkgestuurd effectonderzoek. Conclusies - Er is een adequaat systeem van gegevensverzameling ontwikkeld dat op verschillende gebieden (gedragsproblemen jongeren, empowerment ouders en jongeren, doelrealisatie tijdens de behandeling en tevredenheid jongeren en ouders) adequate informatie kan bieden de effectiviteit van behandeling binnen Pactum zichtbaar te maken. - Met het implementeren van vragenlijstengebruik, doelrealisatie en cliënttevredenheidsonderzoek wordt meer structuur gegeven aan de inhoud van de hulpverlening en heeft kwaliteitsbewaking en -verbetering een vaste plaats binnen het hulpverleningsproces gekregen. 14

15 Hoofdstuk 3 Proces 3.1 Inleiding In het tweede hoofdstuk van dit rapport wordt stilgestaan bij het proces van implementeren van praktijkgestuurd effectonderzoek binnen Pactum. In de eerste paragraaf wordt kort verslag gedaan van de presentatie van het project aan de cliëntenraad en de jongerenraad. In de tweede paragraaf volgt de verslaglegging van de tussentijdse evaluatie. Daarbij zijn de gesignaleerde knelpunten van de eerste periode meteen vertaald naar verbeterpunten die in de derde paragraaf aan bod komen. De verbeterpunten worden behandeld per onderdeel van effectonderzoek (beloop, doelrealisatie, cliënttevredenheid) en de bijbehorende randvoorwaarden van onderzoek (protocollen en gegevensverwerking). De verbeterpunten zijn doorgevoerd binnen de pilotlocaties, maar tevens gebruikt voor het verbreden van Effecten in Beeld naar alle locaties van de sectoren Integrale Daghulp Oudere Jeugd en Rijnside en Residentiële Behandeling (zie bijlage 3: tijdspad implementatie effecten in beeld binnen Pactum). Het hoofdstuk wordt afgesloten met een aantal conclusies. 3.2 Cliëntenraad en Jongerenraad De procesbewaker heeft het project gepresenteerd aan de cliëntenraad en de jongerenraad. De reacties van de cliëntenraad liepen uiteen van sceptisch tot enthousiast. Met name met betrekking tot vragenlijstengebruik heeft de procesbewaker veel moeten toelichten. Wat betreft doelrealisatie was men overwegend positief. De jongerenraad reageerde enthousiast op zowel de vragenlijsten als de doelkaarten. Jongeren vonden het fijn dat ze door de vragenlijst moesten nadenken over zichzelf, ze vinden dit interessant en zijn ook benieuwd naar de uitslagen. Jongeren merkten op dat door doelen te stellen heel duidelijk aan de toekomst kan worden gewerkt. 3.3 Tussentijdse evaluatie In oktober 2006 heeft de procesbewaker een rondje langs de teams gemaakt voor een tussentijdse evaluatie van het pilotproject. De eerste gegevens uit de database rapporteerden een hoge respons op aanvangsmetingen van de vragenlijsten, tussentijdse (jaarlijks) en eindmetingen waren op dat moment nog niet aan de orde gezien de nog korte looptijd van het project. Vanwege reorganisatie is de Daghulp Oudere Jeugd in Arnhem gestopt met het pilotproject Effecten in Beeld. De hulpvorm Centrale Opvang is vervangen door Rebound en Herstart, een samenwerking tussen onderwijs in jeugdzorg, beide nog in ontwikkeling zijnde hulpvormen. Vanwege deze reorganisatie is besloten om tijdens de herstart van het project (na het afsluiten van de pilotfase) voortaan enkel de hulpvorm Daghulp Niet Schoolgaande Jeugd te laten deelnemen. De tussenevaluatie kort samengevat heeft het project Effecten in Beeld met name binnen de pilotlocaties van de sector Residentiële Behandeling een goede start gemaakt met een duidelijk protocol en een hoge respons aanvangsmetingen. Met de ervaringen van de medewerkers van de eerste periode werken met vragenlijsten (van januari t/m september 2006) en doelrealisatie (mei t/m september 2006) kunnen verbeterpunten geïnventariseerd gaan worden. Daarbij is het belangrijk om het project levend te houden voor alle medewerkers en de teams voldoende te faciliteren om effectmeting en doelrealisatie binnen de hulpverlening te integreren. De verbeterpunten komen in de volgende paragraaf aan bod. 15

16 3.4 Verbeterpunten Na de tussenevaluatie is het pilotproject gaan verbreden binnen de organisatie, meer locaties van de sectoren Daghulp Oudere jeugd en Residentiële Behandeling gingen deelnemen. De ervaringen van de eerste periode tot aan de tussenevaluatie, maar ook de periode daarna, zijn gebruikt om het gehele systeem van effectonderzoek binnen Pactum te verbeteren. Deze verbeteringen zijn van maart 2007 tot juli 2007 doorgevoerd bij de locaties die nieuw starten met Effecten in Beeld en de reeds bestaande locaties. Om de verbreding en verbetering vorm te kunnen geven heeft de procesbewaker uitbreiding van uren gekregen (van 8 naar 16 uur). Ook zijn er totaal meer uren gedragswetenschappers aan de totale organisatie toegevoegd. De verbeterpunten die naar voren kwamen uit de tussentijdse evaluatie en de ervaringen daarna zijn (plus de acties die zijn uitgezet) schematisch weergegeven in tabel 2. Voor een meer uitgebreide beschrijving van de verbeterpunten en acties zie bijlage 4. Tabel 3.1 Verbeterpunten en acties Verbeterpunt Beloop 1 Lage respons tussentijdse meting (en naar verwachting later bij eindmetingen) 2 Nauwelijks benutting in het primaire proces (terugbespreken van resultaten vragenlijsten met cliënten Actie Nieuw datamonitoringssysteem - Instructie introductie vragenlijsten - Benutting op cliëntniveau beter verankerd in zorgproces - Training omgaan met vragenlijsten - Terugkoppeling van resultaten op teamniveau Doelrealisatie 1 Teveel standaarddoelen, onduidelijk geformuleerd voor de cliënt Revisie standaarddoelen, aantal teruggebracht (van 161 naar 96 doelen) en concreter en duidelijker geformuleerd. 2 Niveau van standaarddoelen nog te hoog Standaarddoelen voortaan uitwerken in werkpunten (SMART) 3 Pedagogisch medewerkers onvoldoende betrokken bij doelrealisatie. 4 Onduidelijkheden over plaats indicatiedoelen BJZ, en moment van doelen stellen binnen Pactum Pedagogisch medewerkers (meest betrokken bij de dagelijkse uitvoering van de zorg) gaan de werkpunten formuleren met de jongere. Verbeteren van instructie: - Doelen van BJZ gelden als uitgangspunt en zijn geldig voor de duur van de indicatie. - Doelen stellen duidelijke plaats binnen zorgproces (6 weken na start van geïndiceerde zorg). - Uitkomst vragenlijsten tevens als onderlegger voor het stellen van doelen. 5 Teveel doelen stellen, waardoor niet haalbaar Verbeteren van de instructie: Niet meer dan 5 doelen, voor de termijn tot aan de volgende behandelplanbespreking (half jaar). 6 Voortgang doelen lastig registreren Doelenformulieren aangepast, instructie doelrealisatie aangepast. Cliënttevredenheid 1 C-toets alleen bij hulpvormen Effecten in Beeld Alle hulpvormen gaan bij einde zorg C-toets afnemen 2 C-toets is geen exitinstrument In afwachting van exitinstrument wat ontwikkeld wordt bij MOgroep/St. Alexander Protocollen en gegevensverzameling 1 Gebruik van protocollen minimaal Zelf protocollen laten maken, wel kaders aanreiken. 2 Gebrek aan overzicht voor secretariaat Nieuw datamonitoringssysteem 3 Doelen registeren in BergOp veel werk Doelen gecodeerd 4 Onduidelijkheid over onderzoeksgroep Instructie: importeren van cliënt van Care4 naar BergOp zodra geïndiceerde zorg start (en niet pas als er vragenlijsten binnenkomen) 16

17 3.5 Ervaringen medewerkers De procesbewaker heeft met medewerkers die vanaf de aanvang betrokken zijn geweest bij het project Effecten in Beeld een kort interview gehouden over hun ervaringen met het project. De hoofdvragen waren; Hoe stonden ze aanvankelijk tegenover het project, en hoe staan ze er nu tegenover. Interview met Chantal Fijen, unitleider Residentiele Behandeling Arnhem Vanaf de start van het project Effecten in Beeld was ik enthousiast. Door effectonderzoek en doelrealisatie te implementeren binnen onze zorg krijgen we meer zicht op wat we precies doen en bereiken met onze cliënten. Met name de doelrealisatie ben ik erg blij mee. Een doelengesprek in de startfase van de behandeling geeft naast een richting, ook ontzettend veel informatie over de jongere en diens situatie. Met de manier waarop wij dat bij Pactum hebben ingericht worden de jongere en zijn ouders intensief betrokken bij het bepalen van die doelen en dus de inhoud van het behandelplan. Omdat de jongere veel inspraak heeft zou je verwachten dat zij voor andere doelen kiezen dan die wij als volwassenen belangrijk voor ze vinden. Dat blijkt dus helemaal niet zo te zijn, het merendeel van de jongeren wil werken aan hun problemen en kiezen de doelen uit waarvan ouders en hulpverleners ook graag zien dat ze die oppakken. In de meeste gevallen zijn de doelengesprekken prettige en zinvolle gesprekken. Ondanks de confrontatie met hun problemen en de op handen zijnde uithuisplaatsing kunnen jongeren dit aan. Moeilijker is om tijdens de behandeling de jongere gemotiveerd te houden voor het bereiken van de doelen. De standaarddoelen zijn daarvoor te algemeen geformuleerd. Nu we ze gaan uitwerken in werkpunten verwacht ik dat dit dan beter zal gaan. Wat betreft de vragenlijsten heb ik gemerkt hoe belangrijk het is om de randvoorwaarden goed te organiseren. Wij hebben een tijdje geen gedragswetenschapper gehad in onze afdeling, waardoor de uitwerking van de resultaten bleef liggen. Daardoor werden resultaten niet terugbesproken met de cliënten. Het nut ervan bleef daardoor uit. En ook de logistiek van vragenlijsten moet goed georganiseerd zijn. We hebben al wat acties uitgezet om dit te verbeteren. Benutting van de vragenlijsten en de respons blijft voor onze afdeling een aandachtspunt. Ook vind ik dat het invullen van de vragenlijsten veel werk is voor ouders en jongeren. Wanneer ik de uitkomsten van ons cliënttevredenheidsonderzoek lees dan herken ik zowel de complimenten als de kritiekpunten die wij van onze cliënten krijgen. Maar ik merk ook wel eens dat cliënten bepaalde taal uit de vragenlijst niet begrijpen. Wat mij bijvoorbeeld heeft verrast is dat cliënten regelmatig aangeven dat ze niet goed op de hoogte zijn van de inhoud van het hulpverleningsplan. Terwijl deze cliënt naast het eerste doelengesprek bij aanvang, ook bij alle behandelplanbesprekingen aanwezig is geweest. Wanneer ik dit navraag dan blijkt dat de cliënt niet heeft begrepen wat bedoeld werd met inhoud van het hulpverleningsplan. Zo merk je dat voor jou als hulpverlener de taal die je gebruikt heel vanzelfsprekend is, maar dat dit voor de cliënt lang niet altijd zo geldt. Interview met Arco van Peer, medewerker secretariaat Residentiële Behandeling Arnhem In het begin had ik totaal geen verwachting. Ik heb mij laten informeren en gedacht; ik laat het wel op mij afkomen. Het doel van alles was mij destijds duidelijk. Nu weet ik pas hoeveel werk het mij kost. Ik had dat in eerste instantie niet voorzien. Ik ben alleen verantwoordelijk voor het invoeren van vragenlijsten en doelenformulieren en ben voor de aanvoer daarvan afhankelijk van anderen. Omdat ik de gegevens verwerk voor meerdere locaties, weet ik niet welke lijsten verspreid zijn en door wie. Het verontrust mij als ik merk dat bepaalde vragenlijsten en formulieren ontbreken. Daardoor vind ik het een lastig project. 17

18 Sinds kort ga ik maandelijks met de unitleider om de tafel om door te spreken wat we missen aan vragenlijsten en doelenformulieren. Zo proberen we ontbrekende gegevens nog aan te vullen, en het geeft mij meer overzicht. Zo heb ik het gevoel er iets meer grip op te krijgen. Het lastige van dit soort registratieklussen (dat geldt ook voor de reguliere cliëntadministratie) is dat het voor medewerkers van het secretariaat vooral heel veel werk is, dat inkloppen van allerlei informatie zoals we dat dan noemen. Maar als secretariaat hoor je nooit terug wat het oplevert, waar het toe leidt. En dat werkt niet motiverend. Interview met Irene Jansen, ambulant werker Residentiële Behandeling Arnhem Tijdens de eerste presentatie over het project Effecten in Beeld, dacht ik; Alweer iets nieuws. Ik was wat sceptisch en zag ertegen op. Vooral omdat ik al voorzag dat het meer administratief werk zou worden, terwijl rapporteren en registreren tegenwoordig al zo n groot deel van mijn werkzaamheden is. Toch is dit snel omgeslagen. Ik vind dat doelrealisatie en effectmeting de hulpverlening overzichtelijker en gestructureerder maakt voor alle betrokkenen, en dat is een goede zaak. Wat ik ook sterk vind is dat jongere en ouders meer betrokken worden bij het bepalen van de inhoud van de hulpverlening. Omgaan met de vragenlijsten vind ik wel lastig. Dit moet nog meer een duidelijke plek gaan krijgen binnen ons zorgproces. Momenteel wordt dit onvoldoende benut. Ik vind dat degene die de vragenlijsten invullen, de ouders en de jongere, als eerste recht hebben om terug te horen wat de uitkomsten zijn. Dat daarnaast ook gegevens over de kwaliteit van ons werk naar voren komen is mooi, maar staat voor mij niet op de eerste plaats. Ook heb ik vraagtekens bij de vragenlijsten zelf. De SDQ is te kinderlijk voor een jongere van 16 jaar of ouder. Maar het mooiste van het project Effecten in Beeld is de doelrealisatie. Door het inzetten van de doelkaarten kunnen de jongere en de ouders zelf richting geven aan de hulp. Ik heb gemerkt dat onze cliënten hier houvast aan hebben, ze weten nu beter de richting van de zorg die ze krijgen aangeboden. Daarbij is het concreet, meetbaar, en toetsbaar. Kortom een goed instrument dat aansluit bij de oplossingsgerichte hulpverleningsvisie van onze organisatie. Wat nog wel een aandachtspunt blijft is het aansluiten bij de doelen van Bureau Jeugdzorg. En zo zijn er nog meer punten waarbij we in de praktijk blijven zoeken naar hoe het anders of beter kan. Het is belangrijk om als organisatie hierin te blijven groeien. Ik vind dat heel interessant en werk daar graag aan mee. Conclusies - Het systeem van gegevensverzameling wordt binnen de pilotlocaties van Pactum voldoende gedragen. - Naar aanleiding van de eerste bevindingen zijn tussentijds al een groot aantal verbeteracties uitgezet voor verbreding naar andere locaties van Pactum. 18

19 Hoofdstuk 4 Resultaten 4.1 Inleiding In de pilotperiode is binnen Residentiële Behandeling en Daghulp Oudere Jeugd van Pactum een systeem voor gegevensverzameling opgezet en geïmplementeerd. Met dit systeem wordt gedurende de hulp aan jongeren, op verschillende momenten (bij aanvang, tussentijds en bij afsluiting van de behandeling), bij verschillende betrokkenen (bij jongeren zelf, ouders en hulpverleners), verschillende soorten van informatie verzameld, vaak met behulp van vragenlijsten. De verzamelde kennis wordt gebruikt om zicht te krijgen op de effectiviteit van de behandeling: Hoe hebben jongeren zich gedurende de behandeling ontwikkeld? Welke doelen zijn gesteld en in hoeverre zijn deze doelen bereikt? In welke mate zijn jongeren en hun ouders tevreden over de hulp die ze hebben gekregen? Om een betrouwbaar antwoord te geven op dergelijke vragen is het nodig dat we beschikken over voldoende relevante informatie en dat deze informatie is verzameld over een voldoende aantal jongeren. Een goede respons op de gevraagde informatie is dus essentieel. Met het plan van aanpak en de implementatie van het systeem voor gegevensverzameling dat in de voorafgaande twee hoofdstukken werd beschreven, hebben we een belangrijke randvoorwaarde voor een goede respons proberen te creëren. In dit vierde hoofdstuk willen we laten zien wat het systeem in de praktijk aan respons heeft opgeleverd (paragraaf 4.3) en wat er met de verkregen informatie gezegd kan worden over de jongeren (en hun ouders) binnen de Residentiële Behandeling en Daghulp (paragraaf 4.4). Als opmaat wordt in paragraaf 4.2 een algemene beschrijving gegeven van de groep jongeren die met onderzoek is gevolgd. 4.2 De onderzoeksgroep: Achtergronden De onderzoeksgroep voor deze rapportage bestaat uit jongeren die op één van de vier pilotlocaties 10 zijn gestart met Residentiële Behandeling (periode januari 2006 juni 2007) of met Daghulp (periode januari 2006 december 2006). De periode van toelating van jongeren tot het onderzoek is voor Daghulp minder lang omdat daar vanwege reorganisatie tijdens de pilot, een onderzoektime-out is ingelast. De onderzoeksgroep bestaat uit 57 jongeren (zie Tabel 4.1). Daarvan zijn 33 jongeren met Residentiële Behandeling gestart (58%) en 24 jongeren met Daghulp (42%). Het aantal mannen (31: 54%) en vrouwen (26: 46%) in de totale onderzoeksgroep is ongeveer even groot. Wel is het zo dat de onderzoeksgroep bij Residentiële Behandeling uit relatief meer vrouwen bestaat (20 vrouwen: 61%) en bij Daghulp uit relatief meer mannen (18 mannen: 75%). Van de 57 jongeren die aan de behandeling zijn begonnen heeft 44% (25 jongeren) de hulp afgesloten. Het gaat dan vooral om jongeren binnen de Daghulp (21 jongeren: 88%) en minder om jongeren binnen Residentiële Behandeling (4 jongeren: 12%) De pilotlocaties voor Residentiële Behandeling bevinden zich op de Eusebiusbuitensingel Arnhem (zorgmodule Leefgroep), de Apeldoornseweg en de Lawick van Pabsstraat Arnhem (beide Fasehuis). De pilotlocatie voor Daghulp is te vinden aan de Bloemstraat Arnhem (zorgmodule Centrale Opvang en Daghulp Niet Schoolgaande Jeugd) (zie ook Tabel 1 in Hoofdstuk 1). 11 Navraag leert dat het bij de 4 jongeren binnen Residentiële Behandeling gaat om jongeren die niet volgens het hulpverleningsplan zijn gestopt en daarmee de hulp vroegtijdig hebben afgesloten. 19

20 Tabel 4.1 Achtergrondkenmerken I: aantal, geslacht en afgesloten behandelingen 1 Residentiële behandeling Daghulp TOTAAL Aantal Percentage Aantal Percentage Aantal Percentage Aantal jongeren 33 58% 24 42% % Geslacht jongeren Man 13 39% 18 75% 31 54% Vrouw 20 61% 6 25% 26 46% Totaal % % % Behandeling afgesloten? Nee 29 88% 3 12% 32 56% Ja 4 12% 21 88% 25 44% Totaal % % % 1 Onder afgesloten behandelingen worden zowel behandeling verstaan die volgens het hulpverleningsplan zijn beëindigd, als behandelingen die vroegtijdig zijn afgebroken. De gemiddelde leeftijd van de jongeren bij aanvang van de behandeling is 15 jaar (zie Tabel 4.2). De gemiddelde leeftijd van een jongere ligt bij Residentiële Behandeling (16 jaar) iets hoger dan binnen de Daghulp (15 jaar). Omdat niet alle jongeren op hetzelfde moment met de behandeling zijn gestart én omdat sommigen de hulp in de onderzoeksperiode hebben afgesloten, verschilt het aantal maanden dat de jongeren met onderzoek is gevolgd. De gemiddelde duur van de onderzoeksperiode is 6 maanden. De jongeren binnen Residentiële Behandeling zijn gemiddeld langer met onderzoek gevolgd (7 maanden) dan de jongeren binnen Daghulp (5 maanden). Eén van de verklaringen hiervoor is dat er binnen Daghulp zoals gezegd een onderzoektime-out is geweest. Een andere verklaring is dat de Centrale Opvang binnen Daghulp maximaal 3 maanden duurt. Tabel 4.2 laat verder zien dat de afgesloten behandelingen gemiddeld 18 weken hebben geduurd en dat de gemiddelde duur voor Residentiële Behandeling met 15 weken korter is dan voor Daghulp (19 weken) 12. Tabel 4.2 Achtergrondkenmerken II: Leeftijd, maanden in onderzoek en duur van de behandeling Residentiële Behandeling Daghulp TOTAAL Aantal jongeren in pilot 33 jongeren 24 jongeren 57 jongeren Leeftijd bij aanvang behandeling Minimum 13 jaar 13 jaar 13 jaar Maximum 18 jaar 16 jaar 18 jaar Gemiddeld 16 jaar 15 jaar 15 jaar Standaarddeviatie Aantal maanden in pilot Minimum 0 maanden 1 maand 0 maanden Maximum 15 maanden 14 maanden 15 maanden Gemiddeld 7 maanden 5 maanden 6 maanden Standaarddeviatie Duur v.d. afgesloten behandeling Aantal afgesloten behandelingen 4 behandelingen 21 behandelingen 25 behandelingen Minimum 3 weken 5 weken 3 weken Maximum 27 weken 45 weken 45 weken Gemiddeld 15 weken 19 weken 18 weken Standaarddeviatie Bij Residentiële Behandeling gaat het om een klein aantal van 4 jongeren die bovendien de hulp vroegtijdig (niet volgens hulpverleningsplan) hebben beëindigd. De gemiddelde duur van de hulp is daardoor waarschijnlijk niet representatief voor Residentiële Behandeling. 20

21 4.3 Respons Tabel 4.3 geeft een overzicht van de geplande meetmomenten van aanvang tot en met afsluiting van een behandeling. De Tabel laat zien dat bij aanvang van de behandeling er 5 meetinstrumenten zijn gepland (SDQ: in te vullen door Ouders, SDQ Jongeren, EMPO Ouders, EMPO Jongeren en Doelen), dat er ieder halfjaar doelen worden gesteld/geëvalueerd, en dat er ieder jaar én bij afsluiting van de behandeling naast de aanvangsset met 5 meetinstrument ook een C-Toets door de ouders én de jongeren moet worden ingevuld. Tabel 4.3 Geplande meetmomenten: van aanvang tot en met afsluiting behandeling SDQ Ouders SDQ Jongeren EMPO Ouders EMPO Jongeren 1 Doelen 2 C-Toets Ouders Bij aanvang X X X X X C-Toets Jongeren ½ Jaar na aanvang X 1 Jaar na aanvang X X X X X X X 1½ Jaar na aanvang X Enzovoort Bij afsluiting X X X X X X X 1 De EMPO Jongeren wordt alleen afgenomen als de jongere 16 jaar of ouder is bij aanvang van de behandeling. 2 De doelen worden gesteld/geëvalueerd bij jongeren die op, of later dan met de behandeling zijn gestart. Tabel 4.4 geeft een totaaloverzicht van het aantal jongeren waarbij de gevraagde informatie ook daadwerkelijk is verzameld 13. Tabel 4.4 Percentage vragenlijsten dat is ingevuld per jongere: Totaal SDQ Ouders SDQ Jongeren EMPO Ouders EMPO Jongeren 1 Doelkaarten Bij aanvang 75% 79% 61% 48% 49% (n=43) (n=45) (n=35) (n=10) (n=21) (N tot =57) (N tot =57) (N tot =57) (N tot =21) (N tot =43) ½ Jaar na aanvang 67% (n=12) (N tot =18) C-Toets Ouders C-Toets Jongeren 1 Jaar na aanvang 29% (n=2) (N tot =7) 0% (n=0) (N tot =7) 29% (n=2) (N tot =7) 0% (n=0) (N tot =6) 100% (n=2) (N tot =2) 29% (n=2) (N tot =7) 14% (n=1) (N tot =7) Bij afsluiting 16% (n=4) (N tot =25) 20% (n=5) (N tot =25) 12% (n=3) (N tot =25) 9% (n=1) (N tot =11) 7% (n=1) (N tot =15) 20% (n=5) (N tot =25) 20% (n=5) (N tot =25) 1 De EMPO Jongeren wordt alleen afgenomen als de jongere 16 jaar of ouder is bij aanvang van de behandeling. 2 De doelen worden gesteld/geëvalueerd bij jongeren die op, of later dan met de behandeling zijn gestart. De doelen worden gesteld en geëvalueerd door de jongeren zelf, de ouders én de hulpverleners. In de tabel is voor de doelen wel aangegeven in hoeverre ze zijn gesteld en geëvalueerd, maar niet door wie (jongeren, ouders, hulpverleners) ze zijn geëvalueerd. De respons wordt in Tabel 4.4 steeds uitgedrukt in een percentage. Dit percentage is berekend door het aantal jongeren waarbij een vragenlijst ingevuld is (aangegeven met een kleine n ) te delen door het totale aantal jongeren waarbij een lijst ingevuld had moeten worden (aangegeven met N tot ). Dit laatste totale aantal jongeren verschilt per lijst en meetmoment. Zo wordt de EMPO jongeren alleen afgenomen als de jongere Omdat er géén jongeren zijn die 1½ jaar of langer met onderzoek zijn gevolgd, ontbreken in Tabel 6 deze meetmomenten. 21

22 jaar of ouder is bij aanvang van de behandeling en worden alleen doelen gesteld bij jongeren die op, of later dan 1 mei 2006 met de behandeling zijn gestart. Uit Tabel 4.4 blijkt dat de respons minimaal 7% is (bij 1 van de 15 jongeren die de behandeling heeft afgesloten zijn Doelen geëvalueerd) en maximaal 100% (bij de 2 jongeren zijn 1 jaar na aanvang van hun behandeling Doelen geëvalueerd of opnieuw gesteld). De respons bij aanvang van de behandeling ligt tussen 48% (EMPO jongeren is bij 10 van de 21 jongeren waarvoor dat moest, ook ingevuld) en 79% (SDQ jongeren is bij 45 van de 57 jongeren ook werkelijk ingevuld). Eén halfjaar na aanvang van de behandeling is bij 67% (12) van de 15 jongeren Doelen gesteld of geëvalueerd. De respons 1 jaar na aanvang van de behandeling ligt tussen 0% (géén van de 7 jongeren heeft een SDQ ingevuld) en 100% (Doelen). De respons voor de jongeren die de behandeling hebben afgesloten ligt tussen 7% (Doelen) en 20% (SDQ jongeren, C-Toets ouders en C-Toets jongeren). Voor een afzonderlijk overzicht van de respons voor Residentiële Behandeling en Daghulp verwijzen we naar Tabel B3.4b en B3.4c in bijlage 5. Daaruit blijkt dat in vergelijking met Daghulp de respons op de EMPO ouders binnen Residentiële Behandeling relatief laag is (36%) en dat de respons op Doelen binnen Daghulp nihil is. Dit omdat Daghulp niet is gestart met het evalueren van doelen. Om een specifieker beeld te krijgen van de respons is in Figuur 1 t/m 3 een overzicht gegeven van het relatieve aantal vragenlijsten dat is ingevuld per informant (Figuur 1), per meetinstrument (Figuur 2) en per meetmoment (Figuur 3). De Figuren zijn gebaseerd op de informatie uit Tabel B4.5a t/m B4.5c van bijlage 5. Figuur 1 Percentage vragenlijsten dat is ingevuld: per informant 100% 90% 80% 70% 60% 50% 40% Totaal; 45% Ouders ; 46% Jongeren; 44% Totaal; 47% Ouders ; 39% Jongeren; 53% Totaal; 42% Ouders ; 52% Jongeren; 32% 30% 20% 10% 0% Totaal Residentiële behandeling Daghulp N=447 n=210 n=237 N=225 n=96 n=129 N=222 n=114 n=108 Figuur 1 geeft een overzicht van het percentage vragenlijsten dat per informant is ingevuld. Gedurende de onderzoeksperiode hadden er in totaal 447 vragenlijsten (SDQ, EMPO, Doelen of C-Toets) ingevuld moeten worden, waarvan 210 lijsten door de ouders en 237 lijsten door de jongeren zelf. Uiteindelijk is 45% van de lijsten ook werkelijk ingevuld. Het aantal ingevulde lijsten dat door de ouders (46%) of de jongeren (44%) is ingevuld, verschilt nagenoeg niet van elkaar. Binnen Residentiële Behandeling zijn relatief iets meer lijsten (47% van de 225) ingevuld dan binnen Daghulp (42% van de 22 lijsten). Het aantal ouders bij Daghulp dat vragenlijsten invult, is met 52% groter dan dat bij Residentiële Behandeling (39%). Voor de lijsten van de jongeren geldt het omgekeerde. Door de jongeren binnen Residentiële Behandeling zijn relatief meer vragenlijsten ingevuld (53%) dan door de jongeren binnen Daghulp (32%). 22

23 In Figuur 2 is het percentage ingevulde lijsten per meetinstrument gegeven. De SDQ wordt verhoudingsgewijs het beste ingevuld. Van de 178 SDQ-lijsten die door de ouders/jongeren ingevuld hadden moeten worden is 56% ook werkelijk ingevuld. De EMPO wordt bij 40% van de 127 mogelijke keren ingevuld. De C-Toets waarvan er 64 ingevuld hadden moeten worden (1 jaar na aanvang of bij afsluiting) is in 20% van de gevallen ingevuld. De Doelen hadden op 78 momenten gesteld/geëvalueerd moeten worden. Bij 46% van deze momenten is dat ook gebeurd. Wanneer we kijken naar de afzonderlijke responspercentages voor Residentiële Behandeling en Daghulp dan blijkt dat er (wat) grote(re) verschillen zijn op het gebied van het stellen/evalueren van Doelen (74% voor Residentiële Behandeling en 0% voor Daghulp), het invullen van de SDQ (Residentie: 50%, Daghulp: 61%) en het invullen van het aantal EMPO-lijsten (Residentie: 33%: Daghulp 49%). Figuur 2 Percentage vragenlijsten dat is ingevuld: per meetinstrument 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% C-Toets; 21% DOELEN ; 0% EMPO ; 49% SDQ ; 61% Totaal; 42% C-Toets; 20% DOELEN ; 74% EMPO ; 33% SDQ ; 50% Totaal; 47% C-Toets; 20% DOELEN ; 46% EMPO ; 40% SDQ ; 56% Totaal; 45% Totaal Residentiële behandeling Daghulp N=447 n=178 n=127 n=78 n=64 N=225 n=86 n=70 n=49 n=20 N=222 n=92 n=57 n=44 n=44 Figuur 3 geeft een overzicht van het percentage lijsten per meetmoment. Van de 447 vragenlijsten die bij aanvang ingevuld hadden moeten worden, is 66% ook werkelijk ingevuld. Het responspercentage ½ jaar na aanvang is met 67% ongeveer even hoog. Eén jaar na aanvang (21%) en bij afsluiting van de behandeling (16%) worden er relatief minder lijsten ook werkelijk ingevuld. De respons bij Residentiële Behandeling is ½ jaar na aanvang (80%) en 1 jaar na aanvang van de behandeling (24%) relatief hoger dan bij Daghulp (in beide gevallen 0%). Daarentegen is bij Daghulp de respons bij aanvang (81%) hoger dan bij Residentiële Behandeling. 23