Werken aan effectiviteit

Vergelijkbare documenten
Spirit onderzoekt eigen effectiviteit

Strategieën om te werken aan effectieve jeugdzorg

Quick scan Ambulant begeleid wonen. Rapport naar aanleiding van het onderzoek van de Inspectie jeugdzorg bij Kompaan

Kwaliteitsmeting. Ambulante Spoedhulp (ASH) en Families First (FF) Resultaten kwaliteitsmeting tweede helft 2016

Voortgangsmonitor. Driehuis en gezinshuizen. JiO 9 maart Caroline van den Bel en Carolien Konijn

Evidence-based interventies voor agressieregulatie en woedebeheersing

Instroom 1. Inclusie. Uitstroom. Doorstroom. Universiteit Utrecht 1

Quick scan Ambulant begeleid wonen 22 mei 2006

Evaluatie SamenOud training Anders denken, anders doen Casemanagement

Op weg naar meer kennis over wat werkt voor multiprobleemgezinnen (MPG) MSc L. (Loraine) Visscher, Universitair Medisch Centrum Groningen

Kenniskring Entree van zorg

Samenvatting Het draait om het kind

Afbeelding: TriamFloat Effectmetingsmodel

Onderzoek 1Gezin1Plan. Presentatie voor gemeenten, instellingen en hulpverleners

Quick scan Ambulant begeleid wonen

Samenvatting (Dutch summary)

Child Safety Now. Towards Effective Case Management for Families in Child Protection and Youth Parole Services I. Busschers

Veelgestelde vragen over effectiviteit in de jeugdzorg

Beter dan de leek. Professionaliteit in de jeugdzorg. Tom van Yperen NIZW Jeugd / Universiteit Utrecht

Samenvatting. Gezin Centraal

Vaktherapie: Wat werkt?

a. Hebben de professionals die rondom een cliënt samenwerken hetzelfde doel voor (eigen werkgebied overstijgend)?

Nederlandse samenvatting

Effectieve besluitvorming in onderwijs en jeugdhulp: Basis voor integraal arrangeren

Eerste effectmeting van de training ouderverstoting voor professionals in opdracht van De FamilieAcademie

Herstellen doe je zelf; Evaluatie van een cliëntgestuurde cursus

- Gezamenlijke visie - Algemeen of specifiek - Doelstelling vastgelegd - Doel SMART geformuleerd

Agenda. Opwarmer. Voorstellen en Opzet. Waaruit bestaat Triple P: Positief Opvoeden? Wat is Triple P Positief Opvoeden

Sturen op resultaten. Zijn gestandaardiseerde vragenlijsten bruikbaar?

Aanpak: Gezinscoaching. Beschrijving

Onderzoek naar het cluster 4 onderwijs: kinderen en hulpverlening. Drs. R. Stoutjesdijk & Prof. Dr. E.M. Scholte M.m.v. drs. H.

WORKSHOP VERSPREIDING EN IMPLEMENTATIE VAN JE PROJECT. Djoeke van Dale, CGL Renske van der Zwet, Movisie

gedrags- en maatschappijwetenschappen

Bijlage 2: Ketenaanpak Qpido

HOOFDSTUK 1: INLEIDING

Workshop: Coach je kind zet allochtone ouders in hun kracht.

Zorg voor Jeugd Raadsinformatieavond. 22 januari /02/2013 1

Aan de slag met de Startwijzer-mbo Handleiding

Richtlijnen Uithuisplaatsing. Cora Bartelink & Matthé Hak

CMWW. Evaluatie Jeugd Preventie Programma Brunssum

Aanpak: Bijzondere Zorg Team. Beschrijving

Preffi 2.0: Preventie Effectmanagement Instrument. Ontwikkeling,validiteit, betrouwbaarheid en bruikbaarheid

Voortgangsmonitor. Driehuis en gezinshuizen. JiO 9 maart Caroline van den Bel en Carolien Konijn

Samenvatting en conclusies

Doelstelling van het onderzoek en onderzoeksvragen

Locatie Leeuwarden. 1 van 5. Ministerie van Justitie. Locatie Leeuwarden

Voorlichting Dialoogtafelmethodiek. Korte versie voor de deelnemende aan de dialoogtafel professionals

Sturen op kwaliteit. Theorie en praktijk. Dr. Wim Gorissen, Directeur Effectiviteit & Vakmanschap

Evaluatie Time-outprojecten Bijzondere jeugdbijstand. Samenvatting

Werken met hulpverleningsplannen

Voorstel aan de raad. Raadsadvies Jeugd en veiligheid - wordt gevolgd

Nederlandse samenvatting

Lessons Learned bij de Pilot Verbinden Erkenningstraject Interventies en Serious Games.

Bewezen effectief werken. Korte introductie

Overzichtskaart 3. Opvoedingsondersteuning. voor hulp bij opvoedingsvragen en lichte opvoedproblemen

Analyse Project Eigen Kracht in Uitvoering

Het rondetafeloverleg (i.v.m. 1Gezin1Plan)

but no statistically significant differences

Handleiding voor gezinsmedewerkers. Han Spanjaard Marianne Haspels

Kwaliteitsmeting. Ambulante Spoedhulp (ASH) en Families First (FF) Resultaten kwaliteitsmeting tweede helft 2015

S a m e n v a t t i n g 149. Samenvatting

NORMEN KWALITEITSLABEL SOCIAAL WERK

SAMENVATTING. Samenvatting

Oplegnotitie verlenging beleidsplan Jeugdhulp

Cliëntervaringsonderzoek Jeugd. Gemeente Bloemendaal. 5 oktober 2016 V1.0

Auditinstrument. LVB & Middelengebruik

Kennispraktijk voor de jeugdzorg. llegi

Risicomanagement bij onder toezicht gestelde kinderen Een notitie naar aanleiding van onderzoek van de Inspectie jeugdzorg oktober 2008

Methodisch werken binnen de sociale wijkteams: hoe doe je dat?

Aanpak: CJG-aanpak. Beschrijving

Beschermjassen: Wat is het en werkt het?

Onderzoek naar de evalueerbaarheid van gemeentelijk beleid

Persoonlijkheidsstoornissen Kortdurend Behandelaanbod

Defence for Children over de wetsevaluatie Wet op de jeugdzorg

Supervisie in de driejarige opleiding van het CPC Versie 28/10/2015

EFFECTIVITEITSONDERZOEK PROFESSIONAL ORGANIZING. NBPO Oktober Oktober 2014

Effectieve zorg bestaat uit effectieve methodieken, maar hoe effectief is effectief? Jan Willem Veerman Ede, 28 september 2005

Samenvatting onderzoek naar de rol van pedagogisch medewerkers op peuterspeelzalen in achterstandswijken

Profiel personal coach WelSlagen Diversiteit

Invoering van de meldcode in de jeugdzorg

Vervolgonderzoek AMK Utrecht

Toezicht op zorg aan kwetsbare groepen. Heleen Buijze Senior inspecteur

Plan van aanpak naar aanleiding van het Rapport. De kwaliteit van Stichting Veilig Thuis Noord Oost Gelderland Stap 2

Informatie voor ouders

Hoofdstuk 1 is de algemene inleiding van dit proefschrift. Samenvattend, depressie is een veelvoorkomende stoornis met een grote impact op zowel het

Presentatie van vandaag

Een verkenning van de toeleiding van vluchtelingen naar de reguliere zorg Praktijkervaringen uit 5 gemeenten

Kerncompetenties psychotherapeut

Toegang om de hoek. Arthur Rijkers

Samen Beter Beslissen met cliënten. dr. Inez Berends, Liset van der Glas, MSc, drs. Rena Eenshuistra

Registreren, analyseren en verantwoorden

Klantprofilering. Objectieve meting voortgang en resultaten trajecten

Aanpak: Er op af aanpak vanuit zorgnetwerken. Beschrijving

Leeftijdbewust personeelsbeleid Ingrediënten voor een plan van aanpak

Opvolgingsonderzoek Verzelfstandiging openbaar primair onderwijs in Amsterdam-West

Cursus Positief opvoeden volgens Triple P - Amsterdam

Gespecialiseerde thuisbegeleiding

Samenvatting Samenvatting

TESTVRAAG: Bent u rechts-of linkshandig?

Aanpak: Bemoeizorg. Beschrijving

Transcriptie:

Werken aan effectiviteit Globale doorlichting van drie werksoorten van SPIRIT te Amsterdam Beter met Thuis Regionaal Ambulante Teams Nieuwe Perspectieven Samenvatting, conclusies en aanbevelingen Joost van den Braak (Adviesbureau van Montfoort) Carolien Konijn (NIZW Jeugd)

Werken aan effectiviteit Globale doorlichting van drie werksoorten van SPIRIT te Amsterdam: Beter met thuis, Regionaal Ambulante Teams en Nieuwe Perspectieven Auteurs: Joost van den Braak (Adviesbureau van Montfoort) Carolien Konijn (NIZW Jeugd) Met medewerking van: Eline Elderman (Adviesbureau van Montfoort) Karin Eijgenraam, Wieneke Bruinsma en Karin Eijgenraam (NIZW Jeugd) Woerden/Utrecht Januari 2006 2

6 Samenvatting, conclusies en aanbevelingen In dit onderzoek hebben we drie werksoorten van Spirit op een aantal effectiviteitsaspecten doorgelicht. Het betreft Beter met Thuis (BMT), de Regionaal Ambulante Teams (RAT s) en Nieuwe Perspectieven (NP). Het gaat bij elke werksoort om de volgende drie vragen: 1 Ten aanzien van de potentiële effectiviteit: Wat is de doelgroep en bereikt men met de werksoort de beoogde doelgroep? 2 Ten aanzien van de veelbelovendheid: Geeft men de hulp die volgens onderzoek bij de problematiek van de doelgroep past? Voert men de hulp uit zoals bedoeld? En krijgen de algemeen werkzame factoren voldoende aandacht in de praktijk van de hulpverlening? Met andere woorden: doet men de goede dingen? 3 Ten aanzien van de doeltreffendheid: Welke resultaten boekt men met de werksoort? Met andere woorden: doet men de dingen ook goed? Om deze vragen te beantwoorden hebben we: Dossiers (25 per werksoort) en registratiegegevens bestudeerd Nagegaan in hoeverre de problematiek van de bereikte cliënten overeenkomt met die van de in het methodiekboek beschreven doelgroep. Nagegaan wat we uit de vakliteratuur weten over de meest werkzame aanpak van de problemen van de bereikte jeugdigen en hun ouders. Deze werkzame ingrediënten vergeleken met de beschrijving van de drie methodieken. In een groepsinterview met hulpverleners per werksoort onderzocht in hoeverre de beschreven methodieken in de praktijk ook zo worden uitgevoerd (programma-integriteit). In die interviews ook de toepassing van andere algemeen werkzame factoren besproken (goede werkrelatie tussen hulpverlener en cliënt, goede aansluiting van aanpak bij problemen en hulpvragen van de cliënt, goede motivatie van de cliënten, goede structurering van de interventie, goede werkomstandigheden van de hulpverlener). Nagegaan wat de resultaten van de werksoorten zijn: ongewenste uitval, cliënttevredenheid, doelrealisatie. Het laatste wordt nog niet systematisch bijgehouden. Hiervan is slechts een indicatie verkregen in de groepsinterviews met hulpverleners. Het rapport is zodanig opgebouwd dat de verslaglegging van de doorlichting van de drie werksoorten afzonderlijk leesbaar is. Elk hoofdstuk is ook voorzien van een uitgebreide samenvatting van de resultaten en van conclusies. In dit slothoofdstuk geven we eerst een korte samenvatting van onze bevindingen en vervolgens gaan we wat uitgebreider in op de conclusies en aanbevelingen. Tot slot vatten we de aanbevelingen samen in een model waarmee Spirit voortaan de resultaten van de werksoorten zelf kan nagaan. Vergelijking daarvan met de resultaten van een andere aanpak voor dezelfde doelgroep of met niets doen (cliënten op de wachtlijst) kan vervolgens de werkzaamheid van de werksoort aangeven. 3

6.1 Samenvatting van de bevindingen De drie werksoorten zijn op de bovengenoemde vragen doorgelicht tegen de achtergrond van de effectiviteitsladder van Veerman (2005). De eerste trede van die ladder - potentieel effectief - is dat helder beschreven is waar de interventie uit is opgebouwd en voor wie de interventies is bedoeld. Alle drie onderzochte interventies zijn helder beschreven in methodiekboeken, die regelmatig worden aangepast aan nieuwe inzichten. De doelgroepomschrijving is echter niet altijd helder en volledig. Dit geldt voor alle drie de werksoorten. Bij de RAT s betreft het de ontbrekende gedragsproblematiek van kinderen in de doelgroepomschrijving, bij NP de ontbrekende omschrijving van de problematiek van de ouders en bij BMT niet nader genoemde problematiek van ouders naast opvoedingsproblematiek. Die onduidelijkheid en/of onvolledigheid leidt bij BMT en RAT tot meningsverschillen tussen hulpverleners en programmamanagers over de ernst van de problemen van de groep cliënten die men bereikt of beoogd te bereiken. Hulpverleners vragen zich in dit verband dan af of vraag en aanbod nog wel in balans zijn. De tweede trede is dat theoretisch aannemelijk is gemaakt waarom de aanpak zou werken. De drie onderzochte werksoorten zijn theoretisch goed onderbouwd en sluiten, volgens wat we over de werkzaamheid weten uit internationale effectonderzoeken, ook redelijk goed aan bij de problematiek van hun doelgroep. Punt waarop zowel Beter met Thuis, de werkwijze van de RAT s als Nieuwe Perspectieven zich verder zouden kunnen ontwikkelen, is de wijze waarop de gedragsproblemen van de jeugdigen worden aangepakt. Een meer cognitieve aanpak van de gedragsproblemen van de jeugdigen kan volgens de vakliteratuur betere resultaten opleveren (verbeteren van probleemoplossende vaardigheden, cognitieve herstructurering, training woedebeheersing). Er wordt in het competentiemodel, waarmee Spirit veel werkt, wel aandacht aan besteed met de thermometer en met helpende en storende gedachten, maar dit cognitieve aspect van de aanpak zou nog steviger kunnen worden aangezet. Ook zou de methodiek aanwijzingen moeten bevatten over hoe omgegaan kan worden met de (individuele) problemen van de ouders. Ouders hebben naast opvoedingsproblemen ook vaak financiële, relatie-, verslavings- of psychische problemen. In de methodieken wordt hieraan geen of nauwelijks aandacht besteed. Hulpverleners merken in de praktijk dat deze problemen moeilijk los te zien zijn van de andere problemen. Zij hebben onder meer hierdoor het gevoel dat hun aanpak van de problemen in het gezin tekortschiet. Het is de vraag of de methodiek op dit punt zou moeten worden uitgebreid, maar de hulpverleners dienen in ieder geval instructie op dit gebied te krijgen. De organisatie dient dit probleem nader te verkennen en een instructie op te stellen. Bij de aanbevelingen gaan we hierop verder in. Belangrijk punt van aandacht voor de verdere werkontwikkeling van Beter met Thuis en de ambulante teams (RAT s) is voorts de programma-integriteit. Hulpverleners voeren de, in theorie gepaste, interventies in de praktijk niet precies uit zoals het staat beschreven in het methodiekboek. Ook regionaal zijn er nogal grote verschillen in uitvoering. De aanpak kan dan wel in theorie veelbelovend zijn, als de aanpak in de praktijk niet zo wordt uitgevoerd is ze in de 4

praktijk al gauw minder veelbelovend. De hulpverleners van Nieuwe Perspectieven houden zich over het algemeen wel aan de beschreven werkwijze; deze werksoort kan dus inderdaad op dit punt veelbelovend genoemd worden. De derde trede van de effectiviteitsladder is de doeltreffendheid. Deze wordt bereikt als kan worden aangetoond dat de doelen worden gerealiseerd, er weinig ongewenste uitval is en de cliënten tevreden zijn over de resultaten. Over het algemeen is de uitval niet groot (8 tot 9%), zijn de cliënten tevreden (gemiddeld rapportcijfer ongeveer 8,5) en wordt tweederde van de doelen bereikt. Dit laatste is echter gebaseerd op beperkt dossieronderzoek en een subjectieve beoordeling van een klein aantal ondervraagde hulpverleners (uitzondering is NP, waar het jaarverslag 2004 een beeld geeft van de doelrealisatie bij circa 700 cliënten). In hoeverre de drie onderzochte werksoorten werkelijk doeltreffend zijn kan nu alleen indicatief worden aangegeven. De vierde trede is een werkzame interventie. Pas als blijkt dat een bepaalde interventie betere resultaten heeft dan andere interventies of dan nietsdoen (cliënten op de wachtlijst) kan van werkzaamheid worden gesproken. In de onderhavige studie is geen vergelijking geweest met de resultaten van andere interventies of met die van een wachtlijstgroep. Hiervoor is een onderzoek met een ander design vereist. Concluderend kunnen we stellen dat de drie werksoorten potentieel effectief zijn en veelbelovend genoemd kunnen worden wanneer men een aantal aanpassingen in de methodiek aanbrengt en de programma-integriteit van Beter met Thuis en de ambulante teams verhoogt. Naar de maatstaven van de ongewenste uitval en de cliënttevredenheid zijn de methodieken ook tamelijk doeltreffend, hoewel de uitval in sommige regio s groter is dan andere. Maar om een goede uitspraak te kunnen doen over de doeltreffendheid zijn meer gegevens over doelrealisatie nodig. Vanaf 2006 komen deze bij Spirit wel beschikbaar. 6.2 Aanbevelingen Eerst geven we de conclusies en aanbevelingen die gelden voor alle drie werksoorten. Deze betreffen de instroom van cliënten, het monitoren van de uitvoering van de methodiek en de resultaten. Daarna geven we aanvullend enkele specifieke aanbevelingen voor de onderzochte programma s. 5

Beoogde en bereikte doelgroepen Bij Beter met Thuis en de regionale ambulante teams is beperkt zicht op de problematiek van de jeugdigen en ouders die worden bereikt. Nieuwe Perspectieven heeft hierover meer gegevens. Bij BMT en de RAT s leidt de onduidelijkheid over de problemen van de beoogde en bereikte doelgroep ertoe dat men met het management van mening verschilt over de gepastheid van de interventies. Bovendien is inzicht in de aard en ernst van de problematiek niet alleen nodig om de interventies aan te passen maar ook om eventuele veranderingen in de resultaten te kunnen interpreteren. Vanaf 2006 gaat Spirit de resultaten van de hulpverlening beter volgen met de Vragenlijst Doelrealisatie. Voor interpretatie van (veranderingen in) de resultaten is inzicht in de kenmerken en problemen van de bereikte doelgroep noodzakelijk. Deze informatie over de aard en de ernst van de problemen van de cliënten is niet alleen bruikbaar bij evaluatie van de gepastheid van de interventie maar ook bij de probleemanalyse. Bij de doorlichting is geconstateerd dat de probleemanalyse bij de cliënten van BMT en de RAT s te wensen over laat. Aanbeveling 1: concrete doelgroepomschrijving Om een goede vergelijking te maken tussen de beoogde en de bereikte doelgroep moet de beschrijving van de beoogde doelgroep voldoende nauwkeurig en concreet zijn. Deze omschrijving kan uiteraard worden aangepast op grond van de evaluatie van de gepastheid van de interventie. Deze doelgroepomschrijving dient te worden opgenomen in het methodiekboek. Aanbeveling 2: systematische probleemanalyse Neem bij de cliënten systematisch een vragenlijst over de problemen van de jeugdige en over gezins- en opvoedingsproblemen af. Hierbij valt te denken aan de CBCL of de SDQ voor de jeugdigen en de NOSI voor ouderlijke stress. Voor de ernst van de problematiek kan de Standaard Taxatie van de Ernst van de Problematiek (STEP) worden afgenomen. Vanaf 1 september 2005 neemt bureau jeugdzorg in het ROA-gebied bij alle cliënten de Quick-STEP af en stuurt zij deze informatie met het indicatiebesluit mee naar de zorgaanbieders. Bij afsluiting van de zorg kan Spirit de Quick-STEP nogmaals afnemen zodat afname in de ernst van de problematiek wordt aangetoond (zie verder bij Evaluatie van de resultaten hieronder). Zeker als deze vragenlijsten ook door andere zorgaanbieders worden afgenomen, heeft een keuze voor deze vragenlijsten in verband met vergelijkingsmogelijkheden meerwaarde. Het is de vraag of deze aanbeveling voor Nieuwe Perspectieven ook dient te gelden; zij verzamelen immers al voldoende gegevens over de problematiek. Programma-integriteit De methodieken van de drie onderzochte werksoorten zijn over het algemeen theoretisch goed gefundeerd en passend bij de doelgroep, afgaand op wat er momenteel (inter)nationaal bekend is over de meest effectieve aanpak. Er dienen bij de verschillende werksoorten nog wel evaluaties, aanvullingen of aanpassingen op specifieke punten plaats te vinden (zie de aanbevelingen per werksoort hieronder). Het voornaamste probleem voor voldoende effectiviteit van BMT en de RAT s lijkt te liggen in de toepassing van de methodiek zoals deze beschreven is; de programmaintegriteit is niet hoog. Bij NP wordt de methodiek wel uitgevoerd zoals beschreven. Gevolg van geringe programma-integriteit is niet alleen dat de resultaten waarschijnlijk niet optimaal zijn, maar 6

ook dat hulpverleners zich machtelozer voelen dan nodig is bij de aanpak van de problematiek van de jeugdigen en ouders. De methodiek biedt meer houvast voor behandeling en begeleiding van de problemen dan nu wordt gebruikt, is de indruk. Aanbeveling 3: uitvoering van de methodiek zoals afgesproken De methodiek dient te worden uitgevoerd zoals vastgelegd. De programma-integriteit bij BMT en de RAT s kan worden bevorderd door: (1) Opnieuw / herhaling scholing uitleg van wat de methodiek inhoudt. Iedereen dient voldoende te zijn geïnstrueerd in wat precies de bedoeling is van de aanpak. (2) Bij de training of scholing dient men veel aandacht te schenken aan het belang van programma-integriteit (uitvoeren van de methodiek zoals beschreven) met de volgende argumentatie. Als de methodiek niet zoals afgesproken wordt toegepast, weet men bij evaluatie van de resultaten (zie hieronder) niet wat werkt en wat niet. De effectiviteit van het werk kan dan niet worden gevolgd en verbeterd. (3) Om de effectiviteit van het werk te verbeteren, is het noodzakelijk om geregeld met het team de methodiek en de resultaten (en daarmee gepastheid voor de doelgroep) te evalueren. De inzichten van hulpverleners voor mogelijke verbetering van de methodiek die volgen uit deze evaluatie, kunnen na een experimenteerperiode (en opnieuw evaluatie van de resultaten) worden verwerkt in de methodiek. Zo krijgt men actief meedenkende en betrokken medewerkers die de kern van de methodiek toepassen zoals gewenst. Bij die evaluaties is tevens de mogelijkheid om de kern van de methodiek (en het belang van programma-integriteit) opnieuw onder de aandacht te brengen, zonder dat het (schools) weer opnieuw wordt getraind. (4) Hulpverleners dienen aangesproken te worden als professionals en moeten ruimte hebben om naar eigen inzicht per cliënt te variëren in de toepassing (en niet: een receptenboek uitvoeren). Daarvoor is het van belang helder aan te geven welke onderdelen van de methodiek essentieel zijn (de kern) en welk gevarieerd kunnen worden. Die kern kan worden bepaald door op basis van de theoretische uitgangspunten van de methodiek na te gaan wat de essentie is van de aanpak. Na vaststelling van deze kern kunnen hieraan elementen worden toegevoegd en gewijzigd al naar gelang de bovengenoemde evaluaties van de resultaten aangeven. (5) Om de evaluatie van de resultaten van de hulp en de ingezette technieken meer gedegen te laten zijn en niet alleen af te gaan op indrukken van medewerkers dient men de toepassing van technieken en middelen bij te houden (bijvoorbeeld door een afvinklijst in het dossier op te nemen). Beperk dit tot de hoofdzaken en vul dit per periode aan (afhankelijk van wat dan precies wordt geëvalueerd). Wanneer die informatie in evaluaties geregeld wordt teruggekoppeld, zal de accuraatheid van de uitvoering toenemen. Wanneer de hulpverleners zelf gebruik gaan maken van de informatie die zij invoeren, wordt de betrouwbaarheid verhoogd. (6) Tot slot kan in intervisie- en supervisie bijeenkomsten de programma-integriteit worden besproken en gecontroleerd door het vragen van collega s over wat men precies heeft gedaan en 7

waarom. Dit dient uiteraard geen strikte controle te worden. Hulpverleners kunnen afwijken wanneer het nodig is, maar dan wel geëxpliciteerd en beargumenteerd, niet zonder reden. Zeker als de resultaten hiervan worden bijgehouden, kan dergelijk professioneel experimenteergedrag leiden tot goede inzichten in wat werkt en wat niet. Om dit goed te laten verlopen is een leidraad voor intervisie en casuïstiekbesprekingen nodig, zoals nu reeds voor de RAT s en NP zijn opgesteld. Daarbij dient de toepassing van die leidraad bewaakt te worden. Evalueren van resultaten Hierboven kwam al ter sprake dat het volgen van de resultaten cruciaal is om de effectiviteit van de jeugdzorg te verbeteren. Het volgen van de resultaten is voor diverse niveaus van de organisatie van belang. Hierboven is vooral de aandacht gevestigd op de evaluatie van onder andere deze informatie door de hulpverleners zelf (belangrijk in de professionaliseringsontwikkeling van de jeugdzorg). Maar hiermee kan de effectiviteit van de hulp nog niet worden vastgesteld. De resultaten dienen beter gevolgd te worden om de doeltreffendheid van de aanpak beter na te gaan. Over effectiviteit zegt dit bovendien nog niet alles omdat specifiek onderzoek vereist is om een uitspraak te kunnen doen over de werkzaamheid. Dat impliceert altijd een vergelijking met iets anders (niets doen of een andere aanpak). In 2006 zal bij Spirit een dergelijk effectonderzoek starten naar de methode Spoedhulp. We beperken ons in de aanbevelingen tot (het volgen van) de resultaten.; Aanbeveling 4: meetbare doelen stellen Basis voor het evalueren van doeltreffendheid van de aanpak is het stellen van goede doelen. De kwaliteit van de doelen is in vergelijking met andere instellingen niet slecht bij Spirit maar het kan nog veel beter. Doelen worden nog maar weinig verward met middelen of hulpvragen, maar ze zijn vaak nog te abstract om goed evalueerbaar te zijn. Onze aanbeveling is om niet (opnieuw) een cursus hiervoor te geven maar dat pas te doen als hulpverleners daaraan zelf de behoefte aangeven. Begin eerst met een evaluatie van de doelstellingen in casuïstiekbesprekingen. In de leidraad van de RAT s is voorzien in aandacht voor de doelstelling en de mate waarin deze gerealiseerd wordt. Stel hierbij aan het begin van de hulp (bespreking na 4 weken startfase) systematisch de vraag hoe de hulpverlener aan het einde van hulp zou kunnen zien of het doel gehaald is. Als het goed gaat, leidt het denken hierover tot steeds specifiekere (en de kern van het probleem benaderende) doelen. Bij het einde van de hulp wordt de vraag of het doel is gerealiseerd beantwoord. Aanbeveling 5: meten van resultaten Voor het volgen van de resultaten zijn de volgende uitkomsten van belang: mate van doelrealisatie (waaronder probleemafname), ongewenste uitval, tevredenheid. Al deze drie uitkomstmaten houdt Spirit sinds 2006 bij (zie Vragenlijst Doelrealisatie en de reeds ingevoerde cliënttevredenheidsvragenlijst). In de Vragenlijst Doelrealisatie is zelfs voorzien in een aantal vragen die helpen bij het interpreteren van de uitkomsten (o.a. beoordeling van de gepastheid van de methodiek voor de beoogde doelgroep en de gemotiveerdheid van de cliënt). Invoering van deze vragenlijst voorziet ruim voldoende in het volgen van de resultaten. Daarnaast bevelen we aan om na afloop van de 8

hulp een 2 e maal de vragenlijsten voor de aard en de ernst van de problematiek af te nemen (zie aanbeveling 2). Daardoor heb je niet alleen een hulpverlenersoordeel over het behalen van het doel probleemafname (zoals in de vragenlijst is opgenomen) maar ook een objectiever gegeven. Of de STEP hier inderdaad voldoende voor geschikt is, wordt het komende jaar onderzocht door NIZW Jeugd (in opdracht van het ministerie van VWS). We raden Spirit in ieder geval aan de resultaten van de Vragenlijst Doelrealisatie aan het eind van de behandeling terug te koppelen aan de medewerkers en deze te bespreken (zie aanbeveling 3). Dit is voorwaarde voor het goed en regelmatig invullen van de vragenlijst. Tot slot Naast een goede leidraad voor intervisie en casuïstiekbesprekingen, en een bewaking van de toepassing hiervan, is een regelmatige evaluatie van de instroom, de methodiek (incl. toegepaste technieken) en de uitkomsten nodig. Elke drie maanden of elk half jaar kan per afdeling of team zo n bijeenkomst plaatsvinden. Er vindt dan een presentatie van de gegevens plaats en een gezamenlijke interpretatie van de bevindingen. Hiermee spreekt men hulpverleners aan op hun deskundigheid en de kern van hun werk, men bevordert het verantwoordelijkheidgevoel van hulpverleners (professionaliteit) en vermindert het gevoel van machteloosheid. Bij het interview met hulpverleners van de RAT s werd ook de behoefte aan bezinning op de eigen praktijk genoemd. Hier luit men op deze manier bij aan. Belangrijk is wel dat de eventuele conclusies van deze besprekingen leiden tot aanpassingen in methodiek of organisatie, of in ieder geval een gerichte poging hiertoe (bespreking op centraal niveau van de organisatie). Eindpunt is dus niet de bespreking maar de acties naar aanleiding daarvan. Die dan vervolgens in de volgende bespreking weer worden geëvalueerd (cyclisch proces). 9

6.3 Model om resultaten te monitoren De aanbevelingen kunnen in het volgende werkmodel voor het volgen van resultaten van de hulp worden samengevat. Schema: Werkmodel voor effectiviteitsverbetering Algemeen Methodiek Praktijk Goede opleiding Goede werkomstandighed en (o.a. Doelgroepomschrijving Beschrijving aanpak: - theoretisch goed onderbouwd - passend bij wat werkt bij de problemen van de doelgroep - goed gestructureerd (start-, veranderings- en afbouwfase) Probleemvragenlijsten bij start : - jeugdige (bijv. CBCL of SDQ) - ouders (bijv. NOSI) Uitvoering van de methodiek zoals beschreven: - bijhouden uitgevoerde activiteiten / technieken / hulpmiddelen - intervisie en/of supervisie: deskundige begeleiding bij uitvoering: evaluatie programmaintegriteit Einde hulp: - uitval noteren - afname probleemvragenlijsten - afname Quick-STEP - vragenlijst Doelrealisatie - Cliënttevredenheid Regelmatige evaluaties in teamvergaderingen van o.a.: - bereikt men de beoogde doelgroep? (doelgroep x scores probleemvragenlijsten + registratie) - wat werkt goed en wat minder goed? (ingezette technieken x resultaten) - wat werkt voor wie? (kenmerken cliënten x resultaten) 10

6.4 Aanbevelingen per werksoort Beter met thuis 1. De doelgroepdefinitie dient te worden aangepast aan (individuele) problemen van ouders; 2. In de methodiek dient te worden aangegeven wat hulpverleners moeten doen bij deze (individuele) problemen van ouders (verslavingsproblemen, psychiatrische problemen, relatieproblemen). Zij zijn geen volwassenenhulpverleners maar worden wel geconfronteerd met deze problemen. Sommige problemen kunnen wellicht in de gezinsaanpak worden meegenomen, voor andere zal Spirit moeten verwijzen of samenwerken met andere instellingen (AMW, GGZ en verslavingszorg). De organisatie dient hieraan consequenties te verbinden: structurele verwijscontacten of samenwerking regelen met bepaalde instellingen of hulpverleners. Hulpverleners dienen hiervan vervolgens uiteraard op de hoogte gesteld te worden. Aanwijzingen voor het handelen in deze dienen in het methodiekboek te worden opgenomen (ook voor de nieuwe generatie medewerkers). 3. Men dient helderheid te geven over wat de kern van de methodiek is (dient iedereen in alle regio s uit te voeren) en variabel is (zie verder programma-integriteit hierboven). 4. Methodiek aanpassen voor wat betreft meer cognitieve aanpak van de gedragsproblemen van de jeugdigen (trainingen woedebeheersing en probleemoplossende vaardigheden). Hiervoor kan men het programma Minder boos en opstandig (Universiteit van Utrecht) en training woedebeheersing van de Bascule nader bekijken. Delen uit die programma s kunnen worden overgenomen in BMT maar er kan eventueel ook een samenwerkingsrelatie met deze uitvoeringsinstanties tot stand komen. 5. Nagegaan kan worden in hoeverre er vaker groepsaanbod aan ouders en kinderen kan plaatsvinden. Dit is kosten-effectiever. 6. In de doorlichting is geconstateerd dat het netwerk van gezinnen wordt verkend (bolletjesschema) maar dat de verkenning van het netwerk van de jeugdigen (relaties met leeftijdgenoten, functioneren op school, buurt)verbeterd kan worden. 7. Er is geconstateerd dat in het methodiekboek weinig specifieke aanwijzingen zijn opgenomen over hoe de leergroep gebruikt kan worden voor de aanpak van problemen. Men geeft aan dat dit in de praktijk wel degelijk gebeurt. Hierop dient de methodiekbeschrijving te worden aangepast. Regionale ambulante teams 1. De (nieuwe) doelgroepomschrijving in het methodiekboek kan concreter, gericht op kenmerken en problemen van de doelgroep. De huidige omschrijving is meer gericht op mogelijke oorzaken en gebieden waarop de problemen zich bevinden dan op de problemen en kenmerken zelf. Daarnaast bestaat nu de indruk dat de doelgroep vooral bestaat uit ouders en niet uit kinderen. Dossieranalyse laat zien dat de kinderen die door de RAT s worden geholpen aanzienlijke gedragsproblemen hebben, terwijl dit niet als zodanig is benoemd in de doelgroepomschrijving. 2. Men dient met de hulpverleners te evalueren wat te doen met nieuwe doelgroepen die zich aandienen: asielzoekers, vluchtelingen, mensen die de Nederlandse taal niet machtig zijn, meisjes van 13 à 14 jaar met politiecontacten. Hoeveel zijn dit er precies? Wat zijn hun 11

problemen en hulpvragen? Zijn de interventies van de RAT s voldoende gepast (dan doelgroepomschrijving aanpassen) of niet (aanpassing methodiek of verwijzing naar andere hulpvormen)? 3. De problemen van de cliënten dienen meer systematisch te worden geanalyseerd (zie ook aanbeveling 2). 4. De programma-integriteit dient te worden verbeterd (zie algemene aanbeveling). 5. Methodiekboek moet helderheid geven over wat de kern is van de methodiek (wat moet altijd worden toegepast) en waar in kan men variëren (zie ook algemeen) 6. Binnen de aanpak zou psycho-educatie een plaats moeten krijgen. Dit is uitleg aan de ouders over de problemen van hun kind. 7. Aanpassing van de methodiek aan een meer cognitieve aanpak van de gedragsproblemen van de jeugdigen zoals de vakliteratuur aangeeft (cognitieve herstructurering, trainingen woedebeheersing en probleemoplossende vaardigheden). 8. (Herhaling van) scholing in motivatiebevorderende technieken. 9. Aanbod aan ouders (opvoedingsondersteuning) zou groepsgewijs kunnen worden aangeboden (kosten-effectiever). 10. In het buitenland effectief gebleken opvoedingsondersteuningsprogramma s (Triple P en Incredible Years) kunnen worden bekeken op mogelijke aanvullingen of aanpassingen van de huidige aanpak van de RAT s. Omdat deze programma s nog niet zijn onderzocht op hun effectiviteit in Nederland, bevelen we niet aan deze programma s in te voeren maar vooralsnog alleen de meerwaarde voor de eigen aanpak te beoordelen en deze elementen eventueel over te nemen. De komende jaren zal duidelijk worden of deze programma s in Nederland net zo effectief zijn als zij in Australië respectievelijk Engeland blijken te zijn. 11. Nagegaan waarom de uitval in Centrum/Oud-West, Nieuw-West, Noord en Zuid-Oost groter is dan in de andere vier regio s. Nieuwe Perspectieven 1. De doelgroepomschrijving is op dit moment alleen op jongeren gericht. Wanneer het de bedoeling is dat de hulpverleners zich ook expliciet richten op de ouders van de jongeren (vanwege betere effectiviteit van de aanpak), dan dient de doelgroepomschrijving hierop aangepast te worden. 2. Er dient met de hulpverleners te worden geëvalueerd op welke manier op dit moment ouders bij de probleemanalyse en de hulpverlening worden betrokken. Uit de doorlichting bestaat de indruk dat dit nog onvoldoende gebeurt. In de dossiers is bijvoorbeeld over de gezinssituatie van de jongeren weinig informatie te vinden. Vervolgens kan overwogen worden om de ouders een gedragstraining aan te bieden, zoals de vakliteratuur aangeeft. 3. Overwogen kan worden om in het vervolgtraject voor de jongeren een training probleemoplossende vaardigheden of woedebeheersing aan te bieden, zoals de vakliteratuur aangeeft. 4. Hulpverleners hebben behoefte aan richtlijnen voor het verstrekken van privacygevoelige informatie aan externe instanties. We bevelen aan hieraan tegemoet te komen op basis van landelijk beschikbare richtlijnen hiervoor van het ministerie van VWS. 5. De doelen kunnen nog concreter en specifieker worden geformuleerd. Dit kan bevorderd worden door systematisch bij afsluiting te evalueren of de doelen zijn gerealiseerd of niet 12

(zie algemene aanbeveling hierover). Dit zou vervolgens bevorderen dat doelrealisatie eerder als reden voor beëindiging gaat worden gezien dan de hulpverleningsduur, zoals nu het geval is. 6. Bespreken wat er vanuit NP kan worden gedaan aan de door de hulpverleners ervaren knelpunten zoals gebrek aan huisvesting en voorzieningen voor jong-volwassenen. 7. In het groepsgesprek met NP-hulpverleners blijkt dat zij veel ervaring hebben met motiverende (gespreks)technieken. Teams van andere werksoorten uiten hieraan behoefte te hebben. Wellicht kan de ervaring van de NP-hulpverleners - wellicht door een onderzoekstagiaire - worden opgeschreven ten behoeve van andere teams. 8. Hulpverleners geven aan experimenteerruimte te missen: met welke methoden wensen de NP-ers dan te experimenteren? Zie verder de algemene aanbevelingen ten behoeve van het bevorderen van de programma-integriteit, waarvan het experimenteren een onderdeel kan zijn. 13