Veelgestelde vragen over effectiviteit in de jeugdzorg

Transcriptie

1 Veelgestelde vragen over effectiviteit in de jeugdzorg Rapport voor Spirit Amsterdam Carolien Konijn en Wieneke Bruinsma Afdeling Jeugdzorg en Opvoedhulp Postbus 19221, 3501 DE Utrecht Telefoon: (030) , Website: Utrecht januari 2008

2 Veelgestelde vragen over effectiviteit in de jeugdzorg In Spirit werken professionals Spirit is afgelopen jaren gestart met beleid om de effectiviteit van de hulpverlening, van de professionals die binnen Spirit werken, te vergroten. Hulpverleners zien het meeste resultaat van hun werk als zij een goede werkrelatie met hun cliënten aan kunnen gaan, effectieve methodieken gebruiken en goed op hun werk reflecteren. Daarom ontwikkelt Spirit ook steeds zijn methodieken. Daarnaast is Spirit in 2007 gestart met de methode-evaluaties. In 2008 wordt de invoering hiervan breed in de instelling voortgezet. Bij de methode-evaluatie evalueren teams geregeld (minstens een keer per jaar) met elkaar welke cliënten zij de afgelopen periode geholpen hebben, wat de aangeboden hulp is geweest en met welk resultaat de hulp is afgesloten. Zo kan worden nagegaan welke hulp voor welke groepen ouders en jeugdigen heel goed heeft gewerkt, maar ook welke hulp minder goede resultaten heeft opgeleverd. Voor de groep die minder profijt had van de hulp, kan het team met elkaar nagaan wat er zou moeten gebeuren om soortgelijke cliënten in de toekomst beter te helpen. Deze verbetersuggesties zullen ook door andere geledingen van Spirit worden besproken en kunnen vervolgens leiden tot aanpassingen en verbeteringen van het zorgprogramma. Deze vorm van feedback organiseren, is essentieel voor de continue professionele ontwikkeling van hulpverleners in de jeugdzorg. Op deze manier worden professionals in staat gesteld om aan de hand van hun resultaten en enkele kenmerken van de hulp die werd verleend, te evalueren wat goed ging en wat beter kon. Zo stellen hulpverleners zich open voor ontwikkeling en kan de hulp steeds verder verbeteren aan de hand van hun eigen praktijkervaringen en die van hun collega s. Vanuit het perspectief van de zorginstellingen is deze vorm van continue feedback te zien als een strategisch instrument voor kwaliteitsverbetering. Vanuit het perspectief van de hulpverlener is het een instrument voor hun eigen professionele ontwikkeling. Aan de hand van de eigen ervaringen worden hulpverleners zo steeds beter in hun vak. In het kader van de invoering van deze methode-evaluaties heeft Spirit het Nederlands Jeugdinstituut gevraagd een notitie te schrijven die aangeeft wat de achtergronden zijn van de methode-evaluaties (waarom doet Spirit dit?) en in welke ontwikkeling van de jeugdzorg dit geplaatst kan worden. Daarnaast is gevraagd antwoord te geven op veelgestelde vragen over effectiviteit van de jeugdzorg en de bevordering daarvan. In deze notitie geven we dan ook eerst aan welke ontwikkelingen en discussies er de laatste tijd in de jeugdzorg hebben plaatsgevonden, voor zover het gaat om de effectiviteit. In het tweede gedeelte geven we antwoord op tien veelgestelde vragen. 2

3 1. Werken aan de effectiviteit van de jeugdzorg Effectiviteit is de mate van doeltreffendheid, de mate waarin de gestelde doelen worden gerealiseerd. De doeltreffendheid is nog geen leidraad voor beleid en financiering van de jeugdzorg. Tot nu toe is er vooral een inspanningsverplichting van instellingen om jeugdigen en hun ouders goed te helpen; de financiering is niet afhankelijk van de resultaten die de instellingen boeken. De Nederlandse jeugdzorg is dus nog weinig resultaatgestuurd, maar wel steeds meer resultaatgericht. Instellingen voor jeugdzorg (en de financiers) willen in toenemende mate weten welke resultaten worden geboekt om zo meer inzicht te krijgen in de sterke kanten van de hulpverlening en de mogelijke verbeterpunten. Zo zijn de financiers (provincies) en de brancheorganisatie van de jeugdzorg (MOgroep) onlangs overeengekomen om voortaan te rapporteren over zogenoemde prestatie-indicatoren, zoals de mate waarin men doelen realiseert, de mate waarin de ernst van de problematiek afneemt, de mate waarin de hulp regulier wordt afgesloten, de cliënttevredenheid, et cetera. Goede resultaten bereiken bij ouders en kinderen met psychosociale problemen is waar het uiteindelijk wel om gaat. Dat vinden niet alleen de financiers, maar ook de instellingen en hulpverleners zelf. Wat weten we van de effectiviteit van de Nederlandse jeugdzorg? Op dit moment worden resultaten nog onvoldoende systematisch gemeten en gevolgd om hier een eenduidig antwoord op te geven. Bij een aantal zorgaanbieders, waaronder die in de stadsregio Amsterdam, worden doelrealisatie naar inschatting van de hulpverlener, de reguliere beëindiging (en omgekeerd: het aantal cliënten dat uitvalt tijdens de hulp) en de cliënttevredenheid standaard gemeten. Maar dat gebeurt nog niet bij allemaal en nog maar een paar jeugdzorgaanbieders gaan sinds korte tijd na in hoeverre de problemen van de cliënten bij afronding van de hulp zijn afgenomen. Bovendien is er nog maar weinig onderzoek in de Nederlandse jeugdzorg gedaan dat zicht geeft op wat goed en wat minder goed werkt. De overheid geeft hieraan met een zesjarige subsidie ( ) aan ZonMw voor onder meer effectonderzoek naar preventieve en curatieve interventies wel een flinke stimulans. De verwachting is dan ook dat we de komende tijd meer informatie krijgen over wat wel en niet werkt in de jeugdzorg. Op dit moment zijn er enkele interventies waarvan in een wetenschappelijk verantwoord onderzoeksdesign N is gebleken dat het werkt voor cliënten met bepaalde problematiek. Wereldwijd zijn er wel meer dan 1500 interventies op het terrein van jeugd en opvoeding (Loeffen e.a., 2004). Men schat dat daarvan slechts 1 tot 5% (15 tot 75) evidence based is (zie N In dergelijk onderzoek worden de resultaten van de onderzochte interventie vergeleken met die van een controlegroep van cliënten aan wie niets (wachtlijst) of een alternatieve behandeling wordt aangeboden. Vergelijking van de resultaten geeft aan wat de meerwaarde van de onderzochte behandeling is ten opzichte van geen of andere hulp. Met een dergelijk ontwerp van onderzoek zijn we ervan verzekerd dat de gevonden resultaten echt komen door de gegeven behandeling. Soms problemen ook af zonder dat je iets doet. Naar wetenschappelijke maatstaven kan een interventie evidence based (letterlijk: gebaseerd op bewijs van effectiviteit) worden genoemd als er minstens twee gerandomiseerde en gecontroleerde onderzoeken zijn gedaan met positief resultaat door van de ontwikkelaars onafhankelijke onderzoekers. 3

4 voetnoot 1 voor de term evidence based ). Op dit moment weten we in ieder geval dat het programma Minder Boos en Opstandig (naar voorbeeld van het Amerikaanse Coping Power Program) bewezen effectief is. Daarnaast zijn ook enkele preventieve interventies evidence based (zie ook Hermanns, Öry & Schrijvers, 2005) zoals Taakspel (waarover hieronder straks meer). Op dit moment wordt een aantal onderzoeken uitgevoerd met eerdergenoemde ZonMwsubsidies zodat over enkele jaren het bewijs van effectiviteit (of niet-effectiviteit) van interventies in de jeugdzorg aanzienlijk zal zijn gegroeid. Er lopen momenteel effectonderzoeken naar onder meer de programma s Triple P, Parent Management Training Oregon (PMTO), Tegendraadse Jeugd, Spoedhulp, Multisysteemtherapie (MST) en Family Functioning Therapy (FFT). De eerste drie zijn opvoedingsondersteunings- en oudertrainingsprogramma s, Spoedhulp betreft ambulante crisishulp en de laatste twee zijn gezins- of systeeminterventieprogramma s voor gezinnen met kinderen met ernstige gedragsproblemen of delinquent gedrag. Dat we in Nederland nog betrekkelijk weinig hebben gemeten en onderzocht in de jeugdzorg, betekent niet dat we niets weten van wat werkt. In het buitenland, en dan met name in de Angelsaksische landen (V.S., Engeland en Australië), bestaat al een langere traditie op dit punt. Op basis daarvan kunnen we in de Nederlandse jeugdzorg vernieuwingen doorvoeren. Het is echter niet zo dat wat werkt in het buitenland altijd direct toepasbaar is in Nederland met dezelfde positieve resultaten. Er is vaak een vertaalslag nodig (letterlijk en figuurlijk) op basis van onderzoek waarin wordt nagegaan of de in het buitenland behaalde resultaten ook in Nederland gerealiseerd worden. Een voorbeeld van hoe belangrijk deze vertaalslag is, hebben we gezien bij Taakspel, een preventieve interventie die naar Amerikaans voorbeeld (daar Good Behavior Game geheten) in het Nederlandse onderwijs al vaak wordt uitgevoerd. Met de interventie wordt voorkomen dat kinderen met beginnende gedragsproblemen uitgroeien tot lastpakken. Een van de belangrijkste werkzame bestanddelen is een betere toerusting van leerkrachten om met regeloverschrijdend gedrag van leerlingen om te gaan en een positief onderwijsklimaat te creëren. In het programma worden kinderen gestimuleerd om op elkaar te letten door de leerlingen te vragen taakgerichte opdrachten in groepjes uit te voeren. Ze krijgen als groep beloning van het gewenste gedrag. In de Verenigde Staten wordt daarbij veelvuldig gebruik gemaakt van de concurrentie tussen groepjes om betere resultaten te behalen. Daar werkt dat inderdaad heel stimulerend. In Nederland echter niet. Veel Nederlandse kinderen voelen zich door teveel concurrentie niet gestimuleerd maar eerder belemmerd om meer te presteren. De activiteiten voor de kinderen zijn in de Nederlandse interventie daarom aangepast. Binnen de gedachtegang van het Amerikaanse programma zijn activiteiten ontwikkeld die beter passen bij de aard van de schoolgaande kinderen in Nederland (meer informatie op: Crijnen, 2005). Bestuurders en financiers van de jeugdzorg stellen steeds vaker alleen nog evidence based jeugdzorg te willen. Het zal duidelijk zijn dat dit - gezien het bovenstaande - een wens is die niet direct geëffectueerd kan worden. Er is op dit moment onvoldoende evidence based zorg in Nederland voorhanden. Maar deze wens kan wel richtinggevend zijn voor de verdere ontwikkeling van de jeugdzorg. 4

5 Wat is nodig om de kennis over effectiviteit van de jeugdzorg te vergroten? Op basis van de hierboven gegeven analyse zijn de volgende aanbevelingen mogelijk: 1. meer wetenschappelijk onderzoek om inzicht te krijgen in wat wel en niet werkt in de Nederlandse jeugdzorg; 2. de interventies waarvan we weten dat ze werken (op basis van tot nu toe nog vaak buitenlands onderzoek) implementeren (en aanpassen aan de Nederlandse situatie); 3. bevorderen van praktijkonderzoek door de instellingen zelf. Sommigen vinden dat er prioriteit moet liggen bij wetenschappelijk onderzoek. Maar een gemiddeld effectonderzoek duurt drie à vier jaar en is kostbaar (gemiddeld 3 à 4 ton per onderzoek). Het is onmogelijk om binnen afzienbare termijn alle (1500) interventies die voor het terrein van jeugd en opvoeding bestaan, op die manier te onderzoeken. Daarnaast is dus echt iets anders nodig. Het beste is om alle drie aanbevelingen uit te voeren. In de praktijk zijn namelijk twee bewegingen tegelijkertijd nodig: (1) evidence based interventies zoeken en invoeren en (2) bewijs zoeken in de praktijk van de jeugdzorg zelf en op basis daarvan de kwaliteit bevorderen (schema 1). Overigens is praktijkonderzoek niet alleen nodig omdat wetenschappelijk onderzoek te lang duurt en te kostbaar is; praktijkonderzoek is ook belangrijk omdat de toepassing in de dagelijkse praktijk in aanvulling op wetenschappelijk kennis altijd nodig zal blijken. Later hierover meer. Schema 1: Strategie ter verbetering van kwaliteit en effectiviteit van jeugdzorg Wetenschap Evidence based practice Jeugdzorgpraktijk Practice-based evidence Bron: Van Yperen (2006) We lichten hieronder deze strategie nader toe en geven aan hoe instellingen en hulpverleners in de jeugdzorg hieraan kunnen bijdragen. Verzamelen kennis en invoeren van evidence based interventies In de eerste plaats is er meer wetenschappelijk onderzoek nodig om meer te weten te komen over wat werkt in de Nederlandse jeugdzorg praktijk. Jeugdzorginstellingen kunnen hierin van betekenis zijn om samen met wetenschappers het initiatief te nemen tot dit type onderzoek en onderzoekers in hun praktijk toe te laten. Zonder toegang tot en medewerking van de praktijk kan er immers geen onderzoek worden gedaan. 5

6 In de tweede plaats kunnen instellingen reeds bewezen effectieve interventies of programma s invoeren om zo de kwaliteit van de hulpverlening aan bepaalde groepen cliënten te verbeteren. Dit is vooral raadzaam wanneer er signalen zijn dat de huidige zorg voor die groep(en) beneden de maat is of als de cliënten voor die instelling een nieuwe groep betreft en er nog geen zorg is ingericht. Overigens is ook hierbij onderzoek nodig. Onderzoek om na te gaan of de resultaten uit het buitenland hier worden geëvenaard en om na te gaan of er aanpassingen nodig zijn van het programma. In de derde plaats kunnen er op basis van (buitenlandse) onderzoeken suggesties worden gedaan voor innovatie van de Nederlandse jeugdzorg. Er is recentelijk een aantal overzichtstudies gepubliceerd waarin wordt samengevat wat we weten (Hermanns e.a. 2005; Konijn e.a., 2007; Boendermaker e.a., 2007). Deze overzichtstudies geven inzicht in de ingrediënten of onderdelen van de interventies die werkzaam blijken bij de aanpak van bepaalde problemen van cliënten. Deze werkzame ingrediënten invoeren in de Nederlandse programma s kan de hulp op een snelle manier effectiever maken. Door het meten van resultaten zal nog wel moeten worden aangetoond of dit het geval is. De overzichtstudies wijzen op twee typen werkzame ingrediënten. Op de eerste plaats zijn dat algemeen werkzame factoren. Dit zijn factoren van uitgevoerde interventies die ongeacht de problematiek van cliënten altijd betere resultaten blijken te geven. Daarbij kun je denken aan goed opgeleide (deskundige) medewerkers, een aanvaardbare caseload voor hulpverleners, voldoende garanties voor veiligheid van de hulpverleners, de interventie uitvoeren zoals bedoeld en afgesproken, goede afstemming van het hulpaanbod op de vraag van cliënten, een goede motivatie van cliënten voor de aangeboden hulp, et cetera. Maar goede resultaten van hulp hebben naast algemeen werkzame ingrediënten - in de tweede plaats - ook altijd specifiek werkzame ingrediënten nodig. Dat zijn ingrediënten die effectief op de specifieke problematiek van cliënten ingrijpen. Daarbij kun je denken aan bepaalde medicijnen bij ADHD of depressie, of aan een cognitief gedragsmatige aanpak bij gedragsproblemen van kinderen, et cetera. Een overzicht van dergelijke ingrediënten is onder meer te vinden in Konijn e.a. (2007). Verzamelen van practice based interventies Maar zoals hierboven al gesteld, is er ook een andere beweging nodig om op afzienbare termijn meer informatie te verzamelen over de effectiviteit van de jeugdzorg zodat de kwaliteit verder verbeterd kan worden. Instellingen kunnen zelf informatie verzamelen over de resultaten van de hulp; sommige instellingen doen dat ook al, zoals hierboven werd aangegeven. Over het algemeen zijn daarbij de volgende uitkomstmaten gangbaar: 1. doelrealisatie, waaronder probleemafname en herstel van autonomie van cliënten; 2. mate van reguliere beëindiging van de zorg (of mate van uitval); 3. cliëntsatisfactie. De eerste uitkomstmaat is het meest gecompliceerd maar tegelijkertijd ook het meest veelzeggend voor het resultaat van de zorg. Doelrealisatie wil zeggen: in hoeverre de doelen, die de hulpverlener samen met de cliënt heeft geformuleerd, bij afsluiting van de hulp zijn behaald. Het is dan belangrijk dat de doelen zo zijn geformuleerd dat ze relevant zijn voor de problematiek van de cliënt en goed meetbaar. Wanneer de doelen niet goed zijn geformuleerd, is 6

7 het meten van doelrealisatie een farce, nietszeggend. Voor het meten van het behalen van de doelen wordt doorgaans een kleine drie- of vijfpuntsschaal van (geheel) niet behaald tot (volledig) behaald, gebruikt. Eén van de doelen die gemeten kunnen worden is: het verminderen van de problemen waarmee de cliënten (ouder en/of jeugdige) zich aanmeldden bij de jeugdzorg. Dit is volgens internationale wetenschappelijke standaard het belangrijkste doel in de zorg. In effectonderzoeken is het meetinstrumentarium dan ook meestal hierop gericht. In Nederland is daaraan de afgelopen jaren echter een reeks aan andere doelen toegevoegd. Zo zijn in de praktijk ook doelen van groot belang die het vergroten van vaardigheden en competenties beogen zodat de cliënt in de toekomst terugkomende of nieuwe problemen zelf beter aan kan pakken. Daarnaast is, op initiatief van stadsregio Amsterdam, ook het doel herstel van autonomie toegevoegd aan de landelijke prestatie-indicatoren van de jeugdzorg (2006). Doel van de hulp is zo is hierbij de gedachte dat cliënten de problemen in het vervolg zelf of met steeds lichtere hulp en steun kunnen oplossen. Door bij alle zorginstellingen in de regio voor cliënten unieke nummers in te voeren, kan op regioniveau worden geanalyseerd welke cliënten zich opnieuw aanmelden voor hulp en kan bovendien worden nagegaan of de vervolghulp lichter is dan zij eerder kregen. Om de afname van de aangemelde problematiek bij cliënten te meten, is een aantal acties nodig. Bij aanmelding moet de (ernst van de) problematiek met valide en betrouwbare vragenlijsten worden gemeten. Bij afsluiting dient dan die meting nogmaals plaats te vinden. Het verschil tussen deze twee metingen geeft aan welke vooruitgang tijdens de hulp is geboekt. Of dit verschil door de hulp wordt veroorzaakt, is niet zeker tenzij er vergelijkingsmateriaal (ook twee metingen) beschikbaar is van cliënten met vergelijkbare problematiek aan wie men geen of andere hulp heeft verleend. Omdat veel van de geboekte vooruitgang bij afronding van de hulp na verloop van tijd wegebt, is het goed als cliënten ongeveer een half jaar na afsluiting van de hulp nog een keer worden benaderd om na te gaan wat de cliënt heeft geleerd van de hulp en wat zich heeft beklijft. De tweede uitkomstmaat, de mate van reguliere beëindiging, wordt meestal standaard geregistreerd. Als een cliënt de hulp voortijdig staakt of de hulpverlener de hulp aan een cliënt voortijdig afbreekt, worden de hulpverleningsdoelen doorgaans niet gehaald en wordt de hulp als niet succesvol opgevat. De derde uitkomstmaat, cliënttevredenheid, wordt door veel instellingen standaard gemeten, ook in de stadsregio Amsterdam. Het geeft aan in hoeverre cliënten tevreden zijn over de bejegening door de hulpverlener, de informatie die hen is gegeven over de hulp en het resultaat van de hulp. Omdat cliënten zelf onderdeel uitmaken van het hulpverleningsproces, is het voor hen soms lastig om kritisch te zijn, met name op de bejegening door de hulpverlener. Want als men zich daar achteraf negatief over uitlaat, waarom heeft men daar niet eerder wat over gezegd? Over het algemeen geven de cliënten die zo n vragenlijst invullen (meestal niet meer dan 40% van de cliënten) gemiddeld positieve oordelen over de hulp die zij kregen. Het is wel zaak om meer antwoorden van cliënten te krijgen om uit te sluiten dat de cliënten die de lijst niet invullen, relatief negatief zijn over de hulp. 7

8 Instellingen kunnen met deze feedback het meeste doen als de oordelen van cliënten worden vergeleken. Zo kunnen de oordelen over verschillende zorgprogramma s, verschillende regio s of verschillende onderwerpen (bejegening, resultaat, informatie, etc) met elkaar vergeleken worden. Ook kunnen oordelen uit voorgaande jaren vergeleken worden met de recent vergaarde. Gemiddelde totale oordelen zijn over het algemeen geen stimulerende feedback omdat het onvoldoende aangeeft wat er precies goed gaat of wat verbetering behoeft. Hoe kunnen instellingen zelf hun resultaten volgen en de zorg verbeteren? Om resultaten geregeld en goed te meten, moet heel wat georganiseerd worden. Wanneer aan de volgende voorwaarden niet wordt voldaan, is de kans groot dat het resultaten meten onzorgvuldig en onbetrouwbaar gebeurt en onvoldoende kan worden benut voor het verbeteren van de kwaliteit van de jeugdzorg. In schema 2 ( op pagina 8) is een werkmodel voor effectiviteitsverbetering aangegeven. 1. Per programma dient men aan te geven wat de hoofddoelen zijn die men wil bereiken (zie A. in schema 2). Vervolgens kiest men de meetinstrumenten of vragenlijsten die inzicht geven in de mate waarin deze doelen worden bereikt (zie C en E in schema 2). Zo kan men bijvoorbeeld bij een programma dat het doel heeft de gedragsproblemen bij de aangemelde jonge kinderen te verminderen, kiezen voor een vragenlijst die het gedrag van het kind in kaart brengt (zoals de CBCL of SDQ) en voor een lijst die de opvoedingsstress van ouders beoordeelt (zoals de NOSI of VGFO). Richt het programma zich echter op jongeren die zich na veel problemen voorbereiden op een zelfstandig leven, dan is het beter om naast het volgen van de geconstateerde problemen ook vooruitgang in hun competenties vast te leggen. In alle gevallen kan de Standaard Taxatie Ernst van de Problematiek (STEP) worden afgenomen om aan te tonen dat de ernst van de problematiek is afgenomen. 2. De gekozen meetinstrumenten dienen goed ingebed te worden in het primaire hulpverleningsproces, dat wil zeggen: het afnemen van instrumenten dient nuttig te zijn in het hulpverleningscontact met de cliënt. Meestal betreft het instrumenten die snel en gedegen inzicht geven in de problematiek en de competenties van de cliënt. Als de ingevulde vragenlijsten snel worden verwerkt tot een rapportje, kan dit gebruikt worden in het volgende gesprek tussen de hulpverlener en de cliënt over de problemen en de te stellen doelen. Op deze manier kan de cliënt de conclusies die naar voren komen ook nog van commentaar voorzien. De ervaring leert dat het vooral een feest van herkenning is en dat cliënten zo n systematisch en snelle verkenning van de problematiek erg op prijs stellen. De instelling dient de logistiek voor het snel verwerken van de vragenlijsten tot rapportjes dan wel goed te hebben geregeld. Daarnaast dienen hulpverleners te worden getraind in het voeren van zo n gesprek aan de hand van de uitkomsten van de vragenlijst(en). 3. Vervolgens kan men nagaan of de zorgprogramma s in de praktijk worden uitgevoerd zoals dat bedoeld en afgesproken is (rubriek D in schema 2). De hulp die uitgevoerd moet worden, dient daarom helder en duidelijk te zijn omschreven voor de hulpverleners (evt. geprotocolleerd) (zie B in schema 2). Bij evaluatie van de zorg zijn naast gegevens over de problematiek van de cliënten en van de resultaten, ook van de hulp die is uitgevoerd, 8

9 noodzakelijk. Ten eerste om na te gaan of de hulp inderdaad is uitgevoerd zoals bedoeld; dit is een algemeen werkzame factor en levert altijd betere resultaten op dan anders uitgevoerde zorg. Ten tweede zijn gegevens over de uitgevoerde hulp nodig om verbeterpunten op te sporen. Wanneer er onverwacht negatieve resultaten worden gemeten, moet men na kunnen gaan wat er is gedaan door de hulpverleners. Als men de resultaten vervolgens wil verbeteren, moet men gerichte veranderingen van de hulpverlening kunnen voorstellen (rubriek F in schema 2). Wanneer met andere hulp betere resultaten worden geboekt, heeft men een verbetering te pakken: het programma kan hieraan worden aangepast. 4. Geregeld zullen er zoals bij punt 3 al is aangestipt - evaluaties in teamvergaderingen moeten worden georganiseerd om na te gaan welke cliënten baat hebben bij de geboden zorg en voor welke cliënten de zorg aangepast zou moeten worden (rubriek F in schema 2). Bij Spirit heet dit methode-evaluatie. Voor die evaluaties zijn gegevens over een bepaalde periode nodig van: a. De problematiek en andere kenmerken van de cliënten; b. De gegeven hulp (interventies en toegepaste technieken); c. De resultaten van de hulp (uitval, cliëntsatisfactie en doelrealisatie waaronder probleemafname). Om een zinnige discussie te kunnen voeren zullen deze gegevens van te voren door een iemand (lid van het team of een beleidsmedewerker) moeten worden verzameld en gerapporteerd. Mogelijke interpretaties van de analyses kunnen daarbij reeds worden verkend. 9

10 Schema 2: Werkmodel voor effectiviteitsverbetering Algemeen Methodiek Praktijk G. Goede opleiding medewerkers H. Goede werkomstandigheden (o.a. veiligheid hulpverleners, acceptabele caseload) A. Doelgroepomschrijving en doel van programma B. Beschrijving aanpak: - theoretisch goed onderbouwd - passend bij wat werkt bij de problemen van de doelgroep - goed gestructureerd (start-, veranderings- en afbouwfase) - aangegeven wat de kern en wat variabel is C. Probleemvragenlijsten: - jeugdige (bijv. CBCL of SDQ) - ouders (bijv. NOSI, VGFO) - ernst problematiek (bijv. Quick- STEP) D. Uitvoering van de methodiek zoals beschreven: - bijhouden uitgevoerde activiteiten / technieken / hulpmiddelen - intervisie en/of supervisie: deskundige begeleiding bij uitvoering: evaluatie programmaintegriteit - werken aan goede werkrelatie tussen hulpverlener en cliënt E. Einde hulp: - uitval noteren - afname probleemvragenlijsten - afname Quick-STEP - vragenlijst Doelrealisatie F. Regelmatige evaluaties in teamvergaderingen van o.a.: - wordt de beoogde doelgroep bereikt? (registratie + probleemvragenlijsten) - wat werkt goed en wat minder goed? (ingezette technieken x resultaten) - wat werkt voor wie? (kenmerken cliënten x resultaten) 5. Behalve voor evaluatie van de geboden hulpverlening op teamniveau, kunnen de vragenlijstgegevens worden gebruikt om inzicht te krijgen in de problematiek van cliënten bij een zorgprogramma of bij de instelling. Als er terugkoppeling plaatsvindt van de problematiek van de cliënten, de hulp die is gegeven en de resultaten die zijn geboekt, aan de hulpverleners van een zorgprogramma, vervullen de gegevens een rol in de verbetercyclus of kwaliteitscyclus van het programma. Het is belangrijk om te beseffen dat dit niet de eerste bestemming van die gegevens is. Als de inbedding in het primaire proces niet goed is gelukt (punt 1 t/m 4), zal de betrouwbaarheid van de gegevens te wensen overlaten. 10

11 Het doel van het aldus verzamelen van practice based evidence is drieledig: (1) we gaan op deze manier na in hoeverre de in het buitenland bewezen effectieve programma s ook in Nederland goede resultaten behalen; (2) we gaan na in hoeverre de programma s worden uitgevoerd zoals bedoeld; (3) en: we gaan zo na welke interventies veelbelovend zijn (doeltreffend). Deze kunnen vervolgens onderwerp van wetenschappelijk (effect)onderzoek zijn. Zorgprogramma s waarvan bewijs van goede resultaten in de praktijk bestaat, worden doeltreffend genoemd. Ook wordt wel gezegd dat er dan voorlopig bewijs van effectiviteit is. Door zowel reeds bewezen effectieve programma s in de praktijk te implementeren als in de eigen praktijk resultaten te meten, zorgen we ervoor dat de hulpverlening aan cliënten steeds meer gebaseerd wordt op bewijzen van effectiviteit. 2. Veelgestelde vragen en hun antwoorden Hieronder staan tien veelgestelde vragen. Er volgt een kort antwoord waarna in het kader telkens meer uitleg te vinden is over het antwoord. Soms overlapt dit antwoord met bovenstaande tekst. We hebben ervoor gekozen deze dan nog maar eens kort te herhalen zodat het antwoord op de vraag wel compleet blijft. Vraag 1. Wat is belangrijker: algemeen of specifiek werkzame factoren? Algemeen werkzame factoren zijn niet van meer belang dan specifiek werkzame factoren of andersom. Ze zijn beiden even belangrijk. Algemeen werkzame factoren zijn onderdelen van een interventie en omstandigheden waaronder die worden uitgevoerd, die altijd tot het betere resultaten leiden bij alle cliënten (met allerlei problemen) dan interventies. Ze zijn de basis voor een goede hulpverlening. Het gaat om een goede relatie tussen hulpverlener en cliënt, aansluiten bij de motivatie van de cliënt, aansluiten bij de hulpvraag van de cliënt, goede structurering van de interventie, uitvoeren van de behandeling zoals bedoeld (ook wel programma-integriteit genoemd), voldoende professionaliteit van de behandelaar en goede werkomstandigheden (veiligheid, acceptabele caseload). Zonder de basis van de algemeen werkzame factoren kunnen specifiek werkzame factoren sterk in hun werkzaamheid worden beknot. Algemeen werkzame factoren alleen zijn echter niet voldoende om de problemen van jeugdigen en hun ouders te verhelpen. Hiervoor is de inzet van specifieke interventies, waarvan bekend is dat ze werken bij bepaalde problematiek, onontbeerlijk. Dit zijn specifiek werkzame factoren: elementen die leiden tot goede resultaten bij cliënten met bepaalde problematiek. Zo weten we inmiddels dat een combinatie van medicatie (Ritalin of een ander product), een gedragsmatige aanpak en een oudertraining voor de ouders goed werkt voor kinderen met ADHD. Ook weten we dat opvoedingsondersteuning voor de ouders in combinatie met een training oplossende vaardigheden voor het kind goed werkt voor (ouders van) kinderen met opstandig gedrag. En we 11

12 weten dat intensief casemanagement, waarbij een casemanager niet alleen coördineert maar ook hulp verleent, goed werkt bij dak- en thuisloze jongeren. Algemeen werkzame factoren zijn dus niet van meer belang dan specifiek werkzame factoren of andersom. Ze zijn beiden even belangrijk en versterken beide het resultaat. 2. Waarom is kennis over algemeen en specifiek werkzame factoren zo belangrijk voor mij als hulpverlener? Omdat hulpverleners met behulp van deze kennis weten welke onderdelen van het uitgevoerde zorgprogramma van groot belang zijn voor het verkrijgen van een goed resultaat. Wanneer hulpverleners, bijvoorbeeld omdat cliënten dat vragen, willen afwijken van de afgesproken richtlijn of van het zorgprogramma, moeten zij over voldoende kennis beschikken om na te kunnen gaan welke onderdelen noodzakelijk zijn om goede resultaten te behalen en welke kunnen worden weggelaten of vervangen door andere. Zoals gezegd bij vraag 1 zijn algemeen werkzame factoren de basis voor een goede hulpverlening. Uit onderzoek blijkt bijvoorbeeld dat een goede relatie tussen hulpverlener en cliënt ongeveer 30 procent van het resultaat van de hulpverlening bepaalt. Samen met een goede motivatie van cliënten voor de hulp, bepalen ze zelfs meer dan de helft van het resultaat. Deze informatie is belangrijk voor hulpverleners, omdat het hen duidelijk maakt dat zij in deze aspecten moeten investeren tijdens de hulpverlening (de werkrelatie, de motivatie van de cliënt voor de hulp, et cetera). Algemeen werkzame factoren alleen zijn echter niet voldoende om de problemen van jeugdigen en hun ouders te verhelpen. Hiervoor is de inzet van specifieke interventies, waarvan bekend is dat ze werken bij bepaalde problematiek, onontbeerlijk. Kennis over specifiek werkzame factoren helpt hulpverleners bij hun keuze voor een bepaalde interventie bij een bepaald probleem. Zo is het belangrijk te weten dat een cognitief gedragsmatige aanpak goed werkt bij kinderen met gedragsproblemen, maar niet bij kinderen met ADHD. Vanuit kennis over algemeen en specifiek werkzame factoren weten hulpverleners welke onderdelen van het uitgevoerde zorgprogramma van groot belang zijn voor een goed resultaat en welke bij bepaalde cliënten gezien hun problematiek ook weggelaten of vervangen kunnen worden. Vraag 3. Specifiek werkzame factoren werken goed bij bepaalde problemen van cliënten. Gezinnen hebben echter een eigen stijl en verschillen van elkaar in de wijze waarop ze problemen aanpakken, oplossen en van interventies leren. In hoeverre houden de specifiek werkzame factoren hier rekening mee? Professionals moeten kennis hebben van de specifiek werkzame factoren (wat werkt bij welk probleem), maar kunnen op basis van ervaring of op vraag van cliënten - afwijken van het programma als zij inschatten dat een bepaald onderdeel niet zal werken bij het desbetreffende gezin. 12

13 Specifiek werkzame factoren zijn de elementen die goede resultaten boeken bij cliënten met bepaalde problematiek. We weten inmiddels dus voor veel problemen welke aanpak goede resultaten heeft. Wanneer alle onderdelen van deze aanpak volgens de bewezen uitgangspunten en richtlijnen worden uitgevoerd, levert dit het beste resultaat (programma-integriteit). Vanzelfsprekend is het zo dat ieder gezin uniek is. Hulpverleners hebben daarom, wanneer zij denken dat een bepaald onderdeel niet zal werken bij een bepaald gezin, de ruimte om af te wijken van het programma. Waar het om gaat, is dat professionals enerzijds goed op de hoogte zijn van wat het programma inhoudt en wat goed werkt bij welke problematiek. En dat anderzijds - als er afgeweken wordt van het programma - dit weloverwogen gebeurt en hierover collegiaal overleg is. Vraag 4. Is programma-integriteit niet een ander woord voor keurslijf voor professionals? Nee, programma-integriteit is geen keurslijf, maar een houvast voor zelfstandig werkende professionals en voor cliënten, waarvan beredeneerd en gemotiveerd afgeweken mag worden. Effectieve programma's zijn ontwikkeld en ontworpen op basis van theoretische verklaringen voor bepaald probleemgedrag, die door middel van (wetenschappelijk) onderzoek zijn getoetst en bewezen. Programma-integriteit houdt in dat alle onderdelen van een programma volgens de afgesproken uitgangspunten en richtlijnen moeten worden uitgevoerd. Van alle geplande onderdelen is immers bewezen dat zij bijdragen aan de aanpak van het probleem en verbetering van de situatie. De theoretische fundering staat hiervoor garant. Het achterwege laten van bepaalde onderdelen van de aanpak doet de kans op het behalen van het beoogde resultaat afnemen. De resultaten worden namelijk behaald met het gehele programma. Een helder programma (en je hieraan in de uitvoering daadwerkelijk houden) heeft ook belangrijke voordelen voor cliënten. Er kan aan cliënten duidelijk worden gemaakt wat er wanneer gaat gebeuren en bovendien waarom. Het gesprek over de wijze waarop de hulp vorm krijgt en wat cliënten daarvan vinden, kan zo beter verlopen. Het is dus inderdaad de bedoeling dat professionals hun eigenzinnigheid opzij zetten en gewoon uitvoeren wat volgens onderzoek bleek te werken. Maar cliënten zijn niet allemaal gelijk. Wanneer een professional op basis van ervaring veronderstelt dat bepaalde onderdelen niet goed zullen werken bij een bepaalde cliënt, of als een cliënt zelf aangeeft ernstige bezwaren te hebben bij bepaalde onderdelen, mag afgeweken worden van het programma. Dit wordt ook wel het beginsel van responsiviteit van de professional genoemd. Waar het om gaat is dat professionals enerzijds goed op de hoogte zijn van wat het programma inhoudt en wat werkt bij welke problematiek. En dat anderzijds - als er afgeweken wordt van het programma - dit weloverwogen gebeurt en hierover collegiaal overleg is. Bij de evaluatie van de hulpverlening kan voorts - op basis van de resultaten - worden nagegaan of de verandering inderdaad goed heeft gewerkt en of overwogen moet worden het programma voor bepaalde (groepen) cliënten aan te passen. Programma-integriteit is dus geen keurslijf maar een houvast voor zelfstandig werkende professionals en voor cliënten, waar beredeneerd van afgeweken mag worden. 13

14 Vraag 5. Waarom mag ik als hulpverlener niet standaard de interventies uitvoeren waar ik de meeste affiniteit mee en expertise in heb? Een goede uitvoering van de interventie biedt toch de beste garantie voor goede resultaten? Een goede uitvoering van een interventie is een belangrijke succesfactor, maar door algemeen werkzame factoren alleen worden problemen niet adequaat verholpen. Het gaat er daarnaast om of de interventie voldoende effectief is om de problemen van de cliënten te verminderen. Een goede uitvoering van de interventie is te zien als een algemeen werkzame factor. Algemeen werkzame factoren alleen zijn echter niet voldoende om de problemen van jeugdigen en hun ouders te verhelpen. Hiervoor is de inzet van specifieke interventies, waarvan bekend is dat ze werken bij bepaalde problematiek, nodig. We weten steeds meer over de vraag wat werkt bij bepaalde problemen. Zo weten we inmiddels dat opvoedingsondersteuning voor de ouders in combinatie met een training oplossende vaardigheden voor het kind goed werkt voor (ouders van) kinderen met gedragsproblemen. En dat videohometraining of video-interactiebegeleiding beter werkt bij gezinnen met jonge kinderen dan met oudere kinderen; bovendien werkt het het beste bij lichte en matige gedragsproblemen en minder goed bij ernstige problematiek. Naast een goede uitvoering van de interventie is het dus van belang dat jeugdigen en hun gezinnen de hulp krijgen waarvan bekend is dat deze werkt. Anders onthoud je cliënten de best mogelijke zorg. Vraag 6. Is niet elke cliënt uniek, dus kun je niets over effectiviteit zeggen? Bij de uitvoering van een interventie moet vanzelfsprekend rekening gehouden worden met de uniciteit van de cliënt. Maar we moeten de cliënten van hun uniciteit ontdoen en ze groeperen op bepaalde overeenkomsten met anderen, om verder te komen in de wetenschappelijke kennis van wat werkt bij wie. Daarmee is uiteindelijk ook die unieke cliënt geholpen. Effectieve jeugdzorg is gebaseerd op theorieën die het desbetreffende probleemgedrag of de probleemsituatie interpreteren en verklaren. Deze theorieën geven inzicht in achtergronden en oorzaken en in risicofactoren en beschermende factoren. Als men weet hoe en waarom probleemsituaties zo in elkaar steken, kan men daaraan aanknopingspunten voor hulpverlening ontlenen. Dat vervolgens uit onderzoek blijkt dat een bepaalde ingreep inderdaad goed werkt (probleem neemt af of verdwijnt zelfs), geeft aan die theorie juist was. Cliënten verschillen uiteraard van elkaar, maar komen overeen in hun problematiek. Om te weten te komen wat werkt voor wie, zullen we cliënten moeten groeperen op bepaalde kenmerken waar hun problematiek er één van is, en onderzoeken welk programma van activiteiten die problemen het beste aanpakt. Wanneer we dit niet doen, kunnen we inderdaad niets zeggen over effectiviteit van een bepaalde aanpak. Als we cliënten elk als individu blijven beschouwen, blijven zij een verzameling cases en komen we niet verder in de ontwikkeling van effectieve jeugdzorg. Als iets bij één cliënt goed werkt, werkt het misschien nog niet bij een ander. Kennis over wat werkt bij bepaalde problemen, kunnen we alleen krijgen door onderzoeken onder groepen cliënten met vergelijkbare problematiek. We zijn immers op zoek naar wat werkt bij welk type problematiek en cliënt. 14

15 Bij de uitvoering van de interventie moet vervolgens vanzelfsprekend rekening gehouden worden met de uniciteit, de hulpbehoefte of de vragen van de cliënt (zie ook toelichting vraag 4). Maar om verder te komen in de wetenschappelijke kennis van wat werkt bij wie, moeten we de cliënten van hun uniciteit ontdoen en ze groeperen op bepaalde overeenkomsten met anderen. Daarmee is uiteindelijk ook die unieke cliënt geholpen. Vraag 7. Is oplossingsgericht werken niet het betere alternatief voor al die moeizame discussies over effectiviteit? Oplossingsgericht werken is geen alternatief voor werken aan effectiviteit. Het draagt misschien wel bij aan goede resultaten van de jeugdzorg, hoewel dat nog niet (wetenschappelijk) is onderzocht. Bij oplossingsgericht werken gaat om een bepaalde houding en bepaalde wijze van bejegening van alle cliënten. Het gaat daarbij vooral om de gesprekstechnieken en de manier waarop men samen met de cliënt tot doelen van de hulp komt. Het is dus vergelijkbaar met een algemeen werkzame factor, hoewel de effectiviteit van de aanpak nog niet voldoende is onderzocht. En net zoals geldt voor algemeen werkzame factoren (zie antwoord op vraag 1) zal oplossingsgericht werken alleen niet genoeg zijn voor de beste resultaten van hulp. Daarnaast zal altijd gekeken moeten worden naar wat de problemen en vragen van de cliënten zijn en zullen specifiek daarop gerichte interventies moeten worden ingezet. Vraag 8. Wie zegt dat interventies die in het buitenland bewezen effectief zijn (zoals PMTO, Triple P, MTFC) ook in Nederland effectief zullen zijn? Omdat de resultaten van die evidence based programma s in verschillende landen positief zijn, mag in Nederland ook een groot effect verwacht worden. Dit dient echter onderzocht te worden met een effectonderzoek. Soms moeten enkele aanpassingen in het programma worden gemaakt om de effecten te vergroten. De evidence based interventies uit het buitenland zijn onderzocht met wetenschappelijk effectonderzoek. In dit soort onderzoek wordt de interventie waarvan men het effect wil meten (de experimentele groep) vergeleken met een groep waarbij een andere of geen interventie is toegepast (de controlegroep). Als de proefpersonen willekeurig over de experimentele en controlegroep zijn verdeeld, spreekt men van een RCT: 'randomized controlled trial' of 'randomized clinical trial'. Dit onderzoek heeft een hoge kwaliteit. Triple P is zijn bijvoorbeeld op deze manier onderzocht in Australië. De resultaten waren zeer positief, waardoor ook in Nederland de interesse voor dit programma toenam. In Nederland is onderzoek gedaan tijdens de proefimplementatie (zonder controlegroep) en de resultaten waren veelbelovend. Momenteel wordt het programma nog beter onderzocht met een gecontroleerd onderzoek dat gelijk is gestart met de implementatie van Triple P, o.a. in de regio Amsterdam. Dezelfde procedure is gestart met Multisysteemtherapie (MST), PMTO en gestructureerde gezinstherapie (FFT). Omdat de resultaten in verschillende vergelijkbare landen zo positief zijn, mag ook in Nederland een goede uitkomst verwacht worden. Eventueel worden er enkele aanpassingen gedaan om het 15

16 effect nog meer te vergroten (zie ook het verhaal over de aanpassing van Taakspel in het eerste gedeelte van deze notitie). Vraag 9. Er wordt hoog opgegeven over deze evidence based interventies uit het buitenland. Zijn onze interventies, die gedegen ontwikkeld en in de praktijk doorontwikkeld zijn, dan niet goed? Deze interventies kunnen ook goed zijn, maar dat weten we gewoon nog niet op dit moment omdat dat nog niet door (wetenschappelijk) onderzoek wordt bewezen. De interventies die op dit moment in de praktijk worden uitgevoerd, kunnen goed zijn, maar dit wordt op dit moment nog niet door wetenschappelijk onderzoek bevestigd. Het is dus beter om te zeggen dat we niet weten wat de effecten zijn van onze jeugdzorg, dan te zeggen dat deze niet goed zou zijn. Het is wel van belang dat, met behulp van het meten van resultaten en het uitvoeren van effectonderzoek, aangetoond wordt dat onze jeugdzorg werkt. Daarom is het zo belangrijk dat instellingen gaan meten wat hun resultaten zijn. Het zou best eens kunnen blijken dat we in de praktijk betere resultaten behalen dan we misschien zouden verwachten. Vraag 10. Bepaalt de mate van ketensamenwerking en de mate waarin cliënten snel doorverwezen worden ook de mate van effectiviteit? Goede ketensamenwerking en korte of geen wachttijden verhogen de motivatie voor hulp en zou daarmee een positieve invloed op het resultaat van die hulp kunnen hebben. Maar feitelijk is de samenhang tussen samenwerking en resultaten van hulp nog niet onderzocht. De effectiviteit van de verleende zorg hangt samen met de kwaliteit van de uitvoering en de mate waarin cliënten snel op de juiste plek belanden. Als je lang moet wachten of eerst verkeerd verwezen bent, zal de hulp anders beginnen dan wanneer je al snel op de juiste plaats wordt geholpen. Hier is echter geen onderzoek naar gedaan. Er is wel onderzoek gedaan naar de invloed van motivatie van een cliënt op het effect van de hulp, en die is aanzienlijk. Dit is één van de algemeen werkzame factoren. Uit het Doorbraakproject (verkorting wacht- en doorlooptijden) blijkt dat bij snel startende hulp motivatieproblemen nog maar zelden voorkomen. Goede ketensamenwerking en korte of geen wachttijden lijken dus de motivatie voor hulp te verhogen en zullen daarmee een positieve invloed op het resultaat hebben. Maar dit is nog slechts een hypothese die door indrukken uit de praktijk is onderbouwd. Onderzoek dat dit bewijst, is (nog) niet beschikbaar. 16

17 Literatuurverwijzingen Boendermaker, L. A. Harder e.a. (2007). Programmeringsstudie Jeugdzorg. Utrecht/Groningen: NJi/RUG. Crijnen, A.A.M. & P. Cuijpers (2005). Preventie van emotionele en gedragsproblemen bij kinderen en adolescenten in Nederland. In: J. Hermanns, C. van Nijnatten, F. Verhey & M. Reuling (2005). Handboek Jeugdzorg. Deel 2 : Methodieken en programma's. Houten: Bohn, Stafleu, van Loghum. Hermanns, J., F. Öry, G. Schrijvers (2005). Helpen bij opgroeien en opvoeden: eerder, sneller, beter. En advies over vroegtijdige signalering en interventies bij opvoed- en opgroeiproblemen. Utrecht: Julius Centrum UMC. Konijn, C., M. van der Steege, E. Elderman, W. Bruinsma en J. van der Braak (2007). Werkzame Werkwijzen. Verkenning van effectieve interventies in de jeugdzorg. Utrecht: NJi. Yperen, T. van (2006). Practice Based Evidence. Lezing op de NVO-studiedag protocollen in de jeugdzorg. Utrecht: NJi. Prestatie-indicatoren Jeugdzorg. Naar een gezamenlijke integrale visie en implementatie. Landelijke werkgroep prestatie-indicatoren jeugdzorg. Februari