Spirit onderzoekt eigen effectiviteit

Transcriptie

1 foto: Stijn Rademaker Praktijkgerichte analyse van methodieken Spirit onderzoekt eigen effectiviteit Door Carolien Konijn, Ellen Schulze en Theo Schut Hoewel de roep om evidence based werken in ons land toeneemt, is van veel interventies in Nederland nog nauwelijks bekend hoe effectief ze zijn. De Amsterdamse jeugdzorgaanbieder Spirit ontwikkelde een manier om hulpverleners en onderzoekers samen de effectiviteit van hulpprogramma s te laten beoordelen. Gemeenschapsgeld steken in een hulpverleningsprogramma voor kinderen en hun gezinnen heeft alleen zin als de werkzaamheid van dat programma in grote lijnen buiten kijf staat. Helaas bestaat die zekerheid nauwelijks in de jeugdzorg. Van slechts een klein gedeelte van de interventies is het positieve effect op het functioneren van de cliënt aangetoond (Konijn, 2003). In de Nederlandse hulpverleningscultuur is het denken over de effectiviteit van jeugdzorginterventies onderontwikkeld. Dat is geen wenselijke situatie, al draaien de meeste programma s al vele jaren, zijn de cijfers die instellingen over cliënttevredenheid presenteren doorgaans redelijk hoog en is het uitvalpercentage vaak redelijk. Voor de motivatie van cliënten, en zeker ook voor die van de hulpverleners, is het goed als de effectiviteit van het hulpverleningsaanbod helder is, en als die constant en zichtbaar beter wordt. Ook de politiek, de landelijke ondersteuningsorganisaties, de werkgeversorganisaties en wetenschappers dringen er de laatste jaren steeds meer op aan dat jeugdzorgorganisaties aangeven hoe effectief hun hulp is. De hulpverlening moet meer evidence based worden. Zoals Tom van Yperen, hoogleraar onderzoek en ontwikkeling effectieve jeugdzorg, in 2003 in zijn oratie zei: Hulpverleners moeten zich meer laten leiden door expliciete kennis uit de praktijk en uit wetenschappelijke studies over wat blijkt te werken. 37

2 Carolien Konijn, Ellen Schulze en Theo Schut De vraag is hoe instellingen de effectiviteit van hun interventies kunnen bevorderen. Het lijkt erop dat beleidsmakers het ontbreken van een duidelijk aanbod van effectieve interventies willen compenseren door algemene eisen aan instellingen te stellen: protocollen, prestatie-indicatoren, regelingen en meer en meer managementinformatie. Begin vorige jaar stelde Pauline Meurs, hoogleraar en lid van de WRR, in de Volkskrant in een prikkelende bijdrage over de sociale agenda dat protocollen nuttig en nodig kunnen zijn, maar [ze] zijn rampzalig als deze in de plaats komen van de klinische blik, de eigen nieuwsgierigheid, beoordelingsvermogen en het vermogen om met kennis van zaken af te wijken van de norm. Haar opmerking is terecht. De gegevens die beleidsmakers en toezichthouders vragen zijn op zich vaak nuttig, maar de toenemende behoefte eraan komt ook voort uit een gebrek aan andere manieren om het dagelijks werk op de werkvloer te beoordelen op kwaliteit en kwantiteit. Zo n beoordeling zou moeten leiden tot nieuwe initiatieven voor de ontwikkeling van methodieken, en tot ideeën over nieuw ontstane behoeften bij cliënten en nieuw aanbod. Beleidsmakers willen alleen nog erkende effectieve methodieken in de jeugdzorg inkopen. Die zijn in Nederland echter nauwelijks ontwikkeld. De Erkenningencommissie van het ministerie van Justitie constateert dat het alleen al enorm schort aan een goede omschrijving van methodieken. 38 Omslag Toch is het mogelijk vanuit de bestaande praktijk een werkbaar antwoord te ontwikkelen. Spirit, een jeugdzorgaanbieder in de Stadsregio Amsterdam, heeft de afgelopen jaren ervaring opgedaan met methodiekontwikkeling waarbij de bestaande praktijk verbeterd werd op basis van wetenschappelijk onderzoek. Zo ontwikkelde Spirit onder meer de methodiek Beter met Thuis, de nieuwe werkwijze van de ambulante teams, en Spirit Spoedhulp, een ambulante crisisinterventiemethode. Om te bepalen of dergelijke methodieken inderdaad effectief zijn, heeft Spirit in 2005 samen met NIZW Jeugd en Adviesbureau Van Montfoort een onderzoekstraject opgezet. Dat onderzoek moest zelf weer leiden tot verbetering van de praktijk. Spirit pretendeert niet dé juiste manier van werken aan effectiviteit te hebben gevonden en wil niet de indruk wekken dat deze werkwijze beter is dan andere. Spirit is tot nu toe wel tevreden over de omslag in denken die deze aanpak bewerkstelligt. Deze werkwijze sluit bovendien goed aan bij het pleidooi van hoogleraar Speciale

3 Spirit onderzoekt eigen effectiviteit kinder- en jeugdzorg Jan Willem Veerman voor een effectiviteitsbeleid van beginnen bij wat er is en dat uitbouwen. Zo n beleid heeft volgens hem minder aanzien, maar kan leiden tot bewijs van effectiviteit dat minder zacht is dan critici soms willen doen geloven. (Veerman, 2006). Basisvoorwaarden Spirit hanteert een aantal uitgangspunten bij het verbeteren van de effectiviteit van het uitvoerend werk. Het eerste uitgangspunt is dat er protectieve factoren bestaan die thuishoren in het algemene kwaliteitsbeleid van de organisatie. Goed management, een helder personeelsbeleid, verantwoordelijkheden zo laag mogelijk in de organisatie, een helder doel van de organisatie, een goed opleidingbeleid, aandacht voor werkdruk en arbeidsomstandigheden, et cetera. Voor de zorg kan daaraan toegevoegd worden: een professionele aanpak van de dialoog met de cliënt, een positieve instelling van hulpverleners, een realistisch maar positief verwachtingspatroon bij hulpverleners, en serieus georganiseerde cliëntenfeedback. Deze factoren komen overeen met de algemeen werkzame factoren uit de What Works-literatuur. Het zijn basisvoorwaarden voor het werken met welke methodiek dan ook. Daarom is werken aan effectiviteit ook niet een kwestie van een onderzoekje hier of een projectje daar. Een goed kwaliteitsbeleid is de basis van een effectieve organisatie. Het tweede uitgangspunt van Spirit is dat de eigen methodiekontwikkeling niet alleen is gebaseerd op de praktijk, maar ook niet alleen op wetenschappelijk onderzoek. Spirit combineert evidence based practice met practice based evidence. Zo systematiseren en onderbouwen hulpverleners hun praktijkkennis en zien ze die bewerkt en van onderzoeksmateriaal voorzien terug in de methodiekhandleidingen. Het derde uitgangspunt sluit daar direct op aan. Spirit wil niet alles zelf ontwikkelen, maar sluit zoveel mogelijk aan bij effectieve methodes en stelt zich dus open voor onderzoek, al is dat vaak lastig en tijdrovend. En dat leidt tot het vierde uitgangspunt: Spirit organiseert zijn eigen databestanden. Voor onderzoek is een goed informatiesysteem nodig, voor gegevens uit diagnostische voor- en nametingen, over cliënttevredenheid, en over doelrealisatie en dergelijke. Onderzoekers kunnen over deze geanonimiseerde gegevens beschikken. 39

4 Carolien Konijn, Ellen Schulze en Theo Schut De volgorde van deze vier uitgangspunten is niet toevallig. Ze sluiten aan op het draagvlak onder de hulpverleners dat Spirit al werkende met eigen methodiekontwikkeling heeft verkregen. Andere instellingen leggen de prioriteit bijvoorbeeld bij het opbouwen van een sterk databestand en laten de methodiekontwikkeling daarop volgen. Praktijkervaring 40 Om deze uitgangspunten goed vorm te geven heeft Spirit een structuur opgebouwd die de kennisontwikkeling over effectieve methoden ondersteunt. Zes methodieken maken deel uit van het basisaanbod dat Spirit in alle regio s aanbiedt. Alle gedragswetenschappers en afdelingsmanagers van een methodiek komen maandelijks bij elkaar in een zogeheten werksoortoverleg. Dit overleg begeleidt de inhoudelijke ontwikkeling van de methodiek, neemt initiatieven, zet onderzoek op, et cetera. Alle praktijkervaring is op deze manier goed gebundeld. De werksoortoverleggen krijgen steun van een beleidsmedewerker die hiervoor ruim een dag per week beschikbaar heeft en ze staan onder leiding van een lid van het managementteam. Zo worden de initiatieven van een werksoortoverleg goed ingebracht en gefiatteerd in de vergaderingen van het managementteam. Ladder Spirit vroeg NIZW Jeugd en Adviesbureau Van Montfoort een aantal methodieken langs de lat van de effectiviteit te leggen. En die lat was de effectiviteitsladder voor interventies die is ontwikkeld door hoogleraar Speciale kinder- en jeugdzorg Jan Willem Veerman en zijn collega s, en die is uitgewerkt in het zogeheten bronnenboek van de projectgroep Zicht op effectiviteit (2006). Voor zorginstellingen is het zaak met elk zorgprogramma deze ladder tot de hoogste trede te bestijgen. Als een interventie op de eerste trede van de effectiviteitsladder staat, is het programma duidelijk beschreven, zodat helder is voor welke cliënten de interventie bedoeld is, uit welke activiteiten de interventie bestaat en welke doelen er nagestreefd worden. Programma s van dit niveau zijn potentieel effectief.

5 Spirit onderzoekt eigen effectiviteit Staat een interventie op de tweede trede, dan is ook aangegeven waarom die zou kunnen werken: er is een theoretische onderbouwing van de werkzaamheid. Interventies op deze trede worden veelbelovend genoemd. De derde trede van de effectiviteitsladder is bereikt wanneer een programma aantoonbaar goede resultaten boekt. Maken voldoende cliënten het programma af? Zijn de cliënten tevreden? Worden de doelen bereikt? Zijn de problemen waarmee cliënten zich aanmeldden verminderd? Zo ja, dan is het programma doeltreffend. De vierde trede bereikt een programma als onomstotelijk vaststaat dat de goede resultaten uitsluitend aan het programma te danken zijn en niet aan andere invloeden. Om dat vast te stellen is een vergelijking nodig van de resultaten met die van een onafhankelijke controlegroep, bijvoorbeeld de mensen op de wachtlijst of mensen die een andere behandeling kregen. Programma s zijn werkzaam als ze betere resultaten boeken dan niets doen of iets anders doen. Vragen Bij de programma s van Spirit is nagegaan op welke trede ze zich momenteel bevinden en hoe ze een hogere trede kunnen bereiken. Vanwege de beschikbare tijd en financiën is vooral gebruik gemaakt van informatie die al binnen de instelling voorhanden was. Wel is aanvullend literatuuronderzoek verricht. Er was geen vergelijking mogelijk met andere hulpvormen of met een wachtlijstgroep, dus een uitspraak over de werkzaamheid van de werksoorten de hoogste trede kan niet gedaan worden. Wel over de lagere treden van de effectiviteitsladder. Drie werksoorten het programma Beter met Thuis, de ambulante programma s en het programma Nieuwe Perspectieven zijn op drie aspecten doorgelicht: de instroom, het aanbod en het resultaat. Daarbij moesten drie vragen beantwoord worden. 1 Wat is de doelgroep en bereikt de werksoort de beoogde doelgroep? 2 Past de hulp volgens wetenschappelijk onderzoek bij de problematiek van de doelgroep? Wordt de hulp uitgevoerd zoals bedoeld? En krijgen de algemeen werkzame factoren voldoende aandacht in de praktijk van de hulpverlening? 3 Welke resultaten boekt de werksoort? 41 Deze vragen hielpen om de programma s te scoren op de effectiviteitsladder. Op basis van vragen bij punt 1 en 2 bijvoorbeeld kan de

6 Carolien Konijn, Ellen Schulze en Theo Schut 42 potentiële effectiviteit worden beoordeeld: is de doelgroep en de aanpak van de problematiek helder, duidelijk en systematisch beschreven? Per programma is uit een steekproef van 25 dossiers genoteerd welke problematiek de cliënten hebben wanneer zij zich aanmelden en welke interventies precies zijn toegepast. Daarnaast zijn de beschrijvingen van de programma s beoordeeld op gestructureerdheid en helderheid, en samengevat. Op basis van vraag 2 was tevens de veelbelovendheid te beoordelen. Is de aanpak theoretisch onderbouwd? Wat zijn volgens wetenschappelijk onderzoek de passende methoden en interventies bij deze doelgroep en staan die ook in de methodiekhandleiding beschreven? De effectieve theoretische uitgangspunten en interventies zijn vergeleken met de methodiekhandleiding. Op grond daarvan konden enkele aanbevelingen voor verdere methodiekontwikkeling worden gedaan. Of de hulp wel wordt uitgevoerd zoals bedoeld, is nagegaan in groepsinterviews met hulpverleners. Vraag 3 gaf een beeld van de doeltreffendheid van het programma: de cliënttevredenheid, de doelrealisatie, de afname van problemen en voortijdige uitval. De tevredenheid wordt standaard bij alle cliënten nagegaan. Uitval wordt altijd geregistreerd. Of de gestelde doelen worden gerealiseerd, werd ten tijde van dit onderzoek nog niet systematisch nagegaan. Het onderzoek heeft daarvan slechts een indicatie opgeleverd, door hulpverleners de doelrealisatie van hun laatste contacten te laten aangeven. Sinds 2006 houden de zorgaanbieders in de Stadsregio Amsterdam van alle cliënten de doelrealisatie bij. Werkrelatie Los van de methodiek zijn er ook algemene factoren die meetellen bij de beoordeling van de effectiviteit. Er zijn namelijk factoren die altijd betere resultaten opleveren, stelde hoogleraar Tom van Yperen in 2003 bij zijn oratie, ongeacht de precieze aanpak van problemen. De factoren zijn: 1 een goede werkrelatie tussen cliënt en hulpverlener; 2 een goede motivatie van de cliënt; 3 een goede aansluiting van het type interventie bij het probleem en de hulpvraag; 4 een goede structurering van de interventie; 5 programma-integriteit: uitvoering van de interventie zoals die is bedoeld;

7 Spirit onderzoekt eigen effectiviteit 6 voldoende professionaliteit vooral opleiding en nascholing van de behandelaar; 7 goede werkomstandigheden voor de behandelaar: een draaglijke caseload, goede begeleiding, veiligheid. De meeste van deze factoren zijn bij Spirit onderzocht in groepsinterviews met hulpverleners. De vijfde factor, programma-integriteit, is cruciaal voor wie de effectiviteit van een interventie wil verbeteren. Want als onduidelijk is of hulpverleners de interventie uitvoeren zoals beschreven in handboek, richtlijn of protocol, is ook onduidelijk welke factor verantwoordelijk is voor de gemeten resultaten. De resultaten van deze doorlichting zijn gepubliceerd in het rapport Werken aan effectiviteit. Doorlichting van drie werksoorten van Spirit te Amsterdam (Van den Braak en Konijn, 2006). Gedragsproblemen Een van de geanalyseerde methodieken was die van de regionale ambulante teams. De cliënten van de regionale ambulante teams zijn gezinnen, vaak met één ouder, met kinderen die gemiddeld tussen 8 en 14 jaar oud zijn. De helft van de gezinnen is van allochtone afkomst. De etnische achtergrond van die groep is divers; veel cliënten zijn asielzoeker of vluchteling. De meeste kinderen die bij de ambulante teams hulp krijgen, hebben fikse gedragsproblemen: opstandig gedrag, ADHD, hyperactief of zeer druk gedrag, delinquentie. In veel gezinnen hebben ouders en kinderen vaak ruzie, en de ouders voelen zich overbelast. Zij hebben niet alleen vaak een tekort aan opvoedingsvaardigheden maar ook tal van andere problemen zoals verslaving, psychiatrische en financiële problemen. Het zijn dus veelal multiprobleemgezinnen. De doelgroepomschrijving in het methodiekboek voor de ambulante teams blijkt behoorlijk overeen te komen met deze gegevens. Alleen worden de gedragsproblemen van de kinderen niet expliciet genoemd. Daarom zal de doelgroepomschrijving worden aangepast. De ambulante hulp duurt ongeveer negen maanden en bestaat uit drie fasen. In de startfase worden de probleemsituatie en het netwerk van het gezin verkend en wordt de werkrelatie met de cliënt opgebouwd. Hulpverlener en gezin stellen samen een startplan op met doelstellingen. Ze maken een keuze uit drie soorten interventies. Via de methode De Versterking kunnen ze werken aan het versterken van de opvoedingscompetenties van ouders en het verbeteren van het van gedrag van jeugdigen door bijvoorbeeld positieve 43

8 Carolien Konijn, Ellen Schulze en Theo Schut feedback en gedragsoefeningen. Via video-interactiebegeleiding kunnen ze de basiscommunicatie en interactiepatronen in het gezin versterken. En via de Instapmethode kunnen ze het sociale netwerk van het gezin versterken en werken aan de motivatie van de cliënt. In de veranderingsfase, die gemiddeld zes maanden duurt, moeten de gekozen interventies hun werk doen. De derde fase is een afrondingsfase waarin de werkrelatie wordt afgebouwd en geëvalueerd. Ook wordt dan eventuele vervolghulp ingezet. Versterken 44 Hoe geëigend is nu de methodiek van de ambulante teams? Uit het literatuuronderzoek kwamen doelstellingen en theoretische uitgangspunten naar voren voor een adequate aanpak voor gezinnen met meervoudige problematiek en kinderen in de basisschoolleeftijd met milde tot ernstige gedragsproblemen: z versterken van de krachten in het gezin (empowerment-theorie); z leren overleggen en onderhandelen (communicatietheorie); z herstel van het gezag van ouders (systeemtheorie); z gedragsverandering door instructies, oefenen, belonen juist gedrag, modelgedrag (leertheorie). Een belangrijke conclusie van het onderzoek was dat de theoretische basis van de ambulante methodiek uitstekend overeenkomt met deze uitgangspunten. De programmatheorie die vereist is voor de tweede trede in de effectiviteitsladder, is in de methodiek van de ambulante teams dus voldoende aanwezig. De methodiek is echter relatief sterk gericht op hulp aan de ouders en minder expliciet op de gedragsproblemen van de kinderen, zoals de doelgroepomschrijving al deed vermoeden. Tijdens een bespreking van de resultaten van het onderzoek vroegen de hulpverleners om meer methodische aanwijzingen voor het aanpakken van het opstandige en lastige gedrag van de kinderen. Daarom zijn er wat aanvullingen op de methodiek voorgesteld. Zo kan de probleemanalyse systematischer. In de methodiek worden met name de krachten van het gezin en de draaglast in kaart gebracht. De gerichtheid op de krachten van het gezin is op zichzelf prima dat past in de empowerment-theorie maar voor een adequate aanpak is het nodig om de problemen van ouders en kinderen nauwkeuriger in kaart te brengen, bijvoorbeeld met behulp van diagnostische vragenlijsten. Met deze lijsten is op een systematische en grondige manier in korte tijd de aard en de ernst van de problemen van een gezin te verkennen.

9 Spirit onderzoekt eigen effectiviteit De uitkomsten van die vragenlijsten zijn goed bruikbaar bij gesprekken met ouders en kinderen over de problemen. Herkennen ze de uitkomsten? Kunnen ze meer vertellen over de gevolgen van bepaalde problemen? Herkennen ze de gebieden waarop het goed gaat in het gezin? In feite dienen dan de antwoorden op de vragenlijsten als een checklist om precies na te gaan wat er aan de hand is, wat goed gaat en wat de gezinsleden graag willen veranderen. Daarnaast zijn de vragenlijsten omdat ze zijn genormeerd bruikbaar om de groep cliënten te vergelijken met die van andere instellingen. Ook kan de informatie worden gebruikt om aan het einde van de hulp te beoordelen of de problemen zijn afgenomen. Psycho-educatie Het onderzoek gaf aan dat er meer aandacht nodig is voor de behandeling van de gedragsproblemen van de kinderen. Uit wetenschappelijk onderzoek blijkt dat het belangrijk is om ouders te leren positief gedrag te belonen en ongewenst gedrag te negeren. Dat maakt ook deel uit van de ambulante methodiek van Spirit. Maar voldoende is het niet. Zo moeten ouders van kinderen met ADHD informatie krijgen over wat ADHD precies inhoudt en wat bekend is over de oorzaken. Door dergelijke psycho-educatie begrijpen ouders beter waarom hun kind doet zoals het doet. Daarnaast blijkt cognitieve herstructurering een belangrijk onderdeel van een effectieve aanpak voor kinderen met opstandig en soms agressief gedrag. Kinderen met dit type gedragsproblemen hebben vaak een verstoorde visie op het interpersoonlijk verkeer tussen henzelf en anderen. Ze voelen zich gauw aangevallen waardoor ze snel woede-uitbarstingen hebben. Vervolgens kunnen ze de situatie die is ontstaan niet meer goed oplossen. In de literatuur worden twee soorten trainingen aanbevolen: trainingen voor probleemoplossende vaardigheden en trainingen voor woedebeheersing. 45 Groepstrainingen Video-interactiebegeleiding, een van de drie interventies waaruit ouders en hulpverleners kunnen kiezen, werkt niet bij alle gezinnen even goed. Uit de literatuur blijkt dat het minder goed werkt bij gezinnen met ernstige problemen en bij gezinnen met oudere kinderen.

10 Carolien Konijn, Ellen Schulze en Theo Schut 46 De gezinnen worden nu voornamelijk individueel benaderd. Uit onderzoek blijkt dat groepstrainingen voor ouders zowel als voor kinderen vaak even goede resultaten opleveren. Bovendien is een groepsaanpak goedkoper. Tot slot is er de aanpak van de problemen van de ouders. Geconstateerd is dat de ouders vaak meervoudige problemen hebben: naast opvoedingsproblemen ook verslavings-, psychiatrische of financiële problemen. Hulp bij deze problemen is geen taak van de jeugdzorg, maar ze maken het moeilijker een gezin adequaat te helpen. De methodiekhandleiding zegt nu niets over die bijkomende problemen. Hulpverleners hebben daarom vaak het idee dat die problemen er maar bij komen, dat de methodiek onvoldoende aansluit bij de hulpvragen van de doelgroep en dat ze maar moeten zien hoe ze ermee omgaan. De hulpverleners moeten weten hoe ze kunnen omgaan met deze kwestie. Er zou structurele samenwerking moeten zijn met instellingen voor hulpverlening aan volwassenen: de geestelijke gezondheidszorg, het algemeen maatschappelijk werk, de schuldhulpverlening, de verslavingszorg. De instellingen moeten afspraken maken over gerichte verwijzing of gezamenlijke hulp aan gezinnen. In sommige delen van de Stadsregio Amsterdam bestaat zo n samenwerking, maar het is nog te incidenteel. Richtlijn De ambulante methodiek steekt over het algemeen goed in elkaar, zo bleek uit het onderzoek. Maar hoe staat het met de programma-integriteit? Wordt de methodiek in de praktijk toegepast zoals die beschreven is? Uit wetenschappelijk onderzoek blijkt dat interventies met een hoge programma-integriteit effectiever zijn dan andere. Bovendien is de programma-integriteit belangrijk als instellingen zelf hun resultaten gaan meten, want over exact welke hulp gaan de gemeten resultaten? In een groepsgesprek is nagegaan in hoeverre hulpverleners de methodiekhandleiding gebruiken als richtlijn voor hun handelen. Dat is uiteraard geen harde onderzoeksmethode; het geeft slechts een indicatie van eventuele problemen. Toch kwam er veel materiaal uit. Zo bleek dat de hulpverleners het methodiekboek onvoldoende als leidraad nemen voor uitvoering van de hulp. Ondanks trainingen waren ze ook niet allemaal goed op de hoogte van recente veranderingen in het methodiekboek. Verder bleek dat de keuze van hulp-

11 Spirit onderzoekt eigen effectiviteit vormen en technieken vaak afhangt van de expertise en de ervaring van de medewerker, en minder van de problematiek van het gezin. Onderzocht is ook wat de ambulante hulp concreet heeft opgeleverd voor de cliënten. Op het moment van het onderzoek waren er weinig gegevens bekend over de resultaten van de interventies. De uitval bij de ambulante teams is8à9procent. Dat is niet buitensporig veel, maar er zijn wel grote verschillen tussen de regio s waar de methodiek wordt toegepast. Daar waar de uitval relatief hoog is, kan worden nagegaan hoe dat komt en hoe de uitval omlaag kan. Spirit neemt systematisch tevredenheidsvragenlijsten bij cliënten af. Met een respons van ongeveer 40 procent is het gemiddelde cijfer 8,6. Tevreden klanten dus. Over doelrealisatie en afname van problemen waren tijdens het onderzoek nog geen gegevens bekend. Helder Op welke trede van de effectiviteitsladder bevinden de ambulante teams zich nu? De conclusies zijn positief. Het ambulante programma is potentieel effectief. Het is goed en helder beschreven. Is het programma ook veelbelovend? Bijna. De theoretische onderbouwing stemt goed overeen met wat bekend is uit de literatuur. Enkele aanpassingen in de doelgroepomschrijving en de methodiek, met name voor de aanpak van de gedragsproblemen van de kinderen en instructie voor aanpak van individuele problemen van ouders, zullen de aanpak beter passend maken. Daarnaast is verbetering nodig van de programma-integriteit. Na deze verbeteringen is de ambulante methodiek echt veelbelovend te noemen. Is het programma ook doeltreffend? Er zijn wel wat indicaties van doeltreffendheid - de hoge cliënttevredenheid en de matige uitval maar er zijn niet genoeg gegevens om die vraag te beantwoorden. 47 Model Al met al levert deze manier van onderzoeken bruikbare aanbevelingen op voor de werkpraktijk. De onderzoeksopzet sluit goed aan bij de manier waarop Spirit aan de ontwikkeling van zijn programma s wil werken. Het bewustzijn over het belang van effectiviteit is door het onderzoek versterkt. Drie programma s van Spirit zijn inmiddels op effectiviteit doorgelicht; enkele andere programma s worden momenteel ook onderzocht.

12 Carolien Konijn, Ellen Schulze en Theo Schut Spirit wil in de komende tijd verder werken aan effectiviteit. Spirit heeft het model dat de onderzoekers aanreikten om systematisch te werken aan verbetering van de effectiviteit omarmd (zie figuur 1). Zo worden de aanbevelingen uitgewerkt door de maandelijkse overleggen van het middenkader van de drie onderzochte werksoorten. Per werksoort wordt bekeken of de omschrijving van de doelgroep moet veranderen of dat aanvullende methodieken voor specifieke behandeldoelen nodig zijn. Ook heeft het onderzoek Spirit aangemoedigd om te participeren in een experiment met de invoering van Triple P, een groepsgewijs opvoedingsondersteuningsaanbod voor ouders, dat door het Trimbos-instituut op effectiviteit wordt onderzocht. 48 Figuur 1 Naar aanleiding van het onderzoek heeft Spirit van de ontwikkeling en de ijking van methodieken een constant doorlopend proces gemaakt, waarin de praktijk en de wetenschap samen optrekken. Zo houdt Spirit vanaf 2007 periodieke methode-evaluaties (zie kader). De teams bespreken twee keer per jaar de beschikbare gegevens over de kenmerken en problemen van de bereikte doelgroep, over toegepaste interventies en technieken en over de resultaten van de ingezette hulp. De teams beantwoorden dan drie kernvragen. Krijgen ze

13 Spirit onderzoekt eigen effectiviteit de doelgroep binnen waarvoor het programma bedoeld is? Wat werkte goed en wat minder goed in de uitvoering van de methodiek? Wat werkte voor wie? Het systematisch en kritisch beoordelen van het werk in de teams sluit goed aan bij de behoefte van hulpverleners aan meer bezinnen op de eigen werkpraktijk. Zo benut Spirit hun deskundigheid en ervaring beter. En het middenkader kan het managementteam beter adviseren over de vernieuwing van de praktijk. Het onderzoek levert prikkelende gegevens op waarover de teams verder kunnen nadenken. Alle drie de programma s scoren goed op de theoretische onderbouwing en bereiken over het algemeen de juist doelgroep redelijk goed. Maar het valt op dat bij het programma Nieuwe Perspectieven de programma-integriteit bijzonder hoog is. Dat roept natuurlijk de vraag op waarom de hulpverleners dáár scherper de opbouw van de methodiek volgen dan elders. Nametingen Ook voor de jeugdzorg in het algemeen in de Stadsregio levert het onderzoek iets op. Niet alleen Spirit licht in opnieuw een aantal programma s door, maar ook Altra, MOC t Kabouterhuis, de Bascule/TGV en HVO Querido onderwerpen een deel van hun programma s aan deze onderzoeksmethode. De Stadsregio Amsterdam neemt de helft van de kosten van dit onderzoek voor haar rekening. Dit gezamenlijke onderzoek zorgt voor meer eenheid van denken en taal, zowel tussen de zorgaanbieders onderling als met Bureau Jeugdzorg Agglomeratie Amsterdam. Verder bouwt Spirit samen met collega-zorgaanbieders en in afstemming met bureau jeugdzorg stapsgewijs een databestand op. Een eerste belangrijke stap was de invoering van een formulier voor doelrealisatie, gericht op het meten van onder meer herstel van autonomie. Daarnaast wil Spirit op termijn vragenlijsten voor voor- en nametingen invoeren. In eerste instantie wordt gedacht aan de Quick-STEP, een instrument dat bureau jeugdzorg in de stadsregio gebruikt om de ernst van de problematiek vast te stellen, met het oog op de indicatiestelling. Zorgaanbieders die aan het eind van het hulptraject de Quick-STEP opnieuw afnemen, krijgen een indicatie van de mate waarin de problemen zijn afgenomen. Naast de Quick- STEP komen mogelijk ook instrumenten als de CBCL, de SDQ en de NOSI in aanmerking. Dit jaar vindt een eerste proefproject met dergelijke instrumenten plaats bij een onderzoek naar de effectiviteit van het crisisinterventieprogramma Spoedhulp van Spirit. 49

14 Carolien Konijn, Ellen Schulze en Theo Schut De komende jaren moet blijken of het lukt om de aanbevelingen van het onderzoek goed vorm te geven. De eerste ervaringen zijn in ieder geval positief. Verder lezen 50 Braak, J. van den en C. Konijn (2006), Werken aan effectiviteit: doorlichting van drie werksoorten van Spirit (Beter met Thuis, Regionaal Ambulante Teams, Nieuwe Perspectieven). Amsterdam, Spirit. Een samenvatting van het rapport is te downloaden van > Servicepagina s. Konijn, C. (red.) (2003), Internationaal overzicht effectieve interventies in de jeugdzorg. Utrecht, NIZW. ISBN Te downloaden via > Servicepagina s. Projectgroep Zicht op effectiviteit (2006). Zicht op effectiviteit; bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Utrecht, NIZW. Eind dit jaar verschijnt de definitieve versie van het bronnenboek in druk. De voorlopige versie is te downloaden via > Servicepagina s > Te downloaden werkdocumenten. Roede, E. en E. Schooten (2004), Kiezen voor effectiviteit. Haalbaarheid van een uniforme effectiviteitstoets voor preventieve, curatieve en repressieve jeugdprogramma s. Amsterdam, SCO- Kohnstamm Instituut. Veerman, J.W. (2005), Jeugdzorg moet denksprong maken. Nederlands tijdschrift voor jeugdzorg, jaargang 9, nr. 3/4, pagina Veerman, J.W. (2006), Meer zicht op effectieve jeugdzorginterventies via praktijkgestuurd effectonderzoek. Kind en Adolescent, jaargang 27, no. 4, pagina Veerman, J.W. (1997), Meten en weten in de jeugdzorg. Nijmegen, Katholieke Universiteit. Yperen, T.A. van (2003), Gaandeweg. Werken aan de effectiviteit van de jeugdzorg (oratie). Utrecht, SWP. ISBN Sociaal pedagoog Carolien Konijn (c.konijn@nji.nl) is afdelingshoofd jeugdzorg bij het Nederlands Jeugdinstituut. Orthopedagoog Ellen Schulze (e.schulze@spirit.nl) is beleidsmedewerker bij de afdeling Inhoud van Spirit. Sociaal pedagoog Theo Schut (t.schut@spirit.nl) is manager van de afdeling Inhoud van Spirit.