Zicht op Effectiviteit

Transcriptie

1 Zicht op Effectiviteit Een kijkje in de keuken van zeven instellingen voor jeugdzorg Practice-Based Evidence Evidence- Based Practice Redactie J.W. Veerman H. Ooms

2

3 Zicht op Effectiviteit Een kijkje in de keuken van zeven instellingen voor jeugdzorg

4 2008 Nederlands Jeugdinstituut, Utrecht / Praktikon, Nijmegen Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming. Redactie Jan Willem Veerman (Praktikon) Herma Ooms (Collegio) Projectgroep Deze uitgave is een product van het project Zicht op Effectiviteit, uitgevoerd door een projectgroep bestaande uit: prof. dr. Jan Willem Veerman (Praktikon, projectleider en penvoerder) prof. dr. Tom van Yperen (Nederlands Jeugdinstituut, projectleider) dr. Bas Bijl (PI Research) Herma Ooms M.C.M. (Collegio) drs. Dries Roosma (Jeugdzorg Drenthe). Financier Het project Zicht op effectiviteit is in de periode uitgevoerd met subsidie van het ministerie van VWS / ministerie voor Jeugd en Gezin. Bestellen Deze uitgave is te bestellen bij Praktikon: Praktikon@acsw.ru.nl Tevens is deze publicatie te downloaden via > servicepagina s > onderzoeksprojecten > project Zicht op Effeciviteit. Hier is ook verdere informatie over Zicht op Effectiviteit te vinden, alsook over de voortzetting daarvan in het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN). 2

5 Inhoudsopgave Inhoudsopgave 3 Ten geleide 5 Hoofdstuk 1 Hoofdstuk 2 Hoofdstuk 3 Hoofdstuk 4 Hoofdstuk 5 Hoofdstuk 6 Hoofdstuk 7 Zicht op Effectiviteit bij de Ottho Gerhard Heldringstichting Marleen van Aggelen en Coleta van Dam Zicht op Effectiviteit bij Triversum Stefan van den Langenberg en Marie-Christine van der Veldt Zicht op Effectiviteit bij Tender Coleta van Dam, Eefje Strijbosch, Saar Arts, Geert Verdaasdonk en Mariette van Brandenburg Resultaatgericht behandelen bij Arkemeyde/ s-heeren Loo Kwadrant Harm Wijgergangs, Anke Breg-Vijlbrief en Bas Bijl Effecten in beeld bij Pactum Inge Bastiaanssen, Harm Damen en Jan Willem Veerman Resultaatgericht meten bij Parlan Eva Hengst en Dymph Rutten Aantoonbare kwaliteit bij De Waarden Gert Kroes, Ton Meeuwsen en Jan Willem Veerman

6 4

7 Ten geleide Achtergrond Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat. Zowel op de werkvloer en het management van instellingen als bij lokale, provinciale en landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. De vraag die dan meteen opkomt is hoe het zicht krijgen op effectiviteit het beste vorm gegeven kan worden. Traditiegetrouw wordt deze vraag aan onderzoekers gesteld, maar even traditiegetrouw maken hun antwoorden vaak geen bevredigende indruk. Het lijkt er soms op dat naarmate het wetenschappelijk onderzoek beter is opgezet de praktijk er minder aan heeft. Artikelen worden in buitenlandse tijdschriften gepubliceerd, maar ze worden door uitvoerders en bestuurders in de jeugdzorg nauwelijks gelezen. Dit is een onwenselijke paradox. Goed opgezet onderzoek zou niet alleen wetenschappelijk winst moeten opleveren, maar ook de praktijk ten dienste moeten staan. Hiervoor is het nodig dat de wensen en belangen van betrokken partijen uitvoerders, bestuurders en wetenschappers meer op elkaar afgestemd zijn. Het vertrekpunt hierbij zou dan moeten zijn dat effectiviteit zichtbaar wordt op de plaats van ontstaan, op de werkvloer van de zorg, in de interactie tussen hulpverleners en cliënten. En tevens dat dit zicht op de effectiviteit vanaf die plaats zijn weg vindt hogerop, naar het management en de bestuurders van instellingen, naar regionale en provinciale beleidsorganen, naar het landelijk beleid en naar de wetenschappelijke tijdschriften. Het project Zicht op Effectiviteit, waar deze bundel één van de producten van is, kende nadrukkelijk dit uitgangspunt. Met financiële steun van het toenmalige ministerie van VWS ging het project in januari 2005 van start en liep het tot eind Een projectgroep gedragen door Collegio, Jeugdzorg Drenthe, het Nederlands Jeugdinstituut, PI Research en Praktikon gaf leiding aan het project (zie de colofon voor meer informatie). De doelstelling van het project was in de Nederlandse jeugdzorg van onder op een effectbeweging in gang te zetten. Deze moest resulteren in het standaard bijhouden van de effectiviteit van uitgevoerde interventies in het kader van kwaliteitszorg van een zorginstelling. Idealiter zou na elke afgesloten behandeling van een jeugdige en zijn gezin zichtbaar moeten worden wat het effect is. Vervolgens kunnen deze indivduele uitkomsten in de vorm van kwartaalcijfers of jaarcijfers geaggregeerd worden om periodiek op groepsniveau de effectiviteit van de uitgevoerde interventies zichtbaar te maken en aan de hand hiervan die interventies zonodig te verbeteren. Bovendien zou op basis van deze cijfers verantwoording naar derden (overheden, zorgverzekeraars) kunnen worden afgelegd. Dit sluit aan bij de huidige nadruk op het ontwikkelen van evidence-based practice, waarin aan de jeugdzorg wordt gevraagd en in de toekomst ook wordt geëist interventies van bewezen effectiviteit uit te voeren. Het is de missie van de projectgroep deze ontwikkeling te helpen vormgeven; niet door top-down elementen van evidence-based practice te implementeren, maar juist door bottom-up in de huidige uitvoeringspraktijk te zoeken naar practice-based evidence en tussen het verkrijgen van beide soorten evidence een wisselwerking te creëren. Om een dergelijke effectbeweging op gang te krijgen werden drie uitgangspunten geformuleerd: 1. De opzet van effectmetingen moet aansluiten bij de staat van ontwikkeling van een interventie, dit voorkomt dat er over de hoofden heen wordt gemeten; de metingen gaan over de dingen die belangrijk zijn voor het dagelijks werk. 5

8 2. De procedures van effectmetingen moeten ingebed worden in het hulpverlenend handelen, hiermee worden ze een natuurlijk onderdeel van professioneel werken en niet iets dat er ook nog bij komt; uitvoerend werkers worden eigenaars van het proces. 3. De uitkomsten van effectmetingen moeten benut worden bij de uitvoering van de zorg en het beleid van een instelling; gegevens blijven zo niet in de la liggen maar dragen bij tot reflectie over de verleende zorg en zetten aan tot veranderingen in denken en doen. Effectonderzoek dat aan deze drie principes voldoet wordt praktijkgestuurd genoemd. Het implementeren en uitvoeren van dit type onderzoek stond in Zicht op Effectiviteit centraal. Om dit doel te bereiken zijn twee deelprojecten uitgevoerd. Het eerste deelproject had tot doel reeds lopend effectonderzoek op een zestal locaties te versterken en de achtergronden en ervaringen vast te leggen in een Handboek voor praktijkgestuurd effectonderzoek 1. Het betrof de Hulp aan Huis locaties voor intensieve ambulante gezinsbehandeling in Groningen, Drenthe en Overijssel, de klinische gezinsbehandeling in Beilen (GGZ-Drenthe) en Zeist (De Bellenbergh, onderdeel van Altrecht) en de Hoenderloogroep. In het handboek boek worden in Deel I de principes van praktijkgestuurd effectonderzoek nader uitgewerkt, komen in Deel II de locaties aan het woord en worden in Deel III tips en adviezen gegeven om dit type onderzoek op te zetten en uit te voeren. De zes locaties vertegenwoordigden direct of indirect (via intersectorale samenwerkingsverbanden) 19 instellingen voor jeugdzorg, inclusief de jeugd-ggz en de zorg voor licht verstandelijk gehandicapten. Het tweede deelproject had tot doel nieuwe instellingen in te laten stromen waarin praktijkgestuurd effectonderzoek opgezet zou gaan worden en waarbij vanuit het project ruim een jaar begeleiding geboden werd. Zeven jeugdzorginstellingen namen hieraan deel. Het gaat om vier instellingen voor jeugdhulpverlening (De Waarden, Pactum, Parlan en Tender), één instelling voor geestelijke gezondheidszorg voor jeugdigen (Triversum), één instelling voor de zorg aan licht verstandelijk gehandicapte jeugdigen (Kwadrant) en één instelling voor justitiële zorg (OG Heldringstichting). In deze instellingen werden effectmetingen opgezet en vanuit het project begeleid door Collegio, PI Research of Praktikon. In de voorliggende bundel doen de instellingen verslag van dit proces. Hiermee werd de basis van het project verbreed tot 26 instellingen. Aandachtsfunctionarissen uit de instellingen van beide deelprojecten kwamen regelmatig bijeen in een door Collegio geleid Effectiviteitsplatform om ervaringen uit te wisselen en nieuwe ontwikkelingen te bespreken. Deze besprekingen gaven aanleiding tot het ontwikkelen van een aantal ondersteuningspakketten: workshops voor medewerkers van instellingen waarin de voor effectmeting relevante randvoorwaarden aan de orde komen. Zo zijn er workshops voor het omgaan met vragenlijsten, het opzetten van de logistiek voor de gegevensverzameling en het benutten van uitkomsten voor het beleid. Tevens is in het kader van het project bestaande software ten behoeve van de effectmeting verder ontwikkeld en geïmplementeerd. Ook is aandacht besteed aan het afronden van een handleiding van een drietal vragenlijsten, deze zijn nu ook beschikbaar. Op de door het Nederlands Jeugdinstituut onderhouden website is hierover meer informatie aan te treffen onder servicepagina s > onderzoeksprojecten > project Zicht op Effectiviteit 2. 1 Zie Van Yperen, T.A., & Veerman, J.W. (2008). Zicht op Effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Verschijnt voorjaar 2008, informatie via 2 Zie voor de vragenlijsten over het meten van Bejegening, Empowerment en Gezinsfunctionern, alsook voor het computerprogramma BergOp. Tevens zijn deze vragenlijsten opgenomen in de Databank Instrumenten, Richtlijnen en Kwaliteitsstandaarden van het Nederlands Jeugdinsituut (NJi), zie 6

9 Deze bundel Zoals gezegd doen in deze bundel de zeven nieuwe deelnemers aan het project Zicht op Effectiviteit verslag van het proces en de eerste uitkomsten van de in hun instelling opgezette effectmeting. In sommige van deze instellingen sloot de deelname aan het project aan bij reeds in de instelling in gang gezette projecten over effectmeting, voor andere instellingen was het een eerste kennismaking. De zeven hoofdstukken in deze bundel zijn geschreven door medewerkers van de instellingen, vaak in samenwerking met de ondersteuners vanuit het project. De hoofdstukken geven een kijkje in de keuken waar de effectmetingen worden bereid en geproefd. De meeste gerechten staan nog op het vuur, ze zijn nog niet helemaal klaar om opgediend te worden. Dat maakt deze bundel juist zo interessant. Soms treft de lezer er recepten aan: welke vragenlijsten worden gebruikt, hoe worden gegevens berekend en geanalyseerd? Soms ziet de lezer de pannen overkoken, wat verlies aan gegevens oplevert (de beruchte non-respons). Soms ook blijkt er toch alvast een voorgerecht opgediend te kunnen worden in de vorm van een informatieve uitkomst, samengevat in een tabel of een figuur. Duidelijk wordt dat de beroemde uitspraak Edison dat uitvinden voor 1% inspiratie is en voor 99% transpiratie ook hier van toepassing is. Het is mooi om geïnspireerd aan het meten te slaan. Maar dan? De transpiratie zit vooral in het meekrijgen van een organisatie. Effectmeting is zeker in het begin eerder organisatieontwikkeling dan onderzoek. Effectmeting is daarbij een zaak van velen, van uitvoerders tot bestuurders. Hoe krijg je die allemaal op hetzelfde spoor? Maar eenmaal gewonnen voor de zaak blijken die velen enthousiast te kunnen worden. In de meeste van de hoofdstukken is plaats ingeruimd voor ervaringen en bijna live -verslagen van medewerkers. De zorg voor al dat extra werk wordt door hen verwoord, maar ook het soms onverwachte nut dat het oplevert. Daarbij wordt ook duidelijk dat degenen om wie het uiteindelijk allemaal draait, jeugdigen en hun ouders, er wel degelijk baat bij hebben. We hopen dat dit kijkje in de keuken u als lezer kan inspireren. Voor meer informatie kunt u contact opnemen met de betreffende deelnemende instellingen of met de begeleidende onderzoeksbureaus. Meer informatie over het project Zicht op Effectiviteit en over de voortzetting daarvan in het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN) kunt u vinden op de eerder genoemde website. 7

10 8

11 Hoofdstuk 1 Zicht op Effectiviteit bij de Ottho Gerhard Heldringstichting Marleen van Aggelen en Coleta van Dam Inhoudsopgave 1.1 Inleiding Behandelvisie Organisatie behandelaanbod Deelname Zicht op Effectiviteit 1.2 Plan van aanpak Doel 1: Afname TVA Doel 2: Inventarisatie extra meetinstrumenten Doel 3: Oriëntatie op de toekomst 1.3 Procesresultaten Afname TVA Inventarisatie extra meetinstrumenten Oriëntatie op de toekomst Ervaringen met de projectperiode Zicht op Effectiviteit 1.4 Resultaten instrumenten Resultaten TVA Pilot-onderzoek 1.5 Conclusie en aanbevelingen TVA Inventarisatie extra meetinstrumenten Oriëntatie op de toekomst Implicaties voor de voortgang Bijlage 1.1 Bijlage 1.2 9

12 10

13 1.1 Inleiding De Ottho Gerhard Heldringstichting (OGH) in Zetten is een justitiële jeugdinrichting voor behandeling van orthopsychiatrische jongeren (en hun ouders). De jongeren die zijn opgenomen in de OGH hebben veelal ernstige gedragsstoornissen al dan niet in combinatie met (rand)psychiatrische stoornissen. In het verlengde van deze ernstige gedragsproblematiek vertonen jongeren vaak delinquent gedrag. Daarnaast is er bijna altijd sprake van forse gezinsen opvoedingsproblematiek. Door de ernst en complexiteit van de problematiek moeten deze jongeren intensief behandeld worden. Omdat deze jongeren zich veelal onttrekken aan de behandeling, is het nodig hen in een besloten setting te plaatsen 3. Bijna alle jongeren in de OGH (ongeveer 99%) zijn geplaatst met een civielrechtelijke OTS-maatregel (OnderToezichtStelling), een kleine minderheid van de jongeren is geplaatst met een strafrechtelijke PIJ-maatregel (Plaatsing in een Inrichting voor Jeugdigen). Omdat de problematiek en delictgeschiedenis van OTS-jongeren en PIJ-jongeren niet wezenlijk van elkaar verschillen, wordt er in de behandeling geen onderscheid gemaakt tussen deze twee groepen. Vanwege een wetswijziging in de Wet op de Jeugdzorg wordt gesloten behandeling binnen de jeugdzorg vanaf medio 2007 mogelijk. Tevens is hiermee besloten dat de verantwoordelijkheid van civielrechtelijk geplaatste jongeren die nu in justitiële jeugdinrichtingen verblijven overgedragen wordt aan het ministerie van Jeugd en Gezin. Omdat de populatie van de OGH voor het merendeel uit OTS-jongeren bestaat, zal de OGH vanaf januari 2008 een gesloten zorgaanbieder worden en onder het ministerie van Jeugd en Gezin komen te vallen Behandelvisie Uitgangspunt voor de behandeling is dat de jongeren het best gebaat zijn bij een integrale aanpak, waarbij de problematiek van de jongere centraal staat en de hele leefomgeving van de jongere wordt betrokken. Het is niet realistisch om te verwachten dat door de behandeling alle aanwezige problematiek bij de jongere verdwijnt; daarvoor is de problematiek vaak te complex. Veeleer gaat men ervan uit dat er bij jongeren sprake is van een permanente handicap waarmee zij zo goed mogelijk moeten leren omgaan. De behandeling is gericht op het aanleren van vaardigheden en vergroten van competenties, maar ook op reductie van het probleemgedrag en het vermijden van stressoren. Het theoretisch kader dat bij deze behandelvisie wordt gehanteerd is het Sociaal Competentie Model Plus (SCM + ). De basisbehandeling op de leefgroep is gebaseerd op de principes van het sociaal competentie model. Zo wordt er op alle leefgroepen gebruik gemaakt van systematische feedback naar de jongeren en er is een heldere opbouw van het behandelprogramma in duidelijk te onderscheiden fasen. De aanvullende behandeling (de plus ) wordt afgestemd op de individuele problematiek van de jongeren. Zo nodig wordt deze aangevuld met bijvoorbeeld agressieregulatie-training, vaktherapieën, psychiatrisch consult en/ of gezinsmaatschappelijk werk 4. 3 OG Heldringstichting (2006). Opgehelderd. Een beschrijving van de OG Heldringstichting. Intern document. Zetten: OG Heldringstichting. 4 Zie noot 3. 11

14 1.1.2 Organisatie behandelaanbod De OGH heeft 11 gesloten plaatsen voor meisjes en 140 besloten plaatsen voor meisjes, jongens of gemengd, georganiseerd in zeven behandelunits. Er is één gesloten behandelunit, bestaande uit één leefgroep van 11 meisjes, en zes besloten units die ieder uit twee leefgroepen bestaan. In iedere leefgroep verblijven in principe 12 jongeren (bij twee leefgroepen zijn dit 10 jongeren) die door twee pedagogisch medewerkers worden begeleid. De behandelunits worden aangestuurd door een unitleider en een behandelcoördinator. De unitleider is verantwoordelijk voor de aansturing van het team pedagogisch medewerkers en voor de uitvoering van de behandeling. De behandelcoördinator is verantwoordelijk voor de inhoud van de behandeling. Iedere unitleider stuurt twee leefgroepen aan, iedere behandelcoördinator stuurt één of twee leefgroepen aan. In de gesloten unit, die ook wel de normaal beveiligde unit genoemd wordt, verblijven de meisjes achter (hoge) hekken. Zij verblijven gedurende de dag en nacht in dit gebouw en gaan ook in dit gebouw naar school. In de besloten units, die ook wel beperkt beveiligde units worden genoemd, wordt behandeling onder drang en dwang gegeven, zonder dat dit in een zwaarbeveiligde omgeving gebeurt. De toegangsdeuren van de units zijn wel afgesloten, maar het terrein is bijvoorbeeld niet omgeven door hoge hekken. Gedurende hun behandeling kunnen jongeren, als ze daaraan toe zijn, steeds meer vrijheden verdienen waardoor ze ook steeds meer kunnen laten zien of ze over bepaalde competenties beschikken. Op het merendeel van de groepen staat de leefgroepbenadering centraal. Dit betekent dat er bijvoorbeeld gezamenlijk gegeten wordt en dat er gezamenlijke activiteiten worden ondernomen. Voor jongeren die leefgroepongeschikt zijn of voor jongeren die zich moeten voorbereiden op zelfstandig wonen, zijn er twee leefgroepen waarbij de individuele benadering centraal staat. Jongeren leren hier vaardigheden om straks voor zichzelf te kunnen zorgen (bijvoorbeeld zelf boodschappen doen, zelf koken enz.). Gemiddeld genomen verblijven jongeren 18 maanden in de OGH Deelname Zicht op Effectiviteit Om competenties en vaardigheden van jongeren tijdens hun verblijf in de OGH te meten, wordt door de mentoren van de jongeren, op gezette tijden in de behandeling, de vragenlijst Taken en Vaardigheden Adolescenten (TVA) 5 ingevuld. Daarnaast heeft het Ministerie van Justitie bepaald dat alle Justitiële Jeugdinrichtingen (JJI s) de TVA moeten inzetten als instrument om de effecten van behandeling te meten. Tot aan de zomer 2006 werden de resultaten van de TVA alleen voor onderzoeksdoeleinden gebruikt, individuele terugkoppeling was niet mogelijk 6. Omdat de afname van de TVA in de OGH nog niet systematisch verliep was het primaire doel van deelname aan Zicht op Effectiviteit om de afname van de TVA te verbeteren, zowel qua responspercentage als qua gebruik van de uitkomsten van de TVA in de behandeling. Met de TVA wordt slechts een deel van de behandeldoelen gemeten. De OGH wilde de projectperiode van Zicht op Effectiviteit ook gebruiken voor een oriëntatie op de toekomst. Men wil na gaan welke meetinstrumenten zij nog meer kunnen inzetten om hun behandeldoelen te meten en welke wensen en opvattingen 5 Knaap, L. M. van der, Beenker, L. G. M., & Bijl, B. (2004). TVA: Vragenlijst Taken en Vaardigheden van Adolescenten: handleiding. Duivendrecht: PI Research. Van der Knaap, Beenker en Bijl, 2004). 6 Velde, F. van der (2205). TVA Toegepast: een onderzoek naar de geschiktheid van de TVA als instrument voor meting van resultaat binnen besloten JJI voor behandeling O.G. Heldringstichting. Utrecht: doctoraalscriptie Pedagogiek, Universiteit Utrecht. Gruijter, J. de (2007). Onderzoek naar de toename van sociale competentie van jongeren binnen de besloten justitiële behandelinrichting de O.G.Heldringstichting gedurende de behandeling volgens het sociale competentiemodel. Utrecht: doctoraalscriptie Pedagogiek, Universiteit Utrecht. 12

15 er op de werkvloer zijn ten aanzien van het effectiviteitsonderzoek binnen de OGH. Tevens wil men nagaan of wetenschappelijk onderzoek en de functie van onderzoeker binnen OGH een structurele plaats gaan krijgen. Gedurende de projectperiode zal de OGH ondersteund worden door een onderzoeker van Praktikon. 1.2 Plan van aanpak De OGH heeft drie doelstellingen geformuleerd voor de duur van het project: verbetering van de afname van de TVA, inventarisatie van mogelijke meetinstrumenten om behandeldoelen te meten en oriëntatie op de toekomst van kwaliteitsbeleid en effectiviteitsonderzoek. Voor de projectperiode van Zicht op Effectiviteit is er een werkgroep Effectonderzoek binnen de OGH gevormd. Deze komt eens per 6 weken bij elkaar en bestaat uit de onderzoekster, een senior beleidsmedewerker afdeling Research & Development, een behandelcoördinator, een unitleider, een groepsleider en een medewerker ICT (op afroep beschikbaar). Taken van de werkgroep zijn meedenken over de uitvoering van Zicht op Effectiviteit en het uitdragen van het belang van het project en van de herhaalde metingen van de TVA. In onderstaande wordt per doel aangegeven hoe de OGH van plan was deze doelen te realiseren Doel 1: Afname TVA De OGH heeft zich ten doel gesteld om eind 2007 de herhaalde metingen van de TVA goed ingebed te hebben in de hele organisatie. Dat betekent dat er sprake is van een duidelijk beeld van wie wat doet, dat er op een efficiënte manier gegevens m.b.t. de TVA worden verzameld en dat de data weergegeven zijn in een database waaruit zowel door de onderzoeker als door behandelcoördinatoren en mentoren informatie geput kan worden. Deze informatie kan dan op individueel niveau en op instellingsniveau teruggekoppeld worden. Daarvoor moeten de volgende zaken eind 2007 gerealiseerd zijn: - Individuele terugkoppeling TVA-gegevens middels aanpassingen in cliëntregistratieprogramma Tulp. - Protocol voor afname TVA op meetmomenten 6 weken, 3 maanden, 9 maanden, 15 maanden, 21 maanden en verder, en een eindmeting bij vertrek. Handleiding voor het gebruik van de profielen van de TVA verkregen uit Tulp - Aanleggen database van de TVA in SPSS zodat de OGH zelf overzichten kan maken op instellingsniveau en individueel niveau - Datamonitoringssysteem ontwikkelen zodat de onderzoeker tijdig unitleiders en behandelcoördinatoren kan attenderen op het ontbreken van in te vullen TVA s. In eerste instantie dienen medewerkers zelf bij te houden voor welke jongere op welk moment een TVA ingevuld moet worden. - Voor alle nieuw opgenomen jongeren in de projectperiode (januari december 2007) wil men een respons van 90% voor de aanvangsmeting van de TVA (6 weken en/of 3 maanden) en een respons van 80% op de herhaalde meting bij 9 maanden. Voor jongeren die al op de OGH verbleven voor aanvang van de projectperiode wil men in de periode januari 2007 tot december 2007 minimaal 2 meetmomenten van de TVA. 13

16 1.2.2 Doel 2: Inventarisatie extra meetinstrumenten Om na te gaan welke onderzoeksinstrumenten nog gebruikt kunnen worden om de overige behandeldoelen te meten zou een pilotstudie worden uitgevoerd bij twee units. Daarvoor is het volgende traject uitgezet: - Inventarisatie van welke gegevens er al verzameld worden binnen de OGH, naast de TVA. - Met behulp van studenten Pedagogiek van de Universiteit Utrecht nagaan welke meetinstrumenten geschikt zijn voor afname binnen de OGH. Daarbij moet ook rekening worden gehouden met de mogelijke belastbaarheid van informanten (ouders, jongeren, behandelaars). - In maart 2007 starten met de dataverzameling in het kader van de pilot. - Advies formuleren aan het Management Team naar aanleiding van de resultaten van de pilot. - Implementatie van de nieuwe vragenlijsten vanaf januari 2008 met aandacht voor individuele terugkoppeling en logistiek in het primaire proces Doel 3: Oriëntatie op de toekomst De werkgroep Effectonderzoek binnen de OGH houdt zich bezig met een oriëntatie op de toekomst. Daarbij gaat het vooral om inzicht te krijgen in de opvattingen en (onderzoeks)vragen over het handhaven en verbeteren van de kwaliteit van de hulpverlening bij de pedagogisch medewerkers, unitleiders en behandelcoördinatoren. Eind 2007 zal dit resulteren in een advies naar het Management Team voor effectiviteitsonderzoek bij de OGH in de toekomst (vanaf begin 2008). In dat advies zullen de onderwerpen aan bod komen waar medewerkers behoefte aan hebben en waar de nieuwsgierigheid van de medewerkers ligt in de nabije toekomst (2008/2009). 1.3 Procesresultaten In het Bronnenboek deel 1 7 worden drie principes van effectonderzoek beschreven (p.12): aansluiting, inbedding en benutting. Onderzoek naar het effect van interventies heeft alleen zin als een interventie te omschrijven en over te dragen is. Het moet aansluiten bij het ontwikkelingsniveau van die interventies, het moet qua opzet (design en meetinstrumenten) niet verder gaan dan mogelijk is. Effectonderzoek moet daarnaast ingebed zijn in de dagelijkse procedures van het primair proces. Dat betekent dat het gebruik van de meetinstrumenten onderdeel is van het hulpverlenend handelen. Tot slot moeten de uit het effectonderzoek verzamelde gegevens benut worden in de praktijk. Het gaat dan om gebruik in de individuele behandeling, maar ook om terugkoppeling op interventie-, team- of organisatieniveau. Bij de beschrijving van de procesresultaten van de projectperiode, wordt steeds nagegaan hoe deze principes van effectonderzoek bij de verschillende doelstellingen van de OGH tot uiting zijn gekomen. 7 Yperen, T. van, & Veerman, J.W. (2006) (red). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I. Utrecht, Nijmegen, Den Haag: NIZW, Praktikon, Ministerie van VWS. 14

17 1.3.1 Afname TVA Aansluiting TVA De OGH werkt met het Sociaal Competentiemodel als basismethodiek. Dit model gaat uit van het versterken van vaardigheden en competenties en het reduceren van probleemgedrag. Deze methodiek is duidelijk beschreven door Slot en Spanjaard 8. De TVA meet deze vaardigheden en competenties en sluit daarmee uitstekend aan bij het type interventie dat wordt uitgevoerd. Voorafgaande aan de projectperiode werd de TVA al gebruikt als instrument om de effecten en het verloop van de behandeling in kaart te brengen. De afname van de TVA is ingebed in de behandelplancyclus van het primaire proces. De meetmomenten van de TVA zijn dezelfde als de momenten waarop behandelplanbesprekingen plaatsvinden. Tot aan de zomer van 2006 konden de uitkomsten alleen voor onderzoeksdoeleinden worden gebruikt (vgl. onderzoek naar wegloopgedrag van jongeren 9 en diverse doctoraalscripties 10 ). Tot de aanvang van de projectperiode werd de TVA nog niet structureel afgenomen en gebruikt als instrument in de behandeling. Doel van de OGH met het project Zicht op Effectiviteit was vooral om de inbedding en benutting van de TVA te verbeteren. Inbedding TVA Om de inbedding van de TVA in het primaire proces te verbeteren, is een nieuw protocol geschreven waarbij duidelijk is omschreven rondom welke tijdstippen de TVA moet worden afgenomen. De TVA wordt afgenomen rond 6 weken na opname, vervolgens bij 3 maanden, 9 maanden, 15 maanden etc. Deze meetmomenten sluiten aan bij de behandelplancyclus. Als een behandelplanbespreking wordt verschoven, verschuift de afname van de TVA mee. Ook is in een handleiding beschreven hoe uitkomstprofielen van de TVA na invulling in Tulp (cliëntregistratie-systeem bij JJI en) kunnen worden verkregen. De onderzoekster van de OGH is vervolgens bij alle units langs gegaan om hen uitleg te geven over het project Zicht op Effectiviteit, de nieuwe mogelijkheden van individuele terugkoppeling in Tulp en een recent responsoverzicht met daarin de afgenomen TVA s en de nog af te nemen TVA s. Vervolgens heeft de onderzoekster de datamonitoring in de hand genomen. Wekelijks checkt zij de TVA-metingen. Wanneer een meting van de TVA ontbreekt, stuurt ze een mailtje naar de unitleider om dat te melden. De unitleider spreekt de betreffende groepsleider aan. Meestal wordt de TVA dan alsnog ingevuld. Als het niet werkt om de unitleider aan te spreken gaat er een seintje naar het hoofd Behandeling. Door deze maatregelen is het invullen van de TVA op alle meetmomenten sterk verbeterd. In Tabel 1 worden de responscijfers van januari tot oktober 2007 per leefgroep gepresenteerd. Ter vergelijking worden ook de responscijfers van 2006 vermeld. 8 Slot, W., & Spanjaard, H. (1999). Competentievergroting in de residentiële jeugdzorg. Hulpverlening voor kinderen en jongeren in tehuizen. Baarn: Intro. 9 Jansma, J.B.M., Aggelen, M.H. van, & Deković, M. (2006). Weglopen uit Besloten Justitiële Behandelinrichtingen: Onderzoek bij jongeren in de O.G. Heldringstichting en Rentray. Zetten: O.G.Heldringstichting. 10 Zie noot 4. 15

18 Tabel 1. Het percentage ingevulde TVA s per leefgroep voor de jaren 2006 en 2007 Jan-dec 2006 Jan-okt 2007 Aantal in te vullen TVA s Aantal ingevuld Respons percentage Aantal in te vullen TVA s Aantal ingevuld Respons percentage Adelaar Buizerd Buurskamp Cirkel Driehoek Groote Huys Havik Kube Piramide Prisma Rietkamp Steenbeek Tympaan Totaal De OGH had zich ten doel gesteld om 90% respons te behalen op de 1 e meting en 80% respons bij de 2 e meting. Uit Tabel 1 blijkt dat de totale respons over alle meetmomenten 88% is. Nadere analyse van de responspercentages op het 1 e en 2 e meetmoment wijst uit dat de responspercentages respectievelijk 94% voor de eerste meting en 85% voor herhaalde metingen zijn. Dat betekent dat de doelstelling is bereikt. Benutting TVA Sinds september 2006 is het bij de OGH mogelijk om individuele scores van jongeren op de TVA direct te gebruiken. De mentoren vullen de TVA op de computer in Tulp in en kunnen direct een profiel met daarin de individuele scores van de jongere verkrijgen. Het is ook mogelijk om die scores te vergelijken met het vorige meetmoment van de jongere, zodat voorof achteruitgang inzichtelijk worden gemaakt. De TVA is daarnaast een goed uitgangspunt voor het groepsverslag dat mentoren voor de behandelplanbespreking moeten schrijven. Om na te gaan of de TVA in de behandeling van de jongeren wordt gebruikt, is door de onderzoekster regelmatig navraag gedaan bij de unitleiders en behandelcoördinatoren. Het gebruik van de TVA in de behandeling wordt nog niet overal consequent toegepast. Door sommige behandelcoördinatoren en unitleiders wordt de TVA standaard gebruikt in behandelplanbespreking van een jongere. Door sommige mentoren wordt de TVA alleen ingevuld omdat het moet, en wordt deze nog te weinig binnen de behandeling gebruikt. Redenen om de TVA wel te gebruiken zijn dat het een overzichtelijke en inzichtelijke manier is om resultaten van voor- of achteruitgang te bespreken. Het geeft aanknopingspunten voor de behandeling en tijdens de behandelplanbespreking. Sommige medewerkers geven aan dat ze de TVA niet gebruiken omdat ze niet weten hoe ze een profiel van de TVA kunnen verkrijgen. Andere medewerkers geven aan dat ze zelf een goed beeld hebben van de jongeren en dat ze deze ervaringen gebruiken in het groepsverslag. Ook zonder het profiel van de TVA kunnen zij de voortgang van de jongeren bepalen. Bespreking van de uitkomsten van de tussenevaluatie tijdens de teambesprekingen op de units heeft weer een nieuwe impuls aan de afname van de TVA gegeven. Door presentatie van individuele resultaten van de jongeren per leefgroep, ging het gebruik van de TVA nog meer leven, omdat het toen niet meer over uitspraken op instellingsniveau ging, maar over individuele jongeren. Vaak was ook het verloop van de resultaten van de TVA tijdens de behandeling herkenbaar voor pedagogisch medewerkers. Als er bijvoorbeeld een dipje te zien was op een bepaald domein, dan konden zij vaak vertellen dat er toen bijvoorbeeld problemen op school waren, of de verkering uit was gegaan. 16

19 Benutting op team- en organisatieniveau is op dit moment nog niet aan de orde geweest. Omdat de bespreking van de tussenevaluatie op alle units zo succesvol was, lijkt het zinvol om dit begin volgend jaar (bijv. februari) weer te doen met de resultaten van de eindevaluatie. De resultaten kunnen dan op individueel, team- en instellingsniveau worden besproken en samen met medewerkers kan gekeken worden naar oorzaken van bepaalde resultaten. Ook kan met de medewerkers worden nagegaan welke verbeterpunten hieruit naar voren komen waaraan in het komende jaar gewerkt moet worden. Knelpunten Het invullen van de TVA is nog niet helemaal geïnternaliseerd bij medewerkers. Het intensief bijhouden van de aanwezige data (datamonitoring) blijft belangrijk voor het al dan niet invullen van de TVA. Ook regelmatige aandacht voor de TVA in de werkbesprekingen en feedback van de resultaten zowel op individueel als op teamniveau is belangrijk voor het invullen van vragenlijsten. Continuïteit van het invullen op de juiste meetmomenten is met enige regelmaat in het gedrang gekomen door de vele personeelswisselingen in het afgelopen jaar. Nog niet alle pedagogisch medewerkers gebruiken de TVA voor hun rapportage en ook de behandelcoördinatoren gebruiken nog niet allemaal de TVA voor het formuleren van hun behandeldoelen. Niet iedereen is ervan overtuigd dat het gebruik van de TVA zinvol is voor het bepalen van de behandeling van de jongeren. Aan medewerkers moet nog meer duidelijk gemaakt worden dat de TVA een instrument is dat speciaal ontwikkeld is voor gebruik bij de SCM-methodiek en dat de resultaten van de TVA zelfs leidend kunnen zijn bij de behandeling. Mogelijk moeten medewerkers (pedagogisch medewerkers en behandelcoördinatoren) meer getraind worden in het gebruik en de benutting van de TVA. Daarnaast heeft de cultuuromslag naar resultaatgericht meten en benutting van gegevens op individueel niveau tijd nodig. Tenslotte blijft de TVA een arbeidsintensief meetinstrument om in te vullen Inventarisatie extra meetinstrumenten Aansluiten De TVA richt zich op het meten van vaardigheden en competenties. Dat sluit aan bij de methodiek van het Sociaal Competentiemodel. Het SCM richt zich ook op afname van probleemgedrag en dat wordt door de TVA niet of nauwelijks gemeten. Ook uit het scriptieonderzoek 11 van Jansen e.a. kwam naar voren dat met de TVA niet alle behandeldoelen worden gemeten. Doel van de OGH was dan ook om gedurende de projectperiode nader te onderzoeken welke instrumenten nog meer kunnen worden ingezet om de behandeldoelen te meten. Op basis van de resultaten van de scriptie van Jansen e.a. en op basis van overeenstemming in de werkgroep is besloten om gedragsproblemen en tevredenheid bij jongeren te gaan meten. Omdat ouders moeilijk bereikbaar zijn heeft de werkgroep ervoor gekozen hen voorlopig niet te benaderen om vragenlijsten in te vullen. In mei 2007 is vervolgens een pilotonderzoek uitgevoerd bij 15 jongeren van twee units om na te gaan welke vragenlijsten het meest geschikt zijn om gedragsproblemen en tevredenheid in de OGH te meten. De geschiktheid van de vragenlijsten wordt bepaald door het gebruiksgemak voor de jongeren en de bruikbaarheid van de uitkomsten voor behandelaars. Om gedragsproblemen bij 11 Jansen, M.S., Kampshoff, J. en De Koning, M.C.M. (2006). De TVA als outputinstrument van behandeling in een justitiële jeugdinrichting. Bachelor-thesis, Universiteit Utrecht. 17

20 de jongeren te meten zijn twee vragenlijsten afgenomen: de Youth Self Report (YSR 12 ), en de Strenghts and Difficulties Questionnaire (SDQ 13 ). Beide vragenlijsten worden veel gebruikt bij diagnostiek en behandeling van jongeren, maar de YSR bestaat uit 113 items en de SDQ uit 25 items. Drie vragenlijsten zijn bij de jongeren afgenomen om tevredenheid over de behandeling te meten: de Bejegeningstoets (B-toets 14 ), de Cliënttevredenheid-toets (C-toets 15 ) en de tevredenheidslijst OGH. De tevredenheidslijst OGH is door medewerkers van de OGH opgesteld, met de B-toets en de C-toets is al wetenschappelijk onderzoek uitgevoerd (zie noot 9 en 10). De pilot is door de onderzoekster zelf uitgevoerd. Onder toezicht van de onderzoekster hebben de jongeren individueel de vragenlijsten ingevuld (duur ongeveer 30 tot 45 minuten). Daarna is steeds gevraagd of de jongere de vragenlijst moeilijk of makkelijk vond en of hij/zij de lijst zinvol vond voor de behandeling. De dataverzameling van deze pilot verliep vlot omdat de onderzoekster die zelf in de hand had. Alle gegevens zijn, waar mogelijk, ingevoerd in Bergop 16. De resultaten van het pilotonderzoek worden beschreven in het volgende hoofdstuk. Op basis van de uitkomsten van het pilotonderzoek is een advies geformuleerd aan het Management Team (op p. 26 wordt dit verder toegelicht). Inbedding en benutting In het pilotonderzoek is nog geen ervaring opgedaan met de inbedding van de YSR en C-toets in het primaire proces. De verwachting is dat zij op dezelfde wijze in de behandelplancyclus worden opgenomen als de TVA. Dat betekent een afname van de YSR en CBCL bij opname van de jongere in de OGH en tussentijdse metingen ten behoeve van behandelplanbesprekingen. Bij vertrek uit de OGH zal een eindmeting plaatsvinden. De C- toets zal worden afgenomen aan het eind van de behandeling, bij vertrek van de jongere uit de OGH. Nadat het aan het MT geformuleerde advies is goedgekeurd zal nader aandacht besteed moeten worden aan de logistiek van de afname van de YSR bij de jongeren en de CBCL bij ouders. Er zijn ook nog geen ervaringen opgedaan met individuele terugkoppeling van resultaten van de YSR en CBCL naar behandelcoördinatoren en het gebruik daarvan in de behandeling. Knelpunt Het advies voor de implementatie van YSR, CBCL en C-toets moet nog door het MT goedgekeurd worden. Dit wordt echter niet gezien als een knelpunt, maar als een aanknopingspunt om in een tijd waarin enerzijds het evidence-based werken steeds belangrijker wordt en anderzijds de overgang naar het Ministerie van Jeugd en Gezin voor de deur staat (met de door hen gebruikte prestatie-indicatoren), over te gaan tot het gebruik van meer vragenlijsten om resultaatgericht de effectiviteit van de behandeling te gaan meten. 12 Verhulst, F.C., Van der Ende, J., & Koot, H.M. (1996). Handleiding voor de CBCL/4-18. Rotterdam: Erasmus Universiteit/Sophia Kinderziekenhuis, afdeling Kinder- en Jeugdpsychiatrie. 13 Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, Goedhart, A., Treffers, F., & Van Widenfelt, B. (2003). Vragen naar psychische problemen bij kinderen en adolescenten. De Strengths and Difficulties Questionnaire (SDQ). Maandblad Geestelijke volksgezondheid, 58, Treffers, Goedhart 14 Van Erve, N., Poiesz, M., & Veerman, J.W. (2007). Bejegening in de jeugdzorg. Handleiding B-toets. Nijmegen: Praktikon. 15 Jumelet, H., Welling, M., Jurrius, K., Havinga, L. (2004). Handleiding C-toets. Utrecht: MO-groep. 16 Bergop is een door Praktikon ontwikkelde database om vragenlijsten in te voeren en individuele profielen uit te draaien. 18

21 1.3.3 Oriëntatie op de toekomst Aansluiten, inbedden, benutten De projectperiode van Zicht op Effectiviteit is ook gebruikt om na te denken over de toekomst. Wat zijn opvattingen en (onderzoeks)vragen van pedagogisch medewerkers, unitleiders en behandelcoördinatoren over het handhaven en verbeteren van de kwaliteit van de hulpverlening in de OGH? Krijgt wetenschappelijk onderzoek en de functie van onderzoeker een structurele plaats binnen de OGH? Tijdens de presentatie van de tussenevaluatie in de units, is met medewerkers gesproken over onderzoekswensen voor de toekomst. Veel medewerkers zijn geïnteresseerd in follow-up onderzoek: hoe gaat het met de jongeren na hun vertrek uit de OGH. Andere gewenste onderzoeksonderwerpen zijn: in welke mate behalen we onze behandeldoelen (doelrealisatie); wat is de invloed van de groepsleiding op (het gedrag van) jongeren versus de invloed van peers; wat is het verschil tussen probleemgedrag en de normale ontwikkeling in de puberteit; hoe zien jongeren zelf hun toekomst; hoe doen jongeren het op verlof; wat zijn normen en waarden van jongeren. Deze vragen van de werkvloer sluiten deels aan bij de behandeling die in de OGH wordt uitgevoerd. Follow-up onderzoek en doelrealisatie zijn daar voorbeelden van. Ondertussen is men bezig om met behulp van 2 masterstudenten een pilot follow-up onderzoek op te zetten, dat begin 2008 uitgevoerd zal worden bij jongeren van de OGH. Resultaten hiervan zijn bruikbaar voor de verbetering van de kwaliteit van de individuele hulpverlening. De andere onderzoeksvragen zijn minder gerelateerd aan het type interventie dat in de OGH wordt uitgevoerd, maar zeggen meer iets over de randvoorwaarden en de grenzen van de hulpverlening. Er zal aan het MT gerapporteerd worden welke onderzoeksvragen er leven bij pedagogisch medewerkers. Op termijn zal bekeken moeten worden welke onderzoeksvragen verder uitgewerkt gaan worden en op welke wijze zij ingebed en benut kunnen worden in het primaire proces. De onlangs opgerichte commissie kwaliteit en onderzoek, zal hier zeker een rol in gaan spelen. Daarbij zal ook aandacht besteed moeten worden aan de (on)mogelijkheden van de inrichting op het gebied van onderzoek. Voor de duur van het project is een onderzoekster aangesteld voor 24 uur. De onderzoekster wordt hiërarchisch en functioneel aangestuurd door de unitleider Behandeling en staat los van de beleidsafdeling Research en Development. De functie valt op dit moment onder de afdeling Behandeling omdat vanuit die afdeling tot nog toe de meeste onderzoeksvragen naar voren kwamen. Gedurende de projectperiode is de onderzoekster structureel deel uit gaan maken van het behandelcoördinatorenoverleg. Daarmee heeft zij een strategische positie in de organisatie ingenomen. Het is in de projectperiode wel duidelijk geworden dat het belangrijk is dat er een persoon is binnen de instelling die bijvoorbeeld het gebruik van meetinstrumenten monitort. Dit kan er niet even bij ; er moet iemand zijn die hier tijd voor heeft. De OGH heeft dan ook besloten de functie van onderzoeker voor de duur van een jaar te verlengen Ervaringen met de projectperiode Zicht op Effectiviteit Leerpunten en adviezen voor nieuwe deelnemers Deze projectperiode is geleerd dat je het resultaatgericht meten niet zo maar kunt starten. Er moet vanaf de werkvloer een duidelijke overtuiging zijn dat het gebruik van een meetinstrument, in dit geval de TVA, zinvol is. De TVA was een instrument met een 19

22 geschiedenis (hij werd tenslotte ook al voor Zicht op Effectiviteit ingevuld, maar nog niet benut voor de behandeling), en bleef voor sommigen toch vooral dat instrument met die eindeloze rij vragen waar je zo heel lang mee bezig bent. Om dat omgedraaid te krijgen, naar het besef dat het een instrument is dat zinvol is voor de behandeling en dat zelfs leidend kan zijn bij het formuleren van behandeldoelen en werkpunten, is lastig. Gelukkig zijn veel medewerkers enthousiast en is het gebruik enorm toegenomen, maar dit geldt nog niet voor iedereen. Het is dus belangrijk om te blijven checken of de implementatie van de vragenlijst goed is geland en medewerkers goed te trainen in het gebruik en de benutting van vragenlijsten. Ook is het belangrijk dat er een procesbewaker is die bijhoudt of en wanneer vragenlijsten zijn ingevuld. Vaak gaat het invullen goed en op tijd, maar soms is een seintje van de procesbewaker nodig. Zonder procesbewaker wordt er toch minder ingevuld. Daaruit kunnen we tegelijkertijd concluderen dat het gebruik van de TVA nog niet voldoende is geïnternaliseerd. Echter, binnen de inrichting is men er van overtuigd dat dit ook een kwestie van tijd is. Zulk soort veranderingen (in denkwijze) hebben ook tijd nodig. Gezien de relatief korte duur van het project en de start van de dataverzameling (sinds begin van 2007), kan ook gesteld worden dat er een grote verbetering is opgetreden met een verdubbeling van het aantal ingevulde TVA s. Tenslotte is het voor de OGH belangrijk om in de nabije toekomst de benutting van de TVA voor de individuele behandeling van jongeren te verbeteren, bijvoorbeeld door middel van een training van behandelcoördinatoren of door het gebruik van de TVA onderdeel te maken van de in service training SCM die nieuwe medewerkers van de OGH krijgen. Daardoor zal het verband tussen het SCM en de TVA voor iedereen nog duidelijker worden. Interviews met medewerkers Jean Paul de Rijk, hoofd behandeling Jean Paul ziet dat deelname aan Zicht op Effectiviteit heeft geresulteerd in een verbetering/verhoging van het aantal ingevulde TVA s. Deelname heeft dus een substantiële meerwaarde gehad. Tegelijkertijd heeft hij het gevoel dat het invullen van vragenlijsten en het gebruik van de resultaten voor de behandeling voor sommige medewerkers (pedagogisch medewerkers en behandelcoördinatoren) nog een beetje wezensvreemd is. Hij hoort weinig geluiden van pedagogisch medewerkers en bc s, positief noch negatief over het gebruik van het instrument en dat verontrust hem. Hij denkt dat het gebruik van de TVA nog niet voldoende is geïnternaliseerd. Het is voor hem een aanduiding dat het geheel nog niet voldoende geland is. Door deelname aan ZoE is er wel een boost geweest in het verkrijgen en verwerken van de informatie uit de TVA (zowel op N=1 niveau als op N=X niveau), maar zijn twijfel ligt bij de vraag of dit niet te veel afhankelijk is van de procesbewaker. Aandachtspunten voor de nabije toekomst zijn er op twee gebieden. Ten eerste zullen de resultaten van de TVA nog meer op N = 1 niveau benut moeten worden, zodat de TVA een vanzelfsprekend onderdeel is van de behandeling. Ten tweede is voor hem belangrijk om datgene wat nu op papier staat over het gebruik van de TVA en de resultaten van de TVA, van het papier af de organisatie in te krijgen. Hoe gaan de resultaten leiden tot verbeteracties. Jean Paul geeft aan dat het plannen, doen en in mindere mate checken (zoals in de plan-do-checkact cyclus) ruim voldoende in de OGH aanwezig is. Echter de act ontbreekt op dit moment nog. Voor hem is de uitdaging om de resultaten van ZoE om te zetten in concreet handelen en de vraag hoe je nu verder gaat naar aanleiding van de resultaten en tot welke verbeteringen dat in je organisatie leidt. 20

23 Jan Kersten en Ad Hurkens, unitleiders Jan en Ad zien een verbetering in het aantal ingevulde TVA s. Echter, het besef dat het werken volgens het Sociaal Competentie Model en de TVA gezien moeten worden als twee geïntegreerde componenten, is nog niet voldoende doorgedrongen bij pedagogisch medewerkers en behandelcoördinatoren. Ad geeft aan dat de TVA speciaal ontwikkeld is om te meten of werken volgens SCM effectief is, maar dat op dit moment het instrument nog niet zo wordt ervaren. Er kan nog een slag geslagen worden in het gebruik van de TVA voor de behandeling, omdat de resultaten van de TVA eigenlijk tot hele concrete werkpunten zouden moeten kunnen leiden. Op dit moment wordt de TVA meer als aanvullende informatie gezien dan als leidend voor de behandeling. In de teamvergaderingen van beide units worden de resultaten van de TVA door de behandelcoördinator uitgedraaid en besproken met de pedagogisch medewerkers. Dit kan leiden tot een afwijkend beeld van de TVA t.o.v. bijvoorbeeld het groepsverslag dat door een pedagogisch medewerker wordt geschreven. Dit leidt tot discussie. De TVA wordt op die manier ook gebruikt om verschillen tussen beleving van een jongere en ervaringen weergegeven in de TVA, te benoemen en te duiden. Pluspunt van het meedoen aan Zicht op Effectiviteit is volgens hen dat de TVA vaker ingevuld wordt, al zijn zij er zich wel van bewust dat dit nog niet helemaal geïnternaliseerd is, aangezien er soms nog een mailtje van de procesbewaker nodig is voor ontbrekende TVA s. Concluderend geven zij aan dat met name de benutting een punt van aandacht is. Er zou meer besproken moeten worden wat de uitkomsten van de TVA betekenen (op casus-niveau en op inrichtingsniveau) en er zouden concrete verbeteracties uit naar voren moeten komen die leiden tot nieuwe doelen met betrekking tot gebruik van de TVA binnen de organisatie. Het zou jammer zijn als alles in de implementatiefase blijft hangen. Ella Peer, groepsleidster In de afgelopen periode is geprobeerd de TVA s structureel goed in te vullen. Ella heeft gemerkt dat het nog niet echt leeft. Het pedagogische personeel moet er nog de handigheid in krijgen om bijvoorbeeld de grafieken uit te draaien vóór men aan het groepsverslag begint. Tot nu toe heeft zij steeds de grafieken uitgedraaid. Tevens zit het invullen van de TVA nog niet echt in het systeem en heeft ze af en toe het gevoel dat het als last wordt ervaren. Wel is gebleken dat men wat heeft aan de grafieken omdat dan in één oogopslag duidelijk is waar de jeugdige bijvoorbeeld vooruitgang op heeft laten zien. Men weet dit en heeft het kunnen zien. Het lukt alleen nog niet echt om hier werk van te maken. Men heeft nog moeite met het vergelijken van de scores. Wanneer men hiermee aan de slag gaat, wordt nog regelmatig Ella s hulp ingeroepen. Dit terwijl zij van mening is dat het goed op papier staat en je met de handleiding een heel eind moet kunnen komen. Geconcludeerd kan worden dat het op de juiste manier gebruiken van de TVA s langzaam op gang begint te komen. Men begint al meer in te zien dat men er wat aan kan hebben. Jammer is dat er nog veel gekeken moet worden óf het überhaupt wordt gedaan. Ella is van mening dat als er een tijd wordt doorgegaan met het promoten en aansturen dat het pedagogisch personeel hier uiteindelijk het nut van in gaat zien en zal ervaren dat het alleen maar handig en fijn is om de TVA en grafieken te gebruiken, zeker als men bedenkt dat men daardoor beter kan zien wat men met een jongere heeft bereikt. Erik Rijshouwer, behandelcoördinator Voorafgaand aan de halfjaarlijkse behandelbespreking print Erik de TVA van de betreffende jongere uit. Indien er één afname bestaat, gebruikt hij die afname. Indien er meerdere afnames bestaan, vergelijkt hij de scores van de laatste twee afnames. Voorafgaand aan de bespreking kijkt hij het profiel door en maakt een vergelijk tussen die gegevens en de tendensen die uit het groepsverslag naar voren komen. Opvallende overeenkomsten of afwijkingen houdt hij als 21