Meer zicht op effectiviteit van jeugdzorg

Transcriptie

1 Meer zicht op effectiviteit van jeugdzorg Eindverslag van het project Zicht op Effectiviteit Practice-Based Evidence Evidence- Based Practice

2 2008 Nederlands Jeugdinstituut, Utrecht/ Praktikon, Nijmegen Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming. Tekst en redactie Jan Willem Veerman (Praktikon) en Tom van Yperen (Nederlands Jeugdinstituut) Vormgeving omslag Studio Hermkens Projectgroep Deze uitgave is een product van het project Zicht op effectiviteit, uitgevoerd door een projectgroep, bestaand uit: prof. dr. Jan Willem Veerman (Praktikon, projectleider en penvoerder) prof. dr. Tom van Yperen (Nederlands Jeugdinstituut, projectleider) dr. Bas Bijl (PI Research) Herma Ooms M.C.M. (Collegio) drs. Dries Roosma (Jeugdzorg Drenthe). Financier Het project Zicht op effectiviteit is in de periode uitgevoerd met subsidie van het ministerie van VWS / ministerie voor Jeugd en Gezin. Bestellen De uitgave is te bestellen bij Praktikon, Postbus 9104, 6500 HE Nijmegen; Praktikon@acsw.ru.nl. Tevens is de publicatie te downloaden via waar tevens meer informatie over het project Zicht op Effectiviteit te vinden is, alsook over het vervolg hiervan, het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN).

3 Inhoud Samenvatting Inleiding Probleemstelling Doelstelling Projectopzet Projectgroep Verstevigingsproject Verbredingsproject Projectopbrengsten Handboek voor praktijkgestuurd effectonderzoek Ondersteuningspakketten Doorontwikkeling meetinstrumenten Gebruik van software Ervaringen deelnemers Verbredingsproject Effectiviteitsplatform Conclusies en aanbevelingen Wisselwerking evidence-based practice en practice-based evidence Resultaten Lessen Conclusies en blik op de toekomst Noten Bijlage 1. Inhoud Handboek Zicht op Effectiviteit Bijlage 2. Criteria en scoringslijst best research practice Bijlage 3. Overzicht uitgebrachte producten

4 4

5 Samenvatting Het project Zicht op Effectiviteit is met financiële steun van het ministerie van VWS en Jeugd en Gezin van 2005 tot en met 2007 in een aantal organisaties voor jeugdzorg uitgevoerd. Het uitgangspunt van dit project was dat effectiviteit zichtbaar moet worden op de plaats van ontstaan, namelijk op de werkvloer van de zorg, in de interactie tussen hulpverleners en cliënten. En tevens dat dit zicht op de effectiviteit vanaf die plaats zijn weg vindt hogerop, naar het management en de bestuurders van organisaties, naar regionale en provinciale beleidsorganen, naar het landelijk beleid en naar de wetenschappelijke tijdschriften. Dit resulteert in wat ook wel praktijkgestuurd effectonderzoek wordt genoemd. Hierbij dienen praktijk, beleid en wetenschap geen gescheiden werelden te zijn, maar elkaar te faciliteren, ieder vanuit het eigen belang en interessegebied. Deelprojecten Het project bestond uit twee deelprojecten. Het eerste deelproject had tot doel reeds lopend effectonderzoek op een zestal locaties te versterken en de ervaringen, naast achtergronden en praktische handreikingen vast te leggen in een Handboek voor praktijkgestuurd effectonderzoek. De zes locaties vertegenwoordigden direct of indirect (via intersectorale samenwerkingsverbanden) negentien organisaties voor jeugdzorg, inclusief de jeugd-ggz en de zorg voor licht verstandelijk gehandicapten. Op grond van hun reeds opgedane ervaringen met praktijkgestuurd effectonderzoek werden zij gezien als de best practices voor dit type onderzoek. In dit eerste deelproject werd geprobeerd deze praktijken nog verder te verbeteren. Hun ervaringen vinden hun weerslag in deel II van het genoemde handboek. Het tweede deelproject had tot doel nieuwe organisaties in te laten stromen. In die organisaties zou praktijkgestuurd effectonderzoek opgezet gaan worden, waarbij vanuit het project ruim een jaar begeleiding geboden werd. Zeven jeugdzorgorganisaties namen hieraan deel, ook weer uit verschillende sectoren, nu ook de justitiële jeugdzorg en de zorg voor licht verstandelijk gehandicapten. In deze organisaties werden effectmetingen opgezet en vanuit het project begeleid. Hiermee werd de basis van het project verbreed tot 26 organisaties. In de bundel Zicht op Effectiviteit. Een kijkje in de keuken van zeven organisaties voor jeugdzorg doen de organisaties verslag van dit proces. Platform en ondersteuningspakketten Aandachtsfunctionarissen uit de organisaties van beide deelprojecten kwamen regelmatig bijeen in een Effectiviteitsplatform om ervaringen uit te wissen en nieuwe ontwikkelingen te bespreken. Deze besprekingen gaven aanleiding tot het ontwikkelen van een aantal ondersteuningspakketten: workshops voor medewerkers van organisaties waarin de voor effectmeting relevante randvoorwaarden aan de orde komen. Zo zijn er workshops voor het omgaan met vragenlijsten, het opzetten van de logistiek voor de gegevensverzameling en het benutten van uitkomsten voor het beleid. Tevens is in het kader van het project bestaande software ten behoeve van de effectmeting geïmplementeerd. 5

6 Conclusies De belangrijkste conclusies van het project zijn: 1. In dertien jeugdzorgorganisaties vindt het beoogde praktijkgestuurd onderzoek plaats. Tellen we de organisaties die samenwerken in de intersectorale Hulp aan Huisprogramma s apart mee dan kunnen we stellen dat 27 organisaties in de jeugdzorg (inclusief de GGZ en de Justitiële- en LVG-sectoren) met minstens één van hun interventies (modules) bij het project betrokken zijn. 2. De organisaties in het Verstevigingsproject hebben een ontwikkeling doorgemaakt die het bewustzijn en de noodzaak van het verzamelen van effectgegevens in het primaire proces, alsook de procedures om dit te bewerkstellingen, verstevigd heeft. 3. De organisaties in het Verbredingsproject zijn gemotiveerd om diezelfde ontwikkeling door te gaan maken. Dat doen zij na de beëindiging van dit project voor het leeuwendeel op eigen kracht. 4. Het besef dat effectiviteit zichtbaar moet worden op de werkvloer en van daaruit hogerop naar beleid en wetenschap moet gaan wordt breed gedragen, evenals het besef dat dit een zaak van velen is en een zaak van lange adem. 5. De beide motoren van het project, de Projectgroep en het Effectiviteitsplatform functioneerden naar verwachting en hebben de beoogde producten opgeleverd. 6. In de periode na het project zullen de volgende acties opgepakt moeten worden, willen de in het project opgedane kennis en ervaringen verder benut en verder uitgebouwd worden: Ondersteuning van nieuw-startende organisaties; Verbreding naar het monitoren van effectiviteit via prestatie-indicatoren; Verbinding met onderwijs en professionalisering; Verbinding met wetenschapsbeleid. Het gedachtegoed van Zicht op Effectiviteit wordt voortgezet in het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN). De hoop is dat dit samenwerkingsverband een rol van vervullen bij de hier genoemde acties. 6

7 1. Inleiding 1.1 Probleemstelling Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat. Zowel op de werkvloer en bij het management van instellingen als bij lokale, provinciale en landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. Er is inmiddels uit wetenschappelijk onderzoek veel kennis over wat werkt beschikbaar gekomen. Maar hierbij doemt een probleem op. De uitgevoerde studies gaan vaak over sterk geprotocolleerde interventies, bij probleemgroepen met een duidelijk afgebakend probleem, en over speciaal getrainde uitvoerders. Dit is niet representatief voor de praktijk. Het gevolg hiervan is dat is er nog maar weinig bekend is over de resultaten van de jeugdzorg in de dagelijkse praktijk. Dit is echter wel de praktijk waar jaarlijks zo n 225 duizend jongeren en hun ouders mee te maken krijgen, en die jaarlijks zo n anderhalf miljard euro aan overheidssubsidie ontvangt. 1 Uitspraken over de kwaliteit van dit werk (zowel in positieve als in negatieve zin) zijn niet te staven als cijfers ontbreken. Dat schaadt de jeugdzorg in toenemende mate. Politici en financiers stellen dat zij het maatschappelijk moeilijk kunnen verantwoorden dat er steeds meer geld naar de sector gaat, zonder dat er voldoende zicht is op de effectiviteit van het aanbod. Uitvoerend werkers voelen zich in toenemende mate ongemakkelijk omdat zij moeten werken met interventies waarvan de effectiviteit nog niet is aangetoond. Zicht op effectiviteit heeft in de jeugdzorg terecht een hoge prioriteit gekregen. Ondanks deze noodzaak moet geconstateerd moet worden dat men in de jeugdzorg wel vaak van goede wil is inzicht in effectiviteit te verschaffen, maar dat het aan instrumenten en ondersteuning ontbreekt om die goede wil om te zetten in heldere cijfers. Er zijn verschillende trajecten uitgevoerd of nog gaande om deze situatie te verbeteren, waaronder: veldexperimenten op het terrein van doelrealisatie, ketenkwaliteit en benchmarking in het programma Kwaliteitszorg in de jeugdzorg II; de landelijke kwaliteitstoetsing van Families First; de ontwikkeling en implementatie van informatiesystemen als het IJ en Care4; de ontwikkeling en implementatie van prestatie-indicatoren in de jeugdzorg; de Databank Effectieve Jeugdinterventies van het Nederlands Jeugdinstituut; diverse wetenschappelijke onderzoeken en praktijkstudies naar de effectiviteit van het aanbod in uiteenlopende instellingen of van specifieke interventies als Hulp aan Huis (HaH), Multi-system Therapy (MST), Functional Family Therapy (FFT) en Parent Management Training Oregon (PMTO). De samenhang tussen deze trajecten is echter gebrekkig en teveel aan het vrije spel der krachten onderhevig. Noodzakelijk is dat belangrijke onderdelen uit deze trajecten expliciet met elkaar worden verbonden. 7

8 Wat opvalt aan de meeste van de genoemde trajecten is de top-down gedachte. Dat is op zich ook niet onlogisch. Beleidsorganen hebben voor hun sturing van zorgprocessen behoefte aan bepaalde gegevens en proberen in beleidsonderzoek via overleg met vertegenwoordigende zorgorganen te komen tot nadere afspraken over de levering van deze gegevens. Via directies van zorginstellingen komt de vraag om deze levering bij de praktijk binnen, directies delegeren de vraag weer naar hun managers en deze trachten hun uitvoerend functionarissen in het primaire proces (zowel zorgverleners als hun secretariële ondersteuners) de benodigde registraties te laten verrichten. Deze laatsten leveren zo goed en zo kwaad als dat gaat gegevens aan en via de geschetste lijn gaan de gegevens terug naar boven. Dezelfde manier van doen is te herkennen in veel wetenschappelijk onderzoek, zij het dat het hier niet gaat om sturing van zorgprocessen, maar om wetenschappelijke theorievorming. In beide gevallen zien degenen die de gegevens leveren, de uitvoerend functionarissen, weinig tot niets terug. Gegevens komen gewoonlijk in abstracte en sterk gecondenseerde vorm in beleidsrapporten en wetenschappelijke publicaties terecht, waarin meestal in algemene bewoordingen conclusies over effectiviteit worden getrokken. Zowel bij beleidsonderzoek als wetenschappelijk onderzoek wordt de manier van gegevens verzamelen, analyseren en rapporteren gedicteerd door de manier van denken en doen die in beleid en wetenschap leidend zijn. Dat maakt evaluatie van jeugdzorg vanuit deze twee perspectieven methodegestuurd. Het zicht op de effectiviteit in de dagelijkse praktijk wordt echter onvoldoende helder. Bovendien hebben de resultaten onvoldoende weerslag op de kwaliteitsverbetering van de praktijk, omdat de praktijkwerkers het onderzoek niet als hun eigendom beschouwen. Evaluatie van de effecten van de jeugdzorg dient daarom mede praktijkgestuurd te zijn, door en voor de werkvloer, en dient van daaruit bottom-up naar boven te gaan. Daarmee zal de relevantie van de evaluatie toenemen. Dat geldt zeker, als vanuit het praktijkgestuurde onderzoek tevens een verbinding tot stand wordt gebracht met wetenschappelijke en beleidsvraagstukken. Hiermee ontstaat een wisselwerking tussen top-down en bottom-up benaderingen. 1.2 Doelstelling Het algemene doel van het project Zicht op effectiviteit was in een aantal instellingen van jeugdzorg reeds in gang gezet praktijkgestuurd effectonderzoek verder te ontwikkelen dan wel in nieuwe instellingen praktijkgestuurd effectonderzoek op te zetten, teneinde meer zicht te krijgen op de effecten van jeugdzorg in de praktijk. Onder praktijkgestuurd effectonderzoek wordt verstaan 2 : onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden. Deze definitie geeft praktijkgestuurd effectonderzoek de volgende kenmerken: 8

9 1. Aansluiting. Onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt gegeven door de mate waarin de te onderzoeken interventie een te onderscheiden ding is: in hoeverre is deze te omschrijven, te onderbouwen en over te dragen? Zo heeft het bijvoorbeeld geen zin experimenteel onderzoek te doen bij interventies die wat dit betreft nog niet voldoende gerijpt zijn. 2. Inbedding. Onderzoek naar het effect van interventies dient procedureel ingebed te zijn in de uitvoering van de interventie, dient er niet nog eens bij te komen, maar hoort deel uit te maken van. Dat betekent dat het gebruik van onderzoeksinstrumenten geïntegreerd is in het hulpverlenend handelen en dat deze instrumenten ook de taal van de interventie spreken, dat wil zeggen operationaliseringen zijn van concepten die op de werkvloer worden gehanteerd. Daarmee krijgen ze zeggingskracht. 3. Benutting. Onderzoek naar het effect van interventies dient niet in de bureaulade te blijven liggen, maar de verzamelde gegevens moeten benut worden. Deze benutting begint in het primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de voortgang. Van daaruit kunnen gegevens naar hogere niveaus geaggregeerd worden, bijvoorbeeld om zicht te krijgen op de effectiviteit van een interventie, van een team, een unit, een instelling, provinciale en landelijke koepels of sectoren. Onderzoek wordt dan opgenomen in een cyclus gericht op praktijkverbetering. Deze drie kenmerken kunnen gezien worden als de werkzame principes van praktijkgestuurd effectonderzoek. Het onderzoek levert kennis op waar uitvoerders en bestuurders wat aan hebben en waar men ook plezier aan kan beleven. Het is ook onderzoek dat, eenmaal in gang gezet, niet meer ophoudt. Het verzamelen van gegevens over effectiviteit maakt onderdeel uit van het hulpverlenend handelen, hoort bij een best practice, en maakt deel uit van het kwaliteitsbeleid van een instelling. Regelmatig wordt er feedback gegeven over het effect: treden gewenste veranderingen op, bereiken we onze doelen, zijn onze cliënten tevreden? Gegevens over individuele behandelingen worden geaggregeerd voor feedback op team- of instellingsniveau, of groepen van instellingen in een regio of provincie. Op basis hiervan kan het werk bijgestuurd en verantwoord worden. Leren en legitimeren is aan de orde van de dag. Slimme software is hierbij behulpzaam, waarbij de mogelijkheden van het internet niet onbenut worden gelaten. Met behulp hiervan kijken instellingen desgewenst ook in elkaars keuken en nemen zij een voorbeeld aan de best functionerende praktijk (de zogeheten benchmarking). Bovendien krijgen overheden op het door hun gewenste aggregatieniveau kengetallen aangereikt. 9

10 2. Projectopzet Om de genoemde doelstelling te bereiken zijn twee deelprojecten uitgevoerd. Het eerste project, het Verstevigingsproject, was gericht op het verstevigen van de bestaande basis van praktijkgestuurd effectonderzoek bij instellingen die reeds me dit type onderzoek bezig waren. Het tweede project, het Verbredingsproject, was erop gericht vanuit deze solide basis meer instellingen bij dit type onderzoek te betrekken, om zo het draagvlak te verbreden. Middels deze twee projecten kon met gebruikmaking van reeds aanwezige krachten met relatief weinig inspanning en middelen een effectgolf in beweging gezet worden die het gevraagde zicht op effectiviteit zou kunnen gaan bieden. Een projectgroep bestaande uit de initiatiefnemers gaf sturing aan het gehele project. 2.1 Projectgroep Het project is aangestuurd door een projectgroep die met de projectleiders tevens het initiatief voor het opzetten van het project nam. Deze groep bestond bij aanvang uit: dr. B. Bijl (Programmaleider Onderzoek PI Research); mevr. drs. M. Janssen (Stafmedewerker kwaliteitszorg Hoenderloogroep); mevr. H. Ooms, M.C.M., (senior-adviseur/manager bij Collegio, kennispraktijk voor de jeugdzorg); drs. A.H. Roosma (Projectleider Kwaliteit en Onderzoek van Jeugdzorg Drenthe en Bureau Jeugdzorg Drenthe); prof. dr. T.A. van Yperen (Bijzonder hoogleraar Onderzoek en Ontwikkeling effectiviteit jeugdzorg Universiteit Utrecht en senior medewerker bij het NIZW Jeugd later het NJi en projectleider van het project); prof. dr. J.W. Veerman (Bijzonder hoogleraar Speciale Kinder- en Jeugdzorg Radboud Universiteit Nijmegen en Hoofd Praktikon, projectleider en penvoerder van het project). Mevr. Janssen kwam zomer 2005 tijdens haar vakantie door een noodlottig ongeval om het leven. De Projectgroep besloot haar niet te doen opvolgen. Eén van haar uitspraken is als motto voor het gehele project gekozen: Het gaat niet alleen over het meten van effecten, maar ook over het effect van meten. 2.2 Verstevigingsproject Eerste doel van dit deelproject was het samenstellen van een Handboek Zicht op effectiviteit. Hierin zouden de principes van praktijkgestuurd effectonderzoek en voorbeelden van dit 10

11 soort onderzoek beschreven worden, alsook instrumenten en andere tools voor het uitvoeren van dit onderzoek moeten worden aangedragen. Een dergelijk handboek is uniek, de voorhanden zijnde literatuur biedt dit nog niet. De inschatting was dat de bundeling van expertise in de projectgroep het mogelijk maakte deze taak ook succesvol uit te voeren. Het tweede doel van dit deelproject was zes organisaties de mogelijkheid te bieden het effectonderzoek dat zij reeds vanuit dit perspectief hadden opgezet verder te verstevigen. Ze zouden daarbij ondersteuning ontvangen van de projectgroep om knelpunten bij de opzet en uitvoering weg te werken. Daarvoor werd een Effectiviteitsplatform opgericht waarin vertegenwoordigers van de organisaties elkaar suggesties konden bieden om met onderzoekers en ontwikkelaars het praktijkgestuurde onderzoek verder uit te bouwen. Langs deze weg zouden deze organisaties aan het einde van de eerste fase, medio 2006, te beschouwen zijn als modellocaties voor praktijkgestuurd effectonderzoek. Zij zouden kunnen helpen dit onderzoek in de eigen instelling te implementeren. De organisaties waren: Hulp aan Huis Groningen (Base Groep Groningen/ GGZ Groningen); Hulp aan Huis Drenthe (Jeugdzorg Drenthe, Accare en Dreei); Programma Psychiatrisch Gezinsgerichte Behandeling Noord Nederland (GGZ Drenthe); Hulp aan Huis Overijssel (Adhesie, Accare divisie Drenthe/Overijssel, Karakter, Mediant, RIAGGz IJsselland, RIBW Twente, Commujon LSG, Jarabee, Pactum, Trias jeugdhulp, De Eik, De Reeve en de Twentse Zorgcentra); De Hoenderloogroep, Hoenderloo; Klinische Gezinsbehandeling De Bellenbergh, Zeist (onderdeel van Altrecht). Hoewel er over zes organisaties wordt gesproken, waren er indirect twintig organisaties op het terrein van de jeugdzorg (inclusief GGZ en LVG-sector) bij het onderzoek betrokken. Dit had te maken met de intersectorale samenwerkingsrelaties die de Hulp aan Huisprogramma s kenmerken. In dit project zagen we een Hulp aan Huisprogramma echter als één organisatie. De genoemde organisaties waren geselecteerd omdat zij via wetenschappelijk onderzoek reeds indicaties voor effecten op tafel probeerden te leggen. Zonder het zo te noemen voerden zij reeds praktijkgestuurd effectonderzoek uit. Bij de Hulp aan Huisprogramma s in Groningen, Drenthe en Overijssel werden al enige jaren voor- en nametingen verricht met vragenlijsten voor probleemgedrag en opvoedingsbelasting 3. Hieruit kwam naar voren dat de hulp in het algemeen effectief is, maar ook dat effecten tussen modules en binnen modules over verschillende jaren kunnen verschillen. Dit leidde tot levendige discussies en suggesties voor verbeteracties, waarvan het effect weer bekeken werd in analyses van nieuwe gegevens. Datzelfde gold voor de beide organisaties voor klinische gezinsbehandeling. Bij de Hoenderloogroep, een instelling voor behandeling van jongeren met ernstige gedragsproblemen, was een paar jaar daarvoor een follow-up onderzoek in gang gezet dat continu zicht moest geven op het wel en wee van jongeren na hun vertrek. Door hier van meet af aan zoveel mogelijk medewerkers bij te betrekken was er een draagvlak ontstaan om, ook op de werkvloer van de leefgroepen, een breed effectonderzoek onderzoek op te zetten. Doelevaluatie, cliëntfeedback en het volgen van veranderingen door herhaald afnemen van vragenlijsten gingen van het onderzoek in de Hoendeloogroep deel uitmaken. 11

12 2.3 Verbredingsproject Het verder implementeren van praktijkgestuurd effectonderzoek was het doel van het tweede deelproject. Hierin zou overdracht van de ervaringen moeten plaatsvinden naar minimaal vier andere organisaties. Dit project startte in de loop van 2006 en liep door tot eind Na een selectieprocedure die uitgebreid staat beschreven in het tussentijds verslag van het project 4, gingen de volgende organisaties deelnemen aan het Verbredingsproject: Triversum, Kinder- en Jeugdpsychiatrie, Alkmaar; s Heerenloo Kwadrant, Zorg voor licht verstandelijk gehandicapten, Ermelo; OG Heldringstichting, Justitiële Jeugdinrichting, Zetten; Tender, Jeugdhulplverlening, Breda; Parlan, Jeugdhulpverlening, Alkmaar; Pactum, Jeugdhulpverlening, Arnhem; De Waarden, Jeugdhulpverlening, Nijmegen. Deze organisaties kregen tijdelijk extra ondersteuning bij de implementatie van het onderzoek. De eerste vier genoemde instelling ontvingen het zogeheten brede ondersteuningspakket. Hierbij werd ondersteuning geboden bij het opzetten van het onderzoek en het verzamelen, analyseren en rapporteren van de eerste gegevens. Deze ondersteuning werd geboden door medewerkers van PI Research en Praktikon (respectievelijk mevr. drs. M.C. van der Veldt en mevr. dr. C. van Dam) en gecoördineerd door de leidinggevenden van de genoemde instituten die deel uitmaakten van de projectgroep (dr. B. Bijl en prof. dr. J.W. Veerman) in afstemming met één van de senior-adviseurs van Collegio (mevr. H. Ooms, M.C.M., tevens lid van de projectgroep), die de procesbewaking en voortgangsbespreking voor haar rekening nam. Hierbij speelden thema s als organisatie-ontwikkeling en implementatie van onderzoek een belangrijke rol. De laatste drie genoemde organisaties ontvingen het zogeheten smalle ondersteuningspakket. Hierbij konden zij hun aandachtsfunctionaris afvaardigen naar het Effectiviteitsplatform en konden zij een beroep doen op een op locatie te geven workshop van één van de inmiddels ontwikkelde ondersteuningspakketten of konden zij in hun organisatie een check-up naar het proces en resultaat van bestaande onderzoekspraktijken laten uitvoeren. De ondersteuningspakketten komen in het volgende hoofdstuk nog aan de orde. De krachten en mogelijkheden van de lokale situatie stuurden het proces van implementatie. Het principe van professionele empowerment was hier leidend. De eerste versie van het Handboek (toen het Bronnenboek genoemd) diende als inspiratiebron en kon op grond van deze lokale ervaringen weer verder worden aangepast. Per 1 september 2006 kende het project dertien jeugdzorgorganisaties die direct deelnamen (zes Hulp aan Huisorganisaties plus de zeven nieuw deelnemende organisaties) en nog eens veertien organisaties die indirect deelnamen (alle bij de Hulp aan Huisprogramma s betrokken organisaties). Bij elkaar ging het om 27 organisaties waarin op één of meerdere afdelingen praktijkgestuurd effectonderzoek werd uitgevoerd. 12

13 3. Projectopbrengsten Het project Zicht op Effectiviteit ging 1 januari 2005 van start. De eerste periode liep tot 31 augustus 2006 en stond geheel in het teken van het eerste deelproject (de versteviging ). De opbrengsten worden beschreven aan de hand van de vijf deelactiviteiten van het eerste deelproject, genoemd op blz. 8-9 van de projectaanvraag 5, te weten: het samenstellen van het Handboek praktijkgestuurd effectonderzoek (paragraaf 3.1), het aanscherpen van de onderzoekslogistiek en het uitwerken van gebruiksmogelijkheden van effectgegevens onder het kopje ondersteuningspakketten (paragraaf 3.2), het verder ontwikkelen van het onderzoeksinstrumentarium (3.3) en ervaringen met het gebruik van software (3.4). Na augustus 2006 kwam het accent te liggen op de instroom en ondersteuning van nieuwe jeugdzorgorganisaties (het Verbredingsproject). De projectopbrengsten hiervan worden beschreven in paragraaf 3.5. Tenslotte wordt in 3.6 aandacht besteed aan een niet die omvang voorziene, maar uiterst belangrijk gebleken projectopbrengst, het Effectiviteitsplatform. 3.1 Handboek voor praktijkgestuurd effectonderzoek De Projectgroep wilde haar gezamenlijke expertise zijn neerslag laten vinden in een Handboek voor praktijkgestuurd effectonderzoek. Een dergelijk boek bestond nog niet, terwijl het een noodzakelijke voorwaarde is om praktijkgestuurd effectonderzoek in de praktijk van de zorg breed ingang te doen vinden. Het schrijven en redigeren van dit boek was derhalve een belangrijke activiteit van het eerste deelproject. Het handboek is na afloop van het project gepubliceerd 6. Met dit boek wil de Projectgroep handreikingen en achtergronden bieden voor het zichtbaar maken van de effectiviteit van de jeugdzorg op een voor hulpverleners, managers, beleidsmakers en onderzoekers relevante, interessante en praktisch werkbare manier. Vanuit het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht vorm te geven. Het handboek geeft een inleiding in praktijkgestuurd effectonderzoek. Het is geen spoorboekje of dwingend kader. Het is een bron van ideeën, werkwijzen, instrumenten en voorbeelden die te gebruiken zijn. Het maakt deel uit van een stroom van activiteiten die vanuit verschillende perspectieven in gang zijn gezet, maar toch een gemeenschappelijk doel kennen, namelijk de kwaliteit van de jeugdzorg op een hoger plan te brengen teneinde jeugdigen en hun gezinnen met opgroei- en opvoedingsproblemen de best mogelijk kansen op herstel te bieden. Het gaat bij deze stroom activiteiten om door landelijke en provinciale overheden ingezet beleid, door overkoepelende organisaties uitgedragen visies, kwaliteitstrajecten binnen organisaties, verdere professionalisering van beroepsgroepen, landelijke en regionale onderzoeksprogrammering ten aanzien van de zorg, opleiding van praktijkonderzoekers, methodiekontwikkelaars en kwaliteitsfunctionarissen, en de opbouw van databanken met gegevens over veelbelovende en effectieve 13

14 interventies. De doelgroep van het handboek wordt gevormd door methodiekontwikkelaars, kwaliteitsfunctionarissen en praktijkonderzoekers. In het boek komen veel technische zaken aan bod. Deze worden zo uitgelegd, dat ze voor praktijkfunctionarissen goed te volgen en toe te passen zijn. Het boek wil een gereedschapskist voor hen zijn, met informatie die ze zonder al te veel moeite kunnen toepassen. Via literatuurtips wordt men voor verdere informatie op het goede spoor gezet. Begin 2006 verscheen op internet het eerste deel van het handboek als nulversie in een gezamenlijk uitgave van het NIZW en Praktikon. Hierin werden de uitgangspunten van praktijkonderzoek in een vijftal hoofdstukken toegelicht en geïllustreerd. In december 2006 verschenen de nulversies van deel II (voorbeelden) en deel III (handvatten). Deze nulversies waren bedoeld om letterlijk als bronnenboek in te zetten in het Verbredingsproject. Ze gaven de deelnemers informatie over alle aspecten van praktijkgestuurd effectonderzoek. Ook zijn de nulversies in cursussen van de Universiteit Utrecht en Nijmegen ingezet. De Projectgroep gebruikte de reacties van lezers teneinde de uiteindelijke versie te verbeteren. In mei 2008 is de definitieve versie van het Handboek verschenen. Het boek is bestemd voor kwaliteitsfunctionarissen, methodiekontwikkelaars, onderzoekers en adviseurs in de jeugdzorg en voor studenten en docenten in het onderwijs. Het werk totaal 368 pagina s omvattend is voor een relatief lage prijs uitgegeven bij Eburon. De opbrengsten worden gebruikt om herdrukken te financieren. Daarnaast is met de uitgever afgesproken dat met het oog op maximale verspreiding van kennis afzonderlijke hoofdstukken gratis via internet te downloaden zijn. Bijlage 1 geeft een overzicht van de inhoud van het boek. 3.2 Ondersteuningspakketten Hoe ziet praktijkgestuurd effectonderzoek in een organisatie voor jeugdzorg er idealiter uit? Wat zijn de criteria voor deze best research practice? Beantwoording van deze vragen was nodig om daarna ondersteuningspakketten te kunnen ontwikkelen die bij het implementeren van praktijkgestuurd effectonderzoek in een jeugdzorgorganisatie zouden kunnen helpen. De ontwikkeling van kwaliteitscriteria voor praktijkgestuurd effectonderzoek vond plaats op basis van de ervaringen die de zes praktijken reeds met dit onderzoek hadden opgedaan, alsook op basis van ervaringen van onderzoekers van Praktikon die in deze praktijken de uitvoering van het onderzoek ondersteunden. In gezamenlijk overleg en na enige malen uitproberen werden door het Effectiviteitsplatform en de projectgroep twintig best research practice criteria voor praktijkgestuurd effectonderzoek geformuleerd. De twintig criteria vallen in drie rubrieken die de drie domeinen representeren die in praktijkgestuurd onderzoek optimaal dienen samen te werken: A. primair proces (bijvoorbeeld: individuele uitkomsten worden besproken met cliënten); B. beleid (bijvoorbeeld: financiering van de onderzoeksactiviteiten is structureel verankerd in het instellingsbudget en/of in de kostprijs van de interventie); C. wetenschap (bijvoorbeeld: er worden gestandaardiseerde en valide instrumenten gebruikt). 14

15 Bijlage 2 toont de complete lijst. Locaties die aan al deze criteria voldoen vormen modellocaties voor praktijkgestuurd effectonderzoek. De vraag is natuurlijk: moet een organisatie aan al deze criteria voldoen om zich als best research practice te kwalificeren? Tentatief wordt een grens van tachtig procent aangehouden. Als aan de kwaliteitscriteria voor praktijkgestuurd effectonderzoek voldaan wordt heeft dit type onderzoek optimaal gestalte gekregen in een instelling. Dit betekent voor de meeste organisaties een proces van leren, implementeren en ontwikkelen. Om dit proces op cruciale onderdelen te ondersteunen is door de leden van het Effectiviteitsplatform, weer met ondersteuning van de projectgroep en ook van medewerkers van de organisaties van projectgroepleden, een aantal ondersteuningspakketten ontwikkeld. Deze zijn gebaseerd op ervaringen met praktijkgestuurd effectonderzoek. Een pakket bestaat uit een workshop of training rond een bepaald thema. Het doel van de pakketten is dat enerzijds de praktijkinstellingen van elkaar leren. Anderzijds is het de bedoeling om via instructie kennis en ervaring door te geven op basis van ervaringen met eerder gestarte instellingen. De pakketten kunnen door instellingen worden afgenomen die bezig zijn met het opzetten en uitvoeren van praktijkgestuurd onderzoek, alsook door andere belangstellenden worden afgenomen. Onderstaand worden de pakketten en thema s kort getypeerd. Beschrijven en onderbouwen van interventies. Dit pakket is bestemd voor kwaliteitsfunctionarissen, stafcoördinatoren of gedragswetenschappers die verantwoordelijk zijn voor het beschrijven en onderbouwen van interventies. In drie dagdelen wordt toegewerkt naar een beschrijving en onderbouwing van een interventie die voldoet aan de voorwaarden van de Databank Effectieve Jeugdinterventies. Doelrealisatie. Het pakket is voor medewerkers met een wetenschappelijke opleiding die ervaring hebben met doelen stellen en gemotiveerd zijn om als trainer mensen binnen hun instelling op te leiden. In drie dagdelen wordt stilgestaan bij het formuleren, beoordelen en evalueren van doelen middels gebruik van eigen casuïstiek. Werken met vragenlijsten. Dit ondersteuningspakket is bestemd voor ervaren hulpverleners en gedragswetenschappers die als trainer mensen binnen hun instelling willen opleiden. In twee á drie dagdelen leert de deelnemer vragenlijsten (zoals CBCL, NOSI, SDQ) te benutten bij het stellen en evalueren van hulpverleningsdoelen. Bewaking van de onderzoekslogistiek. Dit pakket is erop gericht om in twee á drie dagdelen praktijkfunctionarissen die verantwoordelijk zijn voor de onderzoekslogistiek te leren een onderzoeksprotocol vast te stellen of efficiënter te maken, de respons te monitoren en zo nodig hier verbeteracties op in te zetten. Benutting van onderzoeksgegevens. Dit is een interactieve workshop waarin het middenkader binnen drie dagdelen op een leerzame manier gemotiveerd en geïnspireerd wordt om onderzoeksgegevens op mesoniveau te benutten. Op het einde van de workshop heeft de deelnemer een analyse van een effectrapportage gemaakt en weet hij of zij de gegevens op individueel-, team- of organisatieniveau te gebruiken. De ondersteuningspakketten zijn elk ondergebracht bij een van de deelnemende organisaties in de projectgroep Zicht op Effectiviteit. Bij een vraag naar ondersteuning verwijzen de organisaties naar de betreffende aanbieder van het ondersteuningspakket. 15

16 3.3 Doorontwikkeling meetinstrumenten In de door het eerste deelproject omspannen periode is door Praktikon (één van de wetenschappelijke ondersteuningsorganisaties van het project) gewerkt aan het afronden van de voorlopige experimentele versies van een drietal vragenlijsten. Deze vragenlijsten beogen een aanvulling te zijn op bestaande instrumenten die veelal probleemgericht zijn, namelijk op het onderkennen van problemen. De drie nieuwe vragenlijsten zijn competentiegericht, de vragen zijn veelal positief geformuleerd. Twee lijsten vragen naar competenties van ouders, één naar competenties van hulpverleners. Met de Vragenlijst Gezinsfunctioneren Ouderversie (VGFO) wordt geïnventariseerd hoe het gezin van een aangemelde jeugdige functioneert op een aantal relevante gezinstaken, te weten Basiszorg, Sociale contacten, Opvoedingsvaardigheden, Jeugdbeleving, Veiligheid in het gezin, Individueel functioneren, Partnerrelatie 7. Met de Empowermentvragenlijst (EMPO) wordt nagegaan in welke mate ouders het gevoel hebben de situatie waarin ze verkeren te beheersen (besef van beheersing) en in welke mate ze invloed kunnen uitoefenen om de situatie waarin ze verkeren daadwerkelijk te beïnvloeden (actuele beheersing) 8. Het besef van beheersing en de actuele beheersing wordt zowel bekeken vanuit de ouder als persoon als vanuit de ouder als opvoeder. Een derde vragenlijst is gericht op het vaststellen van competenties van hulpverleners die met de bejegening van cliënten te maken hebben (B-toets) 9. Hiermee kan (achteraf) worden nagegaan of hulpverleners in het hulpverleningsproces een aantal gedrags- en houdingsaspecten ten uitvoer hebben gebracht die uit onderzoek blijken samen te hangen met een juiste bejegening. Deze aspecten zijn onder de volgende meer algemene categorieën onder te brengen: Duidelijkheid, Betrokkenheid, Gelijkwaardigheid, Betrouwbaarheid, Aansluiting, Respect, Goed contact, Positieve feedback. Van alle vragenlijsten is een voorlopige experimentele handleiding beschikbaar. De lijsten zijn vrij te kopiëren en te gebruiken. Alle drie de vragenlijsten zullen in lopend of toekomstig onderzoek verder op hun waarde onderzocht worden Gebruik van software Voor het uitvoeren van praktijkgestuurd effectonderzoek is het essentieel om (1) uitslagen van vragenlijsten snel terug te koppelen naar hulpverleners, zodat zij de gegevens kunnen benutten in hun diagnostiek, en behandelplanning en evaluatie, (2) te kunnen monitoren van welke cliënt op welke moment welke vragenlijst is ingevuld, zodat tijdig mogelijke lacunes in de dataverzameling gesignaleerd en verholpen kunnen worden en (3) een database op te bouwen waarin alle gegevens van meerdere vragenlijsten en meerdere meetmomenten aan een cliënt zijn gekoppeld. Tot nog toe worden deze functies veelal gescheiden uitgevoerd. Vaak hebben vragenlijsten eigen software om scores te berekenen en profielen te printen, moeten onderzoekers de gegevens uit deze pakketten in hun statistisch pakket te zien te importeren en bestaan er weer aparte programma s om de instroom te monitoren. Het onder auspiciën van Praktikon ontwikkelde softwarepakket BergOp 2.0 brengt deze functies bij elkaar. Dit pakket was bij aanvang van het project al aanwezig bij alle zes de deelnemers aan het Verstevigings- 16

17 project. In het kader van het project is het pakket geïnstalleerd bij nieuwe deelnemers aan het Verbredingsproject en zijn hiervoor trainingen gegeven. Ervaringen met BergOp 2.0 en feedback van gebruikers zijn benut om BergOp 3.0, een webbased internetapplicatie, te ontwikkelen. De kosten van deze ontwikkeling vielen buiten het project. 3.5 Ervaringen deelnemers Verbredingsproject Het Verbredingsproject had tot doel nieuwe instellingen in te laten stromen waarin praktijkgestuurd effectonderzoek opgezet zou gaan worden en waarbij vanuit het project ruim een jaar begeleiding geboden werd. Zoals in het vorige hoofdstuk is aangegeven, namen zeven jeugdzorginstellingen hieraan deel. Het ging om vier instellingen voor jeugdhulpverlening (De Waarden, Pactum, Parlan en Tender), één instelling voor geestelijke gezondheidszorg voor jeugdigen (Triversum), één instelling voor de zorg aan licht verstandelijk gehandicapte jeugdigen (Kwadrant) en één instelling voor justitiële zorg (OG Heldringstichting). In deze instellingen werden effectmetingen opgezet en vanuit het project begeleid door Collegio, en PI Research of Praktikon. Aandachtsfunctionarissen uit de instellingen van beide deelprojecten kwamen regelmatig bijeen in een tweede Effectiviteitsplatform om ervaringen uit te wisselen en nieuwe ontwikkelingen te bespreken. In sommige van deze instellingen sloot de deelname aan het project aan bij reeds in de instelling in gang gezette projecten over effectmeting, voor andere instellingen was het een eerste kennismaking. In de bundel Zicht op Effectiviteit. Een kijkje in de keuken van zeven instellingen voor jeugdzorg doen de instellingen verslag van dit proces. Dit is eveneens één van de producten van het project 11. De zeven hoofdstukken in de bundel zijn geschreven door medewerkers van de instellingen, vaak in samenwerking met de ondersteuners vanuit het project. In de meeste van de hoofdstukken is plaats ingeruimd voor ervaringen en bijna live -verslagen van medewerkers. De hoofdstukken geven een kijkje in de keuken waar de effectmetingen worden bereid en geproefd. De meeste gerechten staan nog op het vuur, ze zijn nog niet helemaal klaar om opgediend te worden. Dat maakt deze bundel juist zo interessant. Soms treft de lezer er recepten aan: welke vragenlijsten worden gebruikt, hoe worden gegevens berekend en geanalyseerd? Soms ziet de lezer de pannen overkoken, wat verlies aan gegevens oplevert (de beruchte nonrespons). Soms ook blijkt er toch alvast een gerecht opgediend te kunnen worden in de vorm van een informatieve uitkomst, samengevat in een tabel of een figuur. De belangrijkste opbrengsten van het Verbredingsproject zijn als volgt te typeren: Zeven instellingen hebben een veelbelovende start gemaakt met het in beeld brengen van de resultaten van de zorg. Dit heeft geresulteerd in concrete producten als een rapport, afspraken en werkroutines voor het in beeld brengen van resultaten en inbedding van instrumenten om de resultaten meer geobjectiveerd in beeld te brengen. De deelnemers constateren dat er veel aandacht nodig is voor inbedding van de afname van vragenlijsten en het in beeld brengen van resultaten in het primaire proces. Verdere professionalisering en ondersteuning van medewerkers op dit vlak, de noodzaak van 17

18 een goede logistiek en het in dienst hebben van een onderzoeker of aandachtsfunctionaris om alles goed te laten verlopen is nadrukkelijk op de agenda gekomen. Het werk is nog niet af, maar de instellingen gaan door met het verder ontwikkelen van wat in gang is gezet. Bij de deelnemers zijn daar in randvoorwaardelijke zin maatregelen voor genomen (bijvoorbeeld, er is budget voor vrijgemaakt, er is een aandachtsfunctionaris voor aangesteld, er wordt gewerkt aan structurele inbedding van onderzoek in de organisatie). In deze zin zijn de instellingen weer goede voorbeelden voor andere organisaties die aan het begin staan van het monitoren op resultaten. Belangrijkste conclusie hieruit is dat het Verbredingstraject erin is geslaagd een zevental instellingen van een impuls te voorzien die heeft geleid tot concrete producten, maar dat daarnaast de instellingen het monitoren van effecten hebben geïnternaliseerd. Ze zijn daarbij niet meer of in veel mindere mate afhankelijk van externe projecten zoals Zicht op Effectiviteit maar hebben het op eigen kracht verder opgepakt. De verwachting is dan ook dat deze locaties zich snel verder zullen ontwikkelen. In het slothoofdstuk van dit rapport gaan we in op de lessen die we bij dit proces hebben geleerd. Hier stellen we alvast dat duidelijk is dat de beroemde uitspraak van Edison dat uitvinden voor 1% inspiratie is en voor 99% transpiratie ook hier van toepassing is. Het is mooi om geïnspireerd aan het meten te slaan. Maar dan? De transpiratie zit vooral in het meekrijgen van een organisatie. Effectmeting is zeker in het begin eerder organisatieontwikkeling dan onderzoek. Effectmeting is daarbij een zaak van velen, van uitvoerders tot bestuurders. Hoe krijg je die allemaal op hetzelfde spoor? Maar eenmaal gewonnen voor de zaak blijken die velen enthousiast te kunnen worden. Daarbij wordt ook duidelijk dat degenen om wie het uiteindelijk gaat jeugdigen en hun ouders er duidelijk baat bij kunnen hebben. 3.6 Effectiviteitsplatform In het Effectiviteitsplatform (EPF) hebben vertegenwoordigers zitting van de aan het project deelnemende organisaties. Het betreft hier leidinggevenden die uit de aard van hun functie het effectonderzoek in de eigen instelling coördineren. Het EPF wil een platform bieden voor het uitwisselen van ervaringen en het ontwikkelen van nieuwe kennis en inzichten met betrekking tot het uitvoeren van praktijkgestuurd effectonderzoek. Het oogmerk is hiermee het is het bij de achterban (in de organisaties) lopende onderzoek te verstevigen. Het EPF bestond aanvankelijk uit de leden van de zes organisaties van het Verbredingsproject. Eind augustus 2006 kende het EPF de volgende leden: mevr. drs. G. Kerkstra (Hulp aan Huis Groningen), per opgevolgd door mevr. drs. W. ten Brink; mevr. drs. M. Leijsen (Hulp aan Huis Drenthe); dhr. drs. H. Tönjes (Hulp aan Huis Overijssel); dhr. drs. P. Hoolsema (Programma Psychiatrisch Gezinsgerichte Behandeling Noord Nederland); 18

19 mevr. dr. C. van Dam (Hoenderloogroep), per opgevolgd door mevr. dr. I. Tamrouti-Makking; dhr. H. Gritter (de Bellenbergh). In de loop van het project zijn ook de vertegenwoordigers van nieuwe organisaties gaan deelnemen aan het EPF, het betrof de volgende personen: mevr. drs. M. van Aggelen (OG Heldringstichting, Justitiële Jeugdinrichting, Zetten); mevr. drs. I. Bastiaanssen (Pactum, jeugdhulpverlening, Arnhem); drs. G. Bierens, drs. H. Wijgergangs (Kwadrant, Zorg voor licht verstandelijk gehandicapten, Ermelo), opgevolgd door mevr. drs. A. Bos; drs. F. Dronkers (Parlan, jeugdhulpverlening, Alkmaar), opgevolgd door mevr. drs. E. Hengst en mevr. drs. D. Rutten; drs. T. Meeuwsen (De Waarden, jeugdhulpverlening, Nijmegen); drs. S.A.J.M. van den Langenberg (Triversum, Kinder- en Jeugdpsychiatrie, Alkmaar); drs. G. Verdaasdonk (Tender, jeugdhulpverlening, Breda), opgevolgd door mevr. drs. M. van Brandenburg en mevr. drs. E. Strijbos. Het EPF werd geleid door mevr. H. Ooms, M.C.M. (Collegio, lid van de Projectgroep). Drs. S. van Loon (Collegio) voerde het secretariaat. Bijeenkomsten rondom een inhoudelijk thema, voor organisaties die al een behoorlijke ervaring hadden met implementatie van praktijkgestuurd effectonderzoek, werden ondersteund door dr. G. Kroes (onderzoeker Praktikon) en dr. B. Bijl (PI Research, lid van de projectgroep). Mevr. drs. M.C. van der Veldt (PI Research) en mevr. dr. C. van Dam (Praktikon) ondersteunden bijeenkomsten met beginnersvraagstukken. De EPF-bijeenkomsten zelf kenden een thematisch karakter of een werkgroepkarakter. Tijdens een themabijeenkomst werd een specifiek thema voorbereid door een onderzoeker en samen met de praktijk verkend. De werkgroepbijeenkomsten stonden meer in het teken van het uitwisselen van ervaringen en het geven van tips aan elkaar. Ook deze werden bijgewoond door twee onderzoekers.bevindingen uit het Effectiviteitsplatform werden gedeeld in de projectgroep en vormden leidraad voor ontwikkelingen. Op deze wijze was er een levendige verbinding tussen praktijk en onderzoek. Twee maal werd er een gezamenlijke bijeenkomst georganiseerd van het Effectiviteitsplatform en de Projectgroep Zicht op Effectiviteit. Dit stond dan in het teken van een terugblik en een vooruitblik. Op 29 mei 2008 is in het kader van het project Zicht op Effectiviteit een laatste gezamenlijke bijeenkomst georganiseerd. Hiervoor zijn alle betrokkenen van de afgelopen drie jaar uitgenodigd. De producten van het project Zicht op Effectiviteit zijn aangeboden aan mevr. drs. G. Tielen, directeur Jeugdzorg van VWS, als opdrachtgever van het project. Tevens zijn visies op het project gedeeld vanuit de invalshoeken praktijk, wetenschap en beleid. Middels discussie met gebruikmaking van een forum is een blik op de gewenste toekomst geworpen, als input voor verdere ontwikkelingen. 19

20 4. Conclusies en aanbevelingen 4.1 Wisselwerking evidence-based practice en practice-based evidence Hulpverleners zijn als het goed is altijd bezig met de effectvraag. Zij stellen met cliënten de problemen en hulpvragen vast, formuleren doelen, voeren hulp uit en houden geregeld een evaluatie. Het punt is alleen dat die evaluaties vaak op beperkte schaal plaatsvinden, niet structureel zijn en doorgaans kwalitatief van aard zijn. Door in dat proces technieken en instrumenten uit het wetenschappelijke onderzoek in te bouwen is de zeggingskracht van die evaluaties flink te versterken, zowel ten behoeve van de interne ontwikkeling van hun zorgaanbod als voor de externe verantwoording van dit aanbod bij lokale, provinciale en landelijke overheden en bij zorgverzekeraars. Het levert bottom-up, vanuit de praktijk, informatie over welke interventie bij welke doelgroep werkt. Anders gezegd, via een specifieke vorm van effectonderzoek is practice-based evidence te verzamelen. Dat levert weer een bijdrage aan de ontwikkeling van de gewenste evidence-based practice. Dit was het leidende thema van het project Zich op Effectiviteit, gevisualiseerd in het logo dat op de titelpagina van dit rapport staat. Van het werken met dit leidende thema wordt in dit eindrapport verslag gedaan. 4.2 Resultaten Met deze visie zijn we als projectgroep begonnen aan het project. Dit heeft geleid tot een aantal resultaten waar de projectgroep en de deelnemers uit de praktijk vierkant achter kunnen staan: Handboek. Er is een Handboek praktijkgestuurd effectonderzoek uitgegeven, waarin veel kennis en ervaring die in afgelopen jaren is samengebracht is gebundeld. Een deel van deze ervaring is tot stand gekomen via de consolidatie van initiatieven die al voor de start van het project in zes organisaties (twintig als de uitvoerende instellingen worden meegerekend) zijn genomen. Die consolidatie gebeurde in een deelproject van Zicht op Effectiviteit, het zogeheten Verstevigingsproject. Het handboek is tegen lage prijs bij uitgeverij Eburon uitgebracht. Afzonderlijke hoofdstukken zijn gratis via internet te downloaden. Ondersteuningspakketten. Een vijftal ontwikkelde workshops/trainingen bieden een antwoord-op-maat op veelvoorkomende ondersteuningsvragen bij instellingen die met de monitoring van effecten aan de slag zijn. Voor de verwijzing naar en de inzet van de pakketten zijn tussen de betrokken ondersteuningsorganisaties afspraken gemaakt. Instrumenten. Drie instrumenten zijn verder ontwikkeld, om de competenties van ouders, de empowerment van opvoeders en de competenties van hulpverleners goed in beeld te brengen. De lijsten zijn vrij te kopiëren en te gebruiken. Software. Instellingen zijn ondersteund bij de ingebruikname van een passend computerprogramma om gegevens van afgenomen vragenlijsten op te slaan en te verwerken. 20