= = = Zicht op effectiviteit

Transcriptie

1 Zicht op effectiviteit Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg Deel 1 Projectgroep Zicht op effectiviteit

2 2006 NIZW / Praktikon / Ministerie van VWS Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming. Redactie Tom van Yperen (NIZW Jeugd) Jan Willem Veerman (Praktikon) Projectgroep Deze uitgave maakt deel uit van het project Zicht op effectiviteit, dat wordt uitgevoerd door een projectgroep, bestaand uit: Jan Willem Veerman (Praktikon, projectleider en penvoerder) Tom van Yperen (NIZW Jeugd, projectleider) Bas Bijl (PI Research) Herma Ooms (Collegio) Dries Roosma (Jeugdzorg Drenthe). Financier Het project Zicht op effectiviteit wordt in de periode uitgevoerd met subsidie van het ministerie van VWS. Deze publicatie is een nulversie. Het document is te downloaden via de website Reacties op de tekst zijn te richten aan het onderstaand adres. De definitieve versie zal worden uitgegeven in Informatie over deze publicatie is te verkrijgen bij: NIZW Jeugd Postbus DD Utrecht Telefoon (030) Fax (030) t.vanyperen@nizw.nl

3 Voorwoord Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat. Zowel op de werkvloer en het management van instellingen als bij locale, provinciale en landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. Dat roept verschillende vragen op, zoals: - Wat weten we al van de effectiviteit van interventies in de jeugdzorg? - Wat verstaan we eigenlijk onder effectiviteit? - Hoe kunnen we effectiviteit vaststellen? - Hoe kunnen we gegevens over effectiviteit benutten voor verdere ontwikkeling en verantwoording? In dit Bronnenboek wordt op deze en andere vragen uitvoerig ingegaan. Het boek wil handreikingen en achtergronden bieden voor het zichtbaar maken van de effectiviteit van de jeugdzorg volgens een voor hulpverleners, managers, beleidsmakers en onderzoekers relevante, interessante en praktisch werkbare manier. Die manier wordt aangeduid met praktijkgestuurd effectonderzoek. In Deel I zal dit verder worden uitgelegd, maar uit de naamgeving wordt al duidelijk dat er twee invalshoeken zijn: praktijk en onderzoek. Vanuit het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht mee te helpen vormgeven. Dit bronnenboek geeft een inleiding in praktijkgestuurd effectonderzoek. Geen kookboek of dwingend kader. Het is een bron van ideeën, werkwijzen, instrumenten en voorbeelden die te gebruiken zijn. Het maakt deel uit van een stroom van activiteiten die vanuit verschillende perspectieven in gang zijn gezet, maar toch een gemeenschappelijk doel kennen, namelijk de kwaliteit van de jeugdzorg op een hoger plan te brengen teneinde jeugdigen en hun gezinnen met opgroei- en opvoedproblemen de best mogelijk kansen op herstel te bieden. Het gaat bij deze stroom om door de landelijke en provinciale overheid ingezet beleid, door overkoepelende organisaties uitgedragen visies, kwaliteitstrajecten binnen instellingen, verdere professionalisering van beroepsgroepen, landelijke en regionale onderzoeksprogrammering ten aanzien van de zorg, opleiding van praktijkonderzoekers, methodiekontwikkelaars en kwaliteitsfunctionarissen, opbouw van databanken met gegevens over veelbelovende en effectieve interventies. De doelgroep van dit bronnenboek wordt gevormd door methodiekontwikkelaars, kwaliteitsfunctionarissen en praktijkonderzoekers. In het boek komen veel technische zaken aan bod. Deze worden zo uitgelegd, dat ze voor praktijkfunctionarissen goed te volgen en toe te passen zijn. Het boek wil een gereedschapskist voor hen zijn, met informatie die ze zonder al te veel moeite kunnen toepassen. Via literatuurtips worden zij voor verdere informatie op het goede spoor gezet. Het nu voorliggende deel I van het Bronnenboek heeft tot doel een kader te geven voor praktijkgestuurd effectonderzoek. In Hoofdstuk 1 wordt duidelijk gemaakt dat we inmiddels wel veel weten over de effectiviteit van jeugdzorginterventies, maar dat die kennis nog weinig relevantie heeft voor de praktijk van de jeugdzorg. Betoogd zal worden dat dit komt door een te nauwe definitie van effecten en te smalle opvatting over hoe die effecten het beste vastgesteld kunnen worden. Er worden verschillende niveaus van effectiviteit onderscheiden, 1

4 die in een opklimmende reeks treden op een ladder vormen die van laag tot hoog steeds meer zekerheid over effectiviteit van jeugdzorginterventies laten zien. Bij de eerste twee niveaus gaat erom een interventie zo goed mogelijk te beschrijven en te onderbouwen. Interventies die aan deze eisen voldoen kunnen potentieel effectief, respectievelijk veelbelovend worden genoemd. Bij hoger niveaus gaat het er dat om daadwerkelijk te laten zien dat interventies ook gewenste uitkomsten bereiken en dat dit ook komt door de inzet van de interventie. Interventies die aan deze eisen voldoen kunnen doeltreffend of werkzaam worden genoemd. Instellingen en overheden kunnen met behulp van deze ladder overeenkomen welk niveau van effectiviteit het meest gewenst en realistisch om naar te streven. Dat niveau is geen statisch gegeven, er kunnen afspraken gemaakt worden om in een aantal jaren van lagere naar hogere niveaus te gaan. Dit geeft richting aan de verdere ontwikkeling van een effectieve jeugdzorgpraktijk, ook wel aangeduid met evidence-based practice. Praktijkgestuurd onderzoek wordt gezien als een noemer die een veelheid aan onderzoeksopzetten kan omvatten om onderzoek te gaan doen op het niveau van keuze, hiermee kan practice-based evidence verzameld worden. In de hoofdstukken 2 en 3 worden de verschillende effectniveaus nog verder uitgelegd en worden voorbeelden gegeven van onderzoek op die niveaus en wat dat onderzoek kan opleveren. Gaandeweg wordt ook een keuze gemaakt op welk niveau dit Bronnenboek zich met name zal richten. Dit is het niveau dat op de effectladder met doeltreffend wordt aangeduid. Op dit niveau worden bij interventies die in de praktijk van de jeugdzorg worden uitgevoerd gegevens over uitkomsten en uitvoering verzameld die de effectiviteit zichtbaar moeten maken. In hoofdstuk 4 wordt de cyclus van wetenschappelijk onderzoek geplaatst naast de hulpverleningscyclus en beleidscyclus. Aangegeven wordt dat een integratie van deze drie cycli nodig is om continu zicht te houden op de effectiviteit van de zorg en zo nodig verbeteracties op gang te brengen. In het laatste hoofdstuk van Deel I, Hoofdstuk 5, wordt beschreven hoe een praktijk zich kan ontwikkelen tot een evidence-based practice, waarin het verzamelen en benutten van gegevens over effectiviteit integraal deel uit maakt van het hulpverlenende handelen. Begonnen wordt met het schetsen van zo n ideale praktijk: hoe ziet die eruit? Daarna zal worden aangegeven hoe een gegeven praktijk zich kan ontwikkelen tot zo n ideale praktijk: welke processen zijn daarvoor van belang? Hoe kunnen veranderingen in de gewenste richting het beste gestuurd worden? Tenslotte zal via een aanduiding van de titels van voorgenomen hoofdstukken een preview worden gegeven op de inhoud van de geplande delen II en III van het bronnenboek. De voorliggende versie van Deel I is de een zogeheten nulversie : nog geen officiële uitgave, maar een tussenuitgave die tot doel heeft potentiële gebruikers alvast op het spoor te zetten van praktijkgestuurd onderzoek. De definitieve versie van het gehele bronnenboek wordt eind 2007 verwacht. Naar aanleiding van voortschrijdend inzicht van de schrijvers, maar vooral ook door commentaren van lezers zal de definitieve inhoud zijn vorm krijgen. Lezers worden daarom van harte uitgenodigd om hun reacties op de teksten kenbaar te maken aan de leden van de projectgroep of aan de redacteuren van het boek. 2

5 Inhoudsopgave Voorwoord... 1 Inhoudsopgave... 3 Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek? Inleiding Wat weten we uit effectonderzoek? Hoe verder? Contouren van een praktijkgestuurd onderzoeksprogramma Conclusie en discussie Bronvermelding Hoofdstuk 2. Op weg naar veelbelovend De basis wordt gelegd Basiselementen van een interventie met potentie De stap naar veelbelovend: belang van theorie en onderzoek Orde in een kluwen van factoren De werkzame ingrediënten: algemeen en specifiek Samenvatting Bronvermelding Hoofdstuk 3. Een kwestie van bewijzen Gemakkelijk gezegd, moeilijker te meten Causaliteit in een grillige en weerbarstige omgeving Kapers op de kust: alternatieve verklaringen voor gemeten effecten De interventietheorie als wegwijzer Designs op de effectladder Een zeker bewijs Aan elk bewijs hangt een prijs Bronvermelding Hoofdstuk 4. Praktijk, beleid en wetenschap verbinden Circuits verbinden De praktijk van het primaire proces Het beleid De wetenschap Verbinden met het oog op praktijkverbetering Omgaan met verschillende belangen Samenvatting en conclusies Bronvermelding Hoofdstuk 5. Organiseren van het onderzoek Inleiding Praktijkgestuurd effectonderzoek: een droom van een casus Kwaliteitscriteria voor de praktijk

6 5.4 Het organiseren van praktijkgestuurd onderzoek Huiswerk voor overheid en instellingen Bronvermelding Blik op de overige delen Deel 2. Beschrijving van voorbeeldpraktijken Deel 3. Methoden en technieken Deel 4. Strategie en context Over de projectgroep

7 DEEL 1 5

8 6

9 Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek? Jan Willem Veerman en Tom van Yperen 1.1 Inleiding De vraag naar de wetenschappelijke onderbouwing van de effectiviteit van interventies in de jeugdzorg klinkt de laatste jaren steeds luider. In de gebouwen van locale, provinciale en landelijke overheden, in de kantoren van de zorgverzekeraars, op universiteiten, op congressen, en niet in de laatste plaats in de jeugdzorg zelf, overal kan men de effectvraag beluisteren. Of we nu uitvoerend hulpverlener zijn of directeur van een instelling, onderzoeker, zorgverzekeraar of politicus, allemaal willen we dat psychosociale problemen van kinderen en jeugdigen de best mogelijke behandeling krijgen. Dat is uiteraard altijd al de wens geweest, maar vandaag de dag willen we dat nog nadrukkelijker. In het recente visiedocument van de zorgaanbieders in de jeugdzorg staat bij de beleidsinzet voor de periode dat zorgaanbieders hulp moeten bieden die verantwoord kan worden vanuit het oogpunt van effectiviteit en efficiëntie (Bewust, betrokken en betrouwbaar, 2003, blz. 13). In de nota Jeugd Terecht van het Ministerie van Justitie valt te lezen dat het ministerie voornemens is in de nabije toekomst alleen nog maar effectieve of veelbelovende interventies te subsidiëren (Jeugd Terecht, 2003, blz. 20). In het verlengde hiervan is er een erkenningcommissie opgericht, die in opdracht van het ministerie gaat beoordelen welke justitiële gedragsinterventies het predikaat effectief kunnen krijgen. In de GGZ wordt al enige tijd gesproken over DBC s, diagnose-behandelcombinaties, die zowel de indicatie als de financiering van de zorg moeten sturen. Het inzetten van evidence-based behandelingen is hier een uitgangspunt. Het centrum Jeugd van het Nederlands Instituut voor Zorg en Welzijn (NIZW Jeugd) heeft een databank van effectieve jeugdinterventies ingesteld. Het wil hiermee de beschikbare kennis over veelbelovende en effectieve interventies in Nederland meer bekendheid geven (zie Dit zijn enkele voorbeelden die het alom tegenwoordig zijn van de effectvraag illustreren. Het bijzondere is dat die vraag niet alleen hoog op de agenda staat van onderzoekers, maar ook op die van uitvoerend hulpverleners en hun directies. Naast gezonde nieuwsgierigheid naar het resultaat van het werk spelen bij hen vakinhoudelijk en maatschappelijke motieven een rol. Vakinhoudelijk voelen zij de noodzaak te moeten streven naar zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet blijken, onder meer uit wetenschappelijk verantwoord effectonderzoek. Maatschappelijk zijn zij de overheid en zorgverzekeraars verschuldigd te laten zien dat het geld goed besteed is, en indirect dienen zij dat ook aan de belastingbetaler te laten zien. Ook hier kan effectonderzoek een goede dienst bewijzen. Is men eenmaal overtuigd van de noodzaak en het nut van effectonderzoek dan rijzen nog wel allerlei vragen. De belangrijkste is wat we eigenlijk onder effectiviteit verstaan en hoe we die kunnen aantonen. En dan blijkt zoals zo vaak dat dit soort begrippen op allerlei manieren worden gebruikt. Dat bemoeilijkt de communicatie. Vanuit een praktijkperspectief kan een interventie als effectief gezien worden als gestelde doelen worden gerealiseerd en cliënten tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken. De gestelde doelen waren wellicht zonder de interventie ook wel gerealiseerd, 7

10 met in het verlengde daarvan een tevreden cliënt. In het ideale model effectonderzoek krijgt een experimentele groep de interventie die men op zijn effect wil onderzoeken en krijgt een controlegroep geen interventie, een placebo-interventie of een alternatieve interventie. Idealiter worden cliënten willekeurig worden toegewezen aan de experimentele of de controlegroep. Het lot bepaalt dus wie de interventie krijgt en wie niet. De interventie zelf behoort helder omschreven te zijn, bij voorkeur vastgelegd in een behandelingsprotocol dat niet alleen de fasering aangeeft, maar ook wat er tijdens de verschillende sessies, bezoeken of zittingen dient te gebeuren. Eveneens moet duidelijk te zijn voor wie de interventie geschikt is en voor wie niet. In het onderzoek wordt bij beide groepen een voormeting en een nameting verricht. Het effect wordt dan afgelezen aan het verschil tussen de experimentele en controlegroep aan het eind van de interventie. Deze manier van effectonderzoek roept weer nieuwe vragen op: Van hoeveel interventies in de Nederlandse jeugdzorg is het effect op die manier aangetoond? Is een dergelijk onderzoek in de praktijk altijd uitvoerbaar? Valt er over de effectiviteit van een interventie helemaal niets te zeggen als dergelijk onderzoek niet heeft plaatsgevonden? En als er wel iets over te zeggen is, wat is dat dan en welk onderzoek is daarvoor nodig? In dit eerste hoofdstuk wordt ingegaan op deze vragen. In de volgende paragraaf (1.2) zal duidelijk worden dat het ideale onderzoek ons nog weinig kennis heeft gebracht over de effectiviteit van de vele honderden interventies die dagelijks in de praktijk van de jeugdzorg worden uitgevoerd. Dat betekent niet dat dit soort onderzoek niet deugt of dat interventies in de jeugdzorg niet effectief zijn. Het betekent juist dat we moeten zoeken naar nog meer manieren om effecten in beeld te brengen. Paragraaf 1.3. en 1.4. geven aan hoe dat zou kunnen. We typeren deze andere aanpak van effectonderzoek als praktijkgestuurd, in tegenstelling een aanpak die we methodegestuurd noemen. Bij de laatstgenoemde is de focus sterk gericht op de realisering van methodologische eisen waar het ideale effectonderzoek aan moet voldoen. Bij praktijkgestuurd effectonderzoek gaat het erom het type studie aan te passen aan de eisen van de praktijk. Dit laatste impliceert een uitdaging aan onderzoekers om in samenwerking met praktijkfunctionarissen wetenschappelijk verantwoord en voor de praktijk uitvoerbaar en bruikbaar effectonderzoek op te zetten. Met dit boek wordt deze uitdaging opgepakt. We gebruiken daarbij de term praktijkfunctionarissen als algemene noemer voor mensen die in de praktijk van de jeugdzorg werkzaam zijn. Dat kunnen uitvoerend werkers zijn, maar ook teamleiders, afdelingsmanagers en directieleden. Voor zover nodig zullen we nader aangeven wie precies bedoeld wordt. Waar het om gaat is dat het onderzoek tegemoet komt aan de genoemde vakinhoudelijke en maatschappelijke drijfveren van deze mensen, en dat het bovenal interessant en spannend is om te doen. Het eerste hoofdstuk geeft een inleiding op de vraag met wat voor soorten onderzoek dit is te realiseren. 1.2 Wat weten we uit effectonderzoek? Rond de recente eeuwwisseling waren wereldwijd zo n 1500 van experimentele onderzoeken naar effecten van jeugdzorginterventies gepubliceerd (zie voor overzichten bijvoorbeeld Burns & Hoagwood, 2002; Carr, 2000; Kazdin, 2000; Konijn, 2003). Onder de noemer experimentele onderzoeken vatten we hier zowel de experimentele als quasi-experimentele studies (zie hoofdstuk 3 voor een verdere uitleg en verwante termen). De resultaten van die onderzoeken laten zien dat jeugdzorginterventies gemiddeld genomen effectief zijn. Vergelijkbaar met interventies voor soortgelijke problemen bij volwassenen worden er middelgrote tot grote effecten gevonden. Voorbeelden van effectieve interventies zijn 8

11 Systematische Desensitisatie, verschillende vormen van Cognitieve Gedragstherapie al dan niet in combinatie met medicatie, Oudertraining (Parent Management Training), specifieke therapeutische aanpakken in de pleegzorg (Treatment Foster Care) en sommige vormen van Intensieve Pedagogische Thuiszorg zoals Multisysteem Therapie. Dit lijkt goed nieuws, behandelaars in de jeugdzorg kunnen kiezen uit effectieve interventies. Bij nadere beschouwing blijken echter de nodige vraagtekens bij dit goede nieuws te zetten. In de eerste plaats is het aantal behandelvormen dat onderzocht gering. Gebaseerd op de bovengenoemde overzichtsliteratuur schatten we dit aantal op niet meer dan 50. Dit staat in schril contrast met het aantal behandelvormen dat in de jeugdzorg aangeboden kan worden. Schattingen hierover lopen uiteen van ruim 550 (Kazdin, 2000) tot wel 1500 (Loeffen, Ooms & Wijgergangs, 2004). Terzijde: in een recente inventarisatie werden in Nederland alleen al op het terrein van de intensieve pedagogische thuiszorg 92 methodieken gevonden. (o.a. Families First, Video Hometraining; zie Veerman, Janssens & Delicat, 2005). Daar komt bij dat het overgrote deel van het bewijs dát er is, uit het buitenland afkomstig is. Het aantal onderzochte Nederlandse interventies is nog geringer. Boendermaker, Van der Veldt & Booy (2003) vonden over de periode in totaal 54 effectstudies, waarvan er 22 volgens het ideale onderzoeksmodel waren uitgevoerd. Twee van deze onderzoeken gingen over een en dezelfde behandeling, nog eens twee onderzoeken richtten zich louter op het effect van medicatie. Dat betekent dat er in totaal 19 interventies in de Nederlandse jeugdzorg via het ideale onderzoeksmodel op hun effecten zijn onderzocht. Het aantal onderzochte interventies is dus maar een fractie van wat gewoonlijk wordt aangeboden. (schatting: 1-5%). Van het grootste deel van de interventies hebben we geen experimenteel wetenschappelijk bewijs over de effectiviteit. In de tweede plaats hebben John Weisz en zijn collega s laten zien dat het positieve beeld vertekend wordt door interventies die niet in de praktijk van de jeugdzorg worden uitgeoefend, maar die speciaal voor onderzoeksdoeleinden ontworpen zijn en alleen in het kader van een onderzoek zijn uitgevoerd (Weisz & Weiss, 1993). Deze interventies zijn altijd kortdurend (10 sessies of minder vormt geen uitzondering) en op niet al te ingewikkelde problematiek gericht (niet zelden gaat het ook niet om echte cliënten, maar om vrijwilligers). Dikwijls wordt er ook maar één, zogeheten focaal probleem behandeld (daar zijn de effectmetingen dan ook op gericht), alleen die cliënten worden voor de interventie uitgekozen. Bovendien wordt de interventie gegeven door behandelaars die door en door getraind zijn in die ene specifieke methode die onderwerp van onderzoek is. Kortom, zoals het in elk wetenschappelijk onderzoek betaamt, wordt alles in het werk gesteld het effect een maximale kans van optreden te geven en de interventie als de causale factor aan te kunnen wijzen. De prijs voor al deze inspanningen is dat een situatie gecreëerd wordt die in allerlei opzichten veraf staat van de vaak hectische praktijk van alledag. Weisz en Weiss typeren deze interventies dan ook als onderzoeksinterventies, ontwikkeld en beproefd in onderzoek, in tegenstelling tot de klinische interventies die in de praktijk van alledag worden uitgevoerd. Dus: het geringe aantal interventies dat wel onderzocht is bestaat ook nog eens voor het grootste deel uit interventies die in de praktijk van de jeugdzorg nauwelijks voorkomen. In de derde plaats worden in studies die wel in de praktijk van de zorg zijn uitgevoerd voor klinische interventies vaak geen effecten gevonden (Weisz & Weiss, 1993). Van Yperen (2005) plaatst bij deze bevinding een aantal vraagtekens. Hij meent dat er in de praktijk van de zorg wel degelijk effecten te vinden zijn, zij het dat het wel om kleine effecten gaat. Daarnaast geldt dat er voor interventies in de thuissituatie (zoals vormen van Intensieve Pedagogische Thuiszorg en Pleegzorg) in de praktijk van de Nederlandse jeugdzorg matige 9

12 effecten zijn gevonden. Maar hoe dan ook, de boodschap is duidelijk: de weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken laten slechts kleine tot matige effecten zien. In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek verregaande specificaties van beoogde doelgroep, bedoelde interventie en gewenste uitkomsten nodig, liefst in behandelprotocollen, die zowel een gedegen theoretische onderbouwing als een hechte organisatorisch inbedding laten zien. De Amerikaanse onderzoeker Patton merkte hierover op dat praktijkwerkers in het algemeen niet houden van dit soort specificaties. Praktijkwerkers gaan veel meer uit van een wereld van multipele oorzaken, diversiteit van uitkomsten, inconsistentie van interventies, en interacties op verschillende niveaus en zij vinden zo n wereld opwindend en wenselijk (Patton, 1994, blz. 313). Onze inschatting is dat praktijkwerkers wel degelijk houden van het specificeren van hun interventies, zolang ze daar maar de ruimte en de tijd voor krijgen en daarbij ondersteund worden. Maar hoe dan ook zien we op dit moment dat veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen. Samengevat: De bewijzen die de wetenschap levert over de effectiviteit van jeugdzorginterventies zeggen ons: a. dat het aantal experimenteel onderzochte interventies maar een fractie is van wat wordt gewoonlijk wordt aangeboden, b. dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit interventies bestaat die in de praktijk nauwelijks voorkomen, c. dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken kleine effecten laten zien en d. dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen. Deze misschien wat teleurstellende stand van zaken betekent niet dat interventies in de jeugdzorg niet effectief zijn, we weten hier alleen gewoon nog te weinig van. Mede gelet op wat in de inleiding gezegd is over noodzaak van meer zicht op effectiviteit betekent dit ook een geweldige uitdaging om deze kennislacune op te gaan vullen. 1.3 Hoe verder? Twee wegen In theorie zijn er op basis van voorgaande conclusies twee wegen begaanbaar om meer kennis over effecten van jeugdzorg te verkrijgen: Het top down implementeren van de interventies die hun effect in onderzoek bewezen hebben. We zagen zo even dat die meestal nog niet in de praktijk worden uitgevoerd. Dit impliceert een transport van onderzoeksinterventies vanuit het wetenschappelijk kader naar de klinische praktijk en onderzoek naar het welslagen van de implementatie in deze praktijk. Het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden uitgevoerd. Hiermee wordt aangesloten bij de situatie van dit moment: er worden dagelijks 10

13 vele interventies uitgevoerd en daar moet de jeugdzorg iets mee als het om effectonderzoek gaat. Dit impliceert het uitvoeren praktijkonderzoek waarmee de effectiviteit van interventies op de een of andere manier in beeld wordt gebracht. Beide wegen zijn begaanbaar. De literatuur over effectonderzoek beveelt meestal de eerste weg aan. Dus: eerst op kleine schaal experimenteel onderzoeken en daarna op grotere schaal in de praktijk implementeren. Het soort onderzoek dat daarbij hoort wordt gestuurd door de bevindingen uit eerdere experimentele studies en leidt idealiter tot nieuwe experimentele studies, maar nu in de praktijk van de zorg, met echte cliënten en echte interventies. Het gaat om een methodegestuurde benadering waarbij de realisering van eisen waar het effectonderzoek idealiter aan moet voldoen voorop staan. Het idee is dat alleen op die manier maximale zekerheid ontstaat dat de onderzochte interventie effect heeft. Langs deze weg informeert de wetenschap de praktijk naar beste kunnen en draagt het onderzoek bij aan het ontwikkelen van een evidence-based practice (Bower, 2003; Chaffiin & Friedrich, 2004). De definitie van effect is hier duidelijk: het verschil tussen de experimentele en de controlegroep aan het eind van de interventie. Er zijn weinig vrijheidsgraden voor ander onderzoek, bijvoorbeeld onderzoek zonder controlegroepen. Het voordeel is de wetenschappelijk logica, die een onomstotelijk effectbewijs levert en die op het eerste gezicht ook wel aantrekkelijk is. Hier worden bevindingen uit de onderzoekslaboratoria via toegepast onderzoek in de praktijk uitgezet. Zo gaat het op veel meer terreinen, bijvoorbeeld bij het onderzoek naar de effectiviteit van geneesmiddelen, dus waarom ook niet op het terrein van de jeugdzorg? Het nadeel is dat de praktijk van de zorg vaak nog niet zo ver is en dat het wel eens heel lang kan duren voor men zover is. De tweede weg, beginnen bij wat er is en dat uitbouwen, is veel minder uitgewerkt. Maar deze wordt naar onze mening nog veel te weinig benut om wetenschappelijke kennis over effectieve interventies te verkrijgen. Het gaat hier niet zozeer om het creëren van een evidence-based practice maar om het ontwikkelen van practice-based evidence (Barkham & Mellor-Clark, 2003). De definitie van het effect is hier minder eenduidig, of op zijn minst meervoudig en de bewijsvoering is minder hard als men wellicht zou willen. Dat is een nadeel van deze tweede weg. Daar staat als voordeel tegenover dat deze weg snel is in te slaan vandaag nog, als het moet en dat gaande weg zal blijken dat de bewijzen minder zacht zijn als critici soms doen geloven. Op weg met praktijkgestuurd effectonderzoek De zojuist genoemde tweede weg zal in dit Handboek een belangrijke plaats innemen. We spreken dan van praktijkgestuurd effectonderzoek. We ontlenen de term praktijkgestuurd onderzoek aan Jo Hermans en passen zijn definitie (Hermanns, 1993, p. 27) aan voor ons doel. Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden. Deze definitie geeft praktijkgestuurd effectonderzoek de volgende drie kenmerken: 11

14 Aansluiting. Onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt gegeven door de mate waarin de te onderzoeken interventie een te onderscheiden ding is: in hoeverre hij is te omschrijven, te onderbouwen en over te dragen. Het heeft geen zin een experimenteel onderzoek te doen bij interventies die wat dit betreft nog niet voldoende gerijpt zijn (Jacobs, 1988). Inbedding. Onderzoek naar het effect van interventies dient procedureel ingebed te zijn in de uitvoering van de interventie, dient er niet nog eens bij te komen. Dat betekent dat het gebruik van onderzoeksinstrumenten deel uit hoort te maken van het hulpverlenend handelen (Roosma, 2000) en dat deze instrumenten ook de taal van de interventie spreken, dat wil zeggen operationaliseringen zijn van concepten die op de werkvloer worden gehanteerd. Daarmee krijgen ze zeggingskracht. Benutting. Onderzoek naar het effect van interventies dient niet in de bureaulade te blijven liggen, maar de verzamelde gegevens moeten benut worden. Deze benutting begint in het primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de voortgang. Van daaruit kunnen gegevens naar hogere niveaus geaggregeerd worden, bijvoorbeeld om zicht te krijgen op de effectiviteit van een interventie, van een team, een unit, een instelling, provinciale en landelijke koepels of sectoren. Onderzoek wordt dan opgenomen in een cyclus gericht op praktijkverbetering. Hiermee wordt een verbinding tussen onderzoek en kwaliteitszorg gelegd (Veerman, 1998; Van Yperen, 2004). Deze drie kenmerken kunnen gezien worden als de werkzame principes van praktijkgestuurd effectonderzoek. Effectonderzoek dat aansluit bij de staat van ontwikkeling van de interventie, ingebed is in de uitvoering ervan en benut wordt voor verdere verbetering is een levendige activiteit, die kennis oplevert waar men wat aan heeft en waar men ook plezier aan kan beleven. 1.4 Contouren van een praktijkgestuurd onderzoeksprogramma Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek, maar kan verschillende vormen aannemen. Elke vorm kan bijdragen aan de ontwikkeling van kennis over de effectiviteit van de jeugdzorg. Wel is het zo dat de bewijskracht van sommige vormen van onderzoek meer zekerheid biedt. Soms zijn deze echter in een bepaalde praktijksituatie (nog) niet uitvoerbaar of nog niet zinvol en moeten we ons tevreden stellen met vormen van onderzoek die minder zekerheid bieden. Praktijkgestuurd effectonderzoek kent zo verschillende niveaus van zekerheid, die elk ook een bepaalde definitie van effect impliceren. In figuur 1.1 schetsen we een model waarin een viertal niveaus van effectonderzoek onderscheiden worden. Het startpunt, in feite niveau 0 (niet in de figuur weergegeven), is het gegeven dat we nog maar weinig weten van effecten van de honderden interventies die in de praktijk van alledag worden uitgevoerd. Het perspectief is dat we hier via onderzoek gaandeweg meer over te weten kunnen komen. Het model geeft aan hoe die weg eruit kan zien: van potentieel, via veelbelovend en effectief naar werkzaam. Op elk hoger niveau kan met meer graden van zekerheid het effectbewijs geleverd worden. De figuur toont als het ware een effectladder waarmee vanuit de een toestand van geen kennis over effecten naar een toestand van ware kennis over effecten geklommen kan worden. Op die manier kan de zorgpraktijk zich via het leveren van practice-based evidence gaandeweg 12

15 ontwikkelen tot een evidence-based practice. We spreken dan ook van een ontwikkelingsmodel, het zet aan tot praktijkontwikkeling (Van Yperen, 2004). Van belang is te beseffen dat we het op alle niveaus hebben over het effect van een interventie. Voor interventie kan ook methodiek, zorgaanbod, module of behandelvorm gelezen worden. Het gaat hierbij om een verzameling gecoördineerde en geplande activiteiten gericht op het bereiken van bepaalde doelen. De interventie kan beperkt zijn, bijvoorbeeld een sociale vaardigheidstraining voor angstige kinderen, of ruim, zoals een behandelingsklimaat in een residentiële leefgroep ingericht volgens het competentiemodel. Het model gaat niet over de effecten van afdelingen of instellingen. Inzicht hierin kan verkregen worden door de effecten van interventies binnen afdelingen of instellingen te aggregeren We willen tevens benadrukken dat we het ideale, experimentele model van effectonderzoek niet uitsluiten, we zetten dat zelfs op het hoogste niveau. Maar we bedden dat type onderzoek in in een verzameling van mogelijkheden, die elk een bijdrage leveren aan het beantwoorden van uiteenlopende effectvragen. Zekerheid over de vraag of de effecten ook daadwerkelijk zijn toe te rekenen aan de betreffende interventie neemt in het model toe naarmate men hoger op de ladder komt. Figuur 1.1 maakt zichtbaar wat voor onderzoek men kan opzetten om wat voor zekerheden te krijgen. Na de figuur worden de verschillende niveaus en de soorten onderzoek verder toegelicht. Soort effect Omschrijving Soorten onderzoek 4. Werkzaam Als 1 t/m 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten 3. Doeltreffend Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn 2. Veelbelovend Als 1, maar nu is er tevens een acceptabele interventietheorie die duidelijk maakt hoe de problemen van de doelgroep zijn ontstaan waarom de interventie de beoogde uitkomsten zal bereiken 1. Potentieel De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven Experimenteel onderzoek Herhaalde case studies (N1 designs) Quasi-experimenteel onderzoek Veranderingstheoretisch onderzoek Normgerelateerd onderzoek Veranderingsonderzoek Doelrealisatie-onderzoek Cliënttevredenheidsonderzoek Meta-analyse Literatuurstudie Kennisontlokkend onderzoek Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews Figuur 1.1 Niveaus van onderzoek in praktijkgestuurd effectonderzoek voor zicht op effectiviteit Niveau 1: Specificeren onderdelen interventie Op dit niveau gaat de nieuwsgierigheid van praktijkfunctionarissen uit naar de aard van hun interventie(s). Deze worden op dit niveau nader omschreven en gespecificeerd. De aandacht gaat dient hier vooral uit te gaan naar: a. het doel van de interventie: welke uitkomsten streeft men na? b. de doelgroep van de interventie: is de interventie een panacee voor alle problemen of wordt hij geacht te werken voor kinderen en gezinnen met bepaalde te omschrijven problemen? c. de aanpak: wat zijn de technieken die bij de interventie worden toegepast, wat is de vereiste frequentie, intensiteit, duur, fasering en welke overige uitvoeringseisen ten aanzien van evaluatie, opleiding, supervisie zijn van toepassing? 13

16 d. de randvoorwaarden: wat is er aan materiële, financiële en organisatorische ondersteuning nodig om de interventie in een instelling goed te kunnen uitvoeren? Door de zorgprogrammering is het beschrijven van interventies (modules) inmiddels in gang gezet, de afgelopen jaren zijn in tal van interventies beschreven. We noemden hiervoor een aantal van 1500! Niet voor elke zorginstelling zal dit een levende en levendige gebeurtenis zijn geweest. Toch zien we dit als een eerste stap op weg naar kennis over effectieve interventies. In meer bedrijfskundige termen gaat het om de specificatie van het product. Als helder is waar dit product precies uit bestaat, kan beoordeeld worden (eventueel door deskundige buitenstaanders) of dit uit de goede dingen bestaat. Goed dient dan bezien te worden in het licht van de wetenschappelijke en klinische kennis die we hebben. Hoe meer de inhoud van een interventie de nieuwste inzichten in het vakgebied weerspiegelt, en hoe duidelijker de interventie in een stappenplan of handleiding uiteengelegd kan worden, hoe meer potentie hij in zich heeft om effectief te zijn. Deze potentie is op te vatten als een eerste, minimale indicatie voor de effectiviteit van de interventie. In hoofdstuk 2 wordt hier verder op ingegaan. Het soort onderzoek dat hierbij van dienst kan zijn is descriptief van aard, het kan bestaan uit het bestuderen en analyseren van documenten, het observeren van de uitvoering van interventies of het interviewen van praktijkfunctionarissen. Terzijde Sommige lezers zullen zich misschien afvragen wat dit nu voor nut heeft. Is dit niet een erg bureaucratische aangelegenheid, goed voor het vullen van de bureaulade maar niet voor het aanleveren van kennis waar werkers in de jeugdzorg iets mee kunnen? Laten we dit eerst eens vanuit een macroperspectief bekijken. Stel dat er een externe, van overheidswege benoemde beoordelingscommissie aan de overheid als financier van de zorg advies moet uitbrengen over welke interventies voor financiering in aanmerking komen. Een eerste schifting van al die honderden interventies zou kunnen zijn dat er minstens iets begrijpelijks op papier moet staan dat duidelijk maakt hoe die interventie eruit ziet, voor wie hij is bedoeld en wat de beoogde uitkomsten zijn. En liefst ook nog iets over hoe een en ander georganiseerd moet worden en wat dat kost. Die interventies hebben dan effectiviteitpotentie (Van der Laan, 2000). Maar zou dat ook vanuit een microperspectief, dat van de behandelaar, niet gelden? Zou de overtuiging dat men met iets goeds bezig is niet kunnen groeien naarmate het goede meer en beter beschreven is en daarmee ook overdraagbaar wordt? Een voorwaarde hiervoor is wel dat behandelaars bij die beschrijvingen betrokken worden. Dat is de kern van praktijkgestuurd onderzoek. Sommigen zullen zeggen dat dit nog niet genoeg is om voor financiering in aanmerking te komen. Daarvoor dient er meer bewijs voor effectiviteit, te komen. Dat kan, en daarvoor gaan we naar niveau twee. Niveau 2: Theoretisch onderbouwen werking interventie Een volgende stap is dat behandelaars van elke behandelvorm die ze bieden aannemelijk maken dat deze werkt: hoe wordt door het inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep bereikt? Welke rol spelen de algemeen werkzame ingrediënten om de doelen te bereiken en welke specifiek werkzame ingrediënten voegt de interventie hieraan toe? Hiermee wordt een interventietheorie ( program theory ) geëxpliciteerd die intern een rationale en extern een legitimatie voor het uitvoeren van een interventie geeft (Rossi, Lipsey & Freeman, 2004). We doelen hier niet zozeer op een louter wetenschappelijke theorie, maar op een theorie die zowel praktijkervaringen als wetenschappelijke bevindingen integreert. Het formuleren van zo n theorie is een verdere stap 14

17 in de bewijsvoering voor effectiviteit. Als daarbij nog gerefereerd kan worden aan algemeen aanvaarde wetenschappelijk theorieën komt de theorie nog weer sterker te staan. Het formuleren van een goede interventietheorie maakt een interventie veelbelovend. Degenen die menen dat dit wellicht te abstract gaat worden willen we herinneren aan het bekende gezegde van Kurt Lewin, één van de voorvaderen van de moderne psychologie, dat niets zo praktisch is als een goede theorie (Lewin, onder andere aangehaald in De Groot, 1961). Van Yperen (2003) schetst uit welke ingrediënten een dergelijke praktische theorie kan bestaan. In hoofdstuk 2 van dit Handboek wordt hier verder aandacht aan besteed. Met deze theorie kunnen behandelaars de mogelijke effectiviteit van hun product nog weer verder aannemelijk maken. Onderzoek dat hierbij kan helpen bestaat enerzijds uit via literatuurstudie en meta-analyses ontsluiten van databestanden over effectieve interventies en daarin werkzame factoren, anderzijds kan het gericht zijn op het ontlokken en expliciteren van impliciete ervaringskennis van behandelaars. Terzijde De zojuist genoemde beoordelingscommissie zou kunnen oordelen dat dit al heel mooi is en met het predikaat veelbelovend kunnen aangeven dat deze interventies zeker het financieren waard zijn. Een dergelijke classificatie zou voor de jeugdzorg al een stap vooruit zijn. Deze stap zal echter voor de meeste interventies nog een brug te ver blijken. Bij een analyse die wij verrichtten naar de kwaliteit van de formulering van een aantal Gelderse jeugdzorgmodules en modules voor intensieve ambulante gezinsbehandeling viel juist het gebrek aan theoretische onderbouwing op (Delicat, Pijnenburg & Veerman, 2003; Veerman e.a., 2005). Behandelaars op de werkvloer kunnen steun ondervinden van een theoretisch raamwerk. Het zet de neuzen dezelfde kan op, creëert een gemeenschappelijke taal voor diagnostiek en interventie en legt ook uit waarom de interventie voor de ene groep geschikt is en voor de andere niet. Sceptici zullen zeggen dat het totnogtoe allemaal papierwerk is. De vraag waar het om gaat is of het in de praktijk ook zo werkt, in de woorden van Simon Schagen: Is de interventie zoals bedreven gelijk aan de interventie zoals beschreven? (Schagen, 1981). Daarvoor hebben we het derde niveau. Niveau 3: Het aantonen van gewenste veranderingen bij een interventie Een goede omschrijving (niveau 1) en onderbouwing (niveau 2) laten het wat en waarom van een interventie zien. Als vastgesteld kan worden dat de geformuleerde doelen of gewenste veranderingen bereikt zijn, en men bovendien heeft kunnen vaststellen dat de bedoelde interventies ook volgens plan verstrekt zijn aan de beoogde doelgroep, dan is de bewijsvoering van een effectieve interventie weer een stapje verder gebracht. Om dit allemaal te kunnen vaststellen moet er gemeten worden. Dit vormt de kern van de activiteiten op het derde niveau. Hier gaat de nieuwsgierigheid uit naar empirische gegevens over de elementen van de interventie: Wordt deze uitgevoerd zoals bedoeld? Worden de gewenste uitkomsten ook behaald en wordt de beoogde doelgroep bereikt? In feite komt dit neer op het inrichten van de praktijk als een meetlaboratorium (Veerman, 2004), of het op gang brengen van praktijkontwikkelend effectonderzoek (Van Yperen, 2004). Hiertoe dient men te bedenken welke kenmerken van de doelgroep, de interventies en de uitkomsten gemeten moeten worden en met welke instrumenten (tests, vragenlijsten, observatieschalen, registratieformulieren, etc.). Hier biedt de interventietheorie steun, want als het goed is zijn bij de formulering hiervan klinisch en theoretisch relevante concepten gebruikt (bijvoorbeeld: teruggetrokken gedrag, dwanggedachten, vijandige attributies, opvoedingsonmacht). Door te gaan meten worden deze concepten en daarmee de interventietheorie geoperationaliseerd en worden 15

18 gegevens verzameld die de houdbaarheid van de theorie mogelijk ondersteunen en zodoende het effectbewijs versterken. Het optimum van dit niveau wordt bereikt als het afnemen van de bedoelde meetinstrumenten volledig ingebed is in het hulpverlenend handelen. Dit kan de vorm aannemen van (1) het verrichten van voor- en nametingen om veranderingen op het spoor te komen, (2) het evalueren van de mate van waarin gestelde doelen worden bereikt en (3) het vaststellen van tevredenheid van cliënten over de geboden hulp. Hiermee wordt veranderingsonderzoek, doelrealisatie-onderzoek of cliënttevredenheidsonderzoek uitgevoerd. Terzijde Onze beoordelingscommissie heeft op dit niveau cijfers in handen, en heeft daarmee ook sterkere argumenten om haar advies te onderbouwen: wie heeft laten zien dat bij de beoogde resultaten behaalt kan financiering krijgen. Ook de werkvloer heeft op dit niveau iets in handen. Cijfers geven feedback op het werk, laten zien wat tot resultaat leidt en wat niet. In termen van kwaliteitszorg laten cijfers zien dat het goede goed gedaan wordt en waar, indien nodig, verbeteracties ingesteld moeten worden. Tegelijkertijd bestaat nog steeds de mogelijkheid dat niet de interventie tot de gunstige uitkomsten heeft geleid en dat de problemen ook zonder interventie wel waren verbeterd. Sceptici zullen hier ongetwijfeld op wijzen en vragen om onderzoek op niveau vier. Niveau 4: Het aantonen van de causaliteit van een interventie Heeft men de interventie gespecificeerd en onderbouwd, en is men bezig de uitvoering hiervan te monitoren via herhaalde metingen, dan kan - als dit meten voldoende onderdeel van de hulpverlening is geworden de tijd rijp zijn voor de vierde en laatste stap: het aantonen van de causaliteit van een interventie. Vastgestelde gewenste veranderingen laten nog geen definitieve conclusies over de causaliteit van een interventie toe. Causaliteit impliceert een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Idealiter wordt bewezen dat de onderzochte interventie beter is dan geen interventie of een andere interventie. Dit veronderstelt een vergelijking met een controlegroep die de interventie niet gekregen heeft, maar wel een ander aanbod heeft gehad, of soms in het geheel geen hulp heeft ontvangen. Is die controlegroep niet beschikbaar dan zouden positieve resultaten ook aan andere oorzaken kunnen worden toegeschreven zoals: het ontgroeien van de problematiek, een nieuwe partner van moeder, een verhuizing van het gezin, of een andere school voor het kind. Vanwege praktische en ethische problemen is een controlegroep in praktijkonderzoek echter vaak lastig te verkrijgen. Toch doen zich hier door een natuurlijk beloop van gebeurtenissen vaak mogelijkheden voor die benut kunnen worden. Te denken valt bijvoorbeeld aan het benutten van wachtlijsten voor het formeren van een wachtlijstcontrolegroep (dit wordt quasi-experimenteel onderzoek genoemd). Ook het vooraf specificeren van een interventietheorie of van normen en via het verzamelen van gegevens nagaan of de theorie klopt dan wel de normen bereikt worden kunnen indicaties voor causaliteit opleveren (we noemen dat in de figuur 1.1 veranderingstheoretisch resp. normgerelateerd onderzoek). Die indicaties zijn minder hard dan die uit experimenteel onderzoek, vandaar dat in de figuur een glijdende overgang tussen niveau drie en vier is gemaakt. In hoofdstuk 3 wordt hier verder op ingegaan. Terzijde Eenmaal hier aangekomen kan iedereen tevreden zijn. De commissie kan duidelijke adviezen geven, de zorgaanbieders kunnen trots zijn op hun werk en hebben voldoende stof tot 16

19 overdenken en het formuleren van verdere verbeteracties, beleidsvoerders kunnen evidencebased inkopen. Wellicht wordt nu zelfs de scepticus stil. 1.5 Conclusie en discussie In het voorgaande gaven we een opklimmende reeks van mogelijke bewijzen voor de effectiviteit van een bepaald interventie. Op een minimumniveau zien we de specificatie van relevante componenten van een interventie als een eerste vorm van bewijs. Het gaat hierbij om de specificatie van de inhoud (doelgroep, interventies en effecten) en context (de organisatorische, personele en materiële randvoorwaarden, bejegeningsaspecten etc.). Dit vormt nog geen sterk bewijs, maar het is wel een eerste stap. Het geeft een aanwijzing dat de interventie in kwestie potentie heeft. Een tweede niveau wordt bereikt als men een interventie met behulp van wetenschappelijke en/of klinische inzichten theoretisch weet te onderbouwen. Men formuleert dan een interventietheorie die aannemelijk maakt dat de bij het aanbod bedoelde interventies bij de beoogde doelgroep tot de gewenste uitkomsten leiden. Naarmate die onderbouwing overtuigender is, bijvoorbeeld ook nog ondersteund kan worden met elders uitgevoerd effectonderzoek, komt het effectbewijs sterker te staan. Een interventie die dit niveau bereikt kan veelbelovend worden genoemd. Vanaf het derde niveau wordt er empirische bewijskracht aangevoerd voor de effectiviteit van een interventie. Op het derde niveau zelf bestaan deze bewijzen uit het aantonen dat gewenste veranderingen zijn bereikt, dat van tevoren gestelde doelen zijn gerealiseerd of dat cliënten achteraf een positief oordeel uitspreken over de ontvangen hulp. Een interventie waarbij dit vast te stellen is kan doeltreffend worden genoemd. Op het vierde en hoogste niveau worden de empirisch vastgestelde uitkomsten causaal gerelateerd aan de interventie. Aangetoond wordt dat deze interventie en niets anders tot de gewenste uitkomsten geleid heeft. De interventie werkt zoals voorspeld, en kan derhalve werkzaam genoemd worden. Het belang van het maken van deze onderscheidingen is het besef dat effectiviteit geen alles of niets begrip is, maar dat er graden van effectiviteit te onderscheiden zijn die de evidentie steeds overtuigender maken. Eerder gaven we aan dat vanuit een streng wetenschappelijk gezichtspunt geredeneerd in wetenschappelijke kringen alleen het bereiken van het vierde stadium als het echte effectbewijs wordt geaccepteerd. We vinden dit te beperkend. We maakten al eerder in dit hoofdstuk duidelijk dat veel interventies daar de komende jaren niet aan toe komen, laat staan of er ooit een mogelijkheid is hier aan toe te komen. Zonder meer stellen dat een interventie dan niet onderzoekbaar is en dus niets over de effectiviteit te zeggen is, doet de realiteit geweld aan en is ook niet stimulerend. Met praktijkgestuurd effectonderzoek trachten we het gat tussen niets weten en alles weten te dichten. Bij dat onderzoek is het van belang dat het onderzoek aansluit bij het niveau van de interventie die onderwerp van onderzoek is (we noemden dit het aansluitingsprincipe), dat onderzoek deel gaat uitmaken van de zorgpraktijk (het inbeddingssprincipe), en dat men met de resultaten van onderzoek wat gaat doen (het benuttingsprincipe). Effectonderzoek dat aan deze principes voldoet typeerden we als praktijkgestuurd effectonderzoek. Het is niet verkeerd om te streven naar onderzoek op het hoogste niveau, zolang dit maar binnen het praktijkgestuurde kader blijft. Hiermee wordt onderzoek op de lagere niveaus niet als onwetenschappelijk gediskwalificeerd, maar gezien als legitieme manier om passend bij de mogelijkheden van de zorgpraktijk wetenschappelijke kennis over effecten te vergaren. Dit is 17

20 in een notendop de boodschap in dit hoofdstuk (en dit Handboek) en tevens een antwoord op de vraag in de titel van dit hoofdstuk. De effectladder geeft in feite een beweging van practice-based evidence naar evidence-based practice aan, en omgekeerd. In figuur 1.2 is de effectladder geplaatst binnen de genoemde twee bewegingen en symboliseert deze ladder het verkeer tussen deze twee werelden: van de praktijk naar de wetenschap (en omgekeerd). Practice- Based Evidence Werkzaam Doeltreffend Veelbelovend Potentieel Evidence- Based Practice Figuur 1.2 De effectladder in de kwaliteitsontwikkeling van de praktijk De effectladder en de plaatsing binnen de beweging van practice based evidence naar evidence based practice verheldert ook de communicatie, er ontstaat ten aanzien van effecten een eenheid van taal. Praktijkfunctionarissen kunnen met onderzoekers afspreken op welk niveau van de effectladder men onderzoek wil doen. Ten dele is dit een kwestie van eigen keuze, ten dele ook van keuzes die door landelijke en provinciale overheden gemaakt worden. Beleidsfunctionarissen van deze overheden kunnen met de effectladder in de hand aangeven welk niveau van effect ze beogen: bedoelt men met de wens om alleen interventies met bewezen effectiviteit te willen financieren ook echt het niveau werkzaam? Of is doeltreffend of wellicht veelbelovend voorlopig voldoende? Wij menen dat op termijn het niveau doeltreffend voor de meeste interventies in de praktijk van de zorg gevraagd mag worden. Dit is ook het niveau waarop momenteel veel ontwikkelingen zichtbaar zijn, o.a. op het gebied van het meten van doelrealisatie, het meten van cliënttevredenheid en het inzetten van meetinstrumenten in veranderingsonderzoek. Wel is het zo dat hiervoor nog het nodige werk op de onderliggende niveaus plaats dient te vinden. In dit Handboek zal daarom het vooral het onderzoek op niveau drie centraal, met af en toe een uitstapje naar de lagere niveaus of naar het hogere niveau. Waar men ook op de effectladder is, zonder dat men het merkt is men bezig de kwaliteit van de praktijk te verbeteren met behulp van uiteenlopende typen van wetenschappelijk onderzoek. Door het werk op te schrijven, te onderbouwen, op te meten, te vergelijken met ander werk komt men vanzelf in een kwaliteitscyclus die helpt werk te verbeteren en te verantwoorden. Hiermee wordt aangesloten bij kwaliteitszorg in de jeugdzorg, de hierbij vaak gehanteerde plan-do-check-act cyclus vertoont grote overeenkomst met de wetenschappelijke cyclus, beide streven hetzelfde na: het verder ontwikkelen van de praktijk. Hoofdstuk 4 van het bronnenboek gaat hierop in. Tenslotte: het is niet onaannemelijk dat alleen al het doen van onderzoek naar de effectiviteit van de zorg diezelfde zorg ten goede komt. De Amerikaanse psychiater Rashkis wees hier 45 18