Knelpunten en kansen bij de implementatie van een randomized controlled trial Jessica Asscher, Maja Deković, Peter van der Laan, Pier Prins en Sander van Arum In dit artikel wordt de achtergrond beschreven van het Nederlandse evaluatieonderzoek van Multisysteem Therapie (MST), een veelbelovende interventie voor jeugdige delinquenten. Ook behandelen wij de problemen die we tegengekomen zijn bij de implementatie van deze randomized controlled trial (RCT) in de Nederlandse juridische context, gevolgd door suggesties voor mogelijke oplossingen voor deze problemen. Problemen waren onder andere het complexe verwijzingssysteem voor dit type interventie, juridische problemen en ethische bezwaren die geopperd worden door clinici. Onze ervaringen kunnen wellicht van nut zijn voor anderen die van plan zijn een gerandomiseerde effectiviteitstudie binnen de (justitiële) jeugdzorg uit te voeren. Uit een recent literatuuroverzicht van experimentele onderzoeken in de criminologie blijkt, dat er buiten de Verenigde Staten relatief weinig gerandomiseerde experimenten in dit veld worden uitgevoerd (Farrington & Welsh, 2005). Dit geldt zeker ook voor Nederland. Hoewel de Nederlandse criminologie een rijke onderzoekstraditie heeft, kunnen slechts weinig evaluatieonderzoeken van interventies, gericht op het verminderen van delinquentie, als randomized controlled trials gekwalificeerd worden (Deković e.a., 2001; Van der Laan, 2001). De oorzaak hiervan is niet, dat Nederlandse onderzoekers weinig waarde toekennen aan het belang en de voordelen van dit soort experimenten (Bijleveld, 2003). Waarschijnlijk anticiperen onderzoekers vooral op de vele problemen, die zij kunnen tegenkomen bij de implementatie van zo n design en besluiten zij daarom dat het de moeite niet waard is. Bij onderzoek in de Verenigde Staten, waarbij evaluatieonderzoekers van strafrechttoepassingen werd gevraagd toe te lichten waarom ze niet kozen voor een RCT, werd vooral deze verklaring naar voren gebracht (Lum & Yang, 2005). De afgelopen twee jaar is het klimaat voor RCT in Nederland positiever geworden. De noodzaak om evidence based te gaan werken wordt benadrukt door de overheid (Ministeries van Justitie en VWS) en door justitiële jeugdzorg (Ministerie van Justitie, 2003). In 2005 is een best practices initiatief gestart, gericht op het identificeren van de meest belovende interventies. De verwachting is, dat deze ontwikkelingen de bereidheid van programma-aanbieders zal vergroten, aan dit soort evaluatieonderzoek mee te werken. In dit artikel zal het implementatieproces beschreven worden van een RCT van Multisysteemtherapie (MST), een interventie gericht op de preventie van recidive en het verminderen van antisociaal gedrag van jeugdige delinquenten. De problemen die wij zijn tegengekomen bij de implementatie van dit onderzoeksdesign en Tijdschrift voor Criminologie 2007 (49) 1 57 TVC_1_2007_9.indd Sec6:57 30-1-2007 15:15:19
Jessica Asscher, Maja Deković, Peter van der Laan, Pier Prins en Sander van Arum mogelijke oplossingen zullen worden besproken. We denken dat die problemen relevant zijn voor veel onderzoekers en beleidsmakers, die van plan zijn in de justitiële jeugdzorg een gerandomiseerde trial op te zetten. Achtergrond van het MST-evaluatieonderzoek in Nederland Veel interventies die zijn ontwikkeld voor adolescenten met ernstig en herhaaldelijk antisociaal gedrag, hebben slechts beperkt succes (Kazdin, 1997). Er zijn ook veelbelovende interventies. Een voorbeeld is MST, oorspronkelijk ontwikkeld in de Verenigde Staten door Henggeler en collega s (bijvoorbeeld Henggeler, e.a., 1992; Henggeler, e.a. 1996; Henggeler e.a., 1997). MST is een intensieve, ambulante behandeling voor jongeren die ernstig en gewelddadig antisociaal gedrag vertonen, gebaseerd op Bronfenbrenner s sociaal-ecologische gedragstheorie (Bronfenbrenner, 1979). Volgens deze theorie is de ontwikkeling van jongeren, en daarmee ook de ontwikkeling en instandhouding van gedragsproblemen, het gevolg van de interacties van de jongere in de verschillende systemen waarin hij zich bevindt, zoals gezin, school, leeftijdgenoten, buurt. Al deze systemen zijn met elkaar verbonden en beïnvloeden elkaar. In overeenstemming met deze theorie en met theorieën over het ontstaan van antisociaal gedrag richt MST zich op problemen van de jongeren en hun gezin binnen en tussen de verschillende systemen, waarin gezinsproblemen voorkomen. De behandeling vindt plaats in de natuurlijke omgeving van de jongere (thuis, op school of in de buurt) om de ecologische validiteit te optimaliseren (Borduin, 1999). De behandeling is intensief (tenminste één keer per week) en duurt vijf maanden. In overleg met de gezinsleden stelt de therapeut een aantal duidelijk gedefinieerde behandelingsdoelen op, geeft de taken op die nodig zijn om deze doelen te bereiken en houdt tenminste één keer per week de voortgang door middel van de reguliere gezinssessies in de gaten. Een verschil met de andere interventies ter voorkoming van antisociaal gedrag bij jongeren is dan ook, dat MST zich richt op de verschillende contexten waarin probleemgedrag kan ontstaan, dat het zich bij het gezin thuis afspeelt en dat er binnen MST veel aandacht is voor de integriteit van de behandeling. Functional family therapy (FFT) richt zich bijvoorbeeld op het gezin in plaats van op alle systemen (Austin e.a., 2005). Een bijzonderheid van MST is dat consistent wordt bijgehouden of de therapeuten en hun supervisoren de negen MST-basisprincipes goed toepassen. Voor een volledig overzicht van MST en de behandelprincipes verwijzen we naar Henggeler (1999). Een belangrijk kenmerk van MST is de relatief sterke empirische basis en het feit dat MST alle kenmerken bevat, waarvan aangenomen wordt dat ze effectiviteit vergroten: gericht op meerdere risicofactoren, intensief, in de natuurlijke leefomgeving en met zorgvuldige registratie van de behandeluitvoering (McGuire & Priestly, 1996). Eerder onderzoek naar de effectiviteit van MST liet veelbelovende resultaten zien. Een recente meta-analyse (Curtis e.a., 2004) van elf onderzoeken en 708 deelnemers liet een effectgrootte van d=.50 zien op indicatoren van criminele activiteit. Ondanks deze positieve resultaten is voorzichtigheid geboden. MST is ontwikkeld en onderzocht in de Verenigde Staten. Hoewel er geen redenen zijn om aan te 58 Tijdschrift voor Criminologie 2007 (49) 1 TVC_1_2007_9.indd Sec6:58 30-1-2007 15:15:19
nemen dat theorieën, waarop MST gebaseerd is, antisociaal gedrag in Nederland niet adequaat verklaren (Deković e.a., 2004), is het de vraag of dezelfde resultaten in Nederland behaald zouden kunnen worden. Er zijn namelijk verschillen tussen de landen in politiek klimaat, organisatie van geestelijke gezondheidsinstellingen, beschikbaarheid van alternatieve interventies, soorten cliënten, enzovoort. Daarnaast is, op enkele uitzonderingen na (Ogden & Halliday-Boykins, 2004; Timmons-Mitchell e.a., 2006), de empirische ondersteuning voor MST geleverd door onderzoek van dezelfde groep onderzoekers die MST ontwikkeld en geïmplementeerd heeft. In onafhankelijk onderzoek naar MST vonden Leschied en Cunningham (2002) geen verschillen tussen MST en de controlegroep na afloop van de interventie. Ook in een recent verschenen literatuuroverzicht van de onafhankelijke onderzoekers Littell e.a. (2005) wordt de effectiviteit van MST betwijfeld. Zij wijzen erop dat onvolledige rapporten zijn gepubliceerd, die soms onduidelijke randomisatieprocedures en inadequate analyses bevatten. Daarnaast bepleiten zij de noodzaak van verder onafhankelijk onderzoek. Kort nadat de Waag, een polikliniek voor forensische psychiatrie in Nederland met o.a. locaties in zeven grote steden, in Utrecht en Amsterdam gestart is met MST, is ook een MST-evaluatieonderzoek van start gegaan. Het eerste doel van deze studie is te onderzoeken of MST tot betere resultaten leidt dan de gebruikelijke behandelingen voor deze jongeren. Het tweede doel is te begrijpen via welke processen MST werkt, door de veronderstelde mediatoren van de interventie te toetsen aan de uitkomsten. MST gaat ervan uit dat gedragsveranderingen tot stand worden gebracht door veranderingen in ouderlijke competentie, in de ouder-adolescentrelatie en door verminderde omgang van de adolescent met deviante leeftijdgenoten. Met behulp van het toetsen van deze mediatoren wordt gekeken of deze veranderingen inderdaad optreden. Het derde doel is het bepalen van de condities die de effectiviteit van MST zouden kunnen beïnvloeden, zoals kenmerken van cliënten of van de interventie (moderatoren). Om een systematische evaluatie van een interventie uit te voeren, is de geprefereerde methode het gebruik van een experimenteel design, waarin de deelnemers at random worden toegewezen aan de interventie- of controlegroep, omdat daarmee een aantal bedreigingen van de validiteit gereduceerd wordt (Clingempeel & Henggeler, 2002; Farrington, 2003). Met dit onderzoeksdesign kunnen we met meer zekerheid concluderen, dat effecten het gevolg van MST zijn en niet veroorzaakt worden door andere factoren, zoals testeffecten of de aanwezigheid van verschillende soorten cliënten in de interventie- en controlegroep (Cook, 2003). Vanwege deze voordelen was de keuze voor een experimenteel design snel genomen. Wat veel moeilijker bleek dan gedacht, was de uitvoering. Die was vele malen gecompliceerder dan wij van tevoren bedacht hadden. Hierna bespreken wij een aantal moeilijkheden die wij hebben ondervonden, in de hoop dat op deze manier andere onderzoekers zich beter kunnen voorbereiden op de weerbarstige realiteit. Het eerste probleem dat we behandelen, is de complexiteit van het Nederlandse jeugdrechtssysteem, waardoor het lastig is te bepalen in welke fase en door wie jongeren naar MST worden verwezen. Daardoor is het moeilijk om een optimaal randomisatiemoment te bepalen. Daarna bespre- Tijdschrift voor Criminologie 2007 (49) 1 59 TVC_1_2007_9.indd Sec6:59 30-1-2007 15:15:19
Jessica Asscher, Maja Deković, Peter van der Laan, Pier Prins en Sander van Arum ken we juridische dilemma s, verzet tegen random toewijzing door het veld en het definiëren van de gebruikelijke behandeling. Mogelijkheden voor randomisatie binnen het Nederlandse jeugdrechtssysteem Er zijn twee hoofdroutes in het juridische systeem om jeugdigen naar MST te verwijzen: strafrechtelijk of civielrechtelijk (Van der Laan, 2001). In het strafrecht gaat het traject als volgt: als een jongere is aangehouden en in hechtenis genomen, komt een raadsonderzoeker van de Raad voor de Kinderbescherming een bezoek brengen om te kijken wat voor de betreffende jongere het beste zou zijn. Deze raadsonderzoeker schrijft een advies voor de officier van justitie en neemt contact op met de instantie die MST aanbiedt. Als men het eens is dat MST de beste mogelijkheid is voor de jongere, wordt op zitting een verzoek tot schorsing gedaan. De rechter-commissaris, verdachte (zijn/haar advocaat) en officier van justitie worden gehoord en schorsing van hechtenis met MST en jeugdreclassering als bijzondere voorwaarde worden geëist, uit te voeren door de MST-biedende instantie en Bureau Jeugdzorg. Dan vindt raadkameroverleg plaats en als de drie kinderrechters het erover eens zijn, wordt de uitspraak schorsing van voorlopige hechtenis met als bijzondere voorwaarde MST en jeugdreclassering. De civielrechtelijke procedure verloopt als volgt. Als een jongere risicogedrag vertoont, onderzoekt de Raad voor de Kinderbescherming de jongere en kan deze ondertoezichtstelling adviseren. In dat geval wordt de zaak aan de rechter voorgelegd, die een ondertoezichtstelling zal uitspreken. Daarna wordt een gezinsvoogd aangesteld, die een plan van aanpak maakt. Ondertussen worden de jongere en de ouders bijgestaan door een jeugdbeschermer. Het plan van de gezinsvoogd zou MST kunnen zijn of een uithuisplaatsing in een be- of gesloten jeugdinrichting. Daarnaast kan de jeugdbeschermer ook rechtstreeks naar MST verwijzen. Er zijn dus veel instanties en personen betrokken bij de beslissing of een jongere voor MST aangemeld zal worden: de Raad voor de Kinderbescherming, Bureaus Jeugdzorg, het OM, de kinderrechters, de jongere en de ouders zelf. Hoewel de uiteindelijke verwijzing in het algemeen gecontroleerd en bevestigd wordt door hetzij Bureau Jeugdzorg, hetzij de Raad voor de Kinderbescherming, kunnen ook nog anderen betrokken zijn bij de besluitvorming over het al dan niet toewijzen van MST, zoals de ketenunits in Amsterdam: het formele samenwerkingsverband tussen de Raad voor de Kinderbescherming, OM, politie en Bureau Jeugdzorg in Amsterdam. Als gevolg van dit gecompliceerde Nederlandse verwijzingssysteem is het lastig een moment te kiezen waarop de randomisatie plaats zou moeten vinden. Er zijn verschillende mogelijkheden, elk met eigen voor- en nadelen. De eerste zou zijn om zo vroeg mogelijk te randomiseren, wanneer de verwijzers MST voor het eerst als optie overwegen. Als de randomisatie zo vroeg in het proces plaatsvindt, zullen de verwijzers die MST het eerste adviseren, zoals de onderzoeker van de Raad voor de Kinderbescherming en de gezinsvoogd, hun advies schrijven naar de uitkomst van de randomisatie. Dit heeft als voordeel, dat de clinici actief betrokken zijn bij het randomisatieproces en bij het vinden en formuleren van de gebruikelijke behandeling. De verdere procedures blijven dan zoals gewoonlijk en het advies kan bevestigd worden door de kinderrechter. Een ander 60 Tijdschrift voor Criminologie 2007 (49) 1 TVC_1_2007_9.indd Sec6:60 30-1-2007 15:15:19
voordeel van dit moment om te randomiseren is dat de kinderrechter in staat is om expliciet in het vonnis op te nemen onder welke voorwaarde in dit geval dus MST of gebruikelijke behandeling de voorlopige hechtenis wordt geschorst. Dit is bijvoorbeeld verplicht in bepaalde regio s, terwijl in andere regio s de behandeling niet gespecificeerd hoeft te zijn. Dit vroege moment van randomisatie heeft ook nadelen. Zo is er een aanzienlijk risico op drop out na de randomisatie, omdat er nog zoveel stappen in de verwijzingsprocedure genomen moeten worden. Bij elke stap kan alsnog blijken dat het gezin toch niet in aanmerking komt voor MST, terwijl de randomisatie al heeft plaatsgevonden. Hierdoor kan systematisch verschil tussen de interventie- en de controlegroep optreden. Medewerkers van zowel de betrokken Bureaus Jeugdzorg als van de Raden voor de Kinderbescherming (ongeveer 180 mensen per stad) zouden geïnformeerd en geïnstrueerd moeten worden over de procedures. Door de betrokkenheid van zoveel mensen is er een groot risico dat niet alle betrokken zich daaraan zullen houden, met als gevolg een grote kans op allerlei (systematische) fouten bij de uiteindelijke toewijzing (Metcalf & Thornton, 1992). Een voorbeeld daarvan is dat moeilijke gezinnen als uitzonderingsgevallen worden beschouwd en toch naar de interventieconditie worden verwezen, ondanks de uitkomst van de randomisatie. Door echter de moeilijkste gezinnen buiten het onderzoek te houden, ontstaat weer het risico dat alleen lagere risicogezinnen aan de MST-conditie worden toegewezen, waardoor de resultaten vertekend zullen zijn. Een ander probleem is dat het aantal verwijzingen kan afnemen zodra een evaluatieonderzoek wordt uitgevoerd, omdat verwijzers het als teveel gedoe ervaren. Een andere optie zou kunnen zijn om pas aan het einde van de juridische procedure te randomiseren, op het moment dat de jongere daadwerkelijk voor MST wordt aangemeld. In dit geval is het risico veel kleiner, dat de jongere toch niet geschikt blijkt voor MST. Ook kan de procedure vergemakkelijkt worden door de randomisatie op één centraal punt te laten plaatsvinden. Ook deze variant heeft echter problemen. Op het moment dat alle betrokken partijen na zorgvuldige overweging hebben besloten dat een jongere MST moet krijgen, gecombineerd met een uitspraak van de rechter, is het erg moeilijk en juridisch problematisch om de controlegroep nog de interventie te onthouden. Daarnaast moeten ook bij dit randomisatiemoment alle verwijzers geïnformeerd worden en bereid zijn tot medewerking, omdat zij betrokken zijn bij het bepalen van de gebruikelijke behandeling die de controlegroep aangeboden krijgt. In ons hier besproken onderzoek is de beslissing op welk moment de randomisatie plaats zou moeten vinden, mede gebaseerd op de preferenties van de verwijzers. Zo vindt de randomisatie bij de Raad voor de Kinderbescherming in zowel Utrecht als Amsterdam zo vroeg mogelijk plaats. Op het moment dat een raadsonderzoeker denkt dat een jongere in aanmerking komt voor MST vindt randomisatie plaats. De belangrijkste reden voor deze beslissing is dat de kinderrechters in Utrecht een specifiek advies met betrekking tot de behandeling die de jongere krijgt in het vonnis willen opnemen. Bij Bureau Jeugdzorg in Amsterdam bleek echter de voorkeur uit te gaan naar randomisatie bij de Waag zelf (aan het einde van het verwijzingsproces). De kinderrechter veroordeelt dan de jongere tot voor- Tijdschrift voor Criminologie 2007 (49) 1 61 TVC_1_2007_9.indd Sec6:61 30-1-2007 15:15:19
Jessica Asscher, Maja Deković, Peter van der Laan, Pier Prins en Sander van Arum waardelijke schorsing van hechtenis, met intensieve behandeling als bijzondere voorwaarde. Met deze formulering kan de jongere nog steeds naar zowel MST als gebruikelijke behandeling gestuurd worden, wat inderdaad mogelijk is in Amsterdam. In Utrecht willen de kinderrechters echter precies weten wat er gaat gebeuren met de jongere, waardoor intensieve behandeling onvoldoende specifiek is. Hoewel we dus beargumenteerd hebben, dat er minder risico op uitval is als de randomisatie zo laat mogelijk in het verwijzingsproces plaatsvindt, dwingen de juridische procedures in beide steden ons om zo vroeg mogelijk te randomiseren. Juridische dilemma s Er is een aantal juridische dilemma s, dat de implementatie van een gerandomiseerd experiment zou kunnen bedreigen. Het principe van de legaliteit, bijvoorbeeld, heeft betrekking op de vraag of een heel gezin tot MST veroordeeld kan worden voor een delict dat alleen door de jongere gepleegd is. Strikt genomen kunnen ouders in het Nederlandse rechtssysteem niet gestraft worden voor iets wat hun kinderen gedaan hebben. Om die reden kan MST alleen opgelegd worden aan jongeren van wie de ouders voldoende gemotiveerd zijn om hun kinderen te helpen. Dit dilemma zou kunnen leiden tot verschillende benaderingen van MST in verschillende regio s. In Amsterdam bijvoorbeeld beargumenteren kinderrechters met deze motivatie waarom MST nooit opgenomen kan worden in de vonnissen. In Utrecht echter nemen de kinderrechters MST op in hun vonnis als zij denken dat dat nodig is. Een gevolg hiervan is dat in Amsterdam randomisatie in theorie aan het eind van de juridische procedure zou kunnen plaatsvinden, terwijl in Utrecht randomisatie al voor de juridische procedure plaatsgevonden zou moeten hebben. Daarnaast is er het dilemma met betrekking tot het proportionaliteitsprincipe. De vraag of MST in sommige gevallen een te zware straf is in verhouding tot een relatief klein vergrijp zou tot discussie zou kunnen leiden in de rechtbank. Een ander probleem is gerelateerd aan het gelijkheidsbeginsel (Graebsch, 2000). Juridisch gezien moeten personen in gelijke gevallen gelijk berecht worden. Een randomisatieprocedure lijkt echter het tegenovergestelde effect te hebben. Als echter gekozen wordt voor een gebruikelijke behandeling die vergelijkbaar is met de te evalueren interventie of als er sprake is van een wachtlijst, kan randomisatie uitgevoerd worden zonder probleem met het gelijkheidsprincipe. Verzet tegen random toewijzing Ondanks de politieke druk vanuit diversie ministeries op programma s om effectiviteit van opgelegde straffen te evalueren, en ondanks het bewustzijn van onderzoekers dat experimentele designs de beste manier zijn om effectiviteit te onderzoeken (Farrington & Welsh, 2005), zijn deze niet populair onder professionals bij de verwijzende of uitvoerende instanties. Deze negatieve houding kan onder andere verklaard worden door de angst voor negatieve onderzoeksuitkomsten (Feder e.a., 2000). In ons geval was het juist de MST supervisor bij De Waag die het initiatief voor dit onderzoek nam door de onderzoekers te benaderen. De 62 Tijdschrift voor Criminologie 2007 (49) 1 TVC_1_2007_9.indd Sec6:62 30-1-2007 15:15:19
MST-therapeuten die direct bij het onderzoek betrokken zijn en van wie werk geëvalueerd wordt, hebben hun volledige medewerking toegezegd. Bij de verwijzende instanties kwam het verzet tegen randomisatie wel nadrukkelijk naar voren. Ten eerste hebben verwijzers vaak het idee dat een interventie beter is, hoewel de effectiviteit nog niet bewezen is. Ze hebben het gevoel dat hen gevraagd wordt hun professionele oordeel en verantwoordelijkheid opzij te zetten en ervaren het als onethisch om hun cliënten de in hun ogen superieure behandeling te onthouden op basis van toeval. Het argument dat het veel riskanter is om mensen te verwijzen naar een bepaalde interventie die nog niet rigoureus onderzocht is (Boruch e.a., 2000; Metcalf & Thornton, 1992), is vaak pas overtuigend na lange en intensieve discussies. Andere kwesties hebben bijvoorbeeld betrekking op de mogelijkheid om gezinnen die niet aan het onderzoek willen meewerken, de interventie te onthouden en op de vraag of en op welk moment de gezinnen informed consent zouden moeten geven. Deze ethische bezwaren zijn complex en een onzorgvuldige reactie op deze punten van de onderzoekers kan de normen van velen kwetsen. Aan de andere kant wordt de methodologische kwaliteit van het onderzoek aangetast, wanneer het onderzoeksdesign zou worden aangepast om aan alle conflicterende ethische standaarden tegemoet te komen (Metcalf & Thornton, 1992). Het definiëren van de gebruikelijke behandeling De keuze van de controleconditie is van groot belang om een draagvlak voor de uitvoering van het onderzoek te krijgen. Wanneer het contrast met de experimentele conditie als groot wordt ervaren, neemt het draagvlak af. Dat zou bijvoorbeeld kunnen gebeuren wanneer gekozen wordt om in de controleconditie niets te doen, dus geen therapie aan te bieden. Een bijkomend probleem van het alternatief niets doen is, dat dan ook niet de toegevoegde waarde ten opzichten van de gebruikelijke behandeling kan worden vastgesteld. Dat argument geldt ook bij een variatie op deze benadering, wanneer gebruik gemaakt wordt van wachtlijstcontrolegroepen. Iedereen wordt op een gegeven moment behandeld, alleen is de interventie at random uitgesteld voor sommige van de deelnemers om een tijdelijke controlegroep te vormen (Boruch e.a., 2000). Een bijkomend probleem van een wachtlijstcontroleconditie is dat het onwenselijk gevonden zou kunnen worden om de behandeling uit te stellen voor gezinnen die onmiddellijk een interventie nodig hebben. Een ander nadeel van deze aanpak is dat hij alleen geschikt is voor kortdurende interventies. Follow-up onderzoek op lange termijn is onmogelijk, omdat de controlegroep inmiddels ook interventie heeft gekregen, terwijl het met name voor interventies voor jeugdige delinquenten van belang is om recidive na een aantal jaren te meten. Een andere mogelijkheid is dat de controlegroep een aanbod krijgt uit de gebruikelijke, bestaande programma s/behandelingen. Dit design levert expliciete informatie op over de relatieve voordelen van een concurrerende interventie. Een ander voordeel is dat ook de controlegroep geen behandeling onthouden wordt. Daardoor maakt dit design meer kans om geaccepteerd te worden in klinische en juridische settings. In het huidige onderzoek hebben we besloten een controlegroep met een gebruikelijke behandeling te gebruiken. Tijdschrift voor Criminologie 2007 (49) 1 63 TVC_1_2007_9.indd Sec6:63 30-1-2007 15:15:19
Jessica Asscher, Maja Deković, Peter van der Laan, Pier Prins en Sander van Arum Overige bedreigingen van de voortgang van het onderzoek Tot nu toe zijn problemen met de opzet en implementatie van een RCT besproken. Ook in de uitvoering van het onderzoek zijn er verschillende risico s die de validiteit van de conclusies kunnen bedreigen. Allereerst kan het moeilijk zijn de medewerking voor het experiment te behouden van de betrokken verwijzers en instanties (Feder e.a., 2000). Door misverstanden en/of problemen met de uitvoering is het mogelijk dat betrokkenen die hun medewerking al toegezegd hebben, deze later alsnog intrekken. Andere risico s hebben te maken met de onderzoeksgroep. Het kan moeilijk zijn om voldoende deelnemers te werven voor een krachtig experiment. Het is invoelbaar dat de onderzoekspopulatie lastig tot medewerking te motiveren is. Als ze daartoe al bereid zijn, kan het lastig zijn om ze vast te houden. Ook wordt de grootte van de onderzoekspopulatie van tevoren veelal overschat (Feder e.a., 2000) en gebeurt het vaak dat het aantal verwijzingen afneemt zodra een evaluatieonderzoek van start gaat. Wat kunnen de onderzoekers doen? Wat kunnen onderzoekers doen om de medewerking van directie en medewerkers te verkrijgen en te behouden? Het belangrijkste is om tijd in communicatie te investeren: alle betrokken partijen informeren, aandacht besteden aan hun bezwaren en uitleg geven waarom een RCT het beste design is om uitspraken over effectiviteit te kunnen doen. Daarnaast is het ook van belang de clinici vanaf het begin bij het onderzoek te betrekken en mee te laten denken over de uitvoering van het onderzoek (Feder e.a., 2000). Een derde belangrijk punt is te zorgen dat de tijd die de clinici aan het onderzoek besteden zoveel mogelijk beperkt blijft en dat het experiment zo min mogelijk de gewone procedures verstoort (Metcalf & Thornton, 1992; Borkovec & Echemendia, 2001). Om het onderzoek succesvol te laten verlopen, is het ten slotte van belang om de tijd die gestoken is in het onderzoek terug te betalen, bijvoorbeeld door voor clinici relevante onderzoeksvragen mee te nemen (Borkovec & Echemendia, 2001). Om te zorgen dat gezinnen aan het onderzoek blijven deelnemen, is het cruciaal dat de relevantie van het onderzoek en de procedures duidelijk gemaakt worden. Daarnaast zal de uitval van gezinnen lager zijn als meedoen niet te veel moeite kost, bijvoorbeeld als gebruik gemaakt wordt van eenvoudige, korte vragenlijsten, of door onderzoeksassistenten naar de gezinnen toe te sturen om te helpen met het invullen van de vragenlijsten. Zo nodig moeten die de taal van het gezin spreken. Ten slotte motiveert ook betaling per ingevulde vragenlijst gezinnen om mee te werken (Borkovec & Echemendia, 2001). Het probleem van selectieve uitval vanuit de interventie- of controlegroep, met als gevolg het risico op ongelijke groepen, kan verholpen worden door te randomiseren met gematchte paren en dan, als een van de leden van het paar uitvalt, ook het andere lid uit de onderzoeksgroep te halen (Farrington & Welsh, 2005). 64 Tijdschrift voor Criminologie 2007 (49) 1 TVC_1_2007_9.indd Sec6:64 30-1-2007 15:15:19
Conclusie: meer experimenten doen en problemen aanpakken Hoewel de nadruk in dit artikel sterk ligt op de problemen bij het uitvoeren van een RCT in de Nederlandse juridische context, hebben we geprobeerd aan de hand van één voorbeeld, het evaluatieonderzoek van MST, duidelijk te maken dat RCT in de Nederlandse justitiële jeugdzorg wel degelijk mogelijk is. Op dit moment wordt de Nederlandse justitiële jeugdzorg gedomineerd door interventies die helemaal niet, of niet met behulp van gerandomiseerd onderzoek geëvalueerd zijn. Zonder enige vorm van toetsing of kwaliteitscontrole, om ervoor te zorgen dat interventies hun doel bereiken, wordt een grote variatie aan niet onderzochte, misschien zelfs schadelijke interventies aan gezinnen aangeboden. Wij staan op het standpunt dat professionele instellingen de morele plicht hebben om de effectiviteit van de behandelingen die zij aanbieden of waarnaar zij verwijzen, te onderzoeken (Weisburd, 2000). Er is een grote behoefte aan methodologisch degelijke evaluatieonderzoeken, maar een gerandomiseerd experiment in het strafrecht is op dit moment een hachelijke onderneming, uitgevoerd onder constante dreiging van mislukking. De overtuiging groeit dat beslissingen in de praktijk evidence based zouden moeten zijn, in plaats van gebaseerd op goede bedoelingen of intuïtie. Ook financiers van onderzoeken in strafrechtelijk kader hebben een belangrijke voorkeur voor experimentele studies (Weisburd, 2003; Farrington & Welsh, 2005), hetgeen naar alle waarschijnlijkheid tot een toename van dit type onderzoek zal leiden. Het verzet tegen gerandomiseerde experimenten, meestal gebaseerd op misverstanden over onderzoeksprincipes, is echter nog steeds groot. De bewustwording moet nog meer doordringen, dat onderzoekers en clinici aan dezelfde kant staan en dezelfde doelen hebben: interventies verbeteren en hen helpen die het nodig hebben. Onderzoekers die een gerandomiseerde trial willen uitvoeren in de context van het jeugdstrafrechtsysteem, moeten zich tot de follow-upmeting bij de allerlaatste proefpersoon bewust zijn van de bedreigingen van het onderzoek en de risico s op mislukking. Wetenschappelijk verantwoorde uitvoering van dit soort onderzoek vergt een actieve rol van de onderzoeker in het onderhouden van contacten met alle betrokken partijen, en regelmatig opnieuw uitleggen waarom het onderzoek op deze manier uitgevoerd dient te worden. Ook is het noodzakelijk om met veel energie en proactief achter de deelnemende gezinnen aan te blijven bellen. Daarnaast is het van cruciaal belang dat het onderzoek breed gedragen en ondersteund wordt door de mensen van zowel de te evalueren instelling als van de verwijzende instanties. Zonder deze twee randvoorwaarden is het uitvoeren van een dergelijk onderzoek onmogelijk. Hoewel in dit stuk de nadruk ligt op problemen die wij (en vele anderen) zijn tegengekomen bij het uitvoeren van een gerandomiseerd experiment, is het niet onze bedoeling om onderzoekers te ontmoedigen dit soort onderzoek uit te voeren. Integendeel: toename van het gebruik van dit design zou waarschijnlijk kunnen leiden tot een grotere acceptatie bij de betrokken instellingen. We zijn het helemaal eens met Feder e.a. (2000, 98) dat maar één ding zal helpen om experimenten meer geaccepteerd en gebruikt te krijgen: meer experimenten doen. Tijdschrift voor Criminologie 2007 (49) 1 65 TVC_1_2007_9.indd Sec6:65 30-1-2007 15:15:19
Literatuur Austin, A.M., Macgowan, M.J. & Wagner, E.F. (2005). Effective family-based interventions for adolescents with substance abuse problems: A systematic review. Research on Social Work Practice, 15, 67-83. Bijleveld, C.C.J.H. (2003). Mens durf te meten! Over methoden en technieken van criminologisch onderzoek. Den Haag: Boom Juridische uitgevers. Borduin, C. (1999). Multisystemic treatment of criminality and violence in adolescents. Journal of the American Academy of Child & Adolescent Psychiatry, 38, 242-249. Borkovec, T.D. & Echemendia, R.J. (2001). The Pennsylvania practice research network and future possibilities for clinically meaningful and scientifically rigorous psychotherapy effectiveness research. Clinical Psychology: Science and Practice, 8, 155-167. Boruch, R.F., Victor, T. & Cecil, J.S. (2000). Resolving ethical and legal problems in randomized experiments. Crime & Delinquency, 46, 330-354. Bronfenbrenner, U. (1979). The ecology of human development: Expriments by nature and design. Cambridge, MA: Harvard Univerity Press. Clingempeel, W.G. & Henggeler, S.W. (2002). Randomized clinical trails, developmental theory, and antisocial youth: Guidelines for research. Development and Psychopathology, 14, 659-711. Cook, T.D. (2003). Why have educational evaluators chosen not to do randomized experiments? Annals of the American Academy of Political and Social Sciences, 589, 114-149. Curtis, N.M., Ronan, K.R. e.a. (2004). Multisystemic treatment: A meta-analysis of outcome studies. Journal of Family Psychology 18, 411-419. Deković, M., Janssens, J.M.A.M. & As, N.M.C. van (2001). Gezinsfactoren en het gebruik van ernstig geweld. In: R. Loeber, W. Slot, & J.A. Sergeant (red). Ernstige en gewelddadige jeugddelinquentie. Omvang, oorzaken en interventies. Houten: Bohn Stafleu Van Loghum. Deković, M., Wissink, I.B. & Meijer, A.M. (2004). The role of family and peer relations in adolescent antisocial behavior: Comparison of four ethnic groups. Journal of Adolescence, 27, 497-514. Farrington, D.P. & Welsh, B.C. (2005). Randomized experiments in criminology: What have we learned in the last two decades? Journal of Experimental Criminology, 1, 9-38. Feder, L., Jolin, A. & Feyerherm, W. (2000). Lessons from two randomized experiments in criminal justice settings. Crime & Delinquency, 46, 380-400. Graebsch, C. (2000). Legal issues of randomized experiments on sanctioning. Crime & Delinqueny, 46, 271-282. Henggeler, S.W. (1999). Multisystemic Therapy: An overview of clinical procedures, outcomes and policy implications. Child Psychology and Psychiatry Review, 4, 2-10. Henggeler, S.W., Cunningham, P.B., Pickrel, S.G., Schoenwald, S. K. & Brondino, M.J. (1996). Multisystemic therapy: an effective violence prevention approach for serious juvenile offenders. Journal of Adolescence, 19, 47-61. Henggeler, S.W., Melton, G.B., Brondino, M.J., Scherer, D.G. & Hanley, J.H. (1997). Multisystemic therapy with violent chronic juvenile offenders and their families: The role of treatment fidelity in successful dissemination. Journal of Consulting and Clinical Psychology, 65, 821-833. Henggeler, S.W., Melton, G.B. & Smith, L.A. (1992). Family preservation using Multisystemic Therapy: An effective alternative to incarcerating serious juvenile offenders. Journal of Consulting and Clinical Psychology, 60, 953-961. 66 Tijdschrift voor Criminologie 2007 (49) 1 TVC_1_2007_9.indd Sec6:66 30-1-2007 15:15:19
Kazdin, A.E. (1997). A model for developing effective treatments: Progression and interplay of theory, research and practice. Journal of Clinical Child Psychology, 26, 114-129. Laan, P.H. van der (2001). Politiële en justitiële interventies bij gewelddadige en ernstig delinquente jongeren. In: R. Loeber, W. Slot, & J.A. Sergeant (red). Ernstige en gewelddadige jeugddelinquentie. Omvang, oorzaken en interventies. Houten: Bohn Stafleu Van Loghum. Leschied, A. & Cunningham, A.J. (2002). One step forward; Lessons learned from a randomized study of Multisystemic therapy in Canada. London, ON. Littell, J.H., Popa, M. & Forsythe, B. (2005). Multisystemic Therapy for social, emotional and behavioural problems in youth aged 10-17, Cochrane Review, www3.interscience.wiley. com/cgi-bin/mrwhome. Lum, C. & Yang, S.M. (2005). Why do evaluation researchers in crime and justice choose non-experimental methods? Journal of Experimental Criminology, 1, 191-213. McGuire, J. & Priestley, P. (1996). Reviewing What Works : Past, present and future. In J. McGuire (Ed.) What Works; reducing reoffending, Chichester: Wiley, 3-34. Metcalf, C.E. & Thornton, C. (1992). Random assignment. Children and Youth Services Review, 14, 145-156. Ministerie van Justitie (2003). Jeugd terecht. Actieprogramma aanpak jeugdcriminaliteit. Den Haag: Ministerie van Justitie. Ogden, T. & Halliday-Boykins, C.A. (2004). Multisystemic treatment of antisocial adolescents in Norway: Replication of clinical outcomes outside of the US. Child and Adolescent Mental Health, 9, 77-83. Timmons-Mitchell, J., Bender, M.B., Kishna, M.A. & Mitchell, C.C. (2006). An independent effectiveness trial of Multisystemic therapy with juvenile justice youth. Journal of Clinical Child and Adolescent Psychology, 35, 227-236. Weisburd, D. (2000). Randomized experiments in criminal justice policy: Prospects and problems. Crime & Delinquency, 46, 181-194. Weisburd, D. (2003). Ethical practice and evaluation of interventions in crime and justice. The moral imperative for randomized trials. Evaluation Review, 27, 336-354. Tijdschrift voor Criminologie 2007 (49) 1 67 TVC_1_2007_9.indd Sec6:67 30-1-2007 15:15:19