Werkt wat werkt? Jan Adriaan Nijboer

Transcriptie

1 Werkt wat werkt? Jan Adriaan Nijboer Het programma van de Erkenningscommissie Gedragsinterventies Justitie zit goed in elkaar. Naarmate ik me er meer in ben gaan verdiepen, heb ik meer respect gekregen voor de ambitie en de gedegenheid die er uit spreekt. Over de kwaliteitscriteria bijvoorbeeld en de uitwerking daarvan is heel goed nagedacht. Dat is heel mooi opgebouwd. Bij het eerste criterium, de theoretische onderbouwing, worden de lijnen uitgezet, dan worden deze uitgewerkt in de volgende kwaliteitscriteria en dat mondt uit in een doorlopende evaluatie die inzicht geeft in de effectiviteit van interventies. Het is de bedoeling van de Erkenningscommissie om het aanbod van interventies op het gebied van justitie in de loop van de komende jaren te verbeteren door te komen tot een beperkter arsenaal van gerichte en bewezen effectieve gedragsinterventies. De commissie wil met haar beoordelingen organisaties helpen steeds meer effectieve interventies uit te voeren. Justitie is voornemens in de toekomst alleen nog interventies te financieren die langs deze weg officieel zijn erkend. Daarbij gaat het alleen om gedragsinterventies die expliciet gericht zijn op recidivevermindering. De houdbaarheid van de erkenning is beperkt. Een interventie moet zijn nut blijven bewijzen. Er is dus heel veel werk te verzetten en wie de kwaliteitscriteria van de commissie goed bekijkt, ziet een enorm onderzoekprogramma voor zich. Veerman en van Yperen schetsen een mijns inziens reëel model met vier verschillende ontwikkelingsfasen, namelijk naar de behoefte en haalbaarheid; de theoretische onderbouwing; bewijs zoeken voor het nut van de interventie en de effectiviteit van een nieuwe interventie. Dat heeft tijd nodig. De Werkgroep Interventies van het programma Terugdringen Recidive vindt minimaal vier jaar een realistisch periode voor een onderzoek naar het effect van een interventie op recidive. En dat is alleen nog maar de laatste fase. Als we alle onderzoeksfases voor een gedragsinterventie willen uitvoeren is het niet reëel om op korte termijn erkende nieuwe interventies te verwachten. Weliswaar is het programma er ook op gericht te wieden in de wildgroei van bestaande interventies, maar de opbrengst zou wel wat mager zijn als het daarbij blijft. De bedoeling van de Erkenningscommissie is sympathiek. Wie wil niet graag dat de kwaliteit van de aangeboden justitiële interventies omhoog gaat en ik juich het toe als daarvoor meer onderzoekscapaciteit wordt ingezet. Maar de ambitie is ook dat in de toekomst alleen nog officieel erkende interventies, die bewezen tot recidivevermindering leiden, voor financiering in aanmerking komen. Wordt de kloof tussen wens en werkelijkheid op deze manier niet zo groot dat ambities averechts gaan werken? Moet ik me echt voorstellen dat de justitiële interventiehemel alleen toegankelijk is voor wie aan alle tien kwaliteitscriteria voldoet? Of wordt er aan de hemelpoort ook wel eens een beetje clementie betoond? En op welke punten? Het vergaat me met deze kwaliteitscriteria eigenlijk net als met de tien geboden, ze zijn zonder twijfel het nastreven waard, maar met de haalbaarheid heb ik wat problemen. In het bijzonder op de theoretische onderbouwing van een interventie en de empirische onderbouwing van de effectiviteit wil ik daarom wat verder ingaan. 1

2 De theoretische onderbouwing van een interventie Hierbij gaat het volgens de Erkenningscommissie om het theoretisch fundament van de strafrechtelijke gedragsinterventie, waarbij wordt aangegeven hoe het proces verloopt dat tot delinquentie leidt en hoe men door middel van de gedragsinterventie dit proces denkt te veranderen teneinde hiermee recidive te voorkomen. Wanneer een theoretisch concept of wetenschappelijk bewijs voor de werking van een (strafrechtelijke) gedragsinterventie onvolledig is of vooralsnog ontbreekt (bijvoorbeeld bij nieuw ontwikkelde gedragsinterventies), dan wordt het veranderingsmodel aangegeven in de vorm van waarschijnlijke hypothesen. Probleem hierbij is wel dat er verschillende, concurrerende theorieën bestaan over de vraag hoe het proces verloopt dat tot delinquentie leidt en dat er onenigheid bestaat over het wetenschappelijk bewijs van deze verschillende theorieën. Helaas moeten we constateren dat géén van de dominante (criminologische) theorieën bij toetsing afdoende steun heeft gekregen, zodat het voorlopig althans bij waarschijnlijke hypothesen zal moeten blijven. Maar misschien is het voldoende om de werking van een interventie aan te tonen zonder precies te kunnen begrijpen hoe dat komt. Makkelijker is het in ieder geval wel. Uit de verdere uitwerking van de kwaliteitscriteria blijkt dat vooral wordt gedacht aan interventies die gericht zijn op het wegnemen van (een combinatie van onderling gerelateerde) dynamische risicofactoren en het versterken van protectieve factoren om zodoende het risico op recidive te verkleinen. Delinquenten moeten bijvoorbeeld vaardigheden bijgebracht worden omdat een tekort aan vaardigheden als oorzaak voor het plegen van een delict wordt gezien. Het theoretisch model is daarmee een nogal eclectisch geheel geworden dat vooral veel behandelingsdoelen oplevert, maar niet zoveel inzicht in het proces dat leidt tot delinquentie. Met een verschuiving van de aandacht van recidive naar behandelingsdoelen treedt er ook een verenging op van interventies tot behandelingen. Interventies zonder direct behandelingsdoel vallen buiten de boot. Uit de verdere uitwerking van de kwaliteitscriteria blijkt ook dat haast op een medische manier naar de delinquent wordt gekeken. Zo zegt de Erkenningscommissie over de fasering, intensiteit en duur van de gedragsinterventie: De eerste stap is een goede diagnose bij aanvang van de strafrechtelijke gedragsinterventie. Door vervolgens gebruik te maken van verschillende, elkaar aanvullende componenten (modulen), wordt een differentiatie en fasering mogelijk die aansluit bij de behandelings- /begeleidingsbehoefte van de deelnemer. Gesuggereerd wordt dat de dosering van een interventie met vrij grote precisie vast te stellen zal zijn. Dat lijkt me onzin. Om te beginnen is het op zich waardevolle diagnostische instrument waarnaar verwezen wordt (RISc) nog niet prospectief gevalideerd. Maar er wordt teveel gevraagd als in onderzoek zo precies moet worden vastgesteld wat de meest aangewezen fasering, duur en intensiteit van een interventie is. De benadering die in de uitwerking van de kwaliteitscriteria naar voren komt, lijkt vooral een medische c.q. orthopedagogische benadering. Dat is gezien de ontstaansgeschiedenis verklaarbaar en daar is niet zoveel mis mee, behalve dan dat de delinquent al gauw als patiënt wordt gezien en dat is volgens mij meestal niet goed. Het betekent echter ook dat de interventies die het beste binnen die benadering passen, de grootste kans hebben op erkenning. Het is denk ik niet voor niets dat trainingen in sociale en cognitieve vaardigheden als eerste over de streep komen. Andere interventies, gestoeld op andere theoretische 2

3 benaderingen, bijvoorbeeld control theorieën, zijn minder makkelijk in te passen omdat het nogal geforceerd is om ze in termen van behandeling en behandelingsdoel te formuleren. Intensief toezicht gedurende een beperkte periode bijvoorbeeld blijkt voor sommige categorieën delinquenten een positieve invloed op recidive te hebben, maar het is moeilijk te zeggen wat daarbij de behandeling is en wat het behandelingsdoel. En wat is de behandelingscomponent bij urinecontroles? Met andere woorden, niet alle interventies zijn even makkelijk te plaatsen binnen het model van dynamische criminogene risico- en protectiefactoren. Empirische onderbouwing van de effectiviteit Een tweede punt waar ik tegenaan loop, is de empirische onderbouwing van de effectiviteit. De Erkenningscommissie zegt hierover dat een (strafrechtelijke) gedragsinterventie effectief is, wanneer de vooraf gestelde doelen zijn bereikt. Die doelen hebben enerzijds betrekking op datgene wat men bij de delinquent denkt te bereiken (verandering van dynamische criminogene factoren, veranderde attitudes, aanleren van vaardigheden, etc.) en anderzijds op het terugdringen van de kans op terugval in crimineel gedrag. Idealiter houden deze twee factoren verband met elkaar: een effectieve behandeling kan leiden tot minder recidive. Wanneer niet vaststaat dat behandelingsdoelen gehaald worden, kan eventuele recidivevermindering niet aan de gedragsinterventie worden toegeschreven. Het vaststellen van effectiviteit in termen van behandelingsdoelen is dus van essentieel belang. Daarnaast dient enige tijd na beëindiging van de gedragsinterventie een recidivemeting te worden gedaan. De resultaten van een experimentele groep dienen vergeleken te worden met die van een controlegroep, zeker waar het gaat om nieuwe gedragsinterventies. Voor elke (strafrechtelijke) gedragsinterventie dient een effectevaluatie gedaan te worden waarbij tenminste sprake moet zijn van een voor- en nameting en een follow-up. Enigszins onduidelijk blijft voor mij nu of van een interventie een direct effect op recidive moet worden aangetoond of dat het voldoende is wanneer een indirect effect aannemelijk kan worden gemaakt. Stel dat de veronderstelling luidt dat een tekort aan sociale vaardigheden tot het delict heeft geleid. In hoeverre is het dan voldoende wanneer iemands score op een meetinstrument voor sociale vaardigheden verhoogd wordt? Het leveren van het bewijs voor een positief effect hiervan op recidive is aanmerkelijk lastiger te leveren. En nog ingewikkelder wordt het bij een zogenaamd multimodaal programma waarbij op meerdere criminogene tekorten en behandelingsdoelen tegelijk wordt ingezet. Zie dan maar eens te achterhalen welke ingrediënten verantwoordelijk waren voor een eventueel positief resultaat. Evalueren in termen van behandelingsdoelen is nog wel te doen en uiteraard ook legitiem. Bij het evalueren van het effect op recidive komt echter meer kijken. Daarvoor is nodig om niet alleen met een zekere mate van betrouwbaarheid en validiteit recidive te kunnen meten, maar ook om eventuele uitkomsten toe te kunnen rekenen aan de interventie. Het is niet de bedoeling om hier uitgebreid in te gaan op recidivemeting. De problemen daarmee zijn wel bekend. Wel wil ik nog een paar dingen zeggen over de toerekening. De mate van zekerheid waarmee effecten kunnen worden toegerekend aan een interventie, hangt af van de interne validiteit van een onderzoeksontwerp. De Maryland Scientific Methods Scale (MSMS) onderscheidt vijf niveaus van interne onderzoeksvaliditeit en de Erkenningscommissie mikt conform de gangbare opvattingen op het derde niveau. Dat wil zeggen, de uitkomstvariabele wordt voor en na invoering van de interventie gemeten in een experimentele en vergelijkbare controlegroep. Het is overigens wel goed om te bedenken dat dit nog niet de zekerheid oplevert dat zogenaamde buitenexperimentele factoren afdoende 3

4 uitgeschakeld zijn. Maar daarvoor is een gerandomiseerd gecontroleerd experiment nodig en daarvan zijn er buiten Noord Amerika slechts een handvol bekend. Verder krijgt het idee van een voor- en nameting bij recidive als uitkomstvariabele ook een wat andere invulling dan bij bijvoorbeeld attitudes of vaardigheden als uitkomstvariabele. Hoewel er dus al enig water in de wijn wordt gedaan, blijkt ook de eis van een quasiexperimentele opzet in de praktijk nog lastig haalbaar vanwege de beperkte mogelijkheid tot het vinden van een adequate controlegroep. Het bijzondere daarbij is dat naarmate de selectie voor een interventie beter is en een interventie beter toegesneden is op een bepaalde doelgroep, het ook lastiger wordt om een goede controlegroep te vinden, omdat er dan nog maar weinig mensen te vinden zijn die wel voor de interventie in aanmerking zouden komen, maar deze niet hebben gekregen. Onderzoekstechnisch het beste is dan nog wanneer door omstandigheden sprake is van een natuurlijk experiment, bijvoorbeeld door beleidsverschillen tussen arrondissementen. Een groot probleem bij experimentele interventies is dat over het algemeen de instroom in het begin beperkt is. Dit komt onder andere door onbekendheid, maar ook doordat een interventie zichzelf nog moet bewijzen. De ervaring leert dat er meestal een behoorlijke tijd overheen gaat voor er sprake is van een zodanig acceptatie van een interventie dat ook voor onderzoek voldoende aantallen proefpersonen kunnen worden gehaald. Als een soort ondergrens zou ik willen stellen dat voor een zinvolle statistische analyse een minimum omvang van de experimentele en de controlegroep nodig is van ongeveer bij 50 personen per groep, hoewel een verdubbeling van dat aantal te prefereren zou zijn. Hierbij moet echter ook rekening worden gehouden met de periode waarover gegevens worden verzameld. Wordt ingezet op een groter aantal personen, dan is de consequentie dat het onderzoek langer zal duren, wat tevens het risico oplevert dat de omstandigheden veranderen. Bedacht moet worden dat op deze manier alleen nog interventies kunnen worden ontwikkeld, waarvoor aanzienlijke doelgroepen bestaan. Conclusie. Het staat buiten kijf dat meer en gedegen evaluatieonderzoek wenselijk is. Het is wel enigszins merkwaardig dat de suggestie is ontstaan dat dit onderzoek tot voor kort eigenlijk niet of nauwelijks zou zijn gedaan. Dat is denk ik onzin. Je kunt je wel afvragen of het mogelijk is om in pakweg vijf jaar voor elkaar te krijgen wat in vijftig jaar daarvoor niet zou zijn gelukt. Er zijn allerlei redenen waarom interventies nog onvoldoende zijn geëvalueerd. Die redenen hebben onder andere te maken met beschikbare tijd en geld voor onderzoek, de beschikbaarheid en kwaliteit van gegevensbronnen, instrumenten, de acceptatie in het veld, etc. Die redenen zijn niet zomaar verdwenen. Hoewel dat uit het bovenstaande misschien niet direct naar voren komt, sta ik positief tegenover het programma van de Erkenningscommissie. Het doel kan ik alleen maar onderschrijven en over de weg er naar toe is goed nagedacht. Waar het bij mij begint te haperen, is de opstelling dat financiering van interventies geheel afhankelijk zal worden van een positieve beoordeling door de Erkenningscommissie. We constateren dat de effectiviteit van sommige interventies (cognitieve vaardigheden, sociale vaardigheden) makkelijker is aan te tonen dan van andere (bijvoorbeeld van een opleiding tijdens detentie). Deels heeft dat een onderzoekstechnische achtergrond, onder 4

5 andere de beschikbaarheid van meetinstrumenten en bronnen en de follow-up periode. Deels heeft dit ook te maken met het theoretisch model dat wordt gehanteerd. 1 We zouden daarom straks wel eens de situatie kunnen krijgen dat voor een bepaalde groep delinquenten wel goedgekeurde gedragsinterventies bestaan en voor een andere groep niet, omdat ze als doelgroep onvoldoende groot zijn of omdat een voor hen geschikte aanpak minder goed past in het risico/protectie model. Daar zit ook een ethische kant aan. Tegen die laatste groep moeten we dan zeggen, jammer, maar voor jou hebben we helaas geen erkende behandeling en dat betekent een kale straf zonder hoop op verbetering. 1 Zie ook Karl Schumann, Kriminalpolitik zwischen Empirie und Ideologie der Fall Berufsbildung im Jugendstrafvollzug, Kriminologisches Journal, 36, 2004, p Empirie und Ideologie. 5