Onttrekkingen en recidives door tbs-ers tijdens verlof Reactie op repliek

Transcriptie

1 DISCUSSIE Onttrekkingen en recidives door tbs-ers tijdens verlof Reactie op repliek Rob van den Brink, Klaus Drieschner en Joke Harte In onze kritiek in het vorige nummer van TvC (Van den Brink e.a., 2007) op het onderzoek van het Expertisecentrum Forensische Psychiatrie (EFP) naar onttrekkingen en recidives door tbs-gestelden tijdens verlof (Hildebrand e.a., 2006) hebben wij op een aantal methodologische tekortkomingen gewezen. Deze leiden volgens ons tot een te optimistisch beeld van de voorspellende waarde van het door hen ontwikkelde 5-item instrument voor risico-inschattingen bij verlofbeslissingen. Deze kritiekpunten worden in de repliek door Hildebrand en anderen (2007a) in hetzelfde nummer op onjuiste gronden terzijde geschoven. Omdat het onderzoek ertoe diende het beleid rond verlofbeslissingen in de tbs te evalueren en suggesties voor verbetering aan te dragen, kan een te rooskleurig beeld ingrijpende gevolgen hebben. Daarom voelen wij ons geroepen op de argumenten van Hildebrand en anderen te reageren en nogmaals te waarschuwen voor onrealistische verwachtingen van het gebruik van het nieuwe risicotaxatie-instrument bij verlofbeslissingen. Wij stelden vast dat bij de selectie van de items kanskapitalisatie heeft plaatsgevonden. Dat wil zeggen dat de selectie deels gebaseerd is op toevallige verbanden in de onderzochte verloven, die bij nieuwe verloven weer heel anders kunnen liggen. Hierdoor wordt de voorspellende kracht van het instrument overschat. Volgens Hildebrand en anderen is kanskapitalisatie onwaarschijnlijk, omdat de vijf geselecteerde items voor de hand liggende risicofactoren meten, die al in eerder onderzoek incidenten bleken te voorspellen. Zij zien daarbij echter over het hoofd dat hetzelfde geldt voor de niet-geselecteerde items. Omdat de selectie van de vijf items niet vooraf op inhoudelijke gronden plaatsvond maar achteraf, op basis van de deels toevallige verbanden in de onderzochte gevallen, dient rekening te worden gehouden met kanskapitalisatie. Dit statistische fenomeen staat los van het dynamische karakter van de risicovariabelen of maatschappelijke veranderingen, welke door Hildebrand en anderen worden aangevoerd als argument tegen de noodzaak van kruisvalidatie (het toetsen van de voorspellende kracht van hun instrument in een nieuwe onderzoeksgroep). Ten tweede de kwestie van de ontbrekende blindering: de onderzoekers wisten tijdens het scoren van items op basis van informatie uit dossiers of ze te maken hadden met iemand die zich aan zijn verlof onttrokken had of met iemand uit de controlegroep. Wij beargumenteerden dat deze kennis de scoring systematisch De volgorde is alfabetisch Tijdschrift voor Criminologie 2007 (49) TVC_2_2007_7.indd Sec5: :15:00

2 Rob van den Brink, Klaus Drieschner en Joke Harte kan beïnvloeden, met als gevolg wederom een te optimistisch beeld van de voorspellende kracht van de items. Hildebrand en anderen brengen hiertegenin dat de overeenstemming tussen codeurs die hetzelfde dossier hebben gescoord, laat zien dat de items betrouwbaar gescoord zijn. Betrouwbare scores zijn echter niet automatisch ook valide: omdat de ontbrekende blindering alle beoordelaars betreft, kan ook bij een goede overeenstemming tussen codeurs een systematische bias aanwezig zijn. Verder voeren Hildebrand en anderen aan dat hun items redelijk objectief of eenduidig uit de dossiers gescoord zouden kunnen worden. Wie de items kent, weet beter. Ter illustratie de omschrijvingen van de vijf schaalpunten van het item Attitude t.o.v. de behandeling: Score 1: Positieve attitude t.o.v. de behandeling, zet zich actief in; Score 2: Werkt mee, soms eigenzinnig of onverschillig; Score 3: Betrokkene toont zich onverschillig, inzet en motivatie gering; Score 4: Negatieve attitude, participeert zonder daadwerkelijke medewerking in behandelonderdelen, sprake van schijnaanpassing; Score 5: Verzet zich actief tegen behandeling en is niet in staat om de structuur en aanwijzingen van de behandeling te aanvaarden; Bij extreme gevallen zal inderdaad duidelijk zijn dat de hoogste of de laagste score van toepassing is. In de meeste gevallen blijft echter ruimte voor interpretatie en daarmee ook voor een systematische bias, als geen blindering heeft plaatsgevonden. Ook ons derde kritiekpunt, het uit de controlegroep verwijderen van personen die zich al eens eerder hadden onttrokken, blijft onverminderd overeind. In hun verweer gebruiken Hildebrand en anderen de metafoor van rupsen en vlinders voor personen die zich niet, respectievelijk wel aan hun verlof onttrekken. Wij menen dat helderheid op dit punt meer gebaat is bij een analyse van de situatie bij verlofbeslissingen. Verlofaanvragen kunnen van alle tbs-gestelden komen, of deze zich eerder hebben onttrokken of niet. En bij ieder verlof kan het al dan niet tot een onttrekking komen. Er zijn dus vier mogelijkheden: het kan mis gaan bij personen die zich nooit eerder hadden onttrokken, het kan goed gaan bij eerdere onttrekkers, personen kunnen opnieuw in de fout gaan en personen kunnen opnieuw betrouwbaar blijken te zijn. De waarde van een risicotaxatieinstrument hangt ervan af hoe goed hiermee ingeschat kan worden of verlofaanvragers met en zonder eerdere onttrekking zich tijdens het toekomstige verlof zullen onttrekken. Door personen uit te sluiten die zich eerder wel, maar bij het onderzochte verlof niet hebben onttrokken, gaan Hildebrand en anderen voorbij aan het feit dat ook voor deze personen voorspeld moet worden of ze zich bij het nieuwe verlof weer zullen onttrekken. Het ontpoppen van rupsen tot vlinders is een misleidende metafoor, omdat onttrekkers doorgaans een tweede kans krijgen als verlofganger, maar vlinders niet als rups. Als vierde punt wezen wij erop dat in het onderzoek een statistische analysemethode werd gebruikt, die geen rekening houdt met de (hiërarchische) structuur van de data. Dit probleem beseffend, hebben de onderzoekers de data ook nog op een tweede correcte manier geanalyseerd. Deze berekening leverde een bescheidener beeld van de voorspellende kracht van het 5-item instrument, namelijk slechts 180 Tijdschrift voor Criminologie 2007 (49) 2 TVC_2_2007_7.indd Sec5: :15:01

3 Onttrekkingen en recidives door tbs-ers tijdens verlof reactie op repliek 71 in plaats van 79 procent terecht afgewezen verloven. Onze kritiek richt zich op het feit dat vervolgens de onjuiste te optimistische cijfers aan de parlementaire onderzoekscommissie en het brede publiek werden gepresenteerd. En ook in hun repliek wekken Hildebrand en anderen nog de indruk dat de 79 procent hetzelfde bestaansrecht heeft als de 71 procent uit de correcte analyse. Tot slot de presentatie van de resultaten. Wat is nu eigenlijk relevanter, de 0.2 procent verlofbewegingen waarin het mis gaat, of de 17 procent verlofgangers die zich vroeg of laat een keer onttrekken? Hildebrand en anderen menen het eerste percentage en wij het tweede. Maar aangezien het onze taak is de maatschappij (en politici en beleidsmakers in het bijzonder) zo objectief mogelijk te informeren, is de vraag wie gelijk heeft eigenlijk niet relevant. Voor een goede beeldvorming moet men beide percentages presenteren en niet, zoals Hildebrand en anderen doen, alleen het percentage verlofbewegingen waarin het mis gaat en dit te voorzien van toevoegingen als bemoedigend en statistisch gezien verwaarloosbaar. In hun repliek stellen Hildebrand en anderen dat zij met de analyses van het 5-item instrument slechts wilden illustreren, wat de eventuele meerwaarde zou kunnen zijn van een dergelijke gestructureerde risicotaxatie (p. 76). Uiteraard zijn wij blij met deze nieuwe terughoudendheid, maar wij constateren ook dat deze afsteekt tegen de eerdere presentatie van de onderzoeksresultaten aan de parlementaire onderzoekscommissie en het brede publiek. Hierin werd gesuggereerd dat met het instrument een nijpend probleem van het tbs-stelsel grotendeels opgelost zou kunnen worden, aangezien hiermee bijna 80 percent van de onttrekkingen in de periode en tweederde van de recidives tijdens onttrekkingen voorkomen had kunnen worden. TBS-ers veiliger met verlof door nieuw instrument luidde dan ook de kop van het persbericht (ANP, 20 maart 2006) en de samenvatting van het onderzoek die tot begin 2007 te lezen was op de internet site van het EFP. Het al dan niet verlenen van verlof aan een tbs-gestelde is een moeilijke beslissing, met mogelijk grote gevolgen voor de maatschappij en de tbs-gestelde zelf. Daarom is de poging van het EFP een hulpmiddel voor verlofbeslissingen te ontwikkelen toe te juichen. Maar juist vanwege de maatschappelijke gevoeligheid van het onderwerp is het van groot belang een correct beeld te geven van de meerwaarde van zo een hulpmiddel voor de dagelijkse verlofpraktijk in de tbs-sector, en eventuele onterechte verwachtingen te ontkrachten. Wij hopen dat wij met onze nuanceringen hieraan een bijdrage hebben geleverd. Literatuur (Na volgende discussiebijdrage) Tijdschrift voor Criminologie 2007 (49) TVC_2_2007_7.indd Sec5: :15:01

4 Hanneke Schönberger, Marinus Spreen en Martin Hildebrand Nogmaals: onttrekkingen en recidives door tbs-ers tijdens verlof Hanneke Schönberger, Marinus Spreen en Martin Hildebrand In bovenstaande reactie op onze repliek in het vorige nummer van het TvC (Hildebrand e.a., 2007a) geven Van den Brink en collega s (nogmaals) uiting aan hun behoefte te waarschuwen voor te optimistische verwachtingen van het gebruik van een (volgens hen) door ons ontwikkeld instrument voor risico-inschattingen bij verlofbeslissingen. Hoewel wij menen dat wij de rol van dit zogenaamde 5-item instrument in het onderzoek voldoende hebben uitgelegd, persisteren zij in hun opvatting dat wij een nieuw risicotaxatie-instrument bij verlofbeslissingen hebben voorgesteld. Dit is onjuist. Wij spreken over de aanzet tot de ontwikkeling van een beoordelingsinstrument voor verlofbeslissingen (Hildebrand e.a., 2006, p. 68). Wat wij hebben gedaan is een combinatie van vijf items gebruiken om aan te tonen dat het op gestructureerde wijze scoren van items een zekere meerwaarde kan hebben bij het vormen van een professioneel oordeel voor verlofbeslissingen. Wij wilden op basis van de verkregen informatie over de periode inzichtelijk maken dat een aantal dynamische variabelen tot op zekere hoogte de niet-onttrekkers van onttrekkers aan verlof onderscheidt. Met behulp van hypothetische beslisregels laten we zien wat er eventueel met deze informatie in de verlofpraktijk kan worden gedaan én wat dit betekent in termen van vals positieven (onterecht verlof uitstellen) en vals negatieven (onterecht verlof verlenen). Overigens, de gebruikte dynamische items zijn onderdeel van de HKT-30, één van de reeds bestaande risicotaxatie-instrumenten die ook gedurende de onderzoeksperiode verplicht waren bij verlofaanvragen. Wij menen met ons onderzoek, met alle onvermijdelijke haken en ogen, te hebben aangetoond dat de verplichtstelling van de afname van gestructureerde risicotaxatie-instrumenten bij verlofbeslissingen (medio 2004) achteraf bezien enige empirische evidentie heeft en dus het verlof veiliger kan maken. Van den Brink en collega s stellen verder dat wij het dynamische karakter van de risicovariabelen of van maatschappelijke veranderingen aanvoeren als argument tégen kruisvalidatie. Dat is niet zozeer wat wij doen; wij vragen ons af óf een kruisvalidatie in deze situatie wel zinvol is vanwege het specifieke karakter van gestructureerde risicotaxatie. Zo n taxatie (op individueel niveau) bestaat uit het scoren van een aantal bekende risicovariabelen waarvan uit onderzoek bekend is dat zij op groepsniveau samenhangen met recidive. Ons inziens is het onverstandig om (theoretisch) belangrijke risicovariabelen op grond van kruisvalidatie uit te sluiten. Een simpel voorbeeld. Uit ons onderzoek kwam naar voren dat in de periode het gebruik van alcohol gedurende de 12 maanden voor de onttrekking een risicofactor is voor een onttrekking. Stel nu eens, dat er maatregelen worden genomen, die in de kruisvalidatieperiode leiden tot het verdwijnen van dit effect (dus dat alcohol geen risicofactor is voor onttrekking in die 182 Tijdschrift voor Criminologie 2007 (49) 2 TVC_2_2007_7.indd Sec6: :15:01

5 Nogmaals: onttrekkingen en recidives door tbs-ers tijdens verlof periode). Moet dan beslist worden dat alcoholgebruik voortaan weggelaten kan worden in verlofafwegingen? Zo niet, wat is dan het nut van een kruisvalidatie in dit geval? Van den Brink en collega s geven overigens zelf ook aan dat de toevallig niet-geselecteerde items van belang blijven. Om die reden stelden wij in onze eerdere repliek voor om niet alleen op empirische verbanden op groepsniveau af te gaan, maar ook andere theoretisch belangrijk geachte variabelen mee te blijven nemen bij een verlofafweging voor een individueel persoon. Van den Brink en collega s wijzen nogmaals op het ontbreken van blind scoren in ons onderzoek. Wij zijn ons bewust van deze beperking (Hildebrand e.a., 2006; 2007a). Om tegemoet te komen aan deze beperking hebben wij in een onlangs afgerond vervolgonderzoek (Hildebrand e.a., 2007b) ter controle de ruwe scores van de dynamische items gedichotomiseerd naar daadwerkelijk en aangetoond probleemgedrag. Hierbij doelen wij op feitelijke aanwijzingen die wel of niet aanwezig zijn in het dossier. Diverse analyses met deze gedichotomiseerde items laten dezelfde resultaten zien als analyses met de ruwe scores. Deze analyses geven ons een gevoel van vertrouwen dat er geen sterke systematische bias is opgetreden. Wat betreft het kritiekpunt als zouden wij door de gekozen opzet de verschillen kunstmatig hebben vergroot, merken wij het volgende op. Middels de metafoor van rupsen en vlinders (Hildebrand e.a., 2007a) hebben wij geprobeerd uit te leggen dat we géén rupsen met vlinders vergelijken. Voor de opzet van het onderzoek hebben wij als startpunt genomen álle verlofmachtigingen van tbs-ers die nog geen verleden hadden van ongeoorloofde afwezigheid vóór 2000 (de rupsen). Van deze personen hebben zich een aantal in de periode aan hun verlof onttrokken (vlinders). De tbs-ers die zich vóór 2000 onttrokken hebben, horen naar onze mening niet in de controlegroep maar in de vlindergroep thuis. Een deel van die groep heeft in de onderzoeksperiode wéér een verlof gehad, en een deel daarvan heeft zich opnieuw onttrokken. Van den Brink en collega s geven overigens eenzelfde redenering voor de verschillende beoordelingssituaties voor verlofaanvragen als die wij al eerder beschreven in onze repliek. Het is ons dan ook onduidelijk op welke wijze wij de verschillen kunstmatig vergroot zouden hebben. Tot slot blijven zij moeite houden met onze keuze om meer gewicht toe te kennen aan het percentage onttrekkingen dat gerelateerd is aan verlofbewegingen in plaats van aan een percentage op geaggregeerd persoonsniveau. Zij stellen dat men voor een goede beeldvorming beide percentages dient te presenteren. Dat hebben wij ook gedaan (vergelijk Hildebrand e.a., 2006, p. 64) en wij zijn van mening dat juíst het geaggregeerde aantal van 17 procent onttrekkers de verlofrealiteit onrecht aandoet. Deze 17 procent heeft betrekking op personen die vele malen op verlof gaan, en het overgrote deel van de verloven gaat goed. Nogmaals benadrukken wij dat per dag afgewogen wordt of iemand op verlof kan. Wij vinden het bemoedigend dat de risico-inschattingen voor het overgrote deel correct blijken te zijn. Wanneer uitgegaan wordt van personen die zich ooit één keer hebben onttrokken, dan krijgen beleidsmakers een overdreven beeld van de prevalentie van onttrekkingen uit verloven. Tijdschrift voor Criminologie 2007 (49) TVC_2_2007_7.indd Sec6: :15:01

6 Hanneke Schönberger, Marinus Spreen en Martin Hildebrand Van den Brink en collega s hopen dat zij met hun bijdragen de onterecht door ons gewekte verwachtingen hebben ontkracht. Dat het met die verwachtingen wel meevalt, wordt genoegzaam duidelijk uit de slotbeschouwing van ons onderzoeksrapport (Hildebrand e.a., 2006, p. 95): Wij vertrouwen erop dat de huidige onderzoeksresultaten de opdrachtgever van nut zullen zijn om in de (nabije) toekomst op een gestandaardiseerde wijze te komen tot het inventariseren van risicofactoren bij diverse vormen van verlof. Naar wij menen bieden de uitkomsten een aanzet voor het implementeren van gestructureerde risicotaxatie voor verlofbeslissingen. Wij willen er op wijzen dat de uitkomsten van het huidige onderzoek, en dan met name de resultaten met betrekking tot de voorspellende waarde van items of schaalscores, uitkomsten zijn op groepsniveau. Het is van groot belang te beseffen dat een individuele onttrekking of recidive van een specifieke tbs-gestelde (helaas) ook met de beste risico-inschatting niet is uit te sluiten. Literatuur (van bovenstaande twee discussiebijdragen) Brink, R. van den, Drieschner, K. & Harte, J. (2007). Onttrekkingen en recidives door tbsers tijdens verlof nuancering van een onderzoek in opdracht van de Tweede Kamer. Tijdschrift voor Criminologie, 49(1), Hildebrand, M., Spreen, M., Schönberger, H.J.M., Augustinus, F. & Hesper, B. (2006). Onttrekkingen tijdens verlof, ontvluchtingen en recidives tijdens tbs-behandeling in de jaren Utrecht: Expertisecentrum Forensische Psychiatrie. Hildebrand, M., Spreen, M. & Schönberger, H.J.M. (2007a). Over rupsen, vlinders en andere zaken repliek op: Onttrekkingen en recidives door tbs-ers tijdens verlof. Tijdschrift voor Criminologie, 49(1), Hildebrand, M., Schönberger, H.J.M. & Spreen, M. (2007b). Onttrekkingen en recidives tijdens verlof gedurende de tbs-behandeling nader bekeken. Utrecht: Expertisecentrum Forensische Psychiatrie. 184 Tijdschrift voor Criminologie 2007 (49) 2 TVC_2_2007_7.indd Sec6: :15:01