Kwaliteitsbewaking en resultaatmeting interventies Registratie en monitoring van gegevens

Transcriptie

1 Kwaliteitsbewaking en resultaatmeting interventies Registratie en monitoring van gegevens Versie 1.0 Datum 8 december 2015 Status Definitief

2

3 Colofon Afzendgegevens Contactpersoon Directoraat-Generaal Straffen en Beschermen Directie Sanctietoepassing en Jeugd Turfmarkt DP Den Haag Postbus EH Den Haag Janneke van 't Riet beleidsmedewerker Projectnaam Auteur Project Gedragsinterventies Han Spanjaard, in opdracht van het Ministerie van Veiligheid en Justitie Pagina 3 van 34

4

5 Inhoud Colofon 3 1. Inleiding 7 2. Kwaliteitsbewaking 8 3. Resultaatmeting Verzamelen en delen van informatie Doelen op verschillende niveaus Informatiebehoefte en -uitwisseling Gegevens die geregistreerd moeten worden Deelnemers Uitvoering Resultaten Doeltreffendheid- en effectonderzoek Registratie en monitoring als er geen onderzoek op stapel staat Organisatorische aspecten en stappenplan 23 Bijlage 1: Bouwtekening van een interventie 24 Bijlage 2: Verschillende niveaus van effectiviteit 27 Bijlage 3: Mogelijke uitkomsten van doeltreffendheid- en effectonderzoek 30 Bijlage 4: De CIV/DSO van het WODC 32 Bijlage 5: Enkele monitorinitiatieven in het veld 33 Pagina 5 van 34

6

7 1. Inleiding Interventies voor justitiabelen zijn gericht op gedragsverandering. Justitiabelen krijgen vaardigheden (gedragsalternatieven) aangereikt en worden getraind in het gebruik hiervan in het dagelijkse leven. Sommige interventies richten zich op veranderingen in de omgeving van de justitiabele, zoals de dagbesteding, vrijetijdsbesteding, gezinssituatie en partnerrelatie. Het Ministerie van Veiligheid en Justitie heeft in 2015 een aantal veranderingen doorgevoerd in het kwaliteitssysteem (gedrags)interventies. De Erkenningscommissie Gedragsinterventies Justitie is opgeheven, de beoordeling van (onderzoek naar) interventies vindt nu plaats door de deelcommissie Justitiële Interventies van de Erkenningscommissie Interventies. De criteria van de Erkenningscommissie Interventies, die ook voor de deelcommissie Justitiële Interventies gelden, zijn beschreven in het document Erkenning van interventies. Criteria voor gezamenlijke kwaliteitsbeoordeling ( De verschillen en overeenkomsten met de criteria van de voormalige Erkenningscommissie Gedragsinterventies Justitie staan beschreven in het document Definities, criteria en uitvoerbaarheid. Aandachtspunten voor de beoordeling van justitiële interventies 1. Het Ministerie van Veiligheid en Justitie hecht ook in de toekomst veel waarde aan de kwaliteitsbewaking van de uitvoering en het meten van resultaten. Interventies moeten minimaal onderzocht kunnen worden op doeltreffendheid. Dit betekent dat data beschikbaar moeten zijn die inzicht verschaffen in de bereikte doelgroep, de uitvoering en de bereikte resultaten: vindt de uitvoering plaats bij de beoogde doelgroep en zoals voorgeschreven en wordt het effect bereikt zoals beoogd? In dit document worden de vereisten beschreven voor de registratie en monitoring van de uitvoering van interventies. De vereisten betreffen de benodigde data voor kwaliteitsbewaking en resultaatmeting. De vereisten zijn in eerste instantie bediscussieerd in de werkgroep Onderzoek en Kwaliteit van het project Gedragsinterventies 2. De opdracht voor de werkgroep was het best werkzame minimum te formuleren met betrekking tot de wijze waarop de kwaliteit van de uitvoering wordt geborgd en het benodigde onderzoek kan plaatsvinden. Het voorstel van de werkgroep is besproken met vertegenwoordigers van alle ontwikkelaars/uitvoerders van gedragsinterventies die in september 2015 de status erkend hadden. De feedback van de ontwikkelaars en uitvoerders is in de werkgroep besproken en heeft geleid tot enkele bijstellingen. Dit document wordt door het Ministerie van Veiligheid en Justitie beschikbaar gesteld aan de deelcommissie Justitiële Interventies en wordt verspreid onder de ontwikkelaars en uitvoerders van erkende interventies. 1 Spanjaard, H. (2015). Definities, criteria en uitvoerbaarheid. Aandachtspunten voor de beoordeling van justitiële interventies. Den Haag: Ministerie van Veiligheid en Justitie. 2 Deelnemers aan de werkgroep waren Heleen Hulscher en Erica Nales van de Raad voor de Kinderbescherming, Frederike Zwenk van het WODC, Wiert Berghuis en Ellen Righart van DJI, Nicolette Oud van de VNG, Wouter Meester / Jelle Idenburg van DJI, Jennifer Day / Inge Eijkenboom van DJI, Renée Henskens van Reclassering Nederland, Ruben Lindenberg (Significant) en Han Spanjaard (Spanjaard Development & Training). Pagina 7 van 34

8 2. Kwaliteitsbewaking Het uitvoeren van een interventie zoals beoogd is één van de voorwaarden voor effectiviteit. Om effectief te kunnen zijn, dient de interventie modeltrouw (programma-integer) en door een competente therapeut/trainer uitgevoerd te worden. De kwaliteitsbewaking van de uitvoering en de trainers/therapeuten is de primaire verantwoordelijkheid van de uitvoerder. Het gaat hierbij om aspecten als werving, selectie, opleiding, bijscholing, supervisie en jaarlijkse beoordeling van trainers/therapeuten en de monitoring van de uitvoering. Sommige uitvoerders voeren een interventie uit die door een andere organisatie is ontwikkeld. De ontwikkelaar stelt dan eisen aan de uitvoerder om de interventie in licentie te mogen uitvoeren. Een deel van de kwaliteitsbewaking, zoals de supervisie en de jaarlijkse beoordeling en licensering van therapeuten/trainers, kan dan worden uitgevoerd door de ontwikkelaar. Er vindt vanuit de financier/opdrachtgever hierna gemakshalve aangeduid met financier geen toetsing plaats of in een dergelijk geval de uitvoerder zich houdt aan alle vereisten van de ontwikkelaar; dit is een zaak tussen ontwikkelaar en uitvoerder. Wel moet de financier zich er van verzekeren dat de uitvoerder gelicenseerd is om de betreffende interventie uit te voeren. De meeste ontwikkelaars hanteren lijsten met namen van trainers/therapeuten die voldoen aan de licentie-eisen: uitvoerders mogen alleen trainers/therapeuten inzetten met een geldige licentie. Ontwikkelaars van interventies operationaliseren twee tot maximaal tien onmisbare werkzame elementen (de top 2 tot 10 ) van de interventie in meetbare concepten. In de beschrijving van de interventie wordt een onderbouwing van de werking van de interventie en de onmisbaarheid van deze werkzame elementen gegeven. De ontwikkelaar formuleert de werkzame elementen zodanig dat bij de uitvoering van de interventie meetbaar is of deze werkzame elementen worden toegepast. Door monitoring van de uitvoering ontstaat zicht op de modeltrouw en de competentie van trainer/therapeut: in hoeverre maakt de uitvoerder gebruik van 1) de werkzame elementen van de interventie en 2) algemeen werkzame factoren zoals motiveren en het opbouwen van een werkrelatie. Voorbeeld De ontwikkelaar van Tools4U heeft een top 10 samengesteld van activiteiten die de trainer minimaal moet ondernemen bij het uitvoeren van elke Tools4U training. Deze vormen de basis van de methodiek. Top 10 van activiteiten die trainer onderneemt bij het uitvoeren van een Tools4U training 1. Na ½ uur kennismaking in de eerste bijeenkomst de weekkaart 2. Delictbespreking in de tweede bijeenkomst 3. Trainingsplan bespreken in de derde bijeenkomst op basis van competentieanalyse en delictanalyse (deze drie documenten gaan voor de derde bijeenkomst naar supervisor) 4. Na het bespreken van het trainingsplan iedere bijeenkomst een of meer gedragsoefeningen 5. Tussen de bijeenkomsten altijd een opdracht voor thuis inzetten 6. De technieken en hulpmiddelen uit de handleiding worden doelgericht (gekoppeld aan de gestelde doelen) ingezet 7. Plusvariant: in bijeenkomst 2 doet de trainer de beeldschermenopdracht en een gedragsoefening, in bijeenkomst 3 ook minimaal 1 gedragsoefening Pagina 8 van 34

9 8. In de laatste bijeenkomst geeft de jongere een presentatie (voorbereiden in de voorlaatste bijeenkomst) 9. Doelen worden beoordeeld door trainer en jongere in eindrapportage, met evaluatieformulier voor jongere en ouders 10. Trainer maakt opnames voor eigen ontwikkeling (supervisie en beoordeling) PI Research, augustus 2011 In bijlage 1 is een bouwtekening van een interventie opgenomen, een hulpmiddel voor de ontwikkeling van en onderzoek naar interventies. Het invullen van de schema s van de bouwtekening helpt om bij een interventie de (top 2-10 van) werkzame elementen te formuleren. Werkzame elementen geven de trainers en therapeuten houvast bij de uitvoering van de interventie. Het geeft de kaders aan waarbinnen ze moeten opereren. Door helder te zijn over de werkzame elementen, wordt een uitvoerder in staat gesteld de interventie modeltrouw uit te voeren, met behoud van de benodigde flexibiliteit. De mate waarin alle werkzame elementen worden benut, wordt per uitvoering vastgelegd. Omdat deze registratie alleen waarde heeft als de uitkomsten betrouwbaar zijn, dient er een betrouwbaarheidscheck op deze registratie ingebouwd te worden. Een voorbeeld van een betrouwbaarheidscheck is dat naast de rapportage van uitvoerders over het al dan niet toegepast hebben van de werkzame elementen ook deelnemers hierop bevraagd worden bij de eindevaluatie. Een ander voorbeeld is het beoordelen van een video-opname van de uitvoering. Met de definiëring van werkzame elementen ontstaat de mogelijkheid om de mate waarin een interventie modeltrouw wordt uitgevoerd te meten. Op het moment dat een onderzoek naar doeltreffendheid of naar effectiviteit wordt uitgevoerd, stelt de uitvoerder via de financier de data over de kwaliteitsbewaking beschikbaar aan de onderzoeker. De deelcommissie Justitiële Interventies beoordeelt per interventie of het systeem voor kwaliteitsbewaking voldoende garantie biedt voor programma-integriteit. Over de geleverde kwaliteit legt de uitvoerder verantwoording af aan de financier: in hoeverre is de interventie uitgevoerd zoals bedoeld? Het valt binnen de verantwoordelijkheid van de financiers (JJI, RvdK en DForZo 3 ) om over de wijze van verantwoorden concrete afspraken te maken met de uitvoerders. Zo kan een financier bijvoorbeeld verlangen dat uitvoerders jaarlijks rapporteren over de mate waarin zij de werkzame elementen toepassen. Als een financier meent dat een procesevaluatie moet worden uitgevoerd om hier duidelijkheid over te geven, kan dit als leveringsvoorwaarde in een contract worden opgenomen. 3 Per het Specialistisch Inkoop Centrum (SIC). Pagina 9 van 34

10 3. Resultaatmeting Een belangrijke vraag is of een interventie erin slaagt om het vaardigheidsrepertoire daadwerkelijk te vergroten en/of de beoogde veranderingen in de omgeving te realiseren. Schematisch weergegeven: Doelgroep Interventie Uitkomsten Bij meerdere interventies wordt uitgegaan van de volgende redenering: er zijn justitiabelen waarbij het ontbreken van cognitieve en sociale vaardigheden de directe of indirecte risicofactor is geweest voor de delictpleging(en); dit vormt ook voor de toekomst een risicofactor; tijdens de interventie leren deze justitiabelen de betreffende vaardigheden; het geleerd hebben van deze vaardigheden zal leiden tot betere maatschappelijke participatie en re-integratie en/of minder recidive. Schematisch weergegeven: Tekort vaardigheden Training Toename vaardigheden (proximale uitkomst) Minder recidive (distale uitkomst) Een interventie is effectief als de interventie bij de beoogde doelgroep wordt uitgevoerd zoals bedoeld én leidt tot realisatie van de gestelde doelen: de training leidt tot toename van de vaardigheden (proximale uitkomst); de toegenomen vaardigheden leiden tot meer maatschappelijke participatie en re-integratie en/of minder recidive (distale uitkomst). De uitval van deelnemers mag niet te groot en niet te selectief zijn en de relevante vaardigheden moeten bij een substantieel deel van de deelnemers zijn toegenomen. Het bewijs voor effectiviteit wordt door de deelcommissie Justitiële Interventies beoordeeld en geclassificeerd. De niveaus van bewijs voor effectiviteit zijn: eerste, goede of sterke aanwijzingen. Bij de bepaling van het niveau speelt onder andere een rol de mate van gevonden effect en de kwaliteit van het onderzoek. Het Ministerie van Veiligheid en Justitie stelt als eis aan interventies om te streven naar minimaal erkenning op het niveau van eerste aanwijzingen voor effectiviteit. Om een interventie binnen 5 jaar (vanaf de erkenning goed onderbouwd ) naar dit niveau te brengen, moet onderzoek uitgevoerd worden met betrekking tot de volgende aspecten: de deelnemers: de mate waarin de bereikte doelgroep voldoet aan de indicatiecriteria; de uitvoering: de mate van programma-integriteit, de mate waarin de werkzame elementen op juiste wijze zijn uitgevoerd; de resultaten: de mate waarin de interventiedoelen zijn behaald. In paragraaf 4.3 wordt uitgewerkt welke gegevens met betrekking tot deze aspecten verzameld moeten worden. Wanneer deze data beschikbaar zijn, is het mogelijk een Pagina 10 van 34

11 doeltreffendheidonderzoek uit te voeren. De mate waarin de bereikte doelgroep voldoet aan de indicatiecriteria kan worden bepaald op basis van de scores t.a.v. de indicatiecriteria, veelal vastgesteld met risicotaxatie-instrumenten zoals het LIJ, de SAVRY, de QuickScan of de RISc. De mate waarin de interventie wordt uitgevoerd zoals bedoeld, kan worden bepaald op basis van de beoordeling van de uitvoering op toepassing van de werkzame elementen (belangrijkste technieken en verplichte onderdelen). 100 % programmaintegriteit is in de praktijk vaak niet haalbaar; 80 % is een goede score. Durlak en DuPre ( ) stellen dat een inzet van minimaal 60 % een wenselijke en reële richtlijn is voor voldoende programma-integriteit. Als de bereikte doelgroep in voldoende mate voldoet aan de inclusiecriteria en de programma-integriteit voldoende is, kan de vraag naar doeltreffendheid gesteld worden: in hoeverre worden de interventiedoelen behaald? Hiervoor is nodig een voor- en nameting (met betrouwbare en valide meetinstrumenten) van de parameters waar de interventie zich op richt. Deze veranderingsmeting nog zonder controlegroep en recidivemeting geeft als het ware de eerste aanwijzingen voor de effectiviteit van de interventie. Voor een hoger niveau van erkenning (niveau 3 of 4) is een vergelijking met een controlegroep noodzakelijk. Dit geldt ook voor de vragen: in hoeverre gaan justitiabelen als gevolg van de uitgevoerde interventie uiteindelijk minder vaak, minder snel en/of minder ernstig recidiveren? in hoeverre wordt deelname aan de maatschappij en de re-integratie bevorderd en terugval voorkomen? Het WODC werkt via het landelijke onderzoek van de Recidivemonitor aan de totstandkoming van de Centrale InformatieVoorziening Dader/Sanctie-Onderzoek (CIV/DSO). Dit systeem voorziet in een structurele koppeling van afnames van risicotaxatie-instrumenten aan de justitiële gegevens die worden geregistreerd in de Onderzoeks- en Beleidsdatabase Justitiële Documentatie (OBJD). Op de wijze waarop de CIV/DSO van het WODC benut kan worden voor de beantwoording van bovenstaande vragen, wordt ingegaan in paragraaf 5 en bijlage 4. Onderzoek om te komen tot niveau 2 van erkenning wordt geïnitieerd door de ontwikkelaar of de uitvoerder. In aanvulling daarop kan onderzoek plaatsvinden naar het effect op recidive. De mate waarin de onderzoeker onafhankelijk is, speelt een rol bij het beoordelen van de sterkte van het bewijs. Bewijs voor doeltreffendheid en effectiviteit is overtuigender als het onderzoek wordt uitgevoerd door een onderzoeker die onafhankelijk staat ten opzichte van de aanmelder, uitvoerder, ontwikkelaar en financier en geen belang heeft bij bepaalde uitkomsten van het onderzoek. De deelcommissie Justitiële Interventies van de Erkenningscommissie Interventies beoordeelt ingediend onderzoek naar interventies en bepaalt het niveau van erkenning. Daarbij speelt de sterkte van het bewijs en de kwaliteit van het onderzoek een grote rol. Op basis van de beschrijving van de verschillende niveaus van effectiviteit (bijlage 2) kan men een inschatting maken van het niveau waarvoor bepaald onderzoek met bepaalde uitkomsten in aanmerking komt (zie bijlage 3). 4 Durlak, J.A., & DuPre, E.P. (2008). Implementation Matters: A Review of Research on the Influence of Implementation on Program Outcomes and the Factors Affecting Implementation. American Journal of Community Psychology, 41, p Pagina 11 van 34

12 4. Verzamelen en delen van informatie 4.1 Doelen op verschillende niveaus Het verzamelen en delen van informatie dient doelen op verschillende niveaus. Op het niveau van ontwikkelaar en uitvoerder is het registreren en monitoren van de uitvoering en resultaten van interventies noodzakelijk voor het bewaken en verbeteren van de kwaliteit. Op het niveau van opdrachtgever en samenleving is het meten van de resultaten van belang voor de legitimatie en verantwoording van interventies: krijgen de opdrachtgever en de samenleving waar voor hun geld? Op het niveau van de trainer/therapeut en de justitiabele die deelneemt aan de interventie is het verzamelen en delen van informatie ook van belang: systematische terugkoppeling van informatie is een algemeen werkzame factor voor effectief hulpverlenen/behandelen. Monitoring per deelnemer levert de uitvoerende therapeut/trainer én deelnemer en (in het geval van jongeren ook hun ouders/verzorgers) belangrijke informatie over wat de interventie voor de deelnemer heeft opgeleverd. Informatie uit de voor- en nameting geeft feedback op het resultaat van de inspanningen die de betrokkenen hebben geleverd. Dit bevordert de doelgerichtheid van de interventie en het commitment van de justitiabele bij de interventie. Voor een directe terugkoppeling van informatie op individueel niveau is van belang om te investeren in gebruiksvriendelijkheid en onmiddellijke bruikbaarheid van een registratie- en monitoringssysteem en de daarmee verkregen resultaten. Het gaat om goed leesbare en duidelijke informatie die snel en gemakkelijk toegankelijk is voor verschillende belanghebbenden. Bij voorkeur zijn de administratieve lasten van dit registratie- en monitoringssysteem zo beperkt mogelijk. Het is zinvol om na te gaan of bij de ontwikkeling van een registratie- en monitoringssysteem gebruik gemaakt kan worden van en/of aangesloten bij bestaande initiatieven (zie bijlage 5). De vraagstelling met betrekking tot de ontwikkeling van een registratie- en monitoringssysteem voor erkende interventies is breder dan deze initiatieven. Bij de inrichting en uitwerking van het systeem kan de ontwikkelde kennis en ervaring evenwel zeer wel van nut zijn. Het verdient aanbeveling om daarbij aan te sluiten. 4.2 Informatiebehoefte en -uitwisseling Voor het ontwikkelen van een registratie- en monitoringssysteem is allereerst van belang te weten welke informatie verzameld moet worden en met wie welke informatie gedeeld moet worden. Uitgangspunt is dat het registratie- en monitoringssysteem gewenste informatie oplevert voor de verschillende actoren: de justitiabele (en in het geval van jongeren ook diens ouders/verzorgers), de aanmelder/verwijzer, de uitvoerder, de ontwikkelaar, de onderzoeker en de financier/opdrachtgever. In onderstaande tabel wordt aangegeven wat de informatiebehoefte is van de verschillende actoren. Pagina 12 van 34

13 Ontvangende partij Deelnemer Aanmelder/- verwijzer Uitvoerder van de interventie Uitvoeringsorganisatie Ontwikkelaar Onderzoeker (via opdrachtgever) Financier/- opdrachtgever Deelcommissie Justitiële Interventies Leverende partij(en) Aanmelder/ verwijzer Uitvoerder Uitvoerder van de interventie Aanmelder/ verwijzer Deelnemer Uitvoerder Uitvoerings organisatie Uitvoerings organisatie Uitvoerings organisatie Ontwikkelaar Benodigde informatie Gegevens uit risicotaxatie/indicatie Gegevens op basis van vooren nameting (mits deelnemer hier belang bij heeft en profijt van heeft / deze zelf wil inzien) Gegevens over praktische uitvoering (nakomen afspraken) en uit vragenlijsten (voor- en nameting) en evaluatie Gegevens uit de risicotaxatie Gegevens uit vragenlijsten (voor- en nameting) en evaluatie door deelnemer Gegevens over de uitvoering: resultaten m.b.t. de top 2 tot 10 van onmisbare werkzame elementen Resultaten m.b.t. de top 2 tot 10 Evaluatie van de relevantie en uitvoerbaarheid van verschillende onderdelen van de interventie Geanonimiseerde informatie over risicotaxatie, instroom, uitvoering en resultaten (op casusniveau) (Geaggregeerde) gegevens over aantal gestarte en afgeronde interventies, instroom, doorlooptijden, uitvoering en resultaten Onderzoeksrapport(en) Gewijzigde handleiding(en) en werkbladen Doel Justitiabele ziet rapport/- taxatie en de argumentatie voor advies interventie. Resultaten van de interventie worden inzichtelijk. Het versterken van het effect van de interventie middels terugkoppeling. In hoeverre heeft de aangemelde justitiabele de interventie volgens afspraak afgerond en heeft hij er baat bij gehad? Gegevens uit risicotaxatie worden benut voor planning en invulling van de interventie. Met deze data evalueert de trainer/therapeut zijn eigen verrichtingen. Gegevens omtrent programma-integriteit worden benut voor bewaking en verbetering van de kwaliteit van (de uitvoering van) de interventie. Beoordeling en licensering uitvoerders. Daar waar wenselijk en nodig verbetering van de structuur en in te zetten technieken en hulpmiddelen van de interventie. Uitvoeren doeltreffendheidof effectonderzoek. Toetsen of de ingekochte interventies worden uitgevoerd zoals afgesproken. Toetsen van succesvol tenuitvoerleggen en waarmaken van verantwoordelijkheid voor tenuitvoerlegging. Besluit doorgaan of stoppen met of doorontwikkelen van de interventie. Herbeoordeling. Pagina 13 van 34

14 De justitiabele ondertekent bij aanvang van de interventie twee contracten: hij gaat akkoord met deelname aan de interventie. Het invullen van vragenlijsten is een onderdeel van de interventie. hij geeft toestemming om de resultaten van de vragenlijsten te gebruiken voor het bewaken van de kwaliteit van de uitvoering van de interventie en het doen van onderzoek naar het effect van de interventie. De gegevens worden anoniem verwerkt en bewaard zolang als nodig is voor het onderzoek. Er wordt een sleutel bewaard tussen het identificatienummer van de vragenlijst en de naam van de persoon, om van alle personen die deelnemen aan de interventie te kunnen onderzoeken in hoeverre de interventie helpt om niet opnieuw met politie en justitie in aanraking te komen. De uitvoeringsorganisatie en in het verlengde daarvan de opdrachtgever/financier is eigenaar van de scores/uitkomsten van de ingevulde vragenlijsten. Dit eigenaarschap wordt vastgelegd in het contract tussen financier en uitvoerder, waarin opgenomen is waar de gegevens bewaard worden, hoe de privacy bewaakt wordt en door wie en waarvoor de gegevens gebruikt worden. Gegevens mogen worden gebruikt zolang er geen contact met de respondenten wordt opgenomen en de resultaten van het onderzoek zodanig worden gepresenteerd dat deze niet herleidbaar zijn tot individuele personen. Alle betrokkenen (aanmelder, uitvoerder, onderzoeker opdrachtgever/financier en ontwikkelaar) dienen bij de verzameling, het bewaren en het delen van informatie de Wet Bescherming Persoonsgegevens in acht te nemen. In schema zien de informatiestromen er als volgt uit: Toelichting De uitvoerder is in opdracht van de financier/opdrachtgever verantwoordelijk voor het verzamelen van alle informatie die uiteindelijk terug- en doorgekoppeld wordt naar de deelnemer, de aanmelder, de ontwikkelaar, de onderzoeker en de financier. Pagina 14 van 34

15 De uitvoerder kan deze registratie- en monitortaak beleggen bij een externe partij, zoals bij Stichting 180 (JJI-interventies) en de Raad voor de Kinderbescherming (leerstraffen voor jeugdigen). De uitvoerder ontvangt van de aanmelder (RvdK, JR, 3RO, JJI) informatie over de justitiabele. De RISc/QuickScan/LIJ/SAVRY-scores uit de risicotaxatie worden aangeleverd inclusief persoonsgegevens. Daarbij moet aangesloten worden bij de informatiebehoefte van de onderzoeker met het oog op doeltreffendheid- en effectevaluaties. De deelnemer ontvangt voor de start van de interventie informatie van de aanmelder (waaronder de RISc/QuickScan/LIJ/SAVRY-scores in het adviesrapport of perspectiefplan van de Raad voor de Kinderbescherming, JJI of de Reclassering). De uitvoerder neemt de interventiespecifieke vragenlijsten af (voor- en nameting) bij de deelnemer (en bij jongeren als deelnemer soms ook de ouders). De deelnemer en de aanmelder ontvangen na afsluiting van de interventie de uitkomsten van de voor- en nameting (vooruitgang t.a.v. de interventiedoelen). Voor de deelnemer geldt dan wel als voorwaarde dat hij hier belang bij heeft en profijt van heeft. Daarnaast kan een deelnemer ook altijd zelf aangeven inzicht te willen in de uitkomsten van de voor- en nameting. De ontwikkelaar ontvangt van de uitvoerder informatie over de uitvoering van de interventie. Deze informatie bestaat uit de scores t.a.v. de top 2 tot 10 en aanvullende gegevens, bijvoorbeeld in de vorm van een jaarlijkse video-opname van een sessie en rapportage van een uitvoering. Daarnaast ontvangt de ontwikkelaar feedback van de uitvoerder over de relevantie en uitvoerbaarheid van verschillende onderdelen van de interventie om daar waar nodig de structuur en in te zetten technieken en hulpmiddelen van de interventie aan te passen. De ontwikkelaar bepaalt hoe de kwaliteit getoetst wordt en op welke wijze en hoe vaak supervisie plaatsvindt. 5 De uitvoerder, onderzoeker en indien gewenst de financier ontvangen van de ontwikkelaar informatie over de mate waarin de beoordeling van de uitvoering en van de competentie van afzonderlijke trainers/therapeuten voldoende is en wie wel/niet over een geldige licentie beschikt. De onderzoeker ontvangt via de financier van de uitvoerder informatie over de instroom (RISc/QuickScan/LIJ/SAVRY-scores), de uitvoering (scores top 2 tot 10 ) en de effecten (schaalscores vragenlijsten voor- en nameting). Deze informatie is gekoppeld aan (versleutelde) persoonsgegevens, inclusief start- en einddatum van de interventie. 5 De deelcommissie Justitiële Interventies geeft een oordeel over enkele uitvoeringsaspecten: De interventie is overdraagbaar: - er is een handleiding of protocol voor overdracht. De handleiding bevat een beschrijving van doelen, doelgroep en materialen en de inhoud van de activiteiten. - er is een systeem voor implementatie of (indien relevant) een implementatieplan voor brede (landelijke) invoering van de interventie. Gegevens over onderhoud en kwaliteitsbewaking zijn gespecificeerd. Beschreven is wie verantwoordelijk is, wat er wordt gedaan, terugkerend onderhoud en wijze van verankering van de interventie (denk aan licenties, monitorsysteem, registraties, terugkomdagen). De randvoorwaarden die essentieel zijn voor de uitvoering zijn gespecificeerd. Het gaat dan om randvoorwaarden op het niveau van: - de interventie (personele inzet, tijdsbesteding, kosten), - de uitvoerende professionals (opleiding, ervaring, competenties), - de organisatie (draagvlak (in- en extern), mogelijkheden tot interne en externe samenwerking), - de context (bijvoorbeeld de samenwerking met andere organisaties of de demografische samenstelling van een wijk waarin de interventie wordt uitgevoerd). (Uit: Erkenning van interventies. Criteria voor gezamenlijke kwaliteitsbeoordeling , p.21.) De invulling hiervan is in de criteria niet nader gespecificeerd. Pagina 15 van 34

16 De financier legt contractueel vast welke informatie hij van de uitvoerder wil ontvangen. Deze gegevens kunnen zowel op geaggregeerd niveau zonder (versleutelde) persoonsgegevens als op individueel niveau worden aangeleverd. De uitvoerder, ontwikkelaar, aanmelder, financier en Deelcommissie Justitiële Interventies ontvangen de resultaten van doeltreffendheid- en effectevaluaties. 4.3 Gegevens die geregistreerd moeten worden Hieronder volgt een overzicht van gegevens die geregistreerd moeten worden. Er wordt onderscheid gemaakt in variabelen met betrekking tot de doelgroep, de uitvoering van de interventie en de uitkomsten van de interventie Deelnemers Voor het vaststellen van de recidive van de groep deelnemers die een interventie heeft gevolgd, zijn gegevens nodig om de deelnemer terug te kunnen vinden in de Onderzoeks- en Beleidsdatabase Justitiële Documentatie (OBJD) en andere registratiesystemen. De mate waarin de toegeleide justitiabelen voldoen aan de gestelde indicatiecriteria kan worden vastgesteld met behulp van het registratie- en monitoringssysteem. Data voor het kunnen terugvinden van de deelnemer in registratiesystemen Gegevens die op het niveau van de deelnemer geregistreerd moeten worden om de persoon terug te kunnen vinden in de OBJD en andere registratiesystemen, zijn: SKN (strafketennummer); BSN (burgerservicenummer); geboortedatum; parketnummer. Het SKN is nodig voor het terugvinden van de persoon in de OBJD en andere systemen zoals TULP. Indien het BSN niet beschikbaar is, zijn minimaal nodig het SKN, de geboortedatum en het parketnummer. Soms zal het WODC de uitvoeringsorganisatie dan om aanvullende informatie moeten vragen om de persoon terug te kunnen vinden in de OBJD, zoals: achternaam, volledige voornamen, tussenvoegsel(s); geboorteplaats (indien in buitenland geboren); geboortegemeente (indien in Nederland geboren); geboorteland. Het parketnummer is essentieel voor de identificatie van de strafzaak naar aanleiding waarvan de interventie is uitgevoerd. Dat geeft de gelegenheid om te bepalen welke strafzaken in de OBJD tot het strafrechtelijk verleden behoren en welke als recidive moeten worden gerekend. Data voor het kunnen vaststellen van voldoen aan indicatiecriteria Voor de meeste interventies bevat het LIJ, de SAVRY of de QuickScan/RISc de benodigde gegevens om vast te stellen in hoeverre de deelnemers voldoen aan de indicatiecriteria; in enkele gevallen zijn uitkomsten van aanvullende instrumenten nodig. De volgende gegevens hoeven niet door de uitvoerder geregistreerd te worden, mits deze voorhanden zijn in andere informatiesystemen (zoals LIJ, ROM- JJI, IRIS en TULP) en via bovenstaande gegevens gekoppeld kunnen worden aan de OBJD respectievelijk de CIV/DSO. Het betreft: Pagina 16 van 34

17 delict op basis waarvan de interventie is opgelegd/wordt uitgevoerd: o soort delict (geweldsdelict, vermogensdelict, drugsdelict, zedendelict, vernieling en openbare orde, verkeersdelict, overig); o ernst delict; algemeen recidiverisico (score LIJ/SAVRY/RISc of ander gevalideerd risicotaxatie-instrument); aanwezige criminogene factoren (schaalscores LIJ/SAVRY/RISc of ander gevalideerd risicotaxatie-instrument); motivatie en leerbaarheid (responsiviteit), waaronder - indien beschikbaar in LIJ/SAVRY/QuickScan/RISc of ander een gevalideerd risicotaxatie-instrument - het IQ. Daarnaast moet worden geregistreerd: indien wel geïndiceerd/aangemeld en persoon valt binnen de indicatiecriteria, maar niet gestart: reden van niet starten met de interventie; indien niet geïndiceerd en persoon valt buiten indicatiecriteria, maar wel gestart: reden van starten met de interventie. De meeste van de bovenstaande gegevens worden verzameld met het LIJ, de SAVRY, de QuickScan of de RISc. In het geval van vergelijkend (recidive)onderzoek zijn deze gegevens nodig om in de CIV/DSO iemand te vinden voor in de controlegroep die voldoende met de justitiabele matcht. Ontwikkelaars moeten bij de formulering van indicatiecriteria en contra-indicaties rekening houden met wat er over justitiabelen bekend is. Vaak is het IQ van een justitiabele niet bekend; mogelijk zijn er andere indicatiecriteria en contra-indicaties te formuleren voor leerbaarheid Uitvoering Gegevens die per deelnemer verzameld moeten worden, zijn: naam en variant van de interventie; begin- en einddatum van de interventie (hiermee ontstaat zicht op de verstreken tijd tussen delict, veroordeling en start interventie); aantal gevolgde bijeenkomsten; aantal gemiste bijeenkomsten; uitvoering van verplichte onderdelen van de interventie; de mate waarin de interventie wel/niet modeltrouw/programma-integer is uitgevoerd (bijvoorbeeld scores (percentages) op de top 2 tot 10 van onmisbare werkzame elementen); vragenlijsten ingevuld? wijze van beëindiging? Voorgestructureerde antwoordcategorieën helpen om de administratielast te verminderen. Bijvoorbeeld: 1 = interventie volledig afgerond; 2 = voortijdig afgebroken door externe oorzaken; 3 = voortijdig afgebroken door deelnemer. Daarnaast koppelt de trainer/therapeut de relevantie en uitvoerbaarheid van verschillende onderdelen van de interventie terug aan de ontwikkelaar, bijvoorbeeld tijdens supervisiebijeenkomsten. Pagina 17 van 34

18 Resultaten Wat betreft de uitkomsten is het noodzakelijk dat er voor- en nametingen beschikbaar zijn m.b.t. de veranderingen die de interventie beoogt te realiseren. Dit zijn uitkomstmaten die gemeten worden met gevalideerde meetinstrumenten. Als er nog geen gevalideerde meetinstrumenten beschikbaar zijn, worden deze gaandeweg de implementatie van de interventie ontwikkeld. Gegevens die per deelnemer verzameld moeten worden, zijn: veranderingen m.b.t. programma-doelen, dat wil zeggen de parameters (vaardigheden en/of andere dynamische factoren) waar de interventie zich op richt. Hiertoe worden de resultaten van de voor- en nameting met elkaar vergeleken. Daarnaast kan ook van belang zijn: eindbeoordeling (goal attainment scaling): door de trainer/therapeut geobserveerde vooruitgang; door de justitiabele beleefde vooruitgang; indien ouders betrokken: door de ouders geobserveerde vooruitgang; Voorgestructureerde antwoordcategorieën helpen om de administratielast te verminderen. Bijvoorbeeld: -1 = achteruitgang; 0 = geen verandering; +1 = doel(en) deels gehaald; +2 = doel(en) gehaald. evaluatie van de interventie door de justitiabele (cliënttevredenheid). Vaak blijkt het lastig om geschikte (niet te lang, op het niveau van de deelnemer, door de juiste persoon in te vullen, enzovoort) en gevalideerde vragenlijsten te vinden waarmee de beoogde veranderingen gemeten kunnen worden. De indiener van een interventie kan bij indiening van de interventie bij de deelcommissie Justitiële Interventies aangeven welke instrumenten gebruikt zullen worden om de beoogde veranderingen te meten, zodat de commissie hier ook een oordeel over kan vellen, eventueel met een plan (inclusief tijdpad) om tot gevalideerde vragenlijsten te komen. Het is belangrijk (tijdig) te voorkomen dat verkeerde, te veel of te moeilijke vragenlijsten worden gebruikt met als gevolg veel uitval en onbetrouwbare scores. Zicht op gerealiseerde veranderingen per deelnemer is relevant voor de evaluatie van de interventies middels doeltreffendheidonderzoek of effectonderzoek. Daarnaast kan een voor- en nameting van meerwaarde zijn bij de behandeling of begeleiding van een cliënt en het eventueel adviseren van specifieke vervolgactiviteiten voor de justitiabele. Terugkoppeling van resultaten kan bijdragen aan het verhogen van het inzicht van de cliënt in de eigen problematiek en oplossingsmogelijkheden. Vragenlijsten die ook deze doelen nastreven, worden over het algemeen vaker en beter ingevuld dan vragenlijsten die alleen voor onderzoeksdoeleinden moeten worden ingevuld. In de toekomst wordt mogelijk ook meer gebruik gemaakt van resultaten van neurobiologische onderzoeken voor het vergroten van de effectiviteit van de justitiële gedragsinterventies. Dergelijke studies kunnen extra inzicht geven in welke individuen (wat zijn hun neurobiologische kenmerken) waarom (wat is het neurobiologische mechanisme onderliggend aan effectieve behandeling) goed of minder goed profiteren van een interventie. Voor het meten van behandelsucces zouden aanvullend dan ook neurobiologische instrumenten kunnen worden ingezet. 6 6 Cornet, L.J.M., Böhmer, M.N., Laan, P.H. van der, & Kogel, C.H. (2014). Neurobiologisch onderzoek en justitiële gedragsinterventies, Delikt en Delinkwent, 72, 12, p Pagina 18 van 34

19 5. Doeltreffendheid- en effectonderzoek Het Ministerie van Veiligheid en Justitie stelt als eis aan interventies dat gestreefd wordt naar minimaal erkenning op het niveau van eerste aanwijzingen voor effectiviteit (niveau 2 van erkenning). Als de gegevens met betrekking tot bereikte doelgroep, uitvoering en uitkomsten beschikbaar zijn, kan onderzoek plaatsvinden naar de mate waarin interventiedoelen zijn behaald en er veranderingen in criminogene of beschermende factoren zichtbaar zijn die in de gewenste richting gaan (doeltreffendheid). Vallen de deelnemers in voldoende mate binnen de indicatiecriteria, wordt de interventie in voldoende mate uitgevoerd zoals bedoeld en is er sprake van positief effect op de variabele(n) waar de interventie zich op richt, dan komt de interventie in aanmerking voor niveau 2 van erkenning (eerste aanwijzingen voor effectiviteit). Voorwaarde is uiteraard wel dat het onderzoek goed is uitgevoerd en het gevonden verschil op de interventiedoelen gemeten is met valide instrumenten en groot genoeg is. Overigens valt te bepleiten dat, naast positieve resultaten uit doeltreffendheidonderzoek, ook positieve resultaten uit recidiveonderzoek (zonder meting van de effecten op de interventiedoelen) gezien kunnen worden als eerste aanwijzingen voor effectiviteit (zie ook bijlage 3). Voor het behalen van hogere niveaus van erkenning ( goede of sterke aanwijzingen voor effectiviteit) is effectonderzoek nodig dat bewijst - dat de interventie daadwerkelijk bijdraagt aan de positieve veranderingen op de interventiedoelen; - dat de interventie effect heeft op het recidiveniveau. De CIV/DSO van het WODC kan behulpzaam zijn om een controlegroep samen te stellen voor vergelijkend onderzoek. De CIV/DSO is een grote verzameling van daderkenmerken en uitvoeringsgegevens gecombineerd met informatie over officiële recidive (OBJD) (zie bijlage 4). Een controlegroep kan worden samengesteld door in de CIV/DSO, waarin ook opgenomen LIJ- en RISc-scores, te zoeken naar justitiabelen die voldoende matchen met de deelnemers uit de interventiegroep. Van justitiabelen uit de controlegroep moet bekend zijn of die aan een andere interventie(s)/behandeling hebben deelgenomen en zo ja welke. Programmaintegriteit Scores uitvoering Interventiegroep Controlegroep Doelgroepkenmerken LIJ/RISc-scores Gegevens m.b.t. delict LIJ/RIScscores*) gegevens m.b.t. delict uit CIV/DSO Eventuele deelname aan andere interventies Interventiedoelen Scores voor- en nameting Recidive Recidive uit OBJD Recidive uit OBJD *) Binnen de JJI s wordt vaak de SAVRY (en niet het LIJ) gebruikt als indicatie-instrument voor JJI-interventies. Daarvoor geldt dan hetzelfde als voor het LIJ en de RISc: er is een koppeling nodig met CIV/DSO om een controlegroep samen te kunnen stellen. Voor effectonderzoek ten aanzien van de interventiedoelen is een controlegroep uit de CIV/DSO niet afdoende. Daarvoor zal via een ander onderzoeksdesign een controlegroep gecreëerd moeten worden die voldoende matcht met de interventiegroep en waarbij ook voor- en nametingen worden gedaan met betrekking tot de variabelen waar de interventie zich op richt. Pagina 19 van 34

20 De uitvoerders van interventies moeten bereid zijn data over de interventieuitvoering en resultaten op de voor- en nameting beschikbaar te stellen, voorzien van volledige naam, taakstrafcode (bij leerstraffen), geboortegegevens en parketnummer. Dit is te realiseren door dit bij financiering van interventies als voorwaarde in de contracten op te nemen, zoals nu al gebeurt bij de Raad voor de Kinderbescherming. Belangrijk is daarbij dat in een continu proces gestuurd wordt op volledige en betrouwbare gegevens. Voor versleuteling van de persoonsgegevens t.b.v. onderzoek door het WODC is een procedure en infrastructuur beschikbaar. Het WODC kan op de bovenstaande wijze recidive-onderzoek uitvoeren of bijdragen aan recidive-onderzoek dat door een andere partij wordt uitgevoerd. Terugkoppeling van data vanuit het WODC op casusniveau naar de uitvoerder van de interventie is niet mogelijk vanwege privacyregels en versleuteling van persoonsgegevens met een niet herleidbaar nummer. Een feedbackloop op casusniveau is alleen mogelijk door de instantie die de gegevens verzamelt omtrent de uitvoering van de interventie (bijvoorbeeld Stichting 180 voor de JJI-interventies, de Raad voor de Kinderbescherming voor de leerstraffen en de drie Reclasseringsorganisaties (3RO) voor de interventies die door 3RO worden uitgevoerd voor volwassenen). In een terugkoppeling van de data aan de uitvoerder op geaggregeerd niveau kan het WODC wel voorzien. Pagina 20 van 34

21 6. Registratie en monitoring als er geen onderzoek op stapel staat De verplichting tot registratie en monitoring van gegevens zoals beschreven in paragraaf 4.2 en 4.3 wordt aanzienlijk lichter als een interventie eenmaal niveau 2 van erkenning heeft behaald. Om benodigde management- en beleidsinformatie te kunnen aanleveren en basaal recidiveonderzoek mogelijk te maken, blijft de registratie van een beperkt aantal gegevens, het basispakket, verplicht: 1) Persoonsgegevens ten behoeve van de koppeling met de OBJD: SKN (strafketennummer) en/of BSN (burgerservicenummer); geboortedatum; parketnummer. Met deze gegevens kan het WODC de koppeling maken met de justitiële gegevens uit de OBJD. Mocht dat niet lukken, kan het WODC de uitvoeringsorganisatie om aanvullende informatie vragen. 2) Identificatienummer en afnamedatum risicotaxatie-instrumenten: identificatienummer en datum afname LIJ, SAVRY, QuickScan of RISc. Door per deelnemer aan te geven welk risicotaxatie-instrument (type, nummer en datum) bij instroom is toegepast, kan naast matching met de OBJD per deelnemer een koppeling worden gemaakt met de risicotaxaties opgeslagen in de CIV/DSO. 3) Gegevens over het verloop van de interventie: naam en variant van de interventie; start- en einddatum van de interventie; wijze van beëindiging: 1 = interventie volledig afgerond; 2 = voortijdig afgebroken door externe oorzaken; 3 = voortijdig afgebroken door deelnemer; geboekte vooruitgang t.a.v. doel(en) van de interventie volgens uitvoerder en deelnemer: -1 = achteruitgang; 0 = geen verandering; +1 = doel(en) deels gehaald; +2 = doel(en) gehaald. Bovenstaande basale vragen over de voortgang van de interventie worden beantwoord door de professional die de interventie heeft uitgevoerd. De vragen betreffen de periode vanaf de start tot en met de afsluiting van de interventie. Met doel(en) van de interventie worden de doelen bedoeld zoals beschreven in de interventiehandleiding. Wordt er binnen de interventie gewerkt met een individueel trainings/behandel/interventieplan, dan worden de doelen uit dit plan bedoeld. Beantwoording geschiedt naar eigen waarneming en inzicht door zowel de uitvoerder als de deelnemer Op basis van deze gegevens (het basispakket) kan op eenvoudige wijze management- en beleidsinformatie worden gegenereerd over de uitgevoerde interventies en hun verloop. Over welke gegevens de uitvoerder op geaggregeerd Pagina 21 van 34

22 niveau beschikbaar stelt, worden tussen de financier en de uitvoerder(s) afspraken gemaakt. Daarnaast maakt het bijhouden van deze gegevens vergelijkend recidiveonderzoek mogelijk. Hiermee kan worden nagegaan of het uiteindelijke doel van de interventies wordt gehaald: het verminderen van terugval in crimineel gedrag. De ontwikkelaars en uitvoeringsorganisaties profiteren van het onderzoek: zij maken mogelijk kans op een hoger niveau van erkenning als de resultaten gunstig zijn. Naast het kunnen genereren van management- en beleidsinformatie en het mogelijk maken van vergelijkend recidiveonderzoek, zijn er ook andere redenen om gegevens te blijven registreren en de uitvoering te monitoren. Het registreren en monitoren van gegevens dient interne kwaliteitsbewakingsdoeleinden en biedt informatie over hoe de interventie verbeterd kan worden. Het afnemen van vragenlijsten bij de voormeting is ook bedoeld om de interventie beter af te stemmen op de situatie van de deelnemer (en bijvoorbeeld doelen te stellen), resultaten van de nameting kunnen, indien de deelnemer daar belang bij heeft en profijt van heeft, worden teruggekoppeld aan de deelnemer om het effect van de interventie te bekrachtigen en aan de verwijzer om hem te informeren over de veranderingen als gevolg van de interventie. Om deze reden zullen sommige uitvoerders continu of op gezette tijden gevalideerde vragenlijsten blijven inzetten om per deelnemer de vooruitgang op de interventiedoelen te meten en/of gegevens verzamelen over de toepassing van de werkzame elementen. Sommige uitvoerders van interventies hebben een kwaliteitsbewakingssyteem, al dan niet in de vorm van een ROM, waarin deze aspecten geregeld zijn. Bij een herbeoordeling van de interventie (elke vijf jaar) kunnen de resultaten van een vergelijkend recidiveonderzoek worden ingediend. De vraag voor de deelcommissie Justitiële Interventies is dan wat de consequentie is als het vergelijkend recidiveonderzoek voldoende of juist onvoldoende positieve effecten laat zien. Als er geen (nieuw) onderzoek wordt ingediend, bekijkt de deelcommissie of het eerdere oordeel eventueel herzien moet worden vanwege nieuwe wetenschappelijke inzichten over effecten van bepaalde interventies/interventiestrategieën. Op de langere termijn zullen nieuwe onderzoeksgegevens nodig zijn met metingen ten aanzien van bereikte doelgroep, programma-integriteit en veranderingen op de interventiedoelen. Het is niet reëel te verwachten dat een erkenning wordt aangehouden op basis van onderzoeksresultaten van tien jaar of langer geleden. Pagina 22 van 34

23 7. Organisatorische aspecten en stappenplan Voor een succesvol registratie- en monitoringssysteem is het zaak met de verschillende partijen afspraken te maken voor registratie van de gewenste gegevens per deelnemer, over de wijze waarop de gegevens dienen te worden aangeleverd en de snelheid en regelmaat waarmee deze gegevens worden geleverd. Deels zal de gewenste informatie voorhanden zijn in gedigitaliseerde databases. Zo zullen het LIJ, de QuickScan/RISc en SAVRY, mits voorzien van een datawarehouse, een belangrijke bron zijn voor de evaluatie van toeleiding van justitiabelen. Maar de gegevens van het LIJ, de QuickScan/RISc of de SAVRY zijn niet voldoende om inzicht te geven in de uitvoering en het effect van de interventie. Andere actoren zoals de aanmelder (coördinator taakstraffen, (jeugd)reclassering, ), de uitvoerder (trainer of therapeut) en de justitiabele zelf (en bij jeugdigen ook de ouders) zullen ook gegevens moeten aanleveren. Het lijkt logisch bij de opbouw van een registratie- en monitoringssysteem te beginnen met de output die het LIJ, de QuickScan/RISc en de SAVRY te bieden heeft en de mogelijkheden van de CIV/DSO van het WODC. Van daaruit kan het registratie- en monitoringssysteem voor justitiabelen die worden toegeleid naar een interventie aangevuld worden met gegevens over de uitvoering en uitkomsten van een interventie. Een logische volgorde om tot een gedegen (ontwerp van) registratie- en monitoringssysteem interventies te komen, kent de volgende stappen: 1. Inventarisatie van de informatiebehoefte van de ontwikkelaars, uitvoerende organisaties, therapeuten/trainers, justitiabele (en ouders), onderzoekers, aanmelders en opdrachtgevers/financiers. 2. Vaststellen van de beschikbaarheid van de gewenste informatie bij de gegevensleveranciers met inbegrip van het in kaart brengen van de gegevensstromen, nodig om het registratie- en monitoringssysteem te voeden. 3. Vaststellen van de haalbaarheid van de gewenste informatieverzameling voor het registratie- en monitoringssysteem. 4. Ontwerp van de presentatievorm voor de verschillende afnemers van informatie uit het registratie- en monitoringssysteem met bijzondere aandacht voor de gevisualiseerde presentatie van de informatie voor de justitiabele en ouders/verzorgers. 5. Validatie van het voorstel met de betrokken organisaties en waar nodig aanvulling van deze gegevens voor ministerie en opdrachtgevers. 6. Validatie van de presentatievorm van de informatie uit het registratie- en monitoringssysteem met betrokkenen. 7. Oplevering van een gevalideerd ontwerp voor het registratie- en monitoringssysteem interventies. Pagina 23 van 34

24 Bijlage 1: Bouwtekening van een interventie Bij de ontwikkeling en beoordeling van en onderzoek naar effectieve interventies komen een aantal vragen altijd terug: 1. Wat zijn de kenmerken (indicatiecriteria) van de doelgroep met betrekking tot bijvoorbeeld leeftijd, IQ, aanwezige risico- en beschermende factoren? 2. Wat zijn de doelen van de interventie? Wat zijn de beoogde resultaten op korte termijn (bij afsluiting van de interventie), wat zijn de beoogde resultaten op langere termijn? En wat is het verband tussen de interventiedoelen en de resultaten op korte en langere termijn? Doelen worden zo concreet en meetbaar mogelijk geformuleerd. 3. Wat zijn de werkzame elementen van de interventie? Met andere woorden, wat is het veranderingsmodel waarop de interventie is gebaseerd en welke werkzame elementen (strategieën, technieken) worden ingezet om de beoogde doelen te realiseren? Het is mogelijk om met behulp van twee schema s deze vragen in grote lijnen te beantwoorden. Met deze twee schema s ontstaat op één A4 een totaaloverzicht van de interventie. In deze bouwtekening worden de afzonderlijke vragen in hun onderlinge samenhang beantwoord. Door de ontwikkelaar van een interventie te vragen alle kenmerken van de interventie in het schema te plaatsen, wordt hij gedwongen kort en krachtig te formuleren en keuzes te maken waar het echt om gaat. De schema s zijn een bewerking van schema s die de Community Juvenile Accountability Act (CJAA) Advisory Committee uit Washington State gebruikt bij het beoordelen van voorstellen voor nieuwe interventies of aanpassing van bestaande interventies. De schema s zijn zowel in de ontwikkel- als implementatiefase behulpzaam. Tijdens de ontwikkelfase helpen de schema s de ontwikkelaar doel en doelgroep aan te scherpen, een keuze te maken voor de werkzame elementen van de interventie en deze te onderbouwen. Bij de implementatie en bij onderzoek helpen de schema s om de verschillende betrokkenen (verwijzers, uitvoerders, supervisoren, onderzoekers) in één oogopslag zicht te geven op de cruciale kenmerken van de interventie. Een andere mogelijke toepassing van deze schema s is het gebruik ervan bij begeleidingstrajecten en bij de beoordeling van interventies door de deelcommissie Justitiële Interventies van de Erkenningscommissie Interventies. Tot slot is een optie interventies in databanken voor effectieve interventies op deze manier te presenteren. Als alle interventies deze presentatievorm zouden gebruiken, is het voor geïnteresseerden veel makkelijker snel zicht te krijgen op de essentiële kernmerken van verschillende interventies en de overeenkomsten en verschillen. Daarachter zitten dan de uitgebreidere beschrijvingen zoals die nu te vinden zijn in bijvoorbeeld de databank effectieve jeugdinterventies van het Nederlands Jeugdinstituut. De twee schema s zijn als volgt opgebouwd: Pagina 24 van 34

25 Schema 1 Schema 2 Pagina 25 van 34