Definities, criteria en uitvoerbaarheid Aandachtspunten voor de beoordeling van justitiële interventies Versie 1.0 Datum 22 september 2015 Status definitief
Colofon Afzendgegevens Contactpersoon Projectnaam Auteur Directoraat-Generaal Straffen en Beschermen Directie Sanctietoepassing en Jeugd Turfmarkt 147 2511 DP Den Haag Postbus 20301 2500 EH Den Haag www.rijksoverheid.nl/venj Janneke van 't Riet beleidsmedewerker Project Gedragsinterventies Han Spanjaard in opdracht van het Ministerie van Veiligheid en Justitie Pagina 3 van 15
Inhoud Inleiding 7 Definities 7 Criteria 9 Beoordelen van de uitvoerbaarheid van een interventie 12 Bijlage: Niveaus van effectiviteit 15 Pagina 5 van 15
Inleiding Het ministerie van Veiligheid en Justitie wil de beoordeling en toetsing van justitiële interventies door de Gedragsinterventies van Min VenJ onderbrengen bij een of twee deelcommissies van de Interventies. Met het oog op deze overgang, wordt hieronder eerst van enkele belangrijke begrippen een definitie gegeven: wat verstaan we onder goed onderbouwde of effectieve interventies? Daarna wordt bij de huidige criteria van de Interventies aangegeven welke speciale aandachtspunten of wensen tot aanvulling er zijn voor het beoordelen van justitiële interventies door een deelcommissie van de Interventies. Tot slot wordt ingegaan op enkele criteria die behulpzaam zijn bij het beoordelen van de uitvoerbaarheid van een interventie. Dit document is opgesteld om bij de overheveling van de beoordeling en toetsing van justitiële interventies naar de Interventies te zorgen dat specifieke aandachtspunten voor justitiële interventies geborgd worden. Ook geeft dit document voor het justitiële veld informatie over de verschillen en overeenkomsten tussen de oude en nieuwe erkenningscriteria. Definities Onderstaande definities zijn ontleend aan documenten van het NJi en RIVM/Centrum Gezond Leven met betrekking tot de Interventies en richtlijnontwikkeling en documenten van de Gedragsinterventies Veiligheid en Justitie. Een interventie 1 is een aanpak (zoals training, behandeling of begeleiding) voor een bepaalde doelgroep met een probleem/risico; gericht op vermindering, compensatie en/of draaglijk maken van een probleem of risico; versterking van krachten ter voorkoming of oplossing van een probleem; met een onderbouwde, doelgerichte en systematische werkwijze; van een bepaalde duur en intensiteit. Het begrip interventie is, binnen het justitiële veld, een verzamelnaam voor gedragsinterventies en interventies gericht op het verbeteren van maatschappelijke vaardigheden. 2 Aangezien het onderscheid hiertussen niet scherp te definiëren valt 1 Interventies die in het kader van de forensische zorg ingezet worden vallen niet onder het hier beschreven kwaliteitssyteem. De forensische zorg heeft haar eigen kwaliteitssysteem. Forensische zorgaanbieders die een contract voor levering van erkende interventies hebben, moeten zich bij de uitvoering van deze interventies uiteraard wel houden aan dezelfde kwaliteitseisen als andere aanbieders van deze interventies. 2 Een gedragsinterventie is een programmatisch en gestructureerd geheel van methodische handelingen een interventie gericht op gedragsverandering waardoor (de kans op) recidive vermindert. Interventies gericht op het verbeteren van maatschappelijke vaardigheden zijn vaardigheidstrainingen: kortdurende interventies met een planmatige en doelgerichte aanpak, Pagina 7 van 15
en veel discussie oplevert (beiden richten zich op vaardigheden en gedragsverandering), spreken we binnen het justitiële veld ook over (gedrags)interventies. Voor het nieuwe erkenningssysteem voor justitiële interventies gaan we uit van de volgende definities goed onderbouwd en effectief : Een interventie is goed onderbouwd als deze op zijn minst goed beschreven is en als aannemelijk is gemaakt dat met die interventie het gestelde doel kan worden bereikt. Een interventie is goed beschreven als aanleiding, doelgroep, doelen, aanpak, randvoorwaarden, overdraagbaarheid en onderzoek naar praktijkervaringen zijn beschreven evenals het verband tussen aanleiding, doelen, doelgroep en aanpak. Een interventie is goed onderbouwd indien een theoretische specificatie wordt gegeven van de werkzame elementen van de aanpak. Wanneer interventies nog niet voldoende zijn beschreven of theoretisch zijn onderbouwd, maar er nog slechts enkele lacunes zijn die vrij gemakkelijk zijn op te vullen of enkele kleine aanpassingen nodig zijn, hanteert de commissie ook een voorlopige erkenning, aangeduid met Erkenning onder voorbehoud. Een interventie is effectief als deze op zijn minst goed onderbouwd is en als deze bij een bepaalde doelgroep leidt tot realisatie van de gestelde doelen. Effectiviteit wordt op basis van onderzoek binnen het erkenningstraject beoordeeld in niveaus, van een erkenning als effectief op grond van beperkt bewijs tot aan een erkenning als effectief op grond van sterk bewijs. Voor een korte samenvatting van de vier verschillende niveaus van effectiviteit: zie bijlage 1. Bij de ontwikkeling en beoordeling van effectieve interventies wordt vaak gesproken over algemeen werkzame factoren en werkzame elementen. Algemeen werkzame factoren zijn ingrediënten van hulp die tot het resultaat bijdragen ongeacht de soort behandeling en doelgroep. Werkzame elementen zijn de onderdelen van een interventie of aanpak die effect (lijken te) hebben en bij de uitvoering niet mogen ontbreken. In de forensische zorg is men, net als binnen de ggz, gewend om met richtlijnen en protocollen te werken. Richtlijnen zijn aanbevelingen over het handelen in bepaalde situaties of ten opzichte van bepaalde doelgroepen gebaseerd op wetenschappelijk bewijs, professionele expertise en de behoefte van cliënten. Een protocol beschrijft de te volgen procedure op lokaal niveau. Protocollen sturen beslissingen van hulpverleners in de dagelijkse praktijk en dienen daarom op lokale omstandigheden toegesneden te zijn. Een protocol geeft aan 'wie, wat en hoe te handelen op welke werkplek'. Een protocol is een vertaling van een algemeen aanvaarde, landelijke richtlijn naar de lokale situatie van de beroepskracht. 3 Richtlijnen zijn vooral bedoeld om het inzicht van hulpverleners te vergroten in problemen en behandelmogelijkheden. Protocollen zijn veel meer bedoeld om hulpverleners op een vaststaande manier te laten handelen. Richtlijnen zijn meer gericht op het wegnemen van praktische belemmeringen die het functioneren in de samenleving bemoeilijken of het aanleren van vaardigheden die een volwaardige deelname aan de maatschappij en de re-integratie bevorderen en terugval te voorkomen. Pagina 8 van 15
algemene aanbevelingen, terwijl protocollen duidelijke, concrete aanwijzingen voor het te volgen beleid bevatten. Protocollen hebben dus, meer dan richtlijnen, het karakter van voorschriften. Uiteraard moeten hulpverleners beargumenteerd van een protocol afwijken als de situatie daarom vraagt. Aangezien het afwijken van een protocol ook juridische consequenties kan hebben, is een goede onderbouwing noodzakelijk. Ten aanzien van verschillende soorten stoornissen zijn binnen de (j)ggz richtlijnen ontwikkeld; voor sommige meer specifieke stoornissen of voor een specifieke aanpak zijn behandelprotocollen beschikbaar. Erkende interventies worden uitgevoerd door instellingen en personen die hiertoe bevoegd zijn. De meeste erkende interventies kennen hiervoor een licentiesysteem. Binnen de forensische zorg kunnen ook interventies ingezet worden. Daarnaast werkt men binnen de forensische zorg volgens richtlijnen en met behandelprotocollen. Erkenning van interventies, richtlijnen of behandelprotocollen door een erkenningscommissie is op dit moment geen voorwaarde voor financiering van de forensische zorg. Criteria In de linkerkolom van onderstaande tabel staan de criteria vermeld die worden gehanteerd bij het beoordelen van interventies door (deelcommissies van) de Interventies. In de tweede kolom wordt het criterium vermeld van de Gedragsinterventies dat hiermee (grotendeels) overlapt. In de derde kolom worden waar nodig aandachtspunten of wensen tot aanvulling geformuleerd voor het beoordelen van justitiële interventies door een deelcommissie van de Interventies. Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) De doelgroep van de interventie is helder beschreven aan de hand van relevante kenmerken; eventuele exclusiecriteria of contra-indicaties zijn gegeven. Gedragsinterventies De selectie van justitiabelen (2) Specifieke aandachtspunten of wensen tot aanvulling voor nieuwe deelcommissie Bij indicatiecriteria en contraindicaties is aangegeven wat de vereiste scores zijn op het LIJ, de SAVRY en/of de QuickScan of de RISc. Indien geen of andere instrumenten voor selectie worden ingezet, wordt dit beargumenteerd. Wanneer geen instrumenten worden ingezet, wordt aangegeven hoe de selectie plaatsvindt. Bij inzet van andere instrumenten worden eveneens de grensscores voor in- en exclusie vermeld. Pagina 9 van 15
De inhoud, dat wil zeggen de werkwijze van de interventie, is zo volledig mogelijk beschreven in concrete activiteiten. De benodigde materialen en hun verkrijgbaarheid zijn duidelijk beschreven. Het probleem, risico of thema is volledig en helder omschreven, met gegevens over bijvoorbeeld aard, ernst, omvang, spreiding, perceptie door betrokkenen, kosten en andere (mogelijke) gevolgen. Er is een analyse van het ontstaan van het probleem waarin de (eventuele) oorzakelijke, risico-, instandhoudende -, Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) Indien de doelgroep betrokken is bij de ontwikkeling van de interventie, is beschreven op welke manier dit gebeurd is. De doelen zijn SMART (indien relevant per subdoelgroep) en indien relevant onderscheiden in hoofddoel(en) en subdoelen. De opzet is beschreven, dat wil zeggen volgorde, frequentie, intensiteit, duur, timing van activiteiten, wervingsmethode en locatie van uitvoering. Gedragsinterventies Fasering, intensiteit en duur van de interventie is passend (6) Continuïteit/ vervolg na afloop van de interventie is geregeld (8) De theoretische onderbouwing van de interventie (1) idem Specifieke aandachtspunten of wensen tot aanvulling voor nieuwe deelcommissie Hierbij moet extra gelet worden op hoe een interventie die intramuraal start indien nodig extramuraal voortgezet en afgerond kan worden. Beschreven is hoe overdracht/- terugkoppeling plaatsvindt en op welke wijze de bereikte veranderingen in de vervolgsituatie geconsolideerd kunnen/moeten worden De relatie tussen het probleem en/of risico (de risicofactoren) en de kans op recidive wordt onderbouwd. De relatie tussen het probleem en/of risico (de risicofactoren) en de kans op recidive wordt onderbouwd. Pagina 10 van 15
De werkzame elementen (of technieken of principes) van de aanpak worden benoemd en verantwoord, in het kader van een veranderingsmodel of interventietheorie, of gebaseerd op resultaten uit eerder uitgevoerd onderzoek. Doelgroep, doelen en werkwijze sluiten onderling aan: verantwoord is hoe met de gekozen aanpak daadwerkelijk de gestelde doelen bij deze doelgroep bereikt kunnen worden. Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) verzachtende - of protectieve factoren genoemd worden. De factoren die met de interventie worden aangepakt worden benoemd, gekoppeld aan de (sub)doelen van de interventie (doelverantwoording). Gedragsinterventies De interventie is gericht op criminogene en protectieve factoren (3) De aanpak is aantoonbaar effectief of veelbelovend (4) Er wordt rekening gehouden met motivatie (7) Specifieke aandachtspunten of wensen tot aanvulling voor nieuwe deelcommissie Het verklarings- en veranderingsmodel waarop de interventie gebaseerd is, dient theoretisch en empirisch onderbouwd te zijn. Van de interventie zelf hoeft de effectiviteit nog niet aangetoond te zijn. De meeste justitiabelen zijn weinig/niet gemotiveerd tot verandering/deelname. Aangegeven wordt hoe de deelnemer gemotiveerd wordt tot blijvende en actieve deelname en tot verandering. aangesloten wordt bij het leervermogen, het ontwikkelingsniveau en de belevingswereld van de deelnemer. Waar relevant worden bronvermeldingen gegeven met betrekking tot de theoretische onderbouwing. - Vaardigheden worden aangeleerd (5) Dat een interventie gericht moet zijn op het leren van vaardigheden (criterium 5) sluit interventies uit die via andere wegen gedragsverandering weten te realiseren. Dit criterium vervalt. Pagina 11 van 15
Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) Gedragsinterventies - Het effect van de interventie wordt onderzocht (10) Specifieke aandachtspunten of wensen tot aanvulling voor nieuwe deelcommissie Dit criterium vervalt bij een beoordeling goed onderbouwd. Voor erkenning op een van de niveaus van effectief (ex post beoordeling) geldt uiteraard wel dat de effectiviteit van de interventie zelf aangetoond moet zijn. Daar is onderzoek naar de interventie bij nodig. Uiteraard is het wenselijk dat interventies een zo hoog mogelijk niveau van erkenning (lees bewijs voor effectiviteit) nastreven en hiervoor actie ondernemen. Beoordelen van de uitvoerbaarheid van een interventie De Interventies geeft een oordeel over uitvoeringsaspecten. Een oordeel sterk of voldoende is een voorwaarde voor de erkenning Goed Onderbouwd of Effectief. Het oordeel wordt gebaseerd op onderstaande criteria. Aandachtspunten of wensen tot aanvulling voor het beoordelen van justitiële interventies door een deelcommissie van de Interventies staan weer vermeld in de derde kolom. Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) De interventie is overdraagbaar: - er is een handleiding of protocol voor overdracht. De handleiding bevat een beschrijving van doelen, doelgroep en materialen en de inhoud van de activiteiten. - er is begeleiding bij invoering van de Gedragsinterventies De interventie wordt adequaat uitgevoerd (9) Specifieke aanvullingen/aandachtspunten voor nieuwe deelcommissie Pagina 12 van 15
Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) interventie (train de trainer, begeleiding, helpdesk, etc.). - er is een systeem voor implementatie of (indien relevant) een implementatieplan voor brede (landelijke) invoering van de interventie. Gegevens over onderhoud, kwaliteitszorg en borging zijn gespecificeerd. Beschreven is wie verantwoordelijk is, wat wordt gedaan, terugkerend onderhoud en verankering van de interventie (denk aan licenties, monitorsysteem, registraties, terugkomdagen). De randvoorwaarden die essentieel zijn voor de uitvoering zijn gespecificeerd. Het gaat dan om randvoorwaarden op het niveau van: - de interventie (personele inzet, tijdsbesteding, kosten (gespecificeerd)), - de uitvoerende professionals (opleiding, ervaring, competenties), - de organisatie (draagvlak (in- en extern), mogelijkheden tot interne en externe samenwerking). Aannemelijk is dat de doelen haalbaar zijn binnen de genoemde randvoorwaarden en kosten. Indien de interventie niet in Nederland ontwikkeld is, dan wordt de Gedragsinterventies idem Specifieke aanvullingen/aandachtspunten voor nieuwe deelcommissie Ten aanzien van een beperkt aantal (2-10) meetbare kernelementen wordt de uitvoering gemonitord. Er wordt aangegeven - bij welke justitiële maatregel(en) de interventie inzetbaar is; - hoe de samenwerking intern en met andere justitiële partners verloopt bij aanmelding, tijdens uitvoering en bij afsluiting. Hierbij gaat het o.a. om uitwisseling van rapportages en het melden van bijzonderheden tijdens de uitvoering (met name als de deelnemer zich niet aan afspraken houdt). Pagina 13 van 15
uitgevoerd 4 en - de onderzoeksopzet is beschreven - er zijn gegevens beschikbaar over bijvoorbeeld bereik, succes- en faalfactoren en het oordeel van uitvoerders - de resultaten zijn positief en/of - de interventie is aan de hand van deze resultaten (voor zover noodzakelijk) aangepast. Indien van toepassing: onderzoek laat zien wat relevante contextfactoren zijn die van invloed zijn op het effect en uitvoering van de interventie Deelcommissies Interventies (ondersteund door NJi/NCJ/RIVM/NISB/- MOVISIE/TRIMBOS/- VILANS) oorspronkelijke context kort beschreven en worden de aanpassingen die zijn gemaakt om aan te sluiten bij de Nederlandse situatie toegelicht. Indien relevant voor de problematiek of het terrein van uitvoering biedt de interventie ruimte voor flexibiliteit: in de handleiding staat informatie over werkzame principes of elementen en de samenhang daartussen die gehandhaafd moeten worden. Er is een procesevaluatie Gedragsinterventies Specifieke aanvullingen/aandachtspunten voor nieuwe deelcommissie Aangegeven wordt wat de 2 tot maximaal 10 kernelementen van de interventie zijn (onmisbare werkzame elementen) en hoe hierop bij de uitvoering gemonitord wordt. Als er nog geen (procesevaluatie van) praktijkervaring overlegd kan worden, wordt op een andere manier aannemelijk gemaakt en getoetst of de beschreven interventie ook praktisch uitvoerbaar is. (nadere uitwerking gewenst) In de databank wordt het oordeel m.b.t. de uitvoerbaarheid vermeld: voldoende of sterk, met vermelding van sterke en minder sterke uitvoeringsaspecten. 4 In 2013 is deze eis nog niet verplicht voor het brede jeugdveld; in de loop van het jaar wordt nader bekeken per wanneer het realistisch is om dit te gaan eisen voor interventies in de jeugdzorg. Pagina 14 van 15
Bijlage: Niveaus van effectiviteit Een korte samenvatting van de vier verschillende niveaus van effectiviteit (uit Erkenningstraject interventies criteria voor gezamenlijke kwaliteitsbeoordeling 2013-2018 ): 1. Goed onderbouwd: een goede onderbouwing maakt tenminste aannemelijk dat de interventie zou kunnen werken. Met een theorie wordt gespecificeerd welke uitkomsten te voorspellen zijn, welke mediatoren en moderatoren er in het spel zijn en welke concepten relevant zijn om te meten. Door theoretische specificatie van de werkzame elementen is het beter mogelijk om aannemelijk te maken waarom en hoe dit wel of niet bij andere doelgroepen of situaties zou kunnen werken. Theorie is altijd gebaseerd op onderliggend (empirisch) onderzoek. Daarnaast vormen de werkzame principes of elementen de kern van de interventie, waaraan niet getornd mag worden. Inzicht in werkzame principes maakt voor de professional duidelijk welke onderdelen, mechanismen of werkwijzen eventueel wel en welke beslist niet achterwege gelaten kunnen worden. 2. Eerste aanwijzingen voor effectiviteit: De studies die voor dit niveau zijn uitgevoerd geven de eerste aanwijzingen voor een effect van de interventie (indicatieve bewijskracht). Het gaat hier bijvoorbeeld om goed uitgevoerd observationeel onderzoek zoals casestudies en cohortstudies. Ook onderzoek gebaseerd op monitorgegevens behoort hiertoe. Het gaat dan om interventies waarvoor uit voor- en nametingen blijkt dat bij de uitvoering ervan gedrag, vaardigheden, cognities, gevoelens e.d. in voldoende mate conform het doel van de interventie zijn veranderd. Deze voor- en nametingen moeten in verschillende locaties en met voldoende respons zijn uitgevoerd, met instrumenten die het doel van de interventie goed operationaliseren. 3. Goede aanwijzingen voor effectiviteit: In dit geval wijst eerste onderzoek uit dat bij de uitvoering van de interventie het doel in voldoende mate wordt bereikt (i.e. gedrag, vaardigheden, cognities, gevoelens e.d. veranderen in voldoende mate conform het doel van de interventie), terwijl dat doel niet (of significant minder) wordt bereikt zonder interventie of met de gebruikelijke situatie of handelswijze. Het gaat dan bijvoorbeeld om quasi-experimentele designs of met een follow-up, maar bijvoorbeeld ook om observationele onderzoeken die zeer goed uitgevoerd zijn, of timeseries-onderzoeken. 4. Sterke aanwijzingen voor effectiviteit: Op dit niveau is er voldoende onderzoek van voldoende kwaliteit om aan te mogen nemen dat de interventie bij de doelgroep effectief is en beter werkt dan de gebruikelijke situatie of handelswijze én dat dit toe te schrijven is aan de interventie (sterke bewijskracht). Hier hebben we het over gecontroleerd onderzoek zoals RCT s en quasi-experimentele studies, maar ook over bijvoorbeeld meerdere N=1 studies en timeseries. Pagina 15 van 15