Monitoring en kwaliteitszorg gedragsinterventies jeugdige justitiabelen. Barneveld, 1 oktober Referentie: RL/bv/10.135

Transcriptie

1 SIGNIFICANT Rapport Monitoring en kwaliteitszorg gedragsinterventies jeugdige justitiabelen Ontwikkeling van standaarden voor monitoring en minimumvereisten voor kwaliteitszorg Barneveld, 1 oktober 2010 Referentie: RL/bv/ Auteur(s) : drs. L.W.P (Wouter) Jongebreur R. (Ruben) Lindenberg MSc drs. P.A. (Pieter) Lolkema Ministerie van Justitie

2 Inhoudsopgave 2

3 Inhoudsopgave Voorwoord 5 Managementsamenvatting 7 Achtergrond en aanleiding 7 Doelstelling, aanpak en positionering 7 Conclusies 8 Vervolgstappen 12 1 Inleiding Achtergrond en aanleiding Doelstelling en onderzoeksvragen Aanpak Dossierstudie Diepte-interviews Expertsessie Positionering van de centrale onderwerpen Kwaliteitszorg en monitoring: samenloop en verschillen Ontwikkelaars, opdrachtgevers en uitvoerders Leeswijzer 19 2 Kwaliteitszorg Het belang van kwaliteitszorg Het algemene belang van kwaliteitszorg Het belang van het harmoniseren van de kwaliteitszorg Domeinen kwaliteitszorg Instroom Interventie-integriteit Evalueren en organisatie van kwaliteitszorg Huidige praktijk kwaliteitszorg Instroom Interventie-integriteit Evalueren en organisatie van kwaliteitszorg Minimumvereisten kwaliteitszorg Instroom Interventie-integriteit Evalueren en organisatie van kwaliteitszorg 34 Inhoudsopgave 3

4 3 Monitoring Inleiding op de monitorgegevens Het belang van monitoring Registratie van gegevens Niveaus van informatiebehoefte en beschikbare monitorgegevens Monitorvariabelen Instroom Uitvoering Resultaten Registratie van de gegevens 52 4 Conclusies Conclusie op basis van de doelstelling Conclusies kwaliteitszorg Huidige praktijk kwaliteitszorg Minimumvereisten kwaliteitszorg Conclusies monitoring Huidige praktijk monitoring Informatiebehoefte monitoring Standaarden monitoring Openstaande punten/vervolgstappen 60 A Erkende en voorlopig erkende gedragsinterventies 61 B Geïnterviewden en deelnemers expertsessie 63 Inhoudsopgave 4

5 Voorwoord Voor u ligt het rapport van het onderzoek Monitoring en kwaliteitszorg gedragsinterventies jeugdige justitiabelen: Ontwikkeling van standaarden voor monitoring en minimumvereisten voor kwaliteitszorg. In de periode van eind maart tot en met augustus 2010 is door onderzoeks- en adviesbureau Significant gewerkt aan dit onderzoek in opdracht van het programma aanpak jeugdcriminaliteit van het ministerie van Justitie. Het onderzoek bouwde voort op de kennis die wij hebben opgedaan in de evaluatie van de Erkenningscommissie in 2009 waarin wij uitgebreid de wereld van de justitiële gedragsinterventies hebben leren kennen. Wij kijken met veel plezier terug op de zeer prettige samenwerking met de opdrachtgever. In de eerste plaats willen wij dan ook Ton Eijken en Maggy Belserang hartelijk bedanken. In het onderzoek hebben wij nauw samengewerkt met een aantal experts op het gebied van de jeugdstrafrechtketen. Hun inbreng is van groot belang geweest voor het onderzoek. Wij willen dan ook de geïnterviewden, de leden van de commissie gedragsinterventies en de deelnemers aan de expertsessie op 27 mei 2010 bedanken voor hun bereidheid om mee te werken aan dit onderzoek. Ook Janine Plaisier die de expertsessie heeft voorgezeten, willen wij vanaf deze plaats bedanken voor het in goede banen leiden van de discussies met de grote groep van experts. Met voorliggend document hopen wij een bruikbare bijdrage te hebben geleverd aan de monitoring en kwaliteitsborging van de uitvoering van gedragsinterventies. Een goede uitvoering is een voorwaarde voor het aantonen van de effectiviteit van de interventie in een later stadium. Het projectteam voor dit onderzoek bestond naast ondergetekende uit Ruben Lindenberg en Pieter Lolkema. Namens het projectteam, Wouter Jongebreur (projectleider) Voorwoord 5

6 Voorwoord 6

7 Managementsamenvatting In het onderzoek Monitoring en kwaliteitszorg gedragsinterventies jeugdige justitiabelen: Ontwikkeling van standaarden voor monitoring en minimumvereisten voor kwaliteitszorg is onderzocht welke standaarden voor monitoring en welke minimumvereisten voor kwaliteitszorg van belang zijn om zicht te kunnen houden op de uitvoering van erkende gedragsinterventies voor jeugdigen. Een kwalitatief goede uitvoering van gedragsinterventies wordt binnen de what works benadering van belang geacht voor het behalen van resultaten in termen van recidivevermindering. In dit onderzoek zijn minimumvereisten voor kwaliteitszorg en standaarden voor monitoring van erkende gedragsinterventies voor jeugdigen opgesteld en besproken met betrokken organisaties. Achtergrond en aanleiding Het ministerie van Justitie wil met de betrokken uitvoeringsorganisaties afspraken maken over standaarden met betrekking tot monitorgegevens en minimumvereisten van de kwaliteitszorg voor de uitvoering van erkende gedragsinterventies voor jeugdigen. Op deze wijze wil het ministerie van Justitie stimuleren dat tijdig kan worden bijgestuurd in de uitvoering van gedragsinterventies. In december 2008 is door de Raad voor de Kinderbescherming (RvdK) in samenwerking met de sector Justitiële Jeugdinrichtingen van de Dienst Justitiële Inrichtingen en het ministerie van Justitie een expertmeeting georganiseerd over kwaliteitszorg en monitoring. Tijdens deze expertsessie hebben de betrokken organisaties uitgesproken dat zij het van belang achten dat de systemen voor kwaliteitszorg en monitoring voor de verschillende interventies worden geharmoniseerd. De opdracht voor dit onderzoek geeft uitvoering aan deze wens. Doelstelling, aanpak en positionering De doelstelling van dit onderzoek is als volgt geformuleerd: Het ontwikkelen van standaarden voor de (kwaliteits-)monitoring van de uitvoering van gedragsinterventies en minimumvereisten voor kwaliteitszorg. Bij de ontwikkeling hiervan wordt zoveel mogelijk uitgegaan van de bestaande praktijk. De bijbehorende onderzoeksvragen worden in deze samenvatting weergegeven onder het hoofd resultaten en conclusies. Managementsamenvatting 7

8 In het onderzoek zijn verschillende onderzoeksmethoden gebruikt: dossierstudie, diepteinterviews en een expertsessie. Kwaliteitszorg en monitoring zijn twee verwante aspecten van borging van de juiste uitvoering. Kwaliteitszorg is in dit onderzoek het systeem waarmee wordt gewaarborgd dat de gedragsinterventie op de juiste manier wordt uitgevoerd. De waarborgen bestaan uit normen, vaste procedures en controles. In dit onderzoek is met name gefocust op procedures en controles en niet op normen. Ten behoeve van de minimumvereisten voor kwaliteitszorg worden in de uitvoerig ook gegevens (kwantitatief of kwalitatief) verzameld, zoals bijvoorbeeld de evaluaties van trainers 1. Deze gegevens worden in tegenstelling tot de gegevens ten behoeve van monitoring op organisatieniveau (of minimaal per interventie) en niet op cliëntniveau vastgelegd. Monitoring is als controlemiddel een onderdeel van de kwaliteitszorg en valt in die zin dus onder dezelfde noemer als de procedures die voor de borging van de kwaliteit worden voorgesteld. Een belangrijk verschil echter tussen monitoring en de andere maatregelen voor de kwaliteitsborging is dat monitorgegevens op cliëntniveau worden vastgelegd, kwantificeerbaar zijn en gestructureerd in een database kunnen worden verzameld. Door monitoring wordt managementinformatie verzameld. Deze informatie zou ook gebruikt kunnen worden in de uit te voeren proces- en effectevaluaties van de erkende gedragsinterventies. De informatiebehoefte voor de proces- en effectevaluaties is wel uitgebreider dan de monitorinformatie die in het kader van kwaliteitszorg wordt verzameld. Conclusies In dit onderzoek is een voorstel gedaan voor standaarden voor de (kwaliteits-)monitoring van de uitvoering van gedragsinterventies en minimumvereisten voor kwaliteitszorg, waarbij zoveel mogelijk is uitgegaan van de bestaande praktijk. Dit voorstel is met betrokken organisaties besproken. Dit zijn de conclusies: (a) Het is mogelijk om in generieke zin minimumvereisten te formuleren voor de kwaliteitszorg voor de uitvoering van gedragsinterventies. Deze minimumvereisten zijn uitgewerkt in hoofdstuk 2 en in dit hoofdstuk samengevat. Deze minimumvereisten moeten uitvoerders en ontwikkelaars nog specifiek invullen per gedragsinterventie; (b) Het is mogelijk een set van monitorvariabelen vast te stellen waarin de instroom en het bereik van de doelgroep, de uitvoering en de resultaten van de gedragsinterventies worden gevolgd. Deze set is generiek vast te stellen voor de gedragsinterventies. Een voorstel voor deze set is uitgewerkt in hoofdstuk 3 en in dit hoofdstuk samengevat; 1 In dit rapport wordt over trainers geschreven waar degenen worden bedoeld die de sessies verzorgen. Dit kunnen bijvoorbeeld ook (gezins-) therapeuten zijn. Managementsamenvatting 8

9 (c) De praktische implementatie van monitoring aan de hand van de set van monitorgegevens zal niet van vandaag op morgen gerealiseerd kunnen worden. Een klein deel van de gegevens wordt reeds gestructureerd verzameld. Veel van de gegevens kunnen op het moment echter niet eenvoudig en eenduidig uit de registratiesystemen gegenereerd worden. De ontwikkelingen met betrekking tot het Landelijk Instrumentarium Jeugdstrafrechtketen (hierna LIJ) bieden wel perspectieven om over een aantal jaar de voorgestelde standaarden voor monitoring te implementeren. Tot die tijd kunnen de betrokken organisaties wel starten met het verzamelen van de reeds beschikbare informatie en zich verder voorbereiden op de informatie die aanvullend wordt gevraagd. Hierna worden de conclusies per onderzoeksvraag weergegeven. (a) Wat wordt er voor de verschillende interventies nu al gedaan op het gebied van kwaliteitszorg? Bij alle interventies bestaan op papier (in de handleidingen) voldoende waarborgen om de interventie-integriteit te bewaken. De borging van de kwaliteit is in de praktijk relatief goed geregeld als een externe organisatie (veelal de ontwikkelaar) trainers certificeert voor het uitvoeren van de interventie. Aan deze certificering zijn diverse voorwaarden verbonden die invulling geven aan de kwaliteitsborging. Voor de interventies die in opdracht van de RvdK of door DJI worden uitgevoerd blijkt het lastig centraal gestuurd beleid te formuleren. Wel is bij DJI hiervoor een (nieuwe) beheerorganisatie opgericht. (b) Op welke punten moet de kwaliteit van de uitvoering worden geborgd? Met betrekking tot kwaliteitszorg zijn er op drie domeinen minimumvereisten geformuleerd. Een vereiste aan de kwaliteitszorg die echter alle domeinen overstijgt, is dat wordt vastgelegd wie verantwoordelijk is voor welk onderdeel van de kwaliteitszorg. Voor de juiste uitvoering van de interventie is de supervisor verantwoordelijk, voor de kwaliteit van de trainers (certificering) is een externe partij verantwoordelijk zoals de ontwikkelaar of een beheerorganisatie. Voor de operationalisering van kwaliteitsnormen op basis van de interventiehandleiding moet een landelijk hoofd kwaliteit verantwoordelijk zijn, die waar mogelijk uit de organisatie van de ontwikkelaar komt en anders uit de organisatie van de opdrachtgever 2 van de interventie. Eindverantwoordelijke voor de kwaliteit en het up-to-date houden van de interventie is de nog in te richten stuurgroep. 2 Voor een definitie van de termen opdrachtgever, uitvoerder en ontwikkelaar zie sectie in de hoofdtekst. Managementsamenvatting 9

10 Op het gebied van het bewaken van de instroom wordt voorgesteld dat voor iedere interventie een helder selectieprotocol wordt ontwikkeld waarin wordt geregeld welke instrumenten worden gebruikt, wie de selectie uitvoert, hoe de selectie tot stand komt, wie de besluitvorming toetst en hoe dit alles wordt vastgelegd. De opdrachtgevers houden toezicht op de instroom bij de interventies en sturen bij als deze te veel afwijkt van de geformuleerde doelgroep in de handleiding. Op het gebied van de uitvoering wordt voorgesteld dat er altijd een systeem voor certificering van trainers bestaat waarin trainers voor een beperkte periode gecertificeerd worden. Na die periode wordt bekeken of de trainer aan alle eisen voldoet voor verlenging van de certificering. De organisatie die de certificering uitvoert is niet de aanbieder van gedragsinterventies. Waar mogelijk wordt deze rol door de ontwikkelaar ingevuld, anders door de opdrachtgever van de interventie. Het hoofd kwaliteit stelt vast wat de criteria voor certificering zijn 3. Voor de kwaliteit van de uitvoering is de supervisor verantwoordelijk. De supervisor is zelf ook trainer en wordt gecertificeerd voor zijn rol als supervisor. De supervisor beoordeelt het werk van de trainer en stuurt hem/haar zo nodig bij. Daarbij worden video-opnames en evaluaties gebruikt en casusbesprekingen en/of supervisiebijeenkomsten georganiseerd. Op basis van de informatie die zo wordt verkregen worden de trainers beoordeeld. Tijdens supervisiebijeenkomsten kunnen de trainers bijgestuurd worden als dat nodig is. Ten slotte is het belangrijk dat periodiek in een audit wordt onderzocht of de procedures voor de kwaliteitsborging ook daadwerkelijk worden uitgevoerd. Deze audit wordt door een externe partij uitgevoerd vanwege de onafhankelijkheid. (c) Wat wordt er voor de verschillende interventies nu al gedaan op het gebied van monitoring? Op dit moment besteden opdrachtgevers geen specifieke aandacht aan de monitoring van de uitvoering van gedragsinterventies. Wel wordt een deel van de gegevens in het kader van reguliere processen vastgelegd. Op het punt van risicotaxatie en indicatiestelling brengt het LIJ, dat nu in twee pilots wordt uitgetest, hier verandering in. De gegevens die in dat kader worden vastgelegd, zijn bruikbaar voor de monitoring. Bij zorgaanbieders zijn en voor de (niet-justitiële) jeugdzorg bestaan wel initiatieven om monitorgegevens met betrekking tot de uitvoering van de gedragsinterventies vast te leggen. Concrete initiatieven zijn BergOp en het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN). 3 Wanneer een interventie onder een licentie uit het buitenland wordt uitgevoerd is het hoofd kwaliteit natuurlijk wel gehouden aan de eisen die er vanuit het buitenland worden gesteld. Managementsamenvatting 10

11 (d) Wat is de informatiebehoefte bij het ministerie van Justitie, opdrachtgevers en ontwikkelaars waarin de monitoring moet voorzien? De volgende vragen geven de informatiebehoefte van het ministerie van Justitie weer: (a) Wordt de volledige doelgroep bereikt? (b) Worden gedragsinterventies tijdig ingezet? (c) Hoeveel interventies worden succesvol afgerond? Hoeveel uitval is er, met welke oorzaken? (d) Zijn de interventies effectief? In termen van gedragsverandering en recidivereductie? (e) Worden de geraamde aantallen behaald/overschreden? Binnen welke strafrechtelijke kaders? De volgende vragen geven de informatiebehoefte van de opdrachtgevers weer: (a) Wordt de volledige doelgroep bereikt? (b) Zijn de interventies voldoende beschikbaar? (c) Wat is de tijd tussen start en einde van de interventie? (d) Werkt de indicatiestelling overal naar behoren? (e) Wordt aan de strafrechtelijke verplichting voldaan? (f) Hoeveel interventies worden succesvol afgerond? Voor dit onderzoek is bovenstaande informatiebehoefte van het ministerie van Justitie en de opdrachtgevers van belang voor de monitoring. (e) Welke variabelen moeten worden verzameld en met welke definities? In hoofdstuk 3 zijn de monitorvariabelen (indicatoren voor de monitoring) met bijbehorende definities uitgewerkt per domein. Het betreft de volgende variabelen: (a) Instroom: (i) Bereik: opgelegde interventie (of, in een Justitiële Jeugdinrichting, geïndiceerde interventie), wel/niet gestart met interventie, reden niet starten interventie; (ii) Gegevens deelnemers: burgerservicenummer, leeftijd, geslacht, etniciteit, parketnummer, opgelegde/geïndiceerde gedragsinterventie, type delict, strafrechtelijk kader, recidiverisico, kans op geweld en risico- en beschermingsfactoren op tien leefgebieden; (b) Uitvoering: datum vonnis (of, in een Justitiële Jeugdinrichting, datum indicatie interventie in perspectiefplan), start- en einddatum interventie, interventie is wel/niet afgerond en eventuele reden van uitval; (c) Resultaten: recidive (na 2 jaar), score op risico- en beschermende factoren (ten opzichte van de score op het moment van risicotaxatie en indicatiestelling). Managementsamenvatting 11

12 Vervolgstappen Wij doen de aanbeveling dat er op basis van de voorstellen uit dit rapport door het ministerie van Justitie zo snel mogelijk afspraken worden gemaakt met de opdrachtgevers. Deze organisaties kunnen zich dan goed voorbereiden op de betreffende informatieverzameling en op korte termijn een deel van de gevraagde informatie op de vastgestelde wijze gaan registreren en inzichtelijk maken. De opdrachtgevers zullen moeten aangeven hoe en wanneer ze hieraan kunnen voldoen. Managementsamenvatting 12

13 1 Inleiding 101 Dit hoofdstuk start met een korte beschrijving van de aanleiding van dit onderzoek. Vervolgens zetten wij de doelstelling en onderzoeksvragen uiteen en beschrijven wij de aanpak van het onderzoek. Daarna volgt de positionering van de onderwerpen monitoring en kwaliteitszorg. Het hoofdstuk sluit af met een leeswijzer voor het rapport. 1.1 Achtergrond en aanleiding 102 Het ministerie van Justitie heeft besloten om in de toekomst alleen erkende en voorlopig erkende gedragsinterventies te financieren. Het doel is te komen tot een aanbod van gedragsinterventies, waarvan op basis van wetenschappelijke inzichten effect op recidivevermindering mag worden verwacht 4. De Erkenningscommissie gedragsinterventies Justitie (hierna: Erkenningscommissie) speelt een belangrijke rol in de toetsing van deze gedragsinterventies. Er komen steeds meer erkende en voorlopig erkende justitiële gedragsinterventies beschikbaar. 103 In de in 2009 uitgevoerde procesevaluatie van de Erkenningscommissie zijn door het ministerie van Justitie zorgen over de (juiste) uitvoering van gedragsinterventies geuit. Het risico bestaat dat indieners (en uitvoerders) van gedragsinterventies na het behalen van de (voorlopige) erkenning niet voldoende gefocust zijn op het uitvoeren van de gedragsinterventies volgens het boekje: de handleiding. Een kwalitatief goede uitvoering van gedragsinterventies is volgens de what works benadering van belang voor het behalen van resultaten in termen van recidivevermindering. 104 Het ministerie van Justitie wil met de betrokken uitvoeringsorganisaties (DJI, Raad voor de Kinderbescherming en Bureaus Jeugdzorg) afspraken maken over standaarden met betrekking tot monitorgegevens en minimumvereisten van de kwaliteitszorg voor de uitvoering van erkende gedragsinterventies voor jeugdigen. Op deze wijze wil het ministerie van Justitie stimuleren dat tijdig kan worden bijgestuurd in de uitvoering van gedragsinterventies 5. 4 Zie bijlage A voor een huidig overzicht van de erkende en voorlopig erkende interventies. 5 Deze focus op een goede uitvoering komt overeen met een bredere professionalisering van de jeugdzorg. Zie hiervoor bijvoorbeeld het actieplan professionalisering van de Jeugdzorg. TK 29815, nr Inleiding 13

14 105 In december 2008 is door de Raad voor de Kinderbescherming (RvdK) in samenwerking met de sector Justitiële Jeugdinrichtingen van de Dienst Justitiële Inrichtingen en het ministerie van Justitie een expertmeeting georganiseerd over kwaliteitszorg en monitoring. Tijdens deze expertsessie hebben de betrokken organisaties uitgesproken dat zij het van belang achten dat de systemen voor kwaliteitszorg en monitoring voor de verschillende interventies worden geharmoniseerd. De opdracht voor dit onderzoek geeft uitvoering aan deze wens. In dit onderzoek wordt een voorstel gedaan voor geharmoniseerde standaarden voor monitoring en minimumvereisten aan kwaliteitszorg van erkende gedragsinterventies voor jeugdigen. 106 Hoewel dit onderzoek geschreven is in opdracht van en vanuit het perspectief van het ministerie van Justitie, zijn de conclusies van het onderzoek breder toepasbaar. De gedragsinterventies waarover hier geschreven wordt worden niet alleen in opdracht van de RvdK, JJI s en Bureaus Jeugdzorg uitgevoerd, maar ook in opdracht van bijvoorbeeld de gemeente of zorgkantoren. De conclusies moeten niet alleen gelezen worden als het antwoord op een vraag van het ministerie van Justitie, maar ook als handreiking voor de verbetering van de uitvoering van gedragsinterventies over de gehele linie, waarbij systemen van monitoring en kwaliteitszorg een belangrijke rol spelen. 1.2 Doelstelling en onderzoeksvragen 107 De doelstelling van dit onderzoek is als volgt geformuleerd: Het ontwikkelen van standaarden voor de (kwaliteits-)monitoring van de uitvoering van gedragsinterventies en minimumvereisten voor kwaliteitszorg. Bij de ontwikkeling hiervan wordt zoveel mogelijk uitgegaan van de bestaande praktijk. 108 Voor de ontwikkeling van de standaarden voor monitoring en minimumvereisten aan de kwaliteitszorg zijn drie zaken van belang: (a) Ten eerste moet in kaart worden gebracht welke informatiebehoefte er bestaat bij het ministerie van Justitie, opdrachtgevers (DJI, Raad voor de Kinderbescherming en Bureaus Jeugdzorg) en ontwikkelaars die met de standaarden en de minimumvereisten moeten worden afgedekt. Bij kwaliteitszorg is het de gezamenlijke behoefte van het ministerie van Justitie, de ontwikkelaars en de opdrachtgevers een goede uitvoering van de gedragsinterventies te borgen en dat ook kunnen controleren; (b) Ten tweede is het van belang dat de huidige situatie in ogenschouw wordt genomen bij het formuleren van gemeenschappelijke standaarden en minimumvereisten. Dit is belangrijk omdat het draagvlak voor geharmoniseerde standaarden en minimumvereisten groter zal zijn, naarmate ze meer overeenkomen met de bestaande praktijk. De omschakeling is dan immers minder groot dan wanneer compleet nieuwe standaarden en minimumvereisten worden Inleiding 14

15 opgelegd. De huidige situatie is onderzocht aan de hand van de interventiehandleidingen en gesprekken met organisaties in het veld; (c) Ten derde is het bij de standaarden voor monitoring van belang dat de administratieve lasten tot een minimum beperkt blijven. Als deze lasten toenemen is het aannemelijk dat de bereidheid van de uitvoerders om het registratiesysteem zo goed mogelijk te vullen afneemt. Het is dan ook het streven in het onderzoek de minimaal noodzakelijke, gemene deler te vinden in de bestaande standaarden voor monitoring; hoe kan er, zo veel mogelijk gebruik makend van informatie die al wordt geregistreerd, voldaan worden aan de informatiebehoefte die er in het veld bestaat? 109 Het onderzoek is gebaseerd op de volgende onderzoeksvragen: (a) Wat wordt er voor de verschillende interventies nu al gedaan op het gebied van kwaliteitszorg? (b) Op welke punten moet de kwaliteit van de uitvoering worden geborgd? (c) Wat wordt er voor de verschillende interventies nu al gedaan op het gebied van monitoring? (d) Wat is de informatiebehoefte bij het ministerie van Justitie en opdrachtgevers waarin de monitoring moet voorzien? (e) Welke variabelen moeten worden verzameld en met welke definities? 1.3 Aanpak 110 Voor het beantwoorden van de onderzoeksvragen zijn verschillende onderzoeksmethoden gebruikt: een dossierstudie, diepte-interviews en een expertsessie Dossierstudie 111 Om zoveel mogelijk gebruik te maken van de huidige situatie is ervoor gekozen de handleidingen van alle erkende en voorlopig erkende interventies te onderzoeken. In de handleidingen staat beschreven hoe de interventie moet worden uitgevoerd en hoe wordt gecontroleerd dat dit ook het geval is (de kwaliteitsborging). Daarbij was de verwachting dat in de handleiding zou zijn vastgelegd welke gegevens moeten worden verzameld voor het monitoren van de interventie. 112 De papieren handleidingen zijn bij het Bureau van de Erkenningscommissie ingezien. Vooraf zijn de indieners en ontwikkelaars hierover per geïnformeerd. De maatregelen die stonden beschreven om de kwaliteit te waarborgen zijn verzameld en op basis daarvan is onderzocht welke maatregelen in welke mate voorkomen. Op deze manier is achterhaald welke procedures breed ingezet worden en waar nog verbetering nodig is. Voor monitorvariabelen is hetzelfde gedaan. Waar monitorvariabelen in de handleiding werden genoemd zijn ze, waar mogelijk met definitie, door de onderzoekers genoteerd. Inleiding 15

16 1.3.2 Diepte-interviews 113 De interventiehandleidingen bevatten een ontwerp voor monitoring en kwaliteitszorg dat in de praktijk anders kan worden ingevuld of zelfs achterwege kan worden gelaten. Daarom is ervoor gekozen in interviews met betrokken organisaties na te gaan hoe de theorie in de praktijk wordt gebracht. 114 In een aantal aanvullende interviews zijn wij nagegaan welke eisen aan de registratiesystemen worden gesteld om de uitvoering van gedragsinterventies te kunnen monitoren. Een interview had tot doel het gebruik van het toekomstige LIJ voor de monitoring te verkennen. Ten slotte zijn er twee interviews geweest bij het WODC om de databehoefte in verband met de procesevaluaties die zij doen in kaart te brengen. De lijst met geïnterviewden is opgenomen in bijlage B Expertsessie 115 Op donderdag 27 mei 2010 is een expertsessie gehouden met ongeveer 30 deelnemers (zie bijlage B voor de deelnemerslijst). Tijdens deze expertsessie is een eerste opzet van zowel de minimumvereisten voor kwaliteitszorg als standaarden voor monitorgegevens besproken. De resultaten zijn verwerkt in de definitieve resultaten zoals opgenomen in dit rapport. 116 De resultaten van het onderzoek zijn met behulp van suggesties van de leden van de commissie gedragsinterventies en een aantal andere experts in de rapportageperiode verder aangescherpt. De rapportage is ten slotte ook voorgelegd aan de deelnemers aan de expertsessie. 1.4 Positionering van de centrale onderwerpen 117 Voordat wij ingaan op de inhoud van monitoring en kwaliteitszorg achten wij het van belang om deze onderwerpen te positioneren door het geven van een nadere toelichting. Dit betreft uitleg over de verschillen en overeenkomsten tussen kwaliteitszorg en monitoring en de rollen van de betrokken partijen Kwaliteitszorg en monitoring: samenloop en verschillen 118 Kwaliteitszorg en monitoring zijn twee verwante aspecten van borging van de juiste uitvoering. In deze paragraaf lichten wij de samenloop en verschillen toe. 119 Kwaliteitszorg definiëren wij als het systeem waarmee wordt gewaarborgd dat de gedragsinterventie op de juiste manier wordt uitgevoerd. De waarborgen bestaan uit normen, vaste procedures en controles. In dit onderzoek is met name gefocust op procedures en Inleiding 16

17 controles en niet op normen. De reden hiervoor is dat normen per gedragsinterventie moeten worden geoperationaliseerd. Per interventie moeten er op basis van de handleiding normen worden ontwikkeld waar de uitvoering aan moet voldoen. Procedures en manieren van controleren zijn in dit onderzoek generiek geformuleerd, zodat ze bij alle gedragsinterventies toepasbaar zouden moeten zijn. Ten behoeve van de minimumvereisten voor kwaliteitszorg worden ook gegevens (kwantitatief of kwalitatief) verzameld, zoals de evaluaties van trainers. Deze gegevens worden echter op organisatieniveau (of minimaal per interventie) en niet op cliëntniveau vastgelegd. 120 Monitoring is een onderdeel van de kwaliteitszorg en valt in die zin dus onder dezelfde noemer als de procedures die voor de borging van de kwaliteit worden voorgesteld. Belangrijke verschillen echter tussen monitoring en de andere maatregelen voor de kwaliteitsborging is dat monitorgegevens op cliëntniveau worden vastgelegd, kwantificeerbaar zijn en gestructureerd in een database kunnen worden verzameld. Dit betekent dat op basis van monitorgegevens bijvoorbeeld kan worden bijgehouden hoeveel jongeren instromen, hoeveel interventies succesvol worden afgesloten, of hoeveel resultaat de interventies hebben. Aan de hand van de te monitoren gegevens kunnen belangrijke aspecten van de uitvoering (met name wie stroomt erin, hoe stroomt men uit en met welk effect) worden bijgehouden. 121 Met de standaarden voor monitoring wordt managementinformatie verzameld. Deze managementinformatie is noodzakelijk om te kunnen sturen op de uitvoering van de gedragsinterventies. Deze informatie zou ook gebruikt kunnen worden in de uit te voeren procesen effectevaluaties van de erkende gedragsinterventies. Daarom is het nuttig de definities van de monitorvariabelen waar mogelijk aan te laten sluiten bij de informatiebehoefte van het WODC voor de betreffende evaluaties. De informatiebehoefte voor de proces- en effectevaluaties is wel uitgebreider dan de monitorinformatie die in het kader van kwaliteitszorg wordt verzameld Ontwikkelaars, opdrachtgevers en uitvoerders 122 In dit rapport wordt verwezen naar de verschillende actoren: ontwikkelaars, opdrachtgevers en uitvoerders. Dit zijn de actoren die betrokken zijn bij de ontwikkeling en uitvoering van gedragsinterventies en hebben als zodanig een rol in de kwaliteitszorg. Ontwikkelaars 123 De ontwikkelaars van gedragsinterventies hebben de interventie ontworpen en via een opdrachtgever (DJI, Raad voor de Kinderbescherming (RvdK), reclasseringsorganisatie of een van de Bureaus Jeugdzorg) ingediend bij de Erkenningscommissie. Dit kunnen particuliere bureaus zijn die zelfstandig een interventie hebben ontwikkeld of lokale licentiehouders van een in het buitenland ontwikkelde interventie. Het kan ook zijn dat een interventie ontwikkeld is in opdracht Inleiding 17

18 van een opdrachtgever (zoals de RvdK) of het kan zijn dat een gedragsdeskundige uit een Justitiële Jeugdinrichting (JJI) een interventie heeft ontwikkeld. 124 Commerciële partijen die ontwikkelaar en eigenaar van een interventie zijn, treden in de meeste gevallen op als controleur van de kwaliteit van de interventie. Partijen die de interventie willen uitvoeren moeten dan door de ontwikkelaar worden gecertificeerd en moeten soms aan de ontwikkelaar rapporteren over de uitvoering. Opdrachtgevers 125 De RvdK, JJI s 6 en de Bureaus Jeugdzorg kunnen opdrachtgever zijn van een gedragsinterventie. Deze partijen zijn er verantwoordelijk voor dat de interventie binnen de sanctie wordt uitgevoerd en kopen de interventies bij aanbieders in. De opdrachtgevers hebben zicht op instroom van jongeren bij bepaalde interventies en de resultaten van de interventies. Zij hebben daarom een belangrijke rol in de monitoring van de interventies. Op het gebied van kwaliteit maken de opdrachtgevers ook afspraken met de uitvoerders die ze ook controleren. 126 De focus in dit onderzoek ligt op de Rvdk, JJI s en Bureaus Jeugdzorg als opdrachtgevers. Er moet echter wel bij worden opgemerkt dat de hier besproken gedragsinterventies ook worden uitgevoerd in opdracht van andere opdrachtgevers, zoals zorgkantoren of gemeentes. Hoewel hier de focus van het onderzoek niet op ligt, zijn de conclusies van dit onderzoek wellicht ook voor deze organisaties interessant. Uitvoerders 127 De uitvoerders zijn de instellingen die de uitvoering van gedragsinterventies verzorgen. Dit kunnen zowel particuliere (zorg)aanbieders als ook medewerkers van JJI s of reclasseringsorganisaties (Leger des Heils en SVG) zijn. De uitvoerder krijgt van de opdrachtgever betaald om voor de deelnemers de training te geven volgens de interventietheorie. Veel van de gegevens voor monitoring worden door de uitvoerder verzameld en aan de opdrachtgever doorgegeven. Ook moeten de uitvoerders de interventie volgens de kwaliteitseisen uitvoeren en daarover verantwoording afleggen aan de opdrachtgevers of ontwikkelaars. 128 Vaak moeten uitvoerders gecertificeerd zijn om de interventie te mogen uitvoeren. Hiervoor moet de uitvoerder aan de eisen van de ontwikkelaar voldoen. Wanneer uitvoerder en 6 JJI s kopen niet alleen interventies in; voor sommige interventies zijn ze ook uitvoerder. Inleiding 18

19 ontwikkelaar dezelfde organisatie zijn (zoals in het geval bij sommige JJI interventies), treedt een beheerorganisatie op als certificerende partij. 1.5 Leeswijzer 129 In de hoofdstukken twee worden de minimumvereisten aan de kwaliteitszorg behandeld en in hoofdstuk drie de standaarden voor monitoring. In beide hoofdstukken wordt eerst de huidige situatie beschreven om van daaruit de gewenste, nieuwe situatie uiteen te zetten. Hoofdstuk vier bevat de conclusies van het onderzoek en gaat in op de beantwoording van de onderzoeksvragen. Inleiding 19

20 Inleiding 20

21 2 Kwaliteitszorg 201 Kwaliteitszorg bestaat uit maatregelen en procedures en controlemechanismen waarmee uitvoerders kunnen borgen dat interventies op een kwalitatief goede manier worden uitgevoerd. De kwaliteitsnormen waaraan uitvoerder moeten voldoen, vloeien voort uit de handleiding van de betreffende interventie. Dit houdt in, dat er geen algemene normen voor de kwaliteit van de uitvoering kunnen worden geformuleerd (op een manier als: er moet minimaal één sessie per week gegeven worden). 202 Wel is het mogelijk om op algemeen niveau maatregelen te formuleren die uitvoerders moeten treffen om de naleving van de specifieke kwaliteitscriteria in de organisatie te borgen. Deze maatregelen worden in dit hoofdstuk uiteengezet. Eerst zetten wij het belang voor harmonisering van de kwaliteitszorg uiteen. Vervolgens beschrijven wij de huidige praktijk met betrekking tot kwaliteitszorg. In de daaropvolgende paragrafen doen wij een voorstel voor geharmoniseerde minimumvereisten aan de kwaliteitszorg. 2.1 Het belang van kwaliteitszorg 203 Een goed functionerend systeem van kwaliteitszorg is van belang voor een goede uitvoering van gedragsinterventies. Dit belang, en het belang van geharmoniseerde minimumvereisten, worden in deze sectie behandeld Het algemene belang van kwaliteitszorg 204 In de handleidingen staat beschreven aan welke kwaliteitscriteria de uitvoering van de interventies moet voldoen. Deze vereisten aan de uitvoering komen voort uit het theoretische kader dat aan de interventie ten grondslag ligt. Voor een optimale effectiviteit van de interventie is het volgens de what works benadering van belang dat de interventie wordt uitgevoerd zoals beschreven in de handleiding. Het naleven van de interventiehandleiding wordt het behoud van interventie-integriteit (en ook wel modeltrouw) genoemd. De manier waarop de interventieintegriteit wordt gewaarborgd is ook één van de criteria waarop interventies door de Erkenningcommissie zijn beoordeeld. 205 De uitvoerders van gedragsinterventies dienen te waarborgen dat de kwaliteit van de uitvoering op peil blijft. Er worden bijvoorbeeld eisen gesteld aan het kennisniveau en de vaardigheden van trainers, er kunnen mechanismen worden gehanteerd om te controleren of trainers zich houden aan de in de handleiding beschreven methodiek of er kunnen eisen worden gesteld aan de vastlegging van informatie. Kwaliteitszorg 21

22 De naleving van procedures en controlemechanismen die in het kader van het kwaliteitsbeleid worden gehanteerd, kunnen periodiek in kaart worden gebracht in een audit of evaluatieonderzoek. 206 Naast het waarborgen van de kwaliteit van de interventie moet ieder kwaliteitsbeleid ook gericht zijn op constante verbetering van de kwaliteit. Dit kan door lering te trekken uit de periodieke onderzoeken die naar de uitvoering worden gedaan. Knelpunten in de uitvoering kunnen in de audits worden opgespoord. Als er sprake is van knelpunten, dan komen deze in audits naar boven en kan de uitvoerder verbeteringen aanbrengen. Het is gewenst dat de kwaliteit van de uitvoering op deze manier constant toeneemt. 207 Wanneer duidelijk beleid is opgesteld voor kwaliteitszorg en de naleving van het beleid periodiek wordt onderzocht, schept dit ook de mogelijkheid om verantwoording af te leggen naar opdrachtgevers over de geleverde kwaliteit. Dit kan een voorwaarde zijn die door de opdrachtgever aan het geleverde product (de uitvoering van de specifieke gedragsinterventie) wordt gesteld Het belang van het harmoniseren van de kwaliteitszorg 208 In bovenstaande alinea is uiteengezet wat het belang is van een kwaliteitszorgsysteem. Nu kan ervoor worden gekozen dat iedere organisatie haar eigen systeem opzet, met eigen normen en eigen procedures om de naleving van die normen te borgen. In dit onderzoek wordt echter beargumenteerd dat het wenselijk is om de verschillende systemen van kwaliteitszorg te harmoniseren, zodat gelijkvormigheid ontstaat bij alle aanbieders van gedragsinterventies. De argumenten hiervoor zijn beheersbaarheid bij de opdrachtgevers en zekerheid over de kwaliteit. 209 Het bleek uit interviews dat beheersbaarheid bij opdrachtgevers van belang is omdat zij te maken hebben met verschillende aanbieders van gedragsinterventies. In de huidige situatie worden per aanbieder afspraken gemaakt over het te hanteren kwaliteitsprotocol. Volgens de respondenten is het met deze verschillende afspraken lastig bij te houden wie zich aan welke afspraken moet houden. Daarnaast zijn aanbieders van verschillende interventies niet met elkaar te vergelijken. Wanneer de systemen voor kwaliteitszorg zijn geharmoniseerd, wordt sneller duidelijk in welke mate de uitvoerder zich aan de kwaliteitsnormen houdt. 210 Het harmoniseren van de kwaliteitscriteria levert ook voor de opdrachtgevers zekerheid op over de kwaliteit van de uitvoering. In de huidige situatie zijn er verschillende systemen voor kwaliteitsborging, waarbij het gevaar bestaat dat sommige systemen minder effectief zijn voor het bewaken van de kwaliteit dan andere. Er ontstaat meer zekerheid over de kwaliteit van de uitvoering als overeenstemming wordt bereikt over minimumvereisten aan het kwaliteitssysteem, Kwaliteitszorg 22

23 om vervolgens deze minimumvereisten af te spreken met alle (aanbieders van) gedragsinterventies. 2.2 Domeinen kwaliteitszorg 211 Op basis van de interventiehandleidingen hebben wij onderzocht hoe de kwaliteitszorg voor de erkende en voorlopig erkende interventies is georganiseerd. Er is gekeken naar drie domeinen van kwaliteitszorg: de instroom, de integriteit van de uitvoering en evaluatie & organisatie. Deze domeinen lichten wij hierna kort toe Instroom 212 Het bewaken van de instroom van deelnemers aan de interventie is van belang voor de effectiviteit van de interventie. Gedragsinterventies zijn immers volgens de what works benadering vooral effectief als de interventie goed aansluit bij de behoefte van de betrokkene, dat wil zeggen de veranderbare criminogene factoren die samenhangen met recidive. Het is daarom belangrijk dat duidelijke criteria zijn geoperationaliseerd waaraan deelnemers moeten voldoen. Vervolgens is het van belang dat de indicatiestelling op de juiste manier wordt uitgevoerd. Ten slotte moet de keuze voor het wel of niet laten instromen op de juiste manier worden gemaakt. De kwaliteit van de wijze waarop selectie plaatsvindt, moet zijn geborgd. 213 De kwaliteitszorg in dit domein behelst met name vastlegging van procedures voor het bepalen van de doelgroep en het monitoren van de kenmerken van de instroom Interventie-integriteit 214 Volgens de what works benadering moeten interventies voor een optimale effectiviteit worden uitgevoerd zoals ze vanuit het theoretische kader zijn ontwikkeld. De professionals die de interventie uitvoeren worden door middel van opleiding en training bekwaam gemaakt om de interventie conform de handleiding uit te voeren. Daarnaast moet het zeker zijn dat de trainer in de sessies ook de voorgeschreven methodiek juist hanteert. Het is voor de kwaliteit van de uitvoering belangrijk dat trainers goed worden opgeleid, de theorie van de interventie adequaat gebruiken in de sessies en de sessies professioneel begeleiden. 215 De kwaliteitszorg in dit domein bestaat uit protocollen voor training en certificering en controlemechanismen waarbij de trainers feedback krijgen en bijsturing kunnen krijgen als van de interventietheorie wordt afgeweken. Daarnaast moet de uitvoerder de verantwoordelijkheden op het gebied van kwaliteitszorg aan functies of organisaties helder toewijzen, zodat er een verantwoordelijke is voor de naleving van deze protocollen. Kwaliteitszorg 23

24 2.2.3 Evalueren en organisatie van kwaliteitszorg 216 Maatregelen om de kwaliteit te bewaken werken alleen als ze ook door het personeel worden opgevolgd. Of het kwaliteitssysteem ook in de werkwijze binnen de organisatie wordt gevolgd, is van belang en dient daarom periodiek te worden geëvalueerd. Het meest objectieve resultaat wordt verkregen als dit wordt onderzocht door een onafhankelijke partij. 217 De lessen die worden geleerd uit audits en evaluaties, maar ook uit de ervaringen van trainers en supervisors moeten volgens de opdrachtgevers teruggekoppeld worden aan de uitvoerders van de interventie. Het kwaliteitsbeleid is geen statisch geheel, maar moet aangepast worden naar aanleiding van lessen uit de praktijk en veranderde omstandigheden. Om deze aanpassingen te kunnen maken is een zekere vorm van organisatie nodig rondom het kwaliteitsbeleid. Er moet iemand, of een organisatie(-onderdeel) verantwoordelijk zijn voor het functioneren en actualiseren van het kwaliteitsbeleid. Hetzelfde geldt voor aanpassingen van de werkwijze in of organisatie van de sessies. Het kwaliteitsbeleid moet er ook op gericht zijn dat lessen uit de uitvoering worden gebruikt ter verbetering van de praktijk. Deze verantwoordelijkheid moet de uitvoerder in zijn organisatie verankeren. 218 Binnen dit domein komen maatregelen op het gebied van organisatiestructuur aan de orde. Daarnaast worden binnen dit domein standaarden voor evaluatie en auditing vastgesteld. 2.3 Huidige praktijk kwaliteitszorg 219 Aan de hand van de handleidingen van erkende en voorlopig erkende gedragsinterventies is onderzocht hoe de huidige systemen voor kwaliteitszorg eruit zien. De informatie uit de handleidingen is besproken met respondenten van de verschillende organisaties om te zien hoe de theorie zich tot de praktijk verhoudt. In algemene zin bleek dat bij alle interventies in ieder geval op papier diverse waarborgen bestaan om de interventie-integriteit te bewaken. In de praktijk blijkt dat het kwaliteitsbeleid niet altijd wordt uitgevoerd als beschreven in de handleiding. 220 De borging van de kwaliteit is in de praktijk het beste geregeld wanneer een externe organisatie de trainers of aanbieders certificeert om de interventie uit te mogen voeren. Vaak is het verkrijgen en behouden van de certificering verbonden aan diverse voorwaarden en bewaakt de certificerende organisatie de kwaliteit van de uitvoering. In veel gevallen is de ontwikkelaar ook de certificerende organisatie. 221 Het blijkt voor de RvdK en DJI lastig om centraal het kwaliteitsbeleid te sturen. Voor beide organisaties geldt dat de decentrale eenheden (regio s en vestigingen) verantwoordelijk zijn voor de naleving van het kwaliteitsbeleid. Kwaliteitszorg 24

25 Het is nog niet gelukt om hiervoor een centraal gestuurd beleid op te stellen. DJI verplaatst deze verantwoordelijkheid echter naar een eigen centrale beheerorganisatie, wat het beter mogelijk moeten maken om het kwaliteitsbeleid centraal aan te sturen. 222 Wat kan worden opgemaakt uit deze algemene bevindingen, is dat het goed mogelijk is om vanuit bestaande ideeën over kwaliteitszorg te werken naar een geharmoniseerde set van minimumvereisten. Daarnaast blijkt hieruit ook dat het essentieel is dat niet alleen een beleid voor kwaliteitszorg wordt geformuleerd, maar dat de verantwoordelijkheid voor het toezicht op de naleving ook duidelijk wordt belegd. Hierna bespreken wij de huidige situatie aan de hand van de eerder gepresenteerde indeling in domeinen Instroom 223 Bij erkende en voorlopig erkende interventies is het niet verwonderlijk dat duidelijk is geformuleerd hoe de selectie van justitiabelen plaatsvindt. Dit is immers een van de kwaliteitscriteria waarop de Erkenningscommissie de gedragsinterventies beoordeelt. Bij alle interventies staan selectie-instrumenten genoemd met inclusie- en exclusiecriteria. In tabel 1 worden de selectie-instrumenten weergegeven en in hoeveel handleidingen de verschillende instrumenten zijn benoemd. 224 Een groot deel van de selectie-instrumenten zal met de komst van het Landelijk Instrumentarium Jeugdstrafrechtketen (LIJ) worden vervangen en gestandaardiseerd, maar het is aannemelijk dat nog aanvullende, zeer specifieke, instrumenten in gebruik blijven voor de selectie van de doelgroep. In tabel 1 zijn alleen selectie-instrumenten genoemd die twee of meer keer voorkomen in de bestudeerde handleidingen. Kwaliteitszorg 25

26 Selectie-instrument Aantal keer genoemd SAVRY 12 TVA 7 YSR 5 WSJCPA 5 HID/HIT 8 SDQ 4 CBCL 3 EXIT 2 RISc 2 UCL 2 Tabel 1: Aantal keer dat een selectie-instrument wordt genoemd in de 17 bestudeerde handleidingen 225 Het gebruik van (gevalideerde) instrumenten vormt een goede basis voor selectie van deelnemers. Hiermee is echter nog niet geborgd dat in de praktijk ook de juiste deelnemers instromen. Het is immers mogelijk dat er toch van de formele vereisten wordt afgeweken. Er zijn bij de selectieprocedure vaak experts betrokken die in hun oordeel eventueel kunnen afwijken van de uitkomsten van de diagnose. Dit is niet per definitie onwenselijk; er kunnen goede redenen zijn om af te wijken van de uitkomsten uit gestandaardiseerde instrumenten. Mocht dit echter structurele vormen aan gaan nemen, dan kan het zijn dat de selectie-instrumenten niet geschikt zijn of dat de betrokken experts een afwijkend beeld hebben bij de doelgroep van de interventie. 226 Er is slechts één interventie waar wordt aangegeven dat op een metaniveau moet worden bijgehouden of de instroom van deelnemers overeenkomt met de geformuleerde inclusiecriteria. Dit gebeurt door middel van standaardformulieren over nieuwe deelnemers Interventie-integriteit 227 Over de bewaking van de interventie-integriteit bestaat in de handleidingen brede overeenstemming over de te nemen maatregelen. De belangrijkste typen maatregelen zijn: (a) De opleiding en certificering van trainers; (b) Controle op de kwaliteit van de uitvoering. Opleiding en certificering van trainers 228 Bij alle interventies is sprake van een (meerdaagse) training die de (beoogde) trainer moet doorlopen voordat hij de gedragsinterventie kan uitvoeren. Er zijn grote verschillen in de zwaarte Kwaliteitszorg 26

27 van de training en de manier waarop de kwaliteit van de trainers ook na de training geborgd blijft. Waar bij sommige interventies slechts een cursus voor trainers wordt verzorgd, waarna een periode van inwerken aanbreekt, zijn er andere interventies waar trainers door een certificerende organisatie (vaak de ontwikkelaar van de interventie) worden gecertificeerd na een met goed gevolg afgerond opleidingsprogramma. Deze certificering wordt voor een beperkte periode afgegeven. Na deze periode wordt bekeken of de certificering wordt verlengd. Hiervoor zijn dan weer criteria opgesteld, zoals het volgen van opfriscursussen en een minimum aantal afgeronde trajecten. 229 De volgende maatregelen voor het waarborgen van de kwaliteit van de trainers zijn in de handleidingen benoemd: (a) Initiële opleiding: (i) (Meerdaagse) training van trainers; (ii) Inwerkperiode waarin de trainer in opleiding samen met een ervaren trainer de sessies verzorgt en steeds feedback krijgt; (iii) Inwerkperiode waarin er regelmatig (telefonisch) contact is met supervisors; (b) Voorwaarden voor verlenging van de certificering: (i) Verplichte terugkomdagen of opfriscursussen; (ii) Minimum aantal uitgevoerde trajecten; (iii) Positieve beoordeling door supervisor; (iv) Een goed functionerend kwaliteitssysteem; (v) Extern onderzoek (audit). Controle op de kwaliteit van de uitvoering 230 Trainers die vaardig zijn in de methoden van de gedragsinterventie voeren niet per definitie de interventie uit zoals bedoeld. Een juiste uitvoering van de interventie dient geborgd te zijn in het kwaliteitssysteem. De manier waarop dit vorm krijgt, verschilt per interventie. 231 De volgende elementen zijn in de interventiebeschrijvingen gevonden om de kwaliteit van de uitvoering te waarborgen: (a) Uitvoering van de groepstraining wordt altijd door twee trainers gedaan; (b) Periodieke supervisie (in groep en individueel) waarin casuïstiek wordt besproken; (c) Beoordelen van sessies die op video zijn opgenomen aan de hand van een gestructureerd evaluatieformulier; (d) Beoordeling van videobeelden door de trainer zelf en bespreken ervan met supervisor; (e) De trainer bekijkt en beoordeelt videobeelden samen met de supervisor; (f) Uitwisselen van video-opnames met andere locaties om onafhankelijk oordeel te bevorderen; (g) Evaluatie van de sessies door betrokken jongere en/of ouders; (h) Tussentijdse evaluatie van het programma door jongere en trainer; Kwaliteitszorg 27

28 (i) Rapportage aan eigenaar van de gedragsinterventie over de ingezette onderdelen per traject; (j) Zelfcontrole door trainers aan de hand van checklist voor een goede uitvoering; (k) Controle op het functioneren van de supervisors door middel van een beoordelingsformulier; (l) Intensieve ondersteuning en controle door de eigenaar van de interventie bij de implementatie; (m) Door de trainer ingevulde formulieren over jongeren en sessies worden door de supervisor bekeken en voorzien van feedback; (n) Na iedere training wordt een formulier ingevuld waarin enkele belangrijke aspecten over de uitvoering worden vastgelegd. Deze formulieren worden door de supervisor beoordeeld; (o) De eigenaar van de interventie organiseert jaarlijks contact met andere uitvoerders over obstakels in de uitvoering. 232 De meest voorkomende manier van controleren en bijsturen van de uitvoering is met behulp van supervisie en het beoordelen van video-opnames van sessies. In mindere mate wordt gebruikgemaakt van evaluaties van trajecten door de trainer zelf, de jongere en/of de ouders. In sommige gevallen worden ook de ingevulde formulieren van de trainer gecontroleerd door de supervisor. 233 In het behoorlijk uiteenlopende palet van controlemaatregelen voor de uitvoering van gedragsinterventies hebben alle interventies met elkaar gemeen dat de rol van een supervisor essentieel is in de borging van de kwaliteit. De uitvoering van het kwaliteitsbeleid ligt primair bij de supervisor. Deze persoon staat zelf dicht bij de uitvoering (en is zelf vaak ook trainer), maar heeft als extra verantwoordelijkheid het bewaken van de programma-integriteit. Dit gebeurt door periodieke bijeenkomsten met trainers (in een groep of individueel) waarin het functioneren van de trainers wordt besproken. Hier kan de supervisor feedback geven en kunnen trainers worden bijgestuurd door de supervisor (en elkaar). 234 Om te kunnen beoordelen en bijsturen moet de supervisor een beeld hebben van het functioneren van trainers in de praktijk. De meest gangbare en makkelijk uit te voeren manieren om dit beeld te vormen zijn het beoordelen van video-opnames, het bespreken van casuïstiek en evaluatie door de jongere en ouders. Bij het evalueren van video-opnames is het voor een consistente beoordeling van belang dat er een beoordelingsformat bestaat waaraan de supervisor zich houdt. Casuïstiek kan individueel en in groepen worden besproken en dient om inzicht te krijgen in de reactie op bepaalde situaties. Met de evaluatie van jongeren en, waar relevant, ook de ouders, is gewaarborgd dat de ervaring van de cliënt ook een plek heeft in de beoordeling van trainers. 235 Bij sommige interventies is er ook een hoofd kwaliteitsbewaking die het kwaliteitsbeleid vormgeeft en supervisie verzorgt voor de supervisors. Andere interventies voorzien in een periodieke, interne evaluatie om zicht te houden op de uitvoering. Kwaliteitszorg 28