Monitoring van trajecten in de opvang: het MONTRA model Marielle Beijersbergen & Judith Wolf 27 maart 2014 Inleiding De Academische werkplaats Opvang en Herstel heeft opdracht gegeven tot het ontwikkelen van een model voor de monitoring van trajectuitkomsten, afgekort MONTRA. Het MONTRA dossier volgt logisch op het eerdere, in de Academische werkplaats uitgevoerde, werk voor de ontwikkeling van evidence-based en practice-based methodieken, zoals Herstelwerk, Critical Time Intervention en Housing First. Daarnaast heeft Impuls een start gemaakt met de toetsing van de modelgetrouwheid van Herstelwerk en CTI en gewerkt aan de modelgetrouwheid van Housing First. Dit informatieblad beschrijft het concept MONTRA model dat is ontwikkeld op basis van literatuuronderzoek, een enquête en telefonische interviews onder dertien stuurgroepleden van de werkplaats, twee focusgesprekken met cliënten en de input van gemeenten via de zogenaamde referentiegroep van gemeenten 1. Het MONTRA model beschrijft de doelen van MONTRA, de voorgestelde uitkomstmaten en meetinstrumenten, de meetwijze, de informatieverwerking en de rapportage. Bovendien beschrijft dit informatieblad de voorwaarden voor het MONTRA model. Doelen MONTRA De drie belangrijkste doelen van MONTRA zijn: 1. Evaluatie en bijstelling van individuele begeleidingstrajecten; 2. Leren van doelgroepkenmerken en trajectuitkomsten door teams en organisaties; 3. Verantwoorden naar bijvoorbeeld financiers. Het MONTRA model kan en zal worden benut voor wetenschappelijk onderzoek. Uitkomstmaten De uitkomsten van trajecten die het Montra model wil gaan monitoren zijn: 1. Ervaringen met de begeleiding: a. Hoe is de werkrelatie tussen de cliënt en begeleider? b. Wat zijn de ervaringen met de ontvangen hulp? c. Hoe zijn de leefomstandigheden (bij niet-ambulante hulp)? d. Wat is het resultaat van de hulp? 1 De referentiegroep gemeenten bestaat uit gemeenteambtenaren van Amsterdam, Leiden, Den Haag, Breda, Tilburg, Enschede en Leeuwarden. Monitoring van trajecten in de opvang 11-2014 1
Deze cliëntervaringen worden door bijna alle opvangorganisaties van de Academische werkplaats al gemeten. Het is de wens om dit te blijven doen. Cliënten en gemeenten 2 onderschrijven het belang van deze uitkomstmaat. 2. Mate van participatie/dagelijkse kwaliteit van leven, blijkend uit: a. goede lichamelijke en psychische conditie; b. stabiel en veilig wonen, zo zelfstandig als mogelijk; c. toereikend inkomen voor het levensonderhoud; d. betekenisvolle dagactiviteiten en stabiele dagstructuur; e. betekenisvolle contacten met andere mensen; f. persoonlijke veiligheid en veiligheid van naastbetrokkenen. g. Indien van toepassing: welbevinden van aanwezige kinderen in het huishouden. Ongeveer vier op de tien opvangorganisaties meet de mate van participatie. De wens om deze uitkomstmaat te monitoren bestaat bij de grote meerderheid van de opvangorganisaties. Cliënten en gemeenten vinden dit ook een belangrijke uitkomstmaat. 3. Mate waarin eigen gekozen doelen zijn bereikt. Opvangorganisaties, cliënten en gemeenten hebben allemaal gevraagd om deze uitkomstmaat op te nemen in het MONTRA model. Meetinstrumenten Ad 1. Ervaringen met de begeleiding worden gemeten met de Consumer Quality Index voor de Opvang (CQI-O). Dit is een betrouwbare en valide vragenlijst (Beijersbergen & Wolf, 2009) die veelvuldig wordt gebruikt om cliëntervaringen met de opvang te meten. Invullen van de CQI-O duurt ongeveer 15 minuten. Ad 2. Mate van participatie kan gemeten worden met de Taxatie-Sociale uitsluiting (Tax-Su) of met de zelfredzaamheidmatrix (ZRM). Opvangorganisaties blijken deze instrumenten te (gaan) gebruiken. Door beide meetinstrumenten in het MONTRA model op te nemen, kan optimaal worden aangesloten bij het huidige gebruik van deze instrumenten. Met de Tax-Su kan een inschatting gemaakt worden van de draagkracht en draaglast van kwetsbare mensen op vier domeinen, namelijk bestaansvoorwaarden, sociale inbedding, gezondheid & gedrag en institutionele inbedding. De balans tussen draagkracht en draaglast geeft zicht op wat een cliënt, gegeven de steun uit de omgeving, (nog) aankan en wat niet meer. Het taxatie-instrument geeft zicht op die balans en maakt duidelijk wat het risico is op verlies van participatie en hoe dat de dagelijkse kwaliteit van leven van mensen beïnvloedt, of (acuut) ingrijpen nodig is en welke soort acties dan passend zijn. De Tax-Su is in 2013 bij vier zorginstellingen getest. Hieruit bleek dat 2 Het betreft hier de gemeenten die deel uitmaken van de referentiegroep gemeenten. Monitoring van trajecten in de opvang 11-2014 2
het een valide en betrouwbaar instrument is (Wolf, AlShamma, Van den Dries, 2014). Invullen van de Tax-Su duurt ongeveer 15 minuten. De ZRM meet op elf leefdomeinen het vermogen van een persoon om de dagelijkse algemene levensverrichtingen zelfstandig te uit te voeren. De leefdomeinen zijn financiën, dagbesteding, huisvesting, huiselijke relaties, geestelijke gezondheid, lichamelijke gezondheid, verslaving, activiteiten dagelijks leven, sociaal netwerk, maatschappelijke participatie en justitie. Deze domeinen zijn bepalend voor ondermeer de kwaliteit van leven van mensen. De interne consistentie van de ZRM is goed. De intercodeurbetrouwbaarheid zoals gemeten met Kappa is voor een aantal domeinen nog niet voldoende 3 (Lauriks et al., 2012). Ad 3. Mate waarin eigen gekozen doelen zijn bereikt wordt gemeten met de doelrealisatievragen van het Werkblad Herstelwerk. Deze vragen worden voor opname in het MONTRA model geëvalueerd en bijgesteld. Daarmee worden de vragen geschikt gemaakt voor het zelfstandig en onafhankelijk invullen door cliënten en begeleiders en het maken van vergelijkingen. De doelrealisatievragen kunnen ook -los van het Werkblad Herstelwerk- gebruikt worden door opvangorganisaties die niet werken volgens Herstelwerk. In de onderstaande tabel staan de drie uitkomstmaten van het MONTRA model en de bijbehorende meetinstrumenten. Uitkomstmaten Ervaringen met de begeleiding Mate van participatie/ dagelijkse kwaliteit van leven Meetinstrumenten CQI-Opvang* Tax-Su of ZRM Mate waarin eigen gekozen doelen zijn bereikt *Dit instrument is ook opgenomen in het Werkblad Herstelwerk. Doelrealisatievragen van het Werkblad Herstelwerk als startpunt 3 De correlaties tussen de scores van beoordelaars is (meestal) wel hoog. Monitoring van trajecten in de opvang 11-2014 3
De meting Wanneer? De metingen worden geïntegreerd in het begeleidingstraject uitgevoerd, namelijk: bij de start van het begeleidingstraject, na steeds zes maanden en bij het einde van het traject. Ook worden metingen gedaan bij elke transitie. Hoe? De cliënt en de begeleider vullen voordat zij een afspraak hebben, onafhankelijk van elkaar, de vragenlijsten digitaal in. Vervolgens gaan zij over de uitkomsten van de ingevulde vragenlijsten in gesprek. Trajectverloop Naast de trajectuitkomsten meet MONTRA ook het verloop van een traject via de volgende indicatoren: Instroom Trajectduur Doorstroom Succesvolle uitstroom Drop out Vervolgplek Heropname Deze indicatoren worden geïntegreerd in het begeleidingstraject gemeten: bij de start van het traject (instroom en heropname), bij het einde en bij transities, zoals de transitie van een 24-uursvoorziening naar begeleid wonen. Dit kan via een serie losse vragen. Informatieverwerking en rapportage De MONTRA vragenlijsten worden als modules via een webbased applicatie aangeboden. Deze applicatie bevat standaardrapportages op casusniveau, teamniveau en organisatieniveau. De rapportage op casusniveau bevat: a. Totaalscores en (indien van toepassing) schaalscores gebaseerd op de antwoorden van de cliënt op één meetmoment b. Totaalscores en (indien van toepassing) schaalscores gebaseerd op de antwoorden van de begeleider over één cliënt op één meetmoment; c. Vergelijkingen tussen de scores gegeven door de cliënt en de begeleider; d. Veranderingen in scores over de tijd heen (zowel van scores gegeven door de cliënt als door de begeleider). Monitoring van trajecten in de opvang 11-2014 4
De rapportage op teamniveau en organisatieniveau bevat dezelfde gegevens als de rapportage op casusniveau, maar is gebaseerd op de scores van alle cliënten samen (somscores in plaats van scores voor individuele cliënten). Daarnaast bevatten deze rapportages doelgroepkenmerken en scores voor de indicatoren van het trajectverloop. Indien organisaties aanvullende analyses willen doen, kunnen zij het softwarebedrijf dat de applicatie beheert vragen om de ruwe scores in een standaard exportbestand. Regionale en landelijke vergelijkingen worden gemaakt door Impuls op basis van de door het softwarebedrijf aangeleverde dataset met ruwe gegevens. Terugkoppeling Om de doelen van MONTRA te kunnen behalen is het noodzakelijk dat de uitkomsten op alle hierboven beschreven niveaus worden teruggekoppeld. Het initiatief voor de terugkoppeling op casusniveau ligt bij de begeleider. Voor terugkoppeling op teamniveau ligt het initiatief bij de teamleider en op organisatieniveau bij het bestuur. De presentatie en terugkoppeling van regionale en landelijke vergelijkingen gebeurt onder verantwoordelijkheid van Impuls. Voorwaarden MONTRA kan alleen succesvol worden uitgevoerd als aan de volgende voorwaarden is voldaan: Cliënten en begeleiders hebben toegang tot een computer om de vragenlijsten in te vullen. Het gebruik van papieren vragenlijsten is geen optie omdat het risico op verlies van de lijsten te groot is en het veel extra invoerwerk voor begeleiders oplevert; Indien cliënten ondersteuning nodig hebben bij het digitaal invullen van de vragenlijsten dient de opvangorganisatie te voorzien in ervaringsdeskundigen die cliënten bij het invullen kunnen ondersteunen. Elke opvangorganisatie stelt een klein MONTRA team samen dat verantwoordelijk is voor de uitvoering van en communicatie over MONTRA binnen de organisatie; Cliënten en begeleiders worden voorgelicht over het belang van MONTRA, gemotiveerd voor uitvoering ervan en in de gelegenheid gesteld om de vragenlijsten systematisch en nauwkeurig in te vullen; De trajectuitkomsten worden gerelateerd aan doelgroepkenmerken en op alle niveaus teruggekoppeld en de begeleiding wordt naar aanleiding van de uitkomsten (zo nodig) aangepast; Resultaten worden in context geïnterpreteerd; MONTRA wordt niet gebruikt als afrekenmodel; Breed draagvlak is noodzakelijk voor het MONTRA model onder alle belanghebbenden (opvangorganisaties, gemeenten, etc.). Monitoring van trajecten in de opvang 11-2014 5
Te ondernemen stappen Voordat MONTRA uitgevoerd kan worden zoals beschreven in dit informatieblad zijn de volgende stappen aan te raden cq. noodzakelijk: Toetsing of afname van de CQI-O in het begeleidingsproces tot valide resultaten leidt. Indien organisaties de resultaten van de CQI-O zoals verzameld voor MONTRA aan financiers willen rapporteren, is dit een belangrijke stap; Evaluatie en aanpassen van de doelrealisatievragen van het Werkblad Herstelwerk, in samenwerking met cliënten, zodat zij geschikt zijn voor gebruik in MONTRA; Maken van een zelfrapportage variant van Tax-Su, ZRM 4 en doelrealisatievragen en ontwikkelen van een begeleidervariant van onderdelen van de CQI-O. Contactpersonen De projectleiding van het onderzoek is in handen van Mariëlle Beijersbergen (024-3668435; marielle.beijersbergen@radboudumc.nl). Prof. dr. Judith Wolf is eindverantwoordelijk voor het project (024-3614365; judith.wolf@radboudumc.nl). 4 Hier wordt al aan gewerkt door de GGD Amsterdam. Monitoring van trajecten in de opvang 11-2014 6