Interventie-evaluatie

Transcriptie

1 Interventie-evaluatie Gemaakt door: Job van Lare, Adriaan von Harenberg, Gérared Hanssen & Samuël Schipperheijn Klas: SGM VEO3G Opleiding: Sport, Gezondheid en Management Fase: Hoofdfase 3, leerjaar 4 Onderwijseenheid: Gezondheidsinterventies in de praktijk (GIPR) Tutor: John Dierx & Laurien Harting Datum:

2 SAMENVATTING In dit adviesrapport zal er een evaluatie worden gemaakt van de Interventie Man Actief, ontwikkeld door Vizyon en Movisie. Deze interventie is een initiatief wat het ontwikkelen van mannenemancipatie als doelstelling heeft. Hierbij speelt Man Actief specifiek in op de activering van allochtone mannen in een kwetsbare positie. Het doel is om het sociale isolement van deze mannen te verminderen, hun zelfrespect te bevorderen en actieve deelname aan de maatschappij te realiseren (Utlu & Verschoor, 2009). Methode Om de interventie Man Actief te evalueren is er in dit rapport gebruik gemaakt van Preffi 2.0, REFKA, EKI en het werkblad Goed Beschreven. Resultaten De interventie is duidelijk beschreven, echter mist het een wetenschappelijke onderbouwing, wordt de doelgroep niet betrokken tijdens de ontwikkeling van de interventie, is er geen uitgebreide evaluatie uitgevoerd en zijn de doelstellingen niet SMART geformuleerd. In het hoofdstuk aanbevelingen zullen deze punten worden behandeld. Aanbevelingen Om de interventie Man Actief opnieuw uit te voeren moet er meer wetenschappelijk onderzoek naar het probleem worden gedaan. Het is belangrijk om te weten wat er al bekend is over het probleem en hoe je dit kunt verwerken in de interventie. De incidentie en prevalentie cijfers zijn van belang als men dit probleem op grote schaal wil invoeren. Daarnaast zou het verstandig zijn om onderzoek te doen naar relevante interventies die wellicht met dezelfde problematiek te maken hebben. De doelgroep moet specifieker worden beschreven. Men kan de doelgroep specificeren naar religie, taal, afkomst en sociaal economische status. Om de doelgroep zo goed mogelijk te helpen met hun probleem, is het belangrijk om de groepen zo specifiek mogelijk te houden. Indien man actief verder wil gaan met de interventie moeten ze de doelgroep meer betrekken bij het opzetten van de interventie. Voordat ze verder gaan met de interventie moeten ze doormiddel van overleg met intermediaire de cursus verder uitwerken. Ook moet het streven zijn om de doelstellingen te beschrijven volgens de SMART methode. Ze moeten dus uiteindelijk Specifiek, Meetbaar, Acceptabel, Realistisch en tijdgebonden zijn. Voornamelijk moeten de doelen van Man Actief meer concreter worden gemaakt op het gebied van meetbaarheid en tijdsgebondenheid. De interventie Man Actief ontbreekt een uitgebreide evaluatie naast de verbeterpunten uit de pilots. Door een effect en proces evaluatie toe te voegen is de interventie beter te sturen en te beheersen. Schenk daarbij extra aandacht aan het proces. Een voorbeeld zijn de beheersaspecten (Tijd, Geld, Informatie, kwaliteit, etc.). Stel deze van te voren op en check deze regelmatig om tijdig bij te sturen. Kijk hierbij kritisch naar het hele proces. Wat is goed gelopen en verantwoordelijk voor het succes van de interventie? Wat is anders gelopen dan gepland en kan verantwoordelijk worden gehouden voor tegenvallers? 2 Interventie evaluatie Man Actief

3 VOORWOORD Voor u ligt het adviesrapport dat is gemaakt in opdracht van Movisie over de interventie Man Actief. Voor deze interventie is er door ons een evaluatie uitgevoerd aan de hand van verschillende modellen. De belangrijkste resultaten zijn terug te vinden in dit adviesrapport. We hebben voor deze interventie gekozen, omdat we het onderwerp erg leuk en uitdagend vonden. Het is geen alledaags thema waar wij als student wekelijks mee bezig zijn. Het leek ons ook een leuke interventie om een uitgebreide evaluatie voor uit te voeren. Wij willen Movisie en specifiek mevrouw Verschoor bedanken voor het vertrouwen in ons en voor haar medewerking gedurende dit project. Ze heeft ons ondersteund waar wij dit nodig hadden en heeft bijgedragen aan het eindresultaat van ons adviesrapport. Wij hopen dat dit rapport voldoet aan de verwachtingen die er vanuit Movisie zijn en hopen dat dit een bijdrage kan leveren in toekomstige bezigheden en activiteiten van Movisie. Tevens willen we onze tutoren, John Dierx en Laurien Harting, bedanken voor de ondersteunende rol tijdens de uitvoering van dit project. Adriaan von Harenberg Gérard Hanssen Job van Lare Samuël Schipperheijn 3 Interventie evaluatie Man Actief

4 INHOUDSOPGAVE SAMENVATTING 2 VOORWOORD 3 INHOUDSOPGAVE 4 INLEIDING 5 1. THEORETISCH KADER 6 2. METHODE 7 Uitleg Preffi Uitleg REFKA 7 Uitleg EKI 7 3. RESULTATEN Resultaten REFKA 9 1. Processen 9 2. Interventies 9 3a. Interventie-uitkomsten 9 3b. Determinanten 10 3c. Gezondheid Maatschappeljke context Onderzoke en Feedback Resultaten Preffi Probleemanalyse Determinanten van (psychische) problematiek, gedrag en omgeving Doelgroep Doelen Interventieontwikkeling Implementatie Evaluatie Randvoorwaarden en haalbaarheid Resultaten EKI 13 Cluster 0: Randvoorwaarden 13 Cluster 1: Vaststellen probleem/thema en relevante factoren met de doelgroep 13 Cluster 2: Rollen van de doelgroep 13 Cluster 3: Interventiemogelijkheden 13 Cluster 4: Uitvoer en implementatie 13 Cluster 5: Evaluatie en monitoring CONCLUSIE AANBEVELINGEN 15 Literatuur 15 Doelgroep 15 Doelstellingen 15 Evaluatie PROCESEVALUATIE PROCESEVALUATIE LITERATUURLIJST 18 Bijlage 1: Resultaten en conclusie REFKA 19 Bijlage 2: Resultaten en conclusie Preffi Bijlage 3: Resultaten en conclusie EKI 26 Bijlage 4: Werkblad Goed Beschreven 27 4 Interventie evaluatie Man Actief

5 INLEIDING In dit adviesrapport zal er een evaluatie worden gemaakt van de Interventie Man Actief, ontwikkeld door Vizyon en Movisie. Deze interventie is een initiatief wat het ontwikkelen van mannenemancipatie als doelstelling heeft. Hierbij speelt Man Actief specifiek in op de activering van allochtone mannen in een kwetsbare positie. Het doel is om het sociale isolement van deze mannen te verminderen, hun zelfrespect te bevorderen en actieve deelname aan de maatschappij te realiseren (Utlu & Verschoor, 2009). De methodiek is gericht op de cultuur en identiteit van de mannen die tot de doelgroep behoren. Binnen dit domein liggen vaak blokkades voor participatie en emancipatie van de mannen. De interventie kent een drietal doelstellingen: 1. Verminderen van het sociaal isolement en toename van het zelfrespect van allochtone mannen 2. Verbetering van de genderverhoudingen en de positie van de vrouw en kinderen in het gezin 3. Doorstroom naar vrijwilligerswerk of betaald werk, dan wel naar een vervolgcursus of ander vervolgtraject (Utlu & Verschoor, 2009). Om deze doelstellingen te bereiken is er gekozen voor een individuele aanpak, gericht op de ontwikkeling van de man. Door het stellen van essentiële vragen op specifieke thema s worden deze mannen gestimuleerd om na te denken over hun houding en positie. De mannen gaan zelf aan de slag met de inzichten die ze tijdens de interventie opdoen (Utlu & Verschoor, 2009). De interventie kent een looptijd van 10 weken. Tijdens deze 10 weken wordt er een programma afgewerkt dat zich richt op verschillende thema s en activiteiten. Enkele thema s die aan bod komen zijn het geloof, arbeid, gezondheid, het gezin en persoonlijke doelen. De activiteiten varieren van een bezoek aan een historisch museum of gezamenlijke sportactiviteiten. De interventie wordt uitgevoerd in een groep die naar keus van de interventieleider kan worden samengesteld (Utlu & Verschoor, 2009). In dit rapport wordt er middels verschillende methoden een evaluatie uitgevoerd over de interventie. Het rapport kent een heldere opbouw. Na deze inleiding wordt het theoretisch kader beschreven. Vervolgens worden de verschillende methoden die gebruikt zijn voor de evaluatie toegelicht. Na deze uitleg worden de resultaten beknopt getoond die uit deze verschillende modellen naar voren zijn gekomen. Deze resultaten worden vervolgens geanalyseerd en samengevat in een conclusie. Op basis van de conclusie en resultaten uit de verschillende evaluatiemodellen zullen er enkele aanbevelingen gedaan worden. Tot slot zal er in de procesevaluatie worden gekeken naar het verloop van het proces in de groep gedurende het uitvoeren van dit project. In de bijlage zijn alle resultaten per model volledig terug te vinden. Ook de volledige conclusie is in de bijlage terug te vinden. Ook is het werkblad Goed Beschreven toegevoegd aan de bijlage. Dit werkblad geeft een overzicht van alle beschikbare schriftelijke informatie over de interventie. Tevens geld dit als criteria voor het indienen van een interventie voor de databank van het Loket Gezond Leven. 5 Interventie evaluatie Man Actief

6 1. THEORETISCH KADER De interventie Man Actief is voornamelijk gebaseerd op het rapport Bidden en Boodschappen doen (2006). In het rapport komt naar voren dat er een aantal duizend Marokkaanse en Turkse mannen zich bevindt in een sociaal isolement. Vizyon en Movisie hebben gezamenlijk een interventie opgezet zonder naar andere literaire bronnen te kijken of door andere instanties te raadplegen. Ze zijn vanaf het rapport een interventie gestart en hebben deze in vier steden getest. Het theoretisch kader van de interventie is getest op het gebied van incidentie/ prevalentie, wetenschappelijke onderbouwing, de doelgroep, de uitvoering en de begroting. Man Actief heeft bij geen van het bovenstaande wetenschappelijke artikelen, boeken of andere bronnen gebruikt. Veel informatie is gehaald uit het rapport Bidden en Boodschappen doen, maar ook in dat rapport worden de bovenstaande gegevens niet vermeld. Man Actief heeft dus geen theoretisch kader en is gebaseerd op ervaringen en meningen van de oprichters. 6 Interventie evaluatie Man Actief

7 2. METHODE Uitleg Preffi 2.0 Om de Interventie Man Actief te evalueren is er gebruik gemaakt van het Preventie Effectmanagement Model (Preffi 2.0). Dit is een kwaliteitsinstrument dat op een systematische manier een evaluatie kan uitvoeren en als doel heeft om de effectiviteit van gezondheidsbevorderende projecten te bevorderen (CBO, 2013). Preffi 2.0 is ontwikkeld door gezondheidsinstituut NIGZ (in 2012 overgenomen door het Centraal BegeleidingsOrgaan) in samenwerking met verschillende GVO-praktijkmedewerkers,GVOdeskundigen en wetenschappelijke onderzoekers. De Preffi methode werkt volgens een indeling op basis van acht clusters, gericht op zowel theorie als praktijk. De acht clusters die worden behandeld zijn: 1. Randvoorwaarden en haalbaarheid 2. Probleemanalyse 3. Determinanten van (psychische) problematiek, gedrag en omgeving 4. Doelgroep 5. Doelen 6. Interventieontwikkeling 7. Implementatie 8. Evaluatie (Kok, Molleman, Saan, & Ploeg, 2003) Cluster 1 (randvoorwaarden en haalbaarheid) wordt als laatste clusters behandeld. Dit omdat dit onderwerp veelal als laatste wordt behandeld bij een project. In elk cluster worden enkele criteria behandeld waarop het te evalueren project op wordt beoordeeld met zwak, matig of slecht. Op basis van deze beoordelingen krijgen alle clusters, die samen het totale project vormen een eindbeoordeling. Op basis van deze beoordeling kunnen er verbeterpunten en acties worden opgesteld (NIGZ, 2013). Uitleg REFKA Het Referentiekader (REFKA) geeft een inzicht in factoren die bij de planning en de uitvoering van de interventie Man Actief een rol spelen of hebben gespeeld. Om deze factoren met elkaar in verband te brengen en verbeteringen op te kunnen stellen is de digitale Refka scan afgenomen. Daarbij zijn alle kolommen van het Refka doorlopen. Op basis van de kolommen is er een globale beoordeling uitgekomen en een beoordeling in de vorm van een kleur met daaraan een gekoppeld advies. Om de resultaten vorm te geven in dit verslag is de output van de scan als uitgangspunt genomen en is die verder onderbouwt met enkele voorbeelden. Uitleg EKI Het doel van het Empowerment Kwaliteit Instrument (EKI) is om de empowerment- benadering een meer integraal onderdeel te laten vormen in het denken en handelen in de gezondheidsbevordering en pre ventie. Daarnaast is van belang om ook te werken aan de operationalisering hiervan (CBO, 2013). Het EKI is een aanvulling op de Preffi 2.0. Waar de Preffi de planmatige stappen in het ontwerpproces bekijkt, brengt het EKI bij ieder van die stappen de empowermentaspecten in beeld. De items van de Preffi 2.0 zijn vanuit een empowermentbenadering' opnieuw bekeken. De opzet en structuur van het EKI is op een zelfde wijze ontwikkeld als de Preffi 2.0 (Visser, Molleman, & Peters, 2007). Uiteraard blijven de items van de Preffi voor ieder project, ook die met sterke empowermentdoelen, relevant. Het is enkel een aanvulling op hierop, het komt niet in plaats van de Preffi Interventie evaluatie Man Actief

8 Er zijn vijf aandachtspunten die in het werken met empowerment centraal staan: Doelgroepparticipatie De rol van de gezondheidsbevorderaar Empowermentdoelen Empowermenttechnieken Toolbox voor het meten van empowerment voor de evaluatie 8 Interventie evaluatie Man Actief

9 3. RESULTATEN In dit hoofdstuk zullen de resultaten worden weergegeven die tot stand zijn gekomen uit de REFKA, Preffi en EKI die zijn uitgevoerd van de interventie Man Actief. 3.1 Resultaten REFKA 1. Processen Man Actief heeft voldoende capaciteit met diverse disciplines op het gebied van kennis en deskundigheid. Denk hierbij aan de diverse deskundigheid binnen Movisie maar ook aan de samenwerking met Vizyon, organisaties voor vrijwilligerswerk, sportclubs, CWI s, bedrijven, kerken, bibliotheken en musea s. Daarnaast is er voldoende steun en draagvlak gevonden bij deze organisaties. De planning van de activiteiten zijn goed uitgewerkt in projectplan en hier wordt goed op gereflecteerd, er is goed nagedacht over het aantal menskracht dat nodig is en de daarbij horende competenties. Man Actief maakt gebruik van beschikbare methoden en materialen. Er is een begroting opgesteld, maar is volgens de REFKA scan erg summier en niet bindend. 2. Interventies Man Actief maakt gebruik van een mix van interventies. Dit gebeurt in de verschillende bijeenkomst in de vorm van een discussie, rollenspel, foto s, films en video s en het werken in kleine groepjes tot het bezoeken van verschillende gebedshuizen en 1 op 1 gesprekken. De onderbouwing waarom er gekozen is voor deze mix van interventies is aanwezig en staat goed beschreven. Community-ontwikkeling is een duidelijk omschreven onderdeel van de interventiemix. De participatie van de allochtonen man is daarbij een belangrijk onderdeel. De methoden en technieken hierover worden expliciet en gedetailleerd beschreven. De interventie heeft weinig gebruik gemaakt van publiciteit en de vergroting van arbeidscapaciteit. 3a. Interventie-uitkomsten Bij het bevorderen van gezondheidsvraagstukken is het belangrijk om goede doelstellingen te schrijven. Ook de interventie Man Actief heeft een aantal doelstellingen geformuleerd. Deze doelstellingen zijn niet tijdsgebonden. Man Actief werkt niet met tussenresultaten die helpen om het beoogde eindresultaat stapsgewijs te behalen en helpt bij het bijsturen. Het is belangrijk om de doelgroep binnen Man Actief te empoweren. De inrichting van het programma is daar dan ook goed op participatie en eigen verantwoordelijkheid gebaseerd. Man Actief werkt nauw betrokken met enkele partners van de doelgroep (hierbij denken we aan Vizyon, enkele cultuurinstanties, buurhuizen, etc.) Deze instanties accepteren de gang van zaken rond het programma. Dit ondersteunt het sociale draagvlak ofwel de mate waarin het publiek het initiatief steunt. Het is onbekend in hoeverre deze partijen de interventie ook echt uitdragen. Door de instanties actief steun te laten verlenen aan het programma zorgt dit voor een grotere sociale draagvlak en vergroot dit de betrokkenheid. Men kan denken om verschillende Gebedshuizen, of andere belanghebbenden mee te laten participeren bij de vormgeving van de interventie. In de interventie wordt weinig geschreven op het gebied van beleid en wetgeving en eventuele scenarioplanning. 3b. Determinanten De interventie Man Actief heeft een goed theoretisch kader waarin alle determinanten zowel bevorderend als belemmerend zijn geanalyseerd. Echter mist de analyse een duidelijke onderbouwing, denken aan literatuuronderzoek, o.i.d. Er komt weinig extern bronnenmateriaal aan te pas. De interventie heeft een duidelijke doelgroep: De allochtonen man. Echter is er geen duidelijke relatie gelegd tussen leefstijl, geslacht, sociale positie, opleiding of religie. De interventie was toereikend voor iedereen, waardoor de doelgroep sterk varieerde. 9 Interventie evaluatie Man Actief

10 De interventie Man Actief maakt goed gebruik van de aanwezige sociale netwerken als steun voor de interventie; sociale contacten, cohesie en steun beïnvloedt de gezondheid in positieve steun. Ook is er goed nagedacht over de locaties waar de interventie plaatsvindt. Het programma houdt rekening met de aanwezigheid en toegankelijkheid, bekendheid, en het gebruik van voorzieningen en de verschillen daarin voor verschillende doelgroepen. De interventie kijkt onvoldoende naar de fysieke omgeving en het milieu. 3c. Gezondheid Man Actief stelt realistische uitkomstmaten op o.b.v. de interventie. Daarnaast wordt er goed rekening gehouden met de maatschappelijke waarde van gezondheid. De interventie draagt bij aan participatie zowel maatschappelijk als in arbeidscontext. Echter is het nog onduidelijk wat de interventie direct en indirect bijdraagt aan de economie, wat de interventie op het gebied van zorgkosten reduceert/kost en wat de maatschappelijke impact is. Het ontbreekt aan een goede kosten en baten analyse. 4. Maatschappelijke context Het is moeilijk om te oordelen m.b.t. de maatschappelijke context van de interventie. Er is weinig van de voorgeschiedenis van de interventie op papier. Historie, actualiteit, trends, economie, cultuur, politiek, etc. zijn allemaal onderdelen van de maatschappelijke context. Er wordt geen follow-up periode aangegeven. Het project heeft een vaste looptijd en daarmee stopt het. 5. Onderzoek en Feedback Op dit onderdeel scoort de interventie vrij laag. Man Actief werkt met weinig cijfermatige onderbouwing. Dit leidt tot een programmering die slecht te sturen is. Daarnaast is de schaal waarop wordt gewerkt en de startsituatie en enige impact onvoldoende duidelijk. 10 Interventie evaluatie Man Actief

11 3.2 Resultaten Preffi 2.0 De betekenis van de Preffi-analyse zullen worden besproken in het hoofdstuk Conclusie. De compleet ingevulde Preffi-analyse is te vinden in bijlage Probleemanalyse Zwak Matig Sterk 2.1 Aard, ernst en omvang van het probleem X 2.2 Spreiding van het probleem X 2.3 Hoe zien de verschillende betrokkenen het probleem? X 2. Probleemanalyse X 3. Determinanten van (psychische) problematiek, gedrag en omgeving Zwak Matig Sterk 3.1 Theoretisch model X 3.2 Bijdragen van determinanten aan (psychische) problematiek, gedrag X en omgevingsfactor 3.3 Beïnvloedbaarheid van determinanten X 3.4 Prioritering en keuze X 3. Determinanten van (psychische) problematiek, gedrag en omgeving X 4. Doelgroep Zwak Matig Sterk 4.1 Algemene en demografische kenmerken van de doelgroep X 4.2 Motivatie en mogelijkheden van de doelgroep X 4.3 Bereikbaarheid van de doelgroep X 4. Doelgroep X 5. Doelen Zwak Matig Sterk 5.1 Doelen sluiten aan op de analyse X 5.2 Doelen zijn specifiek, tijdgebonden en meetbaar X 5.3 Doelen zijn aanvaardbaar X 5.4 Doelen zijn haalbaar X 5. Doelen X 6. Interventieontwikkeling 6. Interventieontwikkeling 6.1.A 1Onderbouwing van de rationele van de interventiestrategie 6.1.B Eerdere ervaringen met de interventiemethode 6.2 Duur, intensiteit en timing 6.2.A Duur en intensiteit van de interventie 6.2.B Timing van de interventie 6.3 Afstemming op de doelgroep Zwak Matig Sterk X X X X 11 Interventie evaluatie Man Actief

12 6.3.A Participatie van de doelgroep n.v.t. n.v.t. n.v.t. 6.3.B Afstemming op de cultuur 6.4 Effectieve technieken X 6.5 Haalbaarheid in de praktijk 6.5.A Afstemming op intermediaire doelgroepen 6.5.B Kenmerken van de implementeerbaarheid van de interventies X X 6.6 Samenhang tussen de interventies X 6.7 Pretest X 6. Interventieontwikkeling X 7. Implementatie Zwak Matig Sterk 7.1 Keuze voor implementatiestrategie gericht op intermediairen 7.1.A Wijze van implementeren: top down en/of bottom up X 7.1.B Afstemmen van Implementatie-interventies op intermediairen 7.1.C Geschiktheid van de aanbieder voor intermediairen X X 7.2 Monitoren en genereren van feedback X 7.3 Inbedden in een bestaande structuur X 7. Implementatie X 8. Evaluatie Zwak Matig Sterk 8.1 Duidelijkheid en overeenstemming over uitgangspunten van de X evaluatie 8.2 Procesevaluatie X 8.3 Effectevaluatie 8.3.A Is (of wordt) er een verandering gemeten? 8.3.B Is aannemelijk dat de verandering is teweeggebracht door de X X interventie? 8.4 Feedback aan betrokkenen X 8. Evaluatie X 1. Randvoorwaarden en haalbaarheid Zwak Matig Sterk 1.1 Draagvlak X 1.2 Capaciteit X 1.3 Sturing door de projectleider 1.3.A Expertise en eigenschappen van de projectleider X 1.3.B Aandachtpunten voor sturing X 1. Randvoorwaarden en haalbaarheid X 12 Interventie evaluatie Man Actief

13 3.3 Resultaten EKI Cluster 0: Randvoorwaarden Zwak Matig Sterk 0.1 Empowermentvaardigheden van de gezondheidsbevorderaar X 0.2 Draagvlak in eigen instelling voor werken met een empowermentbenadering X 0.3 Draagvlak samenwerkingspartners voor werken met empowermentbenadering X 0.4 Capaciteit empowerment-benadering X 0: randvoorwaarden Cluster 1: Vaststellen probleem/thema en relevante factoren met de doelgroep Zwak Matig Sterk 1.1 Thema en relevante subgroepen X 1.2 Factoren die als ingang dienen voor empowerment X 1.3 Keuze van factoren volgens de doelgroep X 1.4 Mate van participatie in de analyse X 1.5 Representativiteit betrokken leden doelgroep X Cluster 2: Rollen van de doelgroep Zwak Matig Sterk 2.1 Duidelijkheid rol van de doelgroep X 2.2 Duidelijkheid rol van de gezondheidsbevorderaar X Cluster 3: Interventiemogelijkheden Zwak Matig Sterk 3.1 Empowermentdoelen X 3.2 Passen empowermentdoel, interventie en doelgroep op elkaar X 3.3 Empowerment-technieken X 3.4 Mate van participatie van doelgroep in formulering en vaststelling X empowermentdoelen van interventie 3.5 Mate van participatie van doelgroep in de keuze en/of ontwikkeling X van de interventie Cluster 4: Uitvoer en implementatie Zwak Matig Sterk 4.1 Participatie doelgroep in uitvoer van de interventie X 4.2 Mate waarin intermediairs empowerment-doelen kunnen en willen X realiseren 4.3 Mate van continuïteit en structurele inbedding van de interventie X Cluster 5: Evaluatie en monitoring Zwak Matig Sterk 5.1 Monitor van de voortgang ten behoeve van de gezondheidsbevorderaar X 5.2 In hoeverre heeft de doelgroep zicht op versterking van haar empowerment X 5.3 Verbetermogelijkheden voor de intermediairs X 5.4 Mate van participatie van de einddoelgroep bij de evaluatie X 5.5 Mate van participatie van de intermediairs bij de evaluatie X 13 Interventie evaluatie Man Actief

14 4. CONCLUSIE In dit hoofdstuk zullen, op basis van de resultaten van de Preffi 2.0, Refka, EKI en het theoretisch kader alle relevante punten over de Man Actief interventie worden besproken. Hierbij zal er aandacht worden besteed aan sterke punten, maar ook aan zwakke punten en daarbij horende verbeterpunten. Deze verbeterpunten kunnen worden gezien als aanbevelingen om de geanalyseerde interventie eventueel te optimaliseren en te verbeteren. Uit de analyse van de interventie man actief is gebleken dat de doelgroep nauwelijks wordt betrokken bij het opzetten van de interventie. Ook intermediaire groepen die relevant zijn voor deze interventie worden niet of nauwelijks geraadpleegd. Op voorhand wordt de doelgroep en de intermediairen niet betrokken, wel is beschreven hoe ze deze bij de uitvoering van de interventie willen betrekken. Daarnaast heeft de interventie duidelijk beschreven welke essentiële samenwerkingspartners ze moeten bereiken om de doelstellingen te behalen. Daarnaast is de interventie niet opgezet aan de hand van wetenschappelijke artikelen, zoals al eerder aangegeven is de enige referentie het rapport Bidden en Boodschappen doen. Voor de doelgroep, de doelstellingen, de begroting, de uitvoering en de intensiviteit van de interventie is er geen literatuur gebruikt. De interventie is wel door experts met van dit vakgebied opgezet en uitgevoerd. Er wordt hier echter niet naar verwezen in het rapport. De doelstellingen die zijn opgesteld voor Man Actief zijn niet SMART beschreven, hierdoor zijn ze niet meetbaar en tijdsgebonden. De doelstellingen sluiten echter wel goed aan op de behoefte van de doelgroep. Daarnaast zijn ze dermate haalbaar en realistisch dat ze het probleem kunnen oplossen. De doelstellingen zijn uitgebreid beschreven, hierdoor zijn de doelstellingen betrouwbaar. Ook is er voor de interventie Man Actief geen evaluatie uitgevoerd. Aan het eind van de pilots is er een korte evaluatie uitgevoerd, echter zijn hier geen belangrijke verbeterpunten uit voort gekomen. Wel heeft de interventie een uitgebreid en duidelijk format gemaakt voor het uitvoeren van een procesevaluatie. Daarnaast zijn de succes- en faalfactoren van de pilots duidelijk beschreven. De interventie is duidelijk beschreven, echter mist het een wetenschappelijke onderbouwing, wordt de doelgroep niet betrokken tijdens de ontwikkeling van de interventie, is er geen uitgebreide evaluatie uitgevoerd en zijn de doelstellingen niet SMART geformuleerd. In het hoofdstuk aanbevelingen zullen deze punten worden behandeld. - Literatuur - Doelgroep - Doelstellingen - Evaluatie 14 Interventie evaluatie Man Actief

15 5. AANBEVELINGEN Zoals in de conclusie is aangegeven zijn er een aantal punten uit de analyse van Man Actief naar voren gekomen die verbeterd kunnen worden. Deze punten zullen stapsgewijs in dit hoofdstuk worden behandeld. Literatuur Om de interventie man actief opnieuw uit te voeren moet er meer wetenschappelijk onderzoek naar het probleem worden gedaan. Het is belangrijk om te weten wat er al bekend is over het probleem en hoe je dit kunt verwerken in de interventie. De incidentie en prevalentie cijfers zijn van belang als men dit probleem op grote schaal wil invoeren. Daarnaast zou het verstandig zijn om onderzoek te doen naar relevante interventies die wellicht met dezelfde problematiek te maken hebben. Verder moeten de verschillende determinanten die een rol spelen in kaart worden gebracht. Het moet duidelijk zijn op welke determinanten er ingespeeld moet worden, om de doelgroep zo goed mogelijk met hun probleem te kunnen helpen. Zo kan men duidelijk beschrijven en onderzoek doen naar de determinanten van gedrag of sociale invloeden die van invloed kunnen zijn op de doelgroep. Zo voorkomt men weerstand en heeft het waarschijnlijk een groter responsepercentage. Daarnaast moet er ook voor de uitvoering van de interventie een onderbouwing komen, een interventie moet gebaseerd zijn op wetenschappelijke literatuur. Nu is het onduidelijk voor initiatiefnemers of beleidsmedewerkers waarop de begroting en de uitvoering gebaseerd is. Indien Man Actief wil slagen binnen de Nederlandse maatschappij, dan moet het duidelijk zijn waarom er juist voor deze structuur en uitvoering is gekozen. De aanbeveling is dus een dieper onderzoek en duidelijk maken wat de factoren zijn die van invloed zijn op het proces. Met daarnaast een onderbouwing van de keuze. Doelgroep De doelgroep moet specifieker worden beschreven. Men kan de doelgroep specificeren naar religie, taal, afkomst en sociaal economische status. Om de doelgroep zo goed mogelijk te helpen met hun probleem, is het belangrijk om de groepen zo specifiek mogelijk te houden. Indien Man Actief verder wil gaan met de interventie moeten ze de doelgroep meer betrekken bij het opzetten van de interventie. Voordat ze verder gaan met de interventie moeten ze doormiddel van overleg met intermediaire de cursus verder uitwerken. Zo kan er door middel van een aantal bijeenkomsten met de doelgroep een inventarisatie worden gemaakt, wat speelt er bij de doelgroep, wat is hun manier van denken en wat verwachten ze van de interventie. Aan de hand van deze informatie kan een eerste opzet worden gemaakt. Naderhand kan er nog een bijeenkomst plaatsvinden om dit met de doelgroep te bespreken. Op de manier krijg je een goed beeld van wat de doelgroep wil en kan dit goed in de interventie worden verwerkt. Aanbeveling is dus om de doelgroep actief te betrekken in het proces en ervoor zorgen dat de doelgroep ook inbreng heeft bij het opzetten van de interventie. Doelstellingen Zoals al eerder aangegeven sluiten de doelen goed aan bij de interventie en hebben ze volgens ons onderzoek een kans van slagen. Echter zijn de doelstellingen niet SMART beschreven en dat maakt ze in zeker zin vaag van aard. Het is de bedoeling dat de doelstelling worden beschreven volgens de SMART methode. Ze moeten dus uiteindelijk Specifiek, Meetbaar, Acceptabel, Realis- 15 Interventie evaluatie Man Actief

16 tisch en tijdgebonden zijn. Voornamelijk moeten de doelen van Man Actief meer concreter worden gemaakt op het gebied van meetbaarheid en tijdgebondenheid. Evaluatie De interventie Man Actief ontbreekt een uitgebreide effect- en procesevaluatie naast de verbeterpunten uit de pilots. Door een effect- en procesevaluatie toe te voegen is de interventie beter te sturen en te beheersen. Schenk daarbij extra aandacht aan het proces. Een voorbeeld zijn de beheersaspecten (Tijd, Geld, Informatie, kwaliteit, etc.). Stel deze van te voren op en check deze regelmatig om tijdig bij te sturen. Kijk hierbij kritisch naar het hele proces. Wat is goed gelopen en verantwoordelijk voor het succes van de interventie? Wat is anders gelopen dan gepland en kan verantwoordelijk worden gehouden voor tegenvallers? Door tussentijds te evalueren kan het blijken dat het noodzakelijk is om op eerdere stappen terug te grijpen en deze concreter uit te werken, bijvoorbeeld op de doelgroep of doelstellingen. Ook is het aan te raden stil te staan bij de effectevaluatie. Want zijn de allochtonen mannen ook daadwerkelijk gezonder gaan gedragen en is er wel echt sprake van gezondheidswinst? Het ontbreekt de interventie momenteel aan te weinig cijfermatige onderbouwing om hier een goede evaluatie over te houden. Toch is dit de kern van de interventie. Een goed handvat dat kan helpen bij het evalueren van gezondheidskundige interventies is Windsor (1984). Hij formuleert aan de hand van vier clusters een aantal vragen die inzicht geven in: Het belang van de interventie, het belang van plannen, de effectiviteit van materialen en methoden, administratieve aspecten. Het hanteren van een goede proces- en effectevaluatie is noodzakelijk en sterk aan te bevelen aan de interventie Man Actief. 16 Interventie evaluatie Man Actief

17 6. PROCESEVALUATIE Dit project is gemaakt met een groep die bestaat uit 4 personen. De verschillende werkzaamheden zijn zowel individueel als met de groep gemaakt. De start van het project stond ik het teken van het uitkiezen van een interventie die wij als groep graag zouden willen evalueren. Wij zijn toen gekoppeld aan de Man Actief interventie, wat ook één van onze voorkeursinterventies was. De eerste stap voor de evaluatie was het maken van een afspraak met de interventieeigenaar (Mevrouw Verschoor). Doel was om met dit gesprek meer, of aanvullende informatie te verkrijgen om de evaluatie zo volledig en goed mogelijk uit te voeren. Om ons gesprek voor te bereiden hebben we ons als groep ingelezen in de evaluatie en op basis daarvan hebben we een aantal vragen opgesteld over zaken die voor ons nog onduidelijk waren. We zijn vervolgens met z n allen naar het gesprek met de interventie-eigenaar gegaan. Dit zodat ze ons kon leren kennen en iedereen op de hoogte was van alle belangrijke informatie. Na dit gesprek zijn we begonnen met het evalueren van de interventie. Dit hebben we gedaan aan de hand van verschillende methoden (Preffi, REFKA, EKI). Deze modellen hebben we, op de Preffi na, met de hele groep ingevuld. De meeste modellen maakten gebruik van een antwoordformulier op internet, waarbij je vragen kreeg die je moest beantwoorden. Omdat vier mensen meer weten dan één hebben we dit altijd samen gedaan. Vervolgens zijn de resultaten die uit deze modellen kwam individueel door ons uitgewerkt. Het opstellen van het definitieve adviesrapport, met hierin de evaluatie van Man Actief is vervolgens weer als groep gedaan. Omdat iedereen de ingevulde modellen individueel had uitgewerkt had iedereen zijn specialisme bij verschillende onderdelen van het adviesrapport. Het samenstellen verliep daardoor erg voorspoedig. Op basis van de informatie die we hadden verkregen bij de uitwerking van de modellen hebben we vervolgens een conclusie geschreven en hebben we enkele aanbevelingen gedaan die zijn gebaseerd op de uitgewerkte evaluatiemodellen. De samenwerking tussen de groepsleden was gedurende het hele evaluatieproces uitstekend. Iedereen was op de hoogte van zijn taken en iedereen wist wat er van elkaar verwacht werd. Doordat we alle modellen samen hebben ingevuld was iedereen op hoofdlijnen op de hoogte van elkaars gemaakte werk. Hierdoor konden we elkaar helpen en ondersteunen waar dit nodig bleek te zijn. Bij de start van de evaluatie zijn er ook binnen de groep afspraken gemaakt die de kwaliteit van het project moesten waarborgen. Door het opgestelde plan van aanpak hadden we per week een duidelijk overzicht van taken en opdrachten die uitgevoerd moesten worden. Hierdoor hebben we volgens een logische opbouw en structuur aan de evaluatie kunnen werken. Dit heeft het proces erg geholpen. De gemaakte planning bleek een uitstekende inschatting te zijn van alle werkzaamheden die verricht moesten worden en we hebben deze planning dus ook strak aan kunnen houden. Er kan geconcludeerd worden dat het proces uitstekend is verlopen en dat de goede voorbereidingen en planning hier een grote bijdrage aan hebben geleverd. Ook de verdeling van werkzaamheden waar dit kon en het samenwerken waar dit nodig was hebben het proces positief ondersteund. 17 Interventie evaluatie Man Actief

18 7. LITERATUURLIJST CBO. (2013, februari 10). EKI. Opgeroepen op december 21, 2013, van gbkwaliteit: CBO. (2013, februari 10). Preffi 2.0. Opgeroepen op december 20, 2013, van gbkwaliteit: Kok, H., Molleman, G., Saan, H., & Ploeg, M. (2003). Handboek Preffi 2.0. Woerden: NIGZ. NIGZ. (2013, 2003 februari ). Preffi 2.0. Opgeroepen op januari 2, 2013, van GBKwaliteit: Utlu, P., & Verschoor, W. (2009). Man Actief. Utrecht: A-D Druk. Visser, F., Molleman, G., & Peters, L. (2007). Empowerment Kwaliteit Instrument. Woerden: NIGZ. 18 Interventie evaluatie Man Actief

19 Bijlage 1: Resultaten en conclusie REFKA 1. Organiseren Man Actief is een interventie die pas handen en voeten gaat krijgen bij de uitwerking hiervan. De interventie geeft een aantal richtlijnen en handvatten die gebruikt kunnen worden bij een dergelijke interventie. Door deze opzet is het moeilijk om een programmaorganisatie en het mobiliseren van mensen en middelen erg concreet uit te schrijven. Toch is het aan te raden om nog eens goed te kijken naar de begroting: hoe ziet de financiering er bijvoorbeeld over een paar jaar uit? Is de financiering duurzaam? Daarnaast kan er meer aandacht besteedt worden aan competente menskracht. Door bijvoorbeeld bijscholing, opleidingen en het bijwonen van (internationale) congressen of masterclasses kunnen de competenties groeien en blijft kennis actueel. Man Actief is een mooi initiatief dat verspreid mag worden. Tot slot is het aan te raden om nog een keer door de documentatie heen te lopen. Tijdens de analyse blijkt het moeilijk om aan bepaalde stukken te komen, terwijl er daarnaast voldoende stukken zijn die minder relevant zijn. Een goede documentatie is noodzakelijk; minstens van de kerngegevens, dat bewijst altijd zijn diensten. Aanbevelingen: - Opstellen nieuwe begroting - Investeer in je personeel en publiciteit. - Zorg dat de documentatie op orde is. 2. Interventies Het valt het op dat de interventie weinig tot geen gebruik gemaakt heeft van publiciteit. Publiciteit is een belangrijke steun voor de impact van gezondheidsbevordering. Publiciteit heeft een functie als agenda setting, als draagvlak ontwikkeling, als wervingsinstrument en als bevestiging en bestendiging van successen. Publiciteit kan bijdragen aan het verwerven van goodwill. Publiciteit/PR moet een continu aspect van de interventie vormen, evenals de relatie met de media: dit is een continu aandachtspunt dat strategisch kan worden ingezet in relatie tot de andere interventies. Geef aan hoeveel inzet u aan deze interventie besteedt. Daarnaast heeft de interventie Man Actief weinig aandacht besteed aan de vergroting van de organisatiecapaciteit. Door hier meer aandacht aan te besteden kan het formele en informele draagvlak aanzienlijk worden vergroot. Zorg voor een duidelijke plaats voor organisatieontwikkeling met een belangrijke rol voor samenwerkingsverbanden. U geeft daarbij concreet aan hoeveel inzet u aan deze interventie besteedt. En hoe dit inwerkt op de (mix van) determinanten. Aanbevelingen: - Maak gebruik van publiciteit om goodwill te creëren - Zorg voor goede organisatieontwikkelingen en samenwerkingsverbanden. 3a. Interventie-uitkomsten De doelstellingen zijn niet SMART geformuleerd en het ontbreekt aan SMART tussendoelen. Sociaal draagvlak is aanwezig maar kan vergroot worden door verschillende stakeholders actiever te betrekken bij de interventie. Zorg voor voldoende draagvlak door minimaal goedkeuring en acceptatie te verkrijgen van partners en leden van de doelgroep (intermediaire doelgroep en einddoelgroepen) voor de gang van zaken rond het programma. Consulteer doelgroepen als (ervaring)deskundigen en maak samenwerkingsafspraken met partnerorganisaties. Door dit te doen zal de interventie door meer partijen worden uitgedragen wat de betrokkenheid vergroot. Tot slot kan een goede scenarioplanning en actief lobbyen binnen de overheid zorgen voor een continuering van subsidie en het aanpassen van regelgeving of beleid ten gunste van de interventie. 19 Interventie evaluatie Man Actief

20 Aanbevelingen: - formuleer de doelstellingen SMART - Laat de interventie uitdragen door samenwerkingspartners en maak samenwerkingsafspraken - Voeg een scenarioplanning toe op het gebied van beleid en regelgeving 3.b Determinanten Man Actief beschrijft een goed theoretisch kader maar mist literatuuronderzoek ter onderbouwing. Daarnaast is doelgroep nog niet opgesplitst naar persoonlijkheidsfactoren (religie, leeftijd, etc.) Daarnaast is het aan te raden om aan thema s als duurzaamheid en milieu te denken binnen het project. Thema's als klimaat verandering en duurzaam milieu zijn verwant met gezondheidsissues en kan het politiek draagvlak doen vergroten. Aanbevelingen: - Segmenteer de doelgroep naar cultuur, leeftijd, etc. - Voeg wetenschappelijke onderbouwing toe - Neem thema s als duurzaamheid en milieu mee in de interventie. 3.c Gezondheid Gezondheidsbevordering wordt vaak als uiteindelijke doel beschouwd. Toch is het niet verstandig om uitkomsten op dat niveau te verwachten. Meestal is daarvoor de tijdshorizon te beperkt en is er een te lange interventie-periode nodig om tot succesvolle veranderingen in de gezondheid te komen. Het is daarom ook aan te raden om de interventie-uitkomsten als maat van succes aan te duiden. Binnen de interventie Man Actief ontbreekt het aan een goede kosten en baten analyse. Het is belangrijk om te weten wat de interventie bijdraagt aan de economie en wat de maatschappelijke impact is van het project. Probeer verbeteringen daarin cijfermatig te onderbouwen Aanbevelingen: - Voeg een goede kosten en baten analyse toe met cijfermatige onderbouwing 4. Maatschappelijke context Het ontbreekt de interventie aan voorgeschiedenis van het project. Daarnaast is er geen followup periode aangegeven waardoor continuïteit ontbreekt. We raden daarom aan om een duidelijke meerjaren termijnplanning op te stellen. Aanbevelingen: - Zet de voorgeschiedenis (Historie, actualiteit, trends, economie, etc.) op papier; - Hanteer een follow up periode en denk na over continuïteit. 5. Onderzoek en Feedback Het eerste waarmee u zou kunnen beginnen is uw interventiedoelen smart te maken. Dan vraagt u zich automatisch af bij hoeveel mensen u welke graag van verandering wilt realiseren in gedrag of beleid en op welke termijn u dat doet. Schaal, verandermaat en tijd zijn belangrijke parameters om een programma door te rekenen en de benodigde capaciteit zakelijk te onderbouwen. Anders blijft u steken in "mijn best doen om zoveel mogelijk te bereiken". Wat is veel, wat is best? Aanbeveling: - Maak de doelen SMART - Geef cijfermatige onderbouwing 20 Interventie evaluatie Man Actief

21 Bijlage 2: Resultaten en conclusie Preffi 2.0 In dit hoofdstuk zullen, op basis van de resultaten van de Preffi 2.0-analyse, alle relevante punten over de Man Actief interventie worden besproken. Hierbij zal er aandacht worden besteed aan sterke punten, maar ook aan zwakke punten en daarbij horende verbeterpunten. Deze verbeterpunten kunnen worden gezien als aanbevelingen om de geanalyseerde interventie eventueel te optimaliseren en verbeteren. De resultaten en de eventueel bijbehorende opmerkingen en aanbevelingen zullen per cluster worden besproken, zoals dit ook is gedaan in het hoofdstuk Resultaten. Algemeen Uit de resultaten van de Preffi-analyse valt op te maken dat de Man Actief enkele sterke punten heeft, maar ook enkele punten heeft waar nog ruimte is voor verbeteringen. De interventie scoort bij de Preffi-analyse op 2 clusters een zwak, op drie clusters een matig en op twee clusters een goed. Cluster 2: Probleemanalyse Man Actief scoort in dit cluster een zwak. Dit komt vooral door de lastig te bereiken doelgroep die de interventie dient aan te spreken. Doordat de ernst van het probleem en de daarbij horende doelgroep lastig te bepalen is, zijn deze cijfers veelal gebaseerd op grove schattingen. Het onderwerp en de doelgroep van de interventie, allochtone mannen in een sociaal geïsoleerde omgeving, zijn 2 factoren van de interventie die de probleemanalyse erg lastig maken. Ook de geschatte (immateriële) kosten van het probleem zijn erg moeilijk te bepalen, doordat het probleem veel gevolgen kan hebben die verschillende kosten met zich mee kunnen brengen. Denk hierbij aan kosten die verbonden zijn aan werkeloosheid, agressie, depressiviteit en arbeidsongeschiktheid. Ook is het lastig om de spreiding van het probleem waar de interventie zich op richt te bepalen. Het klinkt aannemelijk dat in steden met een grote diversiteit aan culturen en etniciteiten zich de grootste doelgroepen bevinden waar Man Actief naar op zoek is. Het is echter niet duidelijk hoe groot de doelgroepen in verschillende grote steden zijn en of er op andere geografische plekken zich ook relevante doelgroepen bevinden. Omdat de interventie zich richt op een thema dat zelden tot nooit onderwerp is van een interventie, zijn verschillende zaken zoals de afbakening van de doelgroep en achtergrond en oorzaken van de problematiek niet specifiek uitgewerkt en geanalyseerd. Zo is de interventie gebruikt bij verschillende groepen mensen, zonder hiervoor aparte methoden te gebruiken. Ook is hierbij niet onderzocht welke methoden het meest effectief zijn bij de verschillende doelgroepen. Het idee achter de interventie is dat bij uitvoering van de interventie, verschillende werkwijzen op de specifieke doelgroep kunnen worden afgestemd. Aanbevelingen - Probeer de omvang, ernst en spreiding van het probleem beter in kaart te brengen - Een uitgebreide analyse van de kosten (materieel, immaterieel) - Specifieke programma s en methoden gericht op de verschillende doelgroepen (etniciteiten) Cluster 3: Determinanten van (psychische) problematiek, gedrag en omgeving De interventie scoort ook bij dit cluster een zwak. Dit is echter goed te verklaren, aangezien het probleem waar de interventie zich op richt, redelijk nieuw is. Er is weinig onderzoek naar het onderwerp gedaan en hierdoor zijn er weinig wetenschappelijke artikelen en effectieve methoden beschikbaar om de interventie op te baseren. De meeste kennis die is gebruikt voor de ontwikkeling van de interventie is afkomstig van het bureau Vizyon. Dit bureau is gespecialiseerd in 21 Interventie evaluatie Man Actief

22 mannenemancipatie en diversiteit. Ook Movisie, gespecialiseerd in sociale vraagstukken, heeft veel kennis in huis, waar de interventie op is gebaseerd. Dit is echter op slechts één rapport gebaseerd, namelijk Bidden en Boodschappen doen van Edgar van Lokven en Malica Al Fahmi. Dit rapport beschrijft beknopt het probleem van sociale isolatie van allochtone mannen in Amsterdam. Bij de uitvoering van de interventie is er voornamelijk gebruik gemaakt van mannelijkheidcoderingen die gelden voor de doelgroep. Op basis van deze normen en waarden is er een aanpak gekozen, die volgens de ontwikkelaars de meeste kans van slagen zou moeten opleveren. Bij de interventiebeschrijving wordt het niet geheel duidelijk welke determinanten het meest belangrijk zijn voor het slagen van de interventie. De interventie richt zich, volgens de beschrijving, alleen op de intrinsieke motivatie van de doelgroep. Er worden geen andere determinanten beschreven die ook zouden kunnen bijdragen aan het slagen van de interventie. Er is hiervan ook geen bewijslast beschikbaar. De determinanten zijn ook niet gespecificeerd naar doelgroep. De determinant intrinsieke motivatie wordt als meest belangrijk gezien bij iedereen die tot de doelgroep behoort. Er wordt hierbij dus geen onderscheid gemaakt naar leeftijd, afkomst of religie. Deze belangrijkste determinant geld voor alle allochtone mannen die zich in een sociaal isolement bevinden. De determinant waarop Man Actief zich richt wordt wel uitgebreid beschreven. Hierbij wordt vermeld wat de determinant inhoud, welk gedrag zal moeten veranderen en wat deze determinant moet gaan bereiken zodat de interventie effectief en succesvol zal zijn. Aanbevelingen - Meer (wetenschappelijk) onderzoek naar het probleem - De rol van verschillende determinanten (per verschillende doelgroep) in kaart brengen Cluster 4: Doelgroep Bij het cluster doelgroep scoort Man Actief sterk. De interventie scoort hierop goed, omdat de doelgroep waarop de interventie zich richt prima wordt beschreven. De doelgroep bevat allochtone mannen die zich in een sociaal isolement bevinden. Er wordt hierbij geen onderscheid gemaakt tussen etniciteit en afkomst. Het grootste gedeelte van de doelgroep komt uit (noord)afrika, het Midden-Oosten en Azië. Er wordt bij de interventie geen onderscheid gemaakt in leeftijd, geloof of cultuur. De samenstelling van de doelgroep bij het uitvoeren van de interventie kan ook per interventie worden bepaald. Er zijn geen strikte richtlijnen die voorschrijven uit hoeveel personen de interventiegroep moet bestaan, van welke afkomst ze moeten zijn of hoe oud ze moeten zijn. Wat een essentiële rol speelt bij de interventie is de motivatie van de doelgroep tot verandering. De interventie is gericht op personen die een grote intrinsieke motivatie hebben en zich bewust zijn van het feit dat ze zich in een sociaal isolement bevinden en hierbij hulp nodig hebben om eruit te komen. De factoren die van grote invloed zijn op de doelgroep te bereiken en te motiveren worden uitgebreid beschreven. Doordat de interventie zich richt op een lastig te bereiken doelgroep is er veel aandacht besteed aan de verschillende manieren om de doelgroep te bereiken en motiveren. Er wordt hierbij gebruik gemaakt van veel verschillende partners, zoals imams, koffie- en theehuizen en buurtwerk. Deze partners zijn (worden) specifiek geselecteerd op etniciteit, cultuur en geloofsovertuiging. Ook wordt er duidelijk beschreven wat eventuele barrières kunnen zijn voor potentiële deelnemers. Een beperking zoals analfabetisme is bijvoorbeeld geen beperking die ervoor zorgt dat iemand niet mee kan doen aan de interventie. Ook hier geldt dat eventuele wensen en behoefte bij uitvoering van de interventie in kaart kunnen worden gebracht om te zien of hieraan voldoen kan worden. 22 Interventie evaluatie Man Actief

23 Sterke punten - Duidelijke onderbouwing van manier voor bereik van de doelgroep - Behoefte, barrières en beperkingen kunnen per interventie-uitvoering in kaart worden gebracht - Goed overzicht en onderbouwing van essentiële samenwerkingspartners om de doelgroep te betrekken en motiveren Cluster 5: Doelen Het cluster Doelen scoort bij de Preffi-analyse een sterk. Ondank deze score valt er nog wel het een en ander te verbeteren aan dit cluster. De interventie kent een drietal doelstellingen, welke prima aansluiten op de gemaakte analyse van het probleem. Het verminderen van het sociaal isolement, het verbeteren van genderverhoudingen en de doorstroom van de doelgroep naar (betaald) werk staan hierbij centraal. De doelen zijn echter niet SMART geformuleerd. Een doelstelling die SMART geformuleerd is dient minimaal Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden te zijn. Om te illustreren dat de doelstellingen van Man Actief niet SMART zijn zal hieronder doelstelling 1 van de interventie worden besproken: 1. Vermindering van het sociaal isolement en toename van het zelfrespect van allochtone mannen Deze doelstelling is niet helemaal Specifiek. Het doel bewerkstelligt namelijk een verandering. Er wordt echter niets gezegd over de beoogde omvang van de effecten. Hij is echter niet Meetbaar. Hiervoor had er een meetbare factor in moeten staan. De doelstelling is wel Acceptabel. De doelgroep zal bij deelname aan de interventie deze doelstelling willen bereiken. Deze doelstelling, net als de andere twee doelstellingen, zullen ook acceptabel zijn voor de samenwerkingspartners en financiers. Ook is de doelstelling Realistisch. Het is een doel dat bij een succesvolle uitvoering en deelname van de interventie absoluut haalbaar is en daardoor ook realistisch. De doelstelling is niet Tijdsgebonden gemaakt. Er wordt in de doelstelling geen periode omschreven waarbinnen het doel behaald dient te zijn. Dit wordt echter wel in de methodebeschrijving omschreven. Een ander punt wat belangrijk is bij de geformuleerde doelen is de haalbaarheid ervan. Dit kan omschreven worden door de inzet van personen, geld en tijd in kaart te brengen. Dit is bij de interventie uitstekend gedaan. In de methodeomschrijving wordt algemenen begroting gepresenteerd die aangeeft hoeveel personen, in welke functie er nodig zijn en hoeveel geld dit zal gaan kosten. Ook wordt er een globale planning weergegeven van de tijdsduur en indeling van de interventie. Deze zijn echter per uitvoering te bewerken en aan te passen. Sterke punten: - Doelstellingen sluiten goed aan op de gemaakte analyse - Doelen zullen bij het behalen hiervan het probleem (deels) oplossen - De haalbaarheid van de doestellingen is realistisch en wordt uitgebreid omschreven Verbeterpunten: - De doelstellingen kunnen SMART geformuleerd worden Cluster 6: Interventieontwikkeling Man Actief scoort bij dit clusters een matig. Dit heeft enkele oorzaken. Zo is er bij de ontwikkeling van de interventie weinig gebruik gemaakt van wetenschappelijk onderzoek. De methode die gebruikt wordt tijdens de uitvoering van de interventie is niet gebaseerd op wetenschappelijk onderzoek of wetenschappelijke bewijzen, maar is volledig ontwikkeld op basis van eigen 23 Interventie evaluatie Man Actief