Preventie Effectmanagement Instrument Preffi 2.0 Operationalisering en normering

Preventie Effectmanagement Instrument Preffi 2.0 Operationalisering en normering Projectnaam: Type project: Naam beoordelaar: Datum beoordeling:

Operationalisering en normering Preffi 2.0 Met behulp van dit document kun je het Scoreformulier Preffi 2.0 invullen. Het is raadzaam om eerst de Gebruiksaanwijzing voorin het Scoreboek Preffi 2.0 te lezen. Voor elk Preffi-criterium (item) zijn één of meer specifieke vragen opgesteld die je kunt beantwoorden met ja of nee. Aan de hand van de antwoorden op deze vraag of vragen kun je een criterium (item) normeren als zijnde zwak, matig of sterk. Het kan zijn dat je sommige vragen moeilijk vindt om te beantwoorden. Bijvoorbeeld omdat er weinig informatie in het projectplan staat of omdat je jezelf onvoldoende deskundig voelt op dat punt. Probeer de vragen zoveel mogelijk te beantwoorden. Voor een beperkt aantal criteria is de antwoordmogelijkheid 'niet te beoordelen' gegeven. Het gaat daarbij vooral om criteria die moeilijk zijn te vangen in projectbeschrijvingen of moeilijk door niet-betrokkenen kunnen worden beoordeeld (zoals 'expertise en eigenschappen van de projectleider' en 'afstemming op de cultuur'). Als een criterium de categorie 'niet te beoordelen' bevat, is dit uitdrukkelijk vermeld bij dat criterium. Naast de criteria is er ruimte om opmerkingen te noteren, bijvoorbeeld overwegingen waarom je ja of nee hebt geantwoord op een bepaalde vraag. Ook kun je daar aangeven, die je vervolgens kunt overnemen op de achterzijde van het Scoreformulier. In dit document wordt dezelfde volgorde van clusters aangehouden als in het Scoreformulier. Dat betekent dat er wordt begonnen met cluster 2 Probleemanalyse en wordt geëindigd met cluster 1 Randvoorwaarden en haalbaarheid. In de Gebruiksaanwijzing is uitgelegd waarom voor deze volgorde is gekozen. januari 2003 3

Cluster 2 Probleemanalyse 2.1 Aard, omvang en ernst van het probleem 1. Is duidelijk wat het probleem of thema is? 2. Is duidelijk of het probleem of thema veel voorkomt in de groep/gemeenschap? Hulpvragen: Is de prevalentie (= het aantal bestaande gevallen) van het probleem bekend? Is de incidentie (= het aantal nieuwe gevallen per tijdseenheid) van het probleem bekend? 3. Is duidelijk of sociale problemen samenhangen met het (gezondheids)probleem? Denk daarbij aan indicatoren zoals: werkloosheid, inkomen, criminaliteit, discriminatie, verslavingsproblematiek, gebruik van sociale voorzieningen, huisvestingssituatie. 4. Is duidelijk wat er bekend is over de immateriële kosten van het probleem? Bijvoorbeeld: sterfte (sterftecijfer, levensverwachting), ziekte en stoornissen, beperkingen, handicaps, overlast, medische consumptie, ziekteverzuim. 5. Is duidelijk wat er bekend is over de materiële kosten van het probleem? Bijvoorbeeld: kosten van voorzieningen, kosten van de gezondheidszorg, kosten van maatregelen, inkomstenderving om het probleem op te lossen of te beperken. Zwak: vraag 1=nee en/of vraag 2=nee en/of vraag 3=nee Matig: vraag 1 t/m 3=ja én vraag 4 en/of 5 nee of niet te beoordelen Sterk: vragen 1 t/m 3=ja én vraag 4 en/of 5=ja 2.2 Spreiding van het probleem 1. Is er inzicht in de spreiding van het probleem over: - leeftijd? - geslacht? - sociaal-economische status? - etnische afkomst? - religieuze achtergrond? - (sub)culturele achtergrond? - tijd (seizoen, dagen van de week, uren van de dag)? 2. Is er inzicht in de geografische spreiding van het probleem, bijvoorbeeld bepaalde regio's, steden of wijken? (Bijv: bovenmatige sterfte aan kanker in bepaalde regio's, verkeersongevallen op bepaalde kruispunten, sociale onveiligheid in bepaalde straten of flats, etc.) 3. Zijn er gegevens beschikbaar specifiek voor het gebied waarop u zich wilt richten (hele land, provincie, regio, woonplaats, wijk)? Zo nee, zijn specifieke gegevens zo goed mogelijk geëxtrapoleerd uit meer algemene gegevens? Nota bene: Per vraag staat een aantal aandachtspunten genoemd. Niet alle aandachtspunten hoeven altijd en overal relevant te zijn. Zwak: vraag 1=nee Matig: vraag 1=ja en vraag 2=nee en vraag 3=nee Sterk: vraag 1=ja en vraag 2=ja en/of vraag 3=ja 4

2.3 Hoe zien de verschillende betrokkenen het probleem? 1. Is bekend in hoeverre de doelgroep het probleem zelf ook als probleem ervaart? 2. Is nagegaan welke personen, groepen, instanties en maatschappelijke sectoren betrokken zijn bij het in stand houden of oplossen van het probleem? 3. Is nagegaan in hoeverre er tussen deze personen, groepen, instanties en maatschappelijke sectoren overeenstemming is over de achtergronden/oorzaken van het probleem? 4. Is de probleembeleving nagegaan voor belangrijke subgroepen, zoals etnische of culturele groepen, verschillen tussen mannen en vrouwen of tussen protestantse en openbare scholen)? 5. Is nagegaan of er vanuit de politiek of de publieke opinie reden of druk is om aandacht te schenken aan het probleem? Zwak: 1=nee en/of 2=nee Matig: minstens 1=ja en 2=ja (en eventueel één van de overige vragen ja) Sterk: minstens 1=ja en 2=ja én twee van de overige vragen ja 5

Cluster 3 Determinanten van (psychische) problematiek, gedrag en omgeving 3.1 Theoretisch model 1. Is aangegeven welke theoretische aannames of modellen men heeft gebruikt voor de verklaring van de (psychische) problematiek, het risico- of gewenste gedrag of de omgevingsfactor? 2. Is aannemelijk gemaakt dat het gekozen model geschikt is voor toepassing op de (psychische) problematiek, het gedrag of de omgevingsfactor? (bijvoorbeeld doordat het model specifiek is gericht op een bepaald probleem, gedrag of omgevingsfactor, het eerder succesvol is toegepast, erover is gepubliceerd in wetenschappelijke tijdschriften of de toepassing theoretisch is te beredeneren?) 3. Is duidelijk hoe de factoren elkaar en het gedrag, de omgevingsfactor en/of het probleem positief of negatief beïnvloeden? Zwak: vragen 1 en/of 2 nee Matig: 1=ja, 2=ja, 3=nee Sterk: alle vragen ja 3.2 Bijdrage van determinanten aan psychische problematiek, gedrag of omgevingsfactor 1. Is bekend welke determinanten (op persoonlijk, sociale omgevings- en fysieke omgevingsniveau) van invloed zijn op het gewenste of ongewenste gedrag, de omgevingsfactor of het (psychische) probleem? 2. Is duidelijk welke determinanten het belangrijkst zijn? 3. Is duidelijk hoe hard de bewijslast voor de determinanten is? 4. Is duidelijk in hoeverre de determinanten geldig zijn voor relevante subgroepen (bijv. leeftijd, sekse, etnische, religieuze of anderszins culturele groepen)? Zwak: vraag 1=nee (daardoor zijn de overige vragen irrelevant). Matig: vraag 1=ja en hooguit één ja-antwoord bij de overige vragen Sterk: vraag 1=ja en minstens twee ja-antwoorden bij de overige vragen 3.3 Beïnvloedbaarheid van de determinanten 1. Is een inschatting gemaakt van de beïnvloedbaarheid van de determinanten (op het persoonlijke, sociale en fysieke omgevingsniveau) in de gegeven situatie? 2. Is bij die inschatting gebruik gemaakt van theoretische en/of empirische kennis over beïnvloedbaarheid van de determinanten? (TIP: dit kan door het raadplegen van de literatuur, collega's of deskundigen of door pretest-onderzoek) Zwak: 1=nee (en dus 2 niet relevant) Matig: 1=ja en 2=nee Sterk: 1=ja en 2=ja 6

3.4 Prioritering en keuze 1. Is specifiek omschreven op welke gedrags- of omgevingsfactor(en) of (psychische) problematiek men zich gaat richten? 2. Is beschreven met welk probleem (of welke problemen) op het gebied van gezondheid of kwaliteit van leven deze factor(en) samenhangt (samenhangen)? 3. Is specifiek omschreven op welke determinant(en) van de gedrags- of omgevingsfactor(en) of (psychische) problematiek men zich gaat richten? 4. Is omschreven op welke (risico- en/of doel)groep men zich gaat richten? Zwak: maximaal twee vragen ja Matig: drie vragen ja Sterk: alle vragen ja 7

Cluster 4 Doelgroep Nota bene: In dit cluster wordt met 'doelgroep' altijd de einddoelgroep bedoeld. 4.1 Algemene en demografische kenmerken van de doelgroep TIP: In de analysefase zijn waarschijnlijk veel gegevens verzameld die hier relevant zijn. 1. Is duidelijk welke algemene en demografische kenmerken relevant zijn voor dit specifieke project? Voor een ja-antwoord dien je duidelijkheid te hebben over minimaal de eerste 5 van onderstaande kenmerken: - Omvang van de doelgroep - Leeftijd - Geslacht - Sociaal-economische status (opleidingsniveau, inkomen, beroep, werksituatie) - Etnische achtergrond - Culturele achtergrond - Religieuze achtergrond - Burgerlijke staat, woonsituatie - Gezinsgrootte - Geografische locatie - Taal die men spreekt en leest, analfabetisme 2. Zijn er concrete cijfers gegeven over de relevante kenmerken bij de doelgroep in dit project? Zwak: beide vragen nee Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 4.2 Motivatie en mogelijkheden van de doelgroep 1. Is bekend hoe zeer de doelgroepleden zijn gemotiveerd tot verandering? 2. Is bekend welke factoren invloed hebben op de motivatie tot verandering bij de doelgroepleden? (Denk bijvoorbeeld aan bewustzijn van het probleem, attitude, eigen effectiviteit, barrières, etc. TIP: zie cluster 3). 3. Is voor dit specifieke project bekend welke wensen, behoeften, beperkingen en barrières de doelgroepleden zelf hebben ten aanzien van verandering? Zwak: vraag 1=nee, ongeacht de antwoorden op vragen 2 en 3 Matig: vraag 1=ja en vraag 2 of 3 nee Sterk: alle vragen ja 8

4.3 Bereikbaarheid van de doelgroep 1. Is duidelijk via welke kanalen men de doelgroep kan bereiken? (TIP: denk hierbij aan: op welke locaties, via welke media, via welke personen) 2. Is de keuze voor het kanaal (locatie, medium, persoon) onderbouwd? Zwak: beide vragen nee Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 9

Cluster 5 Doelen 5.1 Doelen sluiten aan op de analyse 1. Worden in de doelomschrijving diverse niveaus van doelen onderscheiden? Denk aan doelen op het niveau van gezondheid/kwaliteit van leven, gedrag/omgeving/problematiek, determinanten en aan voorwaardenscheppende doelen. 2. Sluiten de doelen aan op de gemaakte analyse in voorgaande clusters? (zie clusters 2 en 3) Zwak: beide vragen nee Matig: één vraag ja en één vraag nee Sterk: beide vragen ja 5.2 Doelen zijn specifiek, tijdgebonden en meetbaar 1. Omvatten de doelen een specificatie van de factoren die men wenst te veranderen? (TIP: dit is bij 5.1 aan de orde geweest) 2. Omvatten de doelen een specificatie van de doelgroep, bij wie het beoogde doel moet worden bereikt? 3. Omvatten de doelen een specificatie van de beoogde omvang van effecten? (b.v. vermindering met 10%) 4. Omvatten de doelen een specificatie van de termijn waarbinnen doelen bereikt moeten zijn? Zwak: vraag 1 en/of 2 nee Matig: vraag 1=ja, vraag 2=ja, vraag 3=nee, vraag 4=nee Sterk: vraag 1=ja, vraag 2=ja en vraag 3 en/of 4 ja 5.3 Doelen zijn aanvaardbaar 1. Passen thema en doelen in de taakstelling van de eigen organisatie? 2. Zijn de doelen van de interventie aanvaardbaar (te maken) voor de financier/opdrachtgever en eventueel de medisch-ethische commissie? 3. Zijn de doelen van de interventie aanvaardbaar (te maken) voor eventuele samenwerkingspartners en uitvoerenden? 4. Zijn de doelen van de interventie aanvaardbaar (te maken) voor de doelgroep? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: minstens 1 nee bij vragen 1, 2 en 3 Matig: vragen 1 t/m 3 ja Sterk: vragen 1 t/m 4 ja 10

5.4 Doelen zijn haalbaar 1. Is doorgerekend hoeveel personeel, geld en tijd nodig is om de doelen te realiseren? (TIP: mogelijk kunnen gegevens uit criterium 3.3 worden gebruikt.) 2. Kan men beschikken over voldoende deskundigheid, gezag en samenwerkingspartners om de doelen te realiseren? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: vraag 1=nee, ongeacht het antwoord op vraag 2 Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 11

Cluster 6 Interventieontwikkeling Nota bene: Als er diverse interventies zijn, dan kun je de vragen in het algemeen beantwoorden. Als je geïnteresseerd bent in elke specifieke interventie, dan kun je alle vragen beantwoorden voor elke specifieke interventie, bijv. in een matrix (zie Gebruiksaanwijzing, paragraaf 3.3). 6.1 Onderbouwing van de rationale van de interventiestrategie 6.1.a. Afstemming van de interventiemethoden op doelen en doelgroepen 1. Zijn de gekozen interventiemethoden benoemd? 2. Is onderbouwd dat de interventiemethoden geschikt zijn om de gestelde doelen te realiseren? (Bijv. met onderzoek aangetoond of vanuit de theorie beredeneerd) Zwak: beide vragen nee Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 6.1.b Eerdere ervaringen met de interventiemethode 1. Zijn er succes- of faalervaringen met de interventiemethode beschikbaar van anderen (bijv. literatuur, experts)? 2. Zijn er eigen succes- of faalervaringen met de interventiemethode beschikbaar? 3. Lijkt de methode in de huidige situatie in potentie effectief? (TIP: denk hierbij aan de vergelijkbaarheid van de eigen omstandigheden met die bij eerdere ervaringen, met name de vergelijkbaarheid van doelen/determinanten, thema/probleem, doelgroep en randvoorwaarden/middelen). Zwak: vraag 1=nee en vraag 2=nee Matig: vraag 1 en/of 2 ja en vraag 3=nee Sterk: vraag 1 en/of 2 ja en vraag 3=ja 6.2 Duur, intensiteit en timing 6.2.a Duur en intensiteit van de interventie 1. Is er empirische of praktische informatie beschikbaar over met welke duur en intensiteit de interventie moet worden uitgevoerd om de doelen te bereiken? 2. Is op basis van die informatie de optimale duur en intensiteit van de interventie bepaald? 12

Zwak: vraag 1=nee (dan vraag 2 irrelevant) Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 6.2.b Timing van de interventie 1. Is nagegaan in hoeverre ontvankelijkheid van de doelgroep voor de interventie te maken heeft met bepaalde kalenderperioden? (Bijv. voorlichting over zonnebaden en huidkanker in de zomer. Denk ook aan religieuze of anderszins culturele dagen of perioden zoals de ramadan) 2. Is nagegaan in hoeverre de interventie qua timing aansluit bij relevante specifieke (individuele) ervaringen van doelgroepleden? (Bijv: een GGZ-interventie voor crisissituaties of het wel of niet hebben van ervaring met seks bij Aidspreventie bij jongeren). 3. Is nagegaan in hoeverre de interventie qua timing aansluit bij de leeftijd of ontwikkelingsfase van de doelgroep? (Bijv: aanpakken van agressie bij kinderen geeft beste resultaten bij leeftijd 3-4 jaar). 4. Als de interventie zal worden uitgevoerd door intermediaire groepen: is bij het bepalen van de timing van de interventie rekening gehouden met de betreffende intermediaire groepen? Zwak: maximaal bij één vraag ja Matig: maximaal bij twee vragen ja Sterk: minimaal bij drie vragen ja 6.3 Afstemming op de doelgroep 6.3.a. Participatie van de doelgroep 1. Voor elders ontwikkelde interventies (bijv. een landelijk ontwikkeld project): is de algemene doelgroep minimaal geconsulteerd bij de ontwikkeling van de interventie? 2. Voor elk project: is de specifieke doelgroep voor dit project minimaal geconsulteerd bij de ontwikkeling van de interventie of de keuze voor de modelinterventie (bijv. de mensen in de beoogde wijk)? 3. Voor elk project: heeft de doelgroep, gezien de aard van het project, voldoende geparticipeerd in de ontwikkeling van of keuze voor de interventie? Zwak: vraag 1=nee of niet van toepassing en vraag 2=nee (en vraag 3 daardoor niet relevant) Matig: vraag 1 en/of 2 ja en vraag 3=nee Sterk: vraag 1 en/of 2 ja en vraag 3=ja 13

6.3.b Afstemming op de 'cultuur' Nota bene: Cultuur wordt hier breed opgevat: het kan ook gaan om afstemming op leeftijd, sekse, sociaal-economische status, etc. Jongeren spreekt men bijvoorbeeld anders aan dan ouderen. 1. Sluit de inhoud (de boodschap) aan op de kennis, opvattingen, gebruiken, rollen en mogelijkheden van de leden van de (sub)culturele groep? 2. Is het medium (het kanaal) adequaat om de leden van de (sub)culturele doelgroep te bereiken en de inhoud over te brengen? Is het medium gangbaar, aantrekkelijk? 3. Heeft de bron of zender (bv. intermediaire persoon) toegang tot de doelgroep? 4. Geeft de bron of zender blijk van inzicht in en kennis van de culturele gebruiken en sociale normen van de doelgroep? 5. Ervaart de doelgroep de interventie als aansluitend bij hun cultuur? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: vraag 1, 2, 3 en/of 4 nee Matig: vragen 1 t/m 4 ja en vraag 5=nee Sterk: alle vragen ja 6.4 Effectieve technieken 1. Indien onderstaande technieken relevant zijn voor dit project, zijn ze ook toegepast? Effectieve technieken: - ruimte voor persoonlijke benadering - feedback (over eigen situatie, gedrag of effecten van de interventie) - gebruik van beloningsstrategieën - barrières voor gewenst gedrag wegnemen - sociale steun regelen, omgeving erbij betrekken - aanleren van vaardigheden - follow-up regelen - goal-setting en implementatie-intenties - interactieve benadering We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: geen tot weinig van de relevante technieken toegepast Matig: een aantal van de relevante technieken toegepast Sterk: veel van de relevante technieken toegepast 14

6.5 Haalbaarheid in de praktijk 6.5.a Afstemming op intermediaire doelgroepen 1. Zijn leden van de intermediaire doelgroep(en) geraadpleegd bij de ontwikkeling van de interventie (voor de einddoelgroep)? 2. Past de ontwikkelde interventie bij de werkwijzen, procedures, normen en waarden van intermediairen en hun organisatie(s)? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: beide vragen nee Matig: één van beide vragen nee Sterk: beide vragen ja 6.5.b Kenmerken van de implementeerbaarheid van de interventies Onderstaande vragen kunnen voor elk van de intermediaire doelgroepen worden beantwoord: 1. Is nagegaan/beschreven in hoeverre intermediairen vinden dat gebruik (de uitvoering) van de interventie hen voordeel zal opleveren, in vergelijking met de huidige praktijk? 2. Is nagegaan/beschreven in hoeverre intermediairen de ontwikkelde interventie inpasbaar vinden binnen de werkprocedures? 3. Is nagegaan/beschreven in hoeverre intermediairen over de vereiste vaardigheden beschikken om de interventie uit te voeren? 4. Is nagegaan/beschreven of de interventie voldoende procedurele helderheid bevat? Is de intermediairs duidelijk wat ze geacht worden te doen? 5. Is nagegaan/beschreven of intermediairen vinden dat de ontwikkelde interventie voldoende experimenteerruimte bevat? Kunnen intermediairs de interventie uitproberen zonder er aan vast te zitten? 6. Is nagegaan/beschreven in of intermediairen het resultaat van het gebruik van de interventie direct merkbaar/zichtbaar vinden? 7. Is nagegaan/beschreven in hoeverre de intermediairs de interventie betaalbaar vinden? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: 0-2 vragen ja Matig: 3-5 vragen ja Sterk: 6-7 vragen ja 15

6.6 Samenhang tussen interventies/activiteiten 1. Is het programma/project, gezien de gestelde doelen, omvattend genoeg? Met andere woorden: is voldoende gebruik gemaakt van diverse interventiemethoden, kanalen, settings, doelgroepsegmenten? 2. Als het programma/project bestaat uit meerdere interventies (interventiemethoden, kanalen, settings, doelgroepsegmenten, etc): zijn deze interventies op elkaar afgestemd? Zwak: beide vragen nee Matig: één van beide vragen ja Sterk: beide vragen met ja 6.7 Pretest 1. Is er een pretest uitgevoerd? 2. Zijn/werden er consequenties verbonden aan de resultaten van de pretest met betrekking tot communiceerbaarheid en/of effecten? Met andere woorden: is de interventie zonodig aangepast? Zwak: vraag 1=nee (en 2 dus niet relevant) Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 16

17

Cluster 7 Implementatie 7.1 Keuze voor implementatiestrategie gericht op intermediairen 7.1 a Wijze van implementeren: top down en/of bottom up 1. Is er een bewuste keuze voor een bepaalde wijze van implementeren gemaakt? 2. Is er ruimte voor de intermediairs om de interventie aan te passen aan de eigen situatie? 3. Als intermediairs ruimte hebben om de interventie aan te passen: is duidelijk welke werkzame elementen behouden moeten blijven? Zwak: vraag 1=nee, óf: vraag 1=ja en vraag 2=nee en vraag 3 daardoor niet relevant) Matig: vraag 1=ja, vraag 2 = ja, vraag 3=nee Sterk: alle vragen ja 7.1.b Afstemmen van implementatie-interventies op intermediairen Operationalisering 1. Is duidelijk hoe de leden van de intermediaire groep(en) zijn verdeeld over de verschillende fasen van bekendheid/ervaring met de interventie/innovatie? Deze fasen zijn: bekend zijn met; beslissen om al of niet te gebruiken; gebruiken; blijven gebruiken. 2. Zijn er voor elke fase van bekendheid/ervaring, per intermediaire doelgroep of doelgroepsegment, aparte doelstellingen geformuleerd? 3. Sluiten de implementatie-interventies aan op de gestelde doelen per fase van bekendheid/ervaring en per intermediaire doelgroep of doelgroepsegment? 4. Zijn er reële doelen gesteld gezien het feit dat de intermediaire doelgroepen onderverdeeld kunnen worden in de segmenten innovators, early majority, late majority en laggards? Zwak: vraag 1=nee en vraag 2=nee Matig: vraag 1 en/of 2 ja Sterk: minstens vragen 1 t/m 3 met ja beantwoord 7.1.c Geschiktheid van de aanbieder voor intermediairen 1. Is duidelijk of de beoogde aanbieder in de ogen van de intermediaire groepen voldoende geschikt is? Denk daarbij aan: - draagvlak - gezag - deskundigheid - imago - omvang van de aanbiedende instelling - positie in het netwerk - financiële mogelijkheden en andere beschikbare faciliteiten 18

2. Maakt men indien nodig- gebruik van verschillende gezichten voor verschillende segmenten van de intermediaire doelgroep? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: vraag 1=nee (geen aandacht geschonken aan de kenmerken) Matig: vraag 1=ja (enige aandacht geschonken aan de kenmerken) en vraag 2=nee (verschillende gezichten wel nodig, maar niet gedaan) Sterk: vraag 1=ja (enige aandacht geschonken aan de kenmerken) en vraag 2=ja of niet relevant 7.2 Monitoren en genereren van feedback 1. Is er een aantal momenten vastgelegd waarop het verloop van het implementatietraject of de uitvoering wordt beoordeeld, bijvoorbeeld door feedback van de intermediairs/doelgroep te inventariseren? 2. Worden er aan de hand van die beoordeling actief stappen ondernomen om het implementatieproces of de uitvoering bij te sturen? Zwak: beide vragen nee Matig: vraag 1= ja en vraag 2=nee Sterk: beide vragen ja 7.3 Inbedden in een bestaande structuur 1. Is de interventie structureel ingebed? 2. Worden of zijn er pogingen gedaan om de interventie structureel in te bedden? 3. Zijn deze activiteiten of pogingen zwaar' genoeg (van het juiste hiërarchische niveau) ingezet? (Bijv: managers zijn beter door andere managers te beïnvloeden) Zwak: vraag 1=nee en vraag 2=nee (en vraag 3 daardoor niet relevant) Matig: vraag 1=nee, vraag 2= ja en 3=nee Sterk: vraag 1=ja óf: vraag 2=ja en vraag 3=ja 19

Cluster 8 Evaluatie Nota bene: Als er diverse interventies en/of evaluaties zijn, dan kun je de vragen in het algemeen beantwoorden. Als je geïnteresseerd bent in elke specifieke interventie / evaluatie, dan kun je alle vragen beantwoorden voor elke specifieke interventie / evaluatie, bijvoorbeeld met een matrix (zie Gebruiksaanwijzing, paragraaf 3.3). 8.1 Duidelijkheid en overeenstemming over uitgangspunten van de evaluatie 1. Zijn relevante personen, groepen en/of organisaties betrokken bij de opzet van de evaluatie? Daarbij valt te denken aan de opdrachtgever, interventie-uitvoerders, leden van de doelgroep en eventuele externe onderzoekers. 2. Is er tussen de betrokkenen duidelijkheid en overeenstemming over de vragen waarop de evaluatie antwoord dient te geven? 3. Is duidelijk welke vorm (of vormen) van evaluatie nodig is (of zijn) om de vragen te beantwoorden? 4. Is er overeenstemming over de gewenste mate van wetenschappelijke hardheid van de evaluatiemethoden en of deze haalbaar is? Zwak: vraag 2=nee Matig: vraag 2=ja en vraag 1 en/of 3 =nee Sterk: minstens vragen 1, 2 en 3 ja 8.2 Procesevaluatie 1. Geeft de procesevaluatie inzicht in de mate waarin de activiteiten zijn uitgevoerd volgens plan? 2. Geeft de procesevaluatie inzicht in de beoordeling van activiteiten en materialen door gebruikers (doelgroep en/of intermediairs)? 3. Geeft de procesevaluatie inzicht in het bereik van de interventie (welke mensen zijn bereikt, hoe representatief zijn die, wie haakte af en waarom)? 4. Geeft de procesevaluatie inzicht in de mate waarin voorwaardenscheppende doelen zijn gerealiseerd? 5. Geeft de procesevaluatie inzicht in eventuele onvoorziene omstandigheden en neveneffecten? 6. Geeft de procesevaluatie zicht op succes- en faalfactoren? Zwak: maximaal twee vragen ja Matig: drie of vier vragen ja Sterk: minimaal vijf vragen ja 20

8.3 Effectevaluatie Nota bene: Wij realiseren ons dat voor het beantwoorden van vragen bij dit deelcluster enige kennis van effectevaluatie nodig is. Deze vragen zullen voor sommigen dan ook lastig te beantwoorden zijn. Dit probleem kunnen wij nu niet verhelpen. Wel willen we in de nog te ontwikkelen internetversie van de Preffi 2.0 duidelijke handreikingen bieden. 8.3.a Is (of wordt) er een verandering gemeten? 1. Is (of wordt) gemeten in hoeverre de beoogde doelen van de interventie(s) zijn (worden) bereikt? Denk aan de in 5.1 onderscheiden niveaus van doelen, waarbij het met name gaat om de concrete (intermediaire) doelen die men met de interventie hoopt te realiseren. Het zal doorgaans niet gaan om einddoelen op het niveau van gezondheid, aangezien deze meestal pas op de lange termijn zijn te realiseren. 2. Is (of wordt) dat op een valide en betrouwbare manier gedaan? Denk daarbij onder andere aan de keuze van de uitkomstmaten, de meetmethoden, de meetinstrumenten en de omvang en representativiteit van de onderzoeksgroep. Zwak: beide vragen nee Matig: vraag 1=ja en vraag 2=nee of niet te beoordelen Sterk: beide vragen ja 8.3.b Is aannemelijk dat de verandering is teweeggebracht door de interventie? 1. Is duidelijk welke alternatieve verklaringen voor gemeten veranderingen (van de 6 verklaringen die bij dit criterium zijn genoemd in de Toelichting / Handboek) kunnen worden uitgesloten? Let daarbij met name op informatie over de onderzoeksopzet en het gebruik van meerdere meetmethoden en bronnen (bijv. resultaten uit effect- en procesevaluatie) en de overeenstemming in resultaten. 2. Past de stelligheid van conclusies die worden getrokken bij de mate van zekerheid die de onderzoeksopzet biedt? Naarmate meer alternatieve verklaringen nog steeds houdbaar zijn, des te minder stellig dienen conclusies te zijn. We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: beide vragen nee Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja 21

8.4 Feedback aan betrokkenen 1. Hebben de diverse betrokkenen relevante feedback gekregen uit de evaluatie? Denk daarbij aan de volgende punten: Sluiten de resultaten aan op de probleemstelling/vragen van de betrokkenen? Gaat de informatie in op zaken die de betrokkenen kunnen veranderen? (Zijn er beleidsadviezen uit te destilleren? Worden er ideeën voor bijsturing gegeven?) Zijn eventuele positieve neveneffecten expliciet gemaakt? Zijn voorgestelde maatregelen aanvaardbaar voor betrokkenen? Zijn de resultaten tijdig beschikbaar? 2. Sluit de presentatie van de resultaten aan op de betrokkenen (leesbaarheid, beknoptheid)? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: vraag 1=nee Matig: vraag 1=ja en vraag 2=nee Sterk: beide vragen ja Opmerkingen en 22

23

Cluster 1 Randvoorwaarden en haalbaarheid 1.1 Draagvlak 1. Is vastgesteld welke interne en externe partners er voor het draagvlak nodig zijn in iedere fase van het project? 2. Is er draagvlak bij de noodzakelijke partners? 3. Zijn er afspraken gemaakt/vastgelegd over de betrokkenheid van interne en externe partners? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: vraag 1=ja of nee, vraag 2=nee en vraag 3=nee Matig: vraag 1=ja, vraag 2 = ja, vraag 3 = nee; óf alle vragen 'ja' voor alleen interne of alleen externe partners Sterk: alle vragen met ja beantwoord 1.2 Capaciteit 1. Is de beschikbare capaciteit voor het project vastgesteld? 2. Is de beschikbare capaciteit afgestemd op de voor het project beoogde doelen? 3. Wordt de beschikbare capaciteit per fase van het project op de meest efficiënte manier ingezet? Zwak: alle vragen nee of: vraag 1=ja, vraag 2=nee, vraag 3=nee of niet te beoordelen Matig: vraag 1=ja, vraag 2=ja, vraag 3=nee of niet te beoordelen Sterk: alle vragen ja 1.3 Sturing door de projectleider 1.3.a Expertise en eigenschappen van de projectleider 1. Is er een duidelijke eindverantwoordelijke voor het project? 2. Heeft de eindverantwoordelijke kundigheden om het project uit te voeren? 3. Heeft de eindverantwoordelijke de werkstijl die past bij de fase en aard van het project? 4. Beschikt de eindverantwoordelijke over persoonlijke eigenschappen om het project uit te voeren? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. 24

Zwak: vraag 1=nee, óf vraag 1=ja en maximaal één van de andere vragen met ja beantwoord Matig: vraag 1=ja en twee vragen van 2, 3 of 4 met ja beantwoord Sterk: alle vragen met ja beantwoord 1.3.b Aandachtspunten voor sturing 1. Wordt het project uitgevoerd volgens een projectplan met duidelijke beslismomenten? 2. Wordt er actief een communicatieplan uitgevoerd? 3. Kan de projectleider flexibel omgaan met de beschikbare middelen? 4. Zorgt de projectleider voor de kwaliteit en het op peil houden van zijn/haar eigen expertise en van de expertise van de medewerkers d.m.v. het regelen van scholing, intervisie etc.? We realiseren ons dat de vragen bij dit criterium moeilijk zijn te beantwoorden. Als je ze toch kunt beantwoorden, volg dan de onderstaande normering. Als het antwoorden niet lukt, kun je op het Scoreformulier de categorie 'niet te beoordelen' aankruisen. Zwak: vraag 1=nee, óf: vraag 1= ja en maximaal één van de overige vragen met ja beantwoord Matig: vraag 1=ja en twee van de overige vragen met ja beantwoord Sterk: alle vragen met ja beantwoord 25

Postbus 500 3440 AM Woerden Tel (0348) 43 76 00 Fax (0348) 43 76 66 E-mail nigz@nigz.nl www.nigz.nl www.preffi.nl