1. Het Preffi 2.0-model

Transcriptie

1 1. Het Preffi 2.0-model 1.1 Inhoud en randvoorwaarden De structuur van de Preffi 2.0 is op het voorblad (bij deze uitklapbare versie van het Scoreformulier is de voorpagina op de achterkant te vinden) van het Scoreformulier Preffi 2.0 weergegeven in het volgende model. sturing door projectleider Centraal in het model staan de stappen die gevolgd worden bij een planmatige opzet en uitvoering van een project ofwel het inhoudelijke proces van gezondheidsbevordering: probleemanalyse; interventiekeuze en -ontwikkeling; implementatie; evaluatie. draagvlak analyse interventie keuze en ontwikkeling gekozen interventies implementatie implementatie interventies evaluatie sturing door projectleider Figuur 1. Preffi 2.0-model Het model benadrukt de dynamiek van gezondheidsbevorderingsprojecten, namelijk het continue spanningsveld tussen inhoudelijke en randvoorwaardelijke aspecten (1.1) en het cyclische karakter van het proces van gezondheidsbevordering (1.2). capaciteit Tijdens de diverse fasen in het proces van gezondheidsbevordering moeten inhoudelijke keuzes gemaakt worden, denk bijvoorbeeld aan het bepalen van de doelgroep of het van (een mix van) interventies uit geïnventariseerde mogelijkheden. Deze keuzes worden mede bepaald door de randvoorwaardelijke aspecten die in de buitenste ring van het model zijn opgenomen, te weten: draagvlak; capaciteit; sturing door de projectleider. De processtappen zijn weergegeven in de vorm van een (wyber). De wyber geeft aan dat bij elke stap eerst wordt gekeken naar het brede scala aan mogelijkheden (divergeren) waarna vervolgens op basis van inhoudelijke en randvoorwaardelijke aspecten keuzes gemaakt worden (convergeren). Zo wordt bij probleemanalyse eerst gekeken naar alle mogelijke oorzaken/determinanten om vervolgens het probleem te definiëren en de determinanten te die men wil aanpakken. In de tweede fase, die deels al tijdens de probleemanalyse start, wordt ook eerst breed gekeken naar allerlei interventie-mogelijkheden (divergeren) om vervolgens een keuze te maken voor een (set van) interventie(s) (convergeren). Deze interventies worden gerepresenteerd door de kleine vierkante blokjes. Bij het en ontwikkelen van de interventie(s) moet men al rekening houden met de implementatie. Daarom valt ook hier de wyber deels samen met die van de interventiekeuze en ontwikkeling. De implementatiefase mondt meestal uit in een aantal implementatie-interventies. Let op: dit zijn andere interventies dan de interventies uit de 2e fase! De interventies uit de 3e fase zijn gericht op implementatie van interventies uit de 2e fase. Zo kan in fase 2 Interventiekeuze en -ontwikkeling gekozen worden voor voorlichting als interventievorm en in fase 3 8 9

2 Implementatie voor bekendmaking/pr via regionale bladen om de voorlichting te doen plaats vinden. Bij de evaluatie denken we niet alleen aan effectmeting maar willen we ook de monitoring van het proces benadrukken. Monitoring vindt niet alleen op het einde plaats, maar tal van keuzemomenten binnen de Preffi leveren feedback op die voor de evaluatie bruikbaar is. Vandaar dat de pijlen naar de verschillende keuzemomenten in de voorgaande fasen verwijzen. Rondom het inhoudelijk proces staan drie belangrijke aspecten van randvoorwaarden getekend. Deze aspecten zijn het draagvlak voor het project, de capaciteit waarmee het project uitgevoerd wordt en de sturing door de projectleider: deze moet de juiste balans zien te vinden tussen het inhoudelijke proces en draagvlak en capaciteitsaspecten. Gezamenlijk vormen zij de contouren van de figuur. Vanuit die contouren laten de verschillende pijlen zien dat, op veel momenten in het inhoudelijke proces, de keuzes niet alleen op inhoudelijke gronden maar ook steeds met inachtneming van de geschetste randvoorwaarden worden gemaakt. Een dikkere pijl is getrokken bij de keuze van de interventies, die uitgevoerd gaan worden. Daar laat de invloed van de randvoorwaarden zich in de praktijk vaak bijzonder sterk gelden. 1.2 Cyclisch proces 2. Het Scoreformulier Preffi 2.0 Op de voorzijde van het Scoreformulier Preffi 2.0 is het Preffi 2.0 model weergegeven. Tevens krijg je op deze pagina de gelegenheid de projectnaam, het projecttype, je eigen naam en datum van beoordeling in te vullen. De datum is van belang om op een later tijdstip de lijst nogmaals in te vullen en te zien waar de score wellicht is verbeterd. Het projecttype vul je in om inzicht te krijgen in de voor jouw project speciaal van belang zijnde clusters en criteria. In paragraaf 2.1 worden hier aanwijzingen over gegeven. Op de pagina s aan de binnenkant is te zien dat de inhoud van de Preffi 2.0 is verdeeld in clusters, die ieder weer zijn onderverdeeld in een aantal criteria. Zoals de naam Scoreformulier al zegt, moeten op deze criteria en clusters scores worden gegeven. Hieronder volgt meer uitleg over de typen projecten, clusters, criteria en het scoren daarvan. 2.1 Preffi-clusters en type projecten Zoals in hoofdstuk 1 werd geschetst, is bij gezondheidsbevorderingsprojecten sprake van een voortdurend spanningsveld tussen inhoud en randvoorwaarden. Dit spanningsveld is ook aan de binnenzijde van het Scoreformulier Preffi 2.0 zichtbaar gemaakt. De clusters van de Preffi 2.0 en haar onderliggende criteria zijn hier als volgt opgenomen: Het gedeeltelijk samenvallen van de wybers geeft aan dat gezondheidsbevorderingsprojecten doorgaans geen lineair proces doorlopen (van boven naar beneden in de tekening), maar een complex cyclisch proces. Er wordt terug gegrepen naar eerdere fasen, vooruitgekeken naar latere fasen, of de aandacht wordt tijdelijk bij één van de randvoorwaardelijke aspecten gelegd, voordat verder gegaan kan worden met de ontwikkeling of uitvoering van het project. Hoe men in de praktijk van een project de fasen doorloopt, hangt sterk af van het type project en de omgeving waarbinnen het plaatsvindt. Ook kan het model op meerdere punten ingestoken worden. Zo zul je bij een ontwikkelingsproject veel tijd en energie moeten steken in de inhoudelijke beginfasen: de analyse van het probleem en het maken van keuzes ten aanzien van doelen, doelgroepen en interventies. Bij een implementatieproject, bijvoorbeeld van een interventie die landelijk ontwikkeld is, is dit minder van belang: bij een dergelijk project vormt de 3e fase, de implementatie, wellicht het startpunt. In paragraaf 2.1 wordt hier nader op ingegaan. Ontwikkelingsgerichte aspecten Uitvoeringsgerichte aspecten 2. Probleemanalyse 7. Implementatie 3. Determinanten 8. Evaluatie 4. Doelgroep 1. Randvoorwaarden en haalbaarheid 5. Doelen 6. Interventie-ontwikkeling Aan de linkerzijde de clusters 2 t/m 6: deze hebben betrekking op de probleemanalyse en de interventiekeuze en -ontwikkeling. Samen vormen ze de clusters die verantwoordelijk zijn voor de meer inhoudelijke aspecten/keuzes bij de ontwikkeling van een interventie

3 Deze clusters kunnen ook op landelijk niveau vormgegeven worden; denk bijvoorbeeld aan een programma dat wordt ontwikkeld door bijvoorbeeld het NIGZ of het Trimbosinstituut. Aan de rechterzijde zijn de clusters 7, 8 en 1 opgenomen: deze hebben veelal betrekking op de uitvoering van de interventie(s). De mogelijkheden en beperkingen ingegeven door de implementatiestrategie en de feedback die volgt uit tussentijdse voortgangsbewaking en evaluatie beïnvloeden de inhoudelijke ontwikkeling in de clusters 2 tot en met 6 voortdurend. Dit geldt vanzelfsprekend voor de randvoorwaarden. Een project wordt altijd opgezet vanuit een signalering van een bepaalde problematiek. Vandaar dat cluster 2 Probleemanalyse links bovenaan staat. De randvoorwaarden zijn op nummer 1 gezet omdat deze zich in alle fasen van een project laten gelden. Het nummer benadrukt de bijzondere status van dit cluster. Randvoorwaarden en haalbaarheid van een project worden meestal aan het einde van een projectbeschrijving beschreven: dit vormt een meer praktische reden om dit cluster rechts onderaan in het Scoreformulier op te nemen. Typen projecten en gebruikersroutes Zoals in paragraaf 1.2 is aangegeven, zijn er verschillende typen projecten. Niet elk cluster en criterium is even relevant voor elk type project. Bij het gebruiken van de Preffi 2.0 gaat het erom de clusters en criteria te bekijken die het meest relevant zijn voor jouw project. Hieronder geven we enkele typen projecten en suggesties voor de clusters en criteria die relevant zijn voor deze typen: deze suggesties kun je beschouwen als een soort gebruikersroute door de Preffi 2.0. Overigens is cluster 1, Randvoorwaarden en haalbaarheid, voor elk type project belangrijk. Ontwikkelingsproject: bij dit type project gaat het om het ontwikkelen van een interventie voor een einddoelgroep. Hierbij is het belangrijk dat er een goede probleemanalyse wordt uitgevoerd en dat vervolgens de meest optimale keuzes worden gemaakt voor doelen, doelgroep en interventie en de afstemming daartussen. Naast cluster 1 gaat het dus met name om clusters 2 tot en met 6. Ontwikkelingsprojecten worden ook vaak door instellingen gezamenlijk of landelijk ontwikkeld. Implementatieproject: bij dit type project gaat het om het breder verspreiden en uitvoeren van een reeds ontwikkelde interventie voor een einddoelgroep. Veelal zijn hier anderen (intermediairen) bij betrokken, die via specifieke implementatie-interventies worden bekend gemaakt met de interventie voor de einddoelgroep en worden aange- spoord tot en ondersteund in het uitvoeren daarvan. Naast cluster 1 is met name cluster 7 van belang voor dit type project. Implementatieprojecten worden vooral regionaal uitgevoerd. Community-, participatief of bottom-up project: bij dit type project is intensieve samenwerking met en ondersteuning van de mensen in een bepaalde 'community' belangrijk, waarbij de wensen en behoeften van deze mensen een centrale rol spelen. Aspecten die te maken hebben met draagvlak, aanvaardbaarheid en het verkrijgen van overeenstemming zijn in dit type project dan ook extra belangrijk, evenals het voortdurend monitoren van en inspringen op de lokale situatie. In dit type project zijn in principe alle clusters relevant, maar met name moet aandacht worden besteed aan bovenstaande aspecten, dus aan de criteria 1.1, 2.3, 5.3, 6.3.a, 6.3.b, 7.1.a, 7.2, 8.1 en 8.4. Diagnose- of probleemverkenningsproject: bij dit type project gaat het er voornamelijk om in kaart te brengen wat het probleem is, bijvoorbeeld ter onderbouwing en sturing van beleid. Naast cluster 1 zijn met name clusters 2 en 3 van belang. Evaluatieproject: in dit type project staat evaluatie centraal. Daarom is, naast cluster 1, met name cluster 8 relevant. Evaluatie kan zich richten op veel verschillende aspecten, die in de Preffi worden benoemd. Afhankelijk wat men met de evaluatie wil, kunnen daarom verschillende aspecten van de Preffi naast cluster 8 van belang zijn. Het kan bijvoorbeeld gaan om de doelen van de interventie (cluster 5), het pretesten (6.7) of het monitoren van voortgang in het proces (7.2). In het Handboek Preffi 2.0, zijn de gebruikersroutes meer uitgewerkt. 2.2 De binnenzijde: het scoren van de Preffi-clusters en criteria Zoals uit de nieuwe naamgeving van de Preffi blijkt, draait het instrument om effectmanagement en niet om effectiviteit. Wetenschap en praktijk zijn nog niet ver genoeg om van daadwerkelijke effectiviteit of van daadwerkelijk objectieve beoordelingsmaatstaven te kunnen spreken. De criteria kunnen gezien worden als effectpredictoren, ofwel ze bevorderen de te verwachten effectiviteit van gezondheidsbevorderingsprojecten. Beoordeling criteria Ieder cluster is onderverdeeld in een aantal criteria. Per criterium moet een score worden ingevuld met de keuze uit zwak, matig of sterk. Voor het opstellen van de scores is het 12 13

4 document Operationalisering en normering Preffi 2.0 nodig. In dat document is ieder criterium uitgewerkt in één of meer vragen (operationalisering) en kan op basis daarvan de score worden bepaald (normering). In het Handboek Preffi 2.0/Toelichting Preffi 2.0 staat achtergrondinformatie en uitleg over de criteria. Naast de scores zwak, matig en sterk wordt op het Scoreformulier Preffi 2.0 incidenteel de mogelijkheid geboden om aan te geven dat het criterium niet te beoordelen (NTB) is. Zo kan het bijvoorbeeld bij een ontwikkelingsproject lastig zijn om in te schatten of gestelde doelen aanvaardbaar en/of haalbaar zijn (criteria 5.3 en 5.4) of kan het bij criterium 1.4 'Sturing van de projectleider' lastig zijn om je eigen geschiktheid te beoordelen. Soms is het moeilijk om begrippen als voldoende te beoordelen. Zo luidt vraag 1 bij criterium 6.6 in de Operationalisering en normering: "Is het programma/project, gezien de gestelde doelen, omvattend genoeg? Met andere woorden: is voldoende gebruik gemaakt van diverse interventiemethoden, kanalen, settings, doelgroepsegmenten?" Ga bij dit soort begrippen uit van je eigen indruk én van de context van de situatie. Bekijk of je gezien de specifieke context van jouw project van 'voldoende' kan spreken. Beoordeling clusters en totaal project Per cluster kan een rapportcijfer toegekend worden in de vorm van een cijfer van 1 tot 10. Je kunt dit cijfer naar eigen inzicht samenstellen op grond van de scores die je aan de verschillende criteria van het cluster hebt toegekend en de weging die je daaraan wil geven. Het verdient daarbij aanbeveling om het cijfer samen te stellen op basis van de scores per criterium (sterk, matig, zwak) van het cluster. Zo kan een cluster dat 3 criteria kent een score van 3 keer sterk een cijfer van 9 of 10 opleveren, van 3 keer matig een 6 en 3 keer zwak een 3. Bij het bepalen van het cijfer kun je een NTB score als neutraal meetellen. Dat wil zeggen dat je het rapportcijfer bepaalt op basis van de scores op de overige criteria van dat cluster. Verder kan het zijn dat je bij het bepalen van het clustercijfer bepaalde criteria zwaarder laat meewegen dan andere. Dat kan te maken hebben met de aard van het criterium maar ook met het specifieke project of de specifieke situatie van een project. Of misschien geef je bij 3 keer 'sterk' een 8 in plaats van een 9 omdat je een van de criteria toch net wat minder 'sterk' vindt dan volgens de operationalisering zou gelden. Prima, daarom heb je ook de ruimte om zelf je rapportcijfer samen te stellen. Onder aan de rechterpagina wordt gevraagd om met een cijfer tussen de 1 en 10 een totaaloordeel over het project te geven. Ook hier gaat het om een score die je zelf kan samenstellen op basis van het oordeel over de criteria, de eventuele weging die je aan ieder criterium hebt geven, de scores per cluster en de eventuele weging die je gezien de aard van het project of de projectsituatie aan de clusters wil geven. 2.3 Aanwijzingen voor het scoren Betekenis van de scores: beoordeling vanuit de gedachte van verbetering Er is bewust voor de scoreverdeling zwak, matig, sterk gekozen. Zwak betekent een onvoldoende, een noodzaak tot verbetering. Matig is tussen onvoldoende en voldoende in, afhankelijk van de situatie een meer of minder sterke prikkel tot verbetering. Sterk is goed! De operationaliseringen en scores moeten altijd in het licht van de omstandigheden, de projectsituatie, ofwel de randvoorwaarden gezien worden. Denk hierbij aan tijd, budget, politiek draagvlak enzovoort. Een goede probleemanalyse en informatieverzameling over determinanten is bijvoorbeeld bij een kleinschalig project van een buurthuis net zo van belang als bij een grootschalig landelijk project. Maar de manier waarop dit ingevuld wordt en de middelen die daarvoor beschikbaar zijn, zullen verschillen van de wijze waarop dit in een grootschalig landelijk project wordt gedaan. De Preffi 2.0 accentueert dit spanningsveld tussen inhoud en randvoorwaarden en maakt duidelijk dat ook randvoorwaarden onderwerp van verbetering kunnen zijn. Je beoordeelt of aan minimale voorwaarden van effectmanagement is voldaan en houdt vervolgens bij het toekennen van een rapportcijfer rekening met de context. Een ander belangrijk punt is dat de Preffi 2.0 met nadruk een instrument is om tot verbetering te komen, ofwel een diagnostisch kwaliteitsinstrument. Behaalde scores moeten altijd in dit perspectief gezien worden. Dus in een bepaalde context kan een score 'matig' het maximaal haalbare zijn en kun je er als zodanig vrede mee hebben. Dit 'gevoel' kun je eventueel tot uitdrukking brengen door een hoger rapportcijfer voor het cluster te geven dan je anders bij de score 'matig' zou doen. Meten is weten. De behaalde scores zijn op zichzelf niet interessant. Het doel van een projectbeoordeling is het weten om van daaruit te verbeteren

5 Het beoordelen van complexe projecten Het komt regelmatig voor dat een project uit meerdere projecten bestaat of dat er sprake is van een mix van interventies. Hoe daar mee om te gaan in de beoordeling? Indien de beoordeling van het project dient om een algemene indruk te krijgen van de kwaliteit, beoordeel dan het totale project of in geval van interventies, alle interventies tegelijk en scoor op basis van je algemene indruk. Indien je specifieke verbeterpunten wil identificeren, beoordeel dan de deelprojecten of interventies afzonderlijk. Maak bijvoorbeeld de volgende matrix. Interventie 1 Interventie 2 Interventie 3 6.1a Afstemming interventiestrategie op.. Zwak Matig Matig 6.1b Eerdere ervaringen met interventiemethode Sterk Sterk Matig Enzovoort Vergt een dergelijke aanpak te veel tijd, probeer dan van tijd tot tijd eens een onderdeel van je project of je interventie te toetsen. Of herhaal juist de beoordeling van deelproject X op cluster Y om inzicht te krijgen in tussentijdse verbeteringen op dit specifieke onderdeel. Evenals het karakter van gezondheidsbevorderingsprojecten is het beoordelen van je project een cyclisch proces. Bij regelmatige toepassing van de Preffi 2.0 zul je merken dat je steeds specifiekere aanknopingspunten krijgt voor toepassing in de dagelijkse praktijk en steeds sneller beoordeelt. van papier kan lastig zijn omdat misschien niet alles goed beschreven is. Zo kan het moeilijk zijn om te bepalen of bepaalde aspecten helder, duidelijk, bekend zijn of dat er over is nagedacht, zoals veelvuldig wordt gevraagd in het document Operationalisering en normering. We raden aan om naast bestudering van alle brondocumenten ook een gesprek met de projectleider en/of andere betrokken medewerkers aan te gaan. Voor de beoordeling van de criteria in cluster 1 (draagvlak, capaciteit en sturing projectleider) is dit welhaast een noodzaak. Deze aspecten zijn erg lastig van papier te toetsen. Daar waar je voor je gevoel informatie ontbeert, aanvullende gesprekken niet mogelijk zijn of niet de gewenste informatie opleveren en geen mogelijkheid wordt gegeven om NTB in te vullen, luidt het criteriumoordeel 'zwak'. Er zou immers informatie over betreffend criterium aanwezig moeten zijn. Ook in geval van beoordeling van je eigen project kan het leuk en leerzaam zijn om dit in samenspraak met je collega s te doen. Verbeter met plezier. Niet alles hoeft in één keer. Scoren van een eigen project versus het scoren van een ander/onbekend project Meestal zul je als gebruiker van de Preffi 2.0 je eigen project beoordelen. Daarvoor kan je een eigen projectbeschrijving, maar ook documenten als bijvoorbeeld een implementatieplan of communicatieplan gebruiken. Staat de informatie hier niet in beschreven dan is je achtergrondkennis waarschijnlijk voldoende om toch een oordeel te geven. Wel wordt aanbevolen e.e.a. zo veel mogelijk te beschrijven. Het kan echter ook zo zijn dat je het project van een directe collega of ondergeschikte beoordeelt of een project van een andere instelling. In dit geval vindt beoordeling meestal plaats aan de hand van een projectbeschrijving of andere documenten. Het beoordelen 16 17

6 2.4 De achterzijde: grafische weergave scores, verbeterpunten en acties Op de achterzijde van het Scoreformulier Preffi 2.0 kunnen de cijfers, die aan de binnenzijde aan ieder cluster zijn toegekend, grafisch worden weergegeven. Op deze manier ontstaat een figuur, die snel inzichtelijk maakt waar de sterke en zwakke punten van een project zitten. Zoals reeds bij de paragraaf over de betekenis van de scores is uitgelegd, is de Preffi 2.0 bij uitstek een diagnostisch kwaliteitsinstrument. Daarom wordt de beoordelaar gestimuleerd om op basis van de beoordeling een aantal verbeterpunten te benoemen, alsmede acties die daarvoor uitgevoerd moeten gaan worden binnen een bepaalde tijdspanne. Onderaan de achterzijde van het scoreformulier is ruimte om deze verbeterpunten en acties te beschrijven. Het kan handig zijn om daarvoor het document Operationalisering en normering Preffi 2.0 nog even snel door te lopen en te inventariseren waar je opmerkingen en/of verbeterpunten hebt genoteerd. Let wel: geen enkel project scoort sterk op alle criteria en niet alles is haalbaar. Ook kan het soms makkelijker zijn om een zes naar een zeven te brengen dan een vier naar een zes. Kortom het is van belang dat je die verbeterpunten identificeert die belangrijk, veranderbaar en haalbaar zijn. Maak keuzes ten aanzien van de uit te voeren verbeterpunten. 3. Ondersteuning Het NIGZ biedt ook voor de tweede versie van de Preffi diverse cursusmogelijkheden, waaronder een eendaagse workshop 'Kennismaking Preffi 2.0'. Deze workshop is gericht op het werken met de Preffi 2.0 en heeft als doelen: deelnemers kennen het model en de onderdelen van de Preffi 2.0 deelnemers kunnen verbeteringen in hun eigen project aanbrengen met behulp van de Preffi 2.0 Tijdens de workshop zal je eigen project als uitgangspunt dienen bij de oefeningen en uitleg van de Preffi 2.0. Daarnaast zal een cursusvorm ontwikkeld worden waarbij de deelnemers diverse projecten gaan beoordelen, welke variëren in kwaliteit en in opzet. Op deze wijze kun je een soort referentiekader ontwikkelen voor wat een goed of matig project is, maar ook voor de in paragraaf 2.1 besproken beoordelingsaccenten in diverse typen projecten. Op de Preffi website, kun je de meest recente informatie over trainingen, workshops, en andere Preffi 2.0 activiteiten en producten vinden. Verder kun je natuurlijk altijd vragen stellen aan het Preffi projectteam van het NIGZ, algemeen telefoonnr.: (0348) (vragen naar Preffi-medewerkers). Veel plezier! 18