Liever Actiever: Hoe evalueer ik mijn lokaal project?

Verdeling groepjes Groep 1 Groep 2 Groep 3 Groep 4 Edegem Aarschot Aalst Brugge Ichtegem Antwerpen Aalter Haacht (goedgevoel) Merelbeke Mortsel Brugge (Recht- OP) Tienen Merksplas Schilde Lochristi Wervik Zedelgem

SCORE 5-6 = U heeft goede inzichten in de mogelijkheden van evalueren. U zal het nog ver brengen. 7-8 = U bevindt zich ergens tussenin. Bent u altijd zo besluiteloos? 9-10 = Uw score verraadt dat u nog veel te leren heeft.

EVALUEREN = beoordelen, waarderen, doorlichten, nabespreken = het proces van meten wat is bereikt en hoe het werd bereikt = vergelijken van een object met een aanvaarde standaard

Denkfouten m.b.t. evaluatie is controle epidemiologische indicatoren als maat voor effecten effectevaluaties hebben weinig meerwaarde vraagt veel tijd en middelen; is niet haalbaar kwalitatieve methoden zijn minderwaardig indicatoren en instrumenten om te meten ontbreken

Goede redenen inspanningen zichtbaar maken bijsturen van (delen) van project geschiktheid van interventie, materiaal, nagaan gebruik van materiaal kennen kwaliteit verhogen steun voor project verhogen tegenstand temperen

WAAROM GOED EVALUEREN? Indrukken bevestigen of ontkrachten Fair naar mensen die je bevraagt Bruikbare informatie Eigen geloofwaardigheid Betrokkenheid verhogen

Fasemodel voor projectmatig werken (Scheerder et al., 2003)

4 basisvormen van evaluatie Procesevaluatie specifieke vorm: productevaluatie Effectevaluatie Efficiëntie-evaluatie (kosten-baten analyse)

Procesevaluatie Wat: Nagaan of interventie volgens plan wordt uitgevoerd Nagaan wat gebeurt tussen opstart en einde Openen van black box bij effectevaluatie Basis voor (regelmatig) bijsturen van interventie Basis voor toepassen in andere situaties

Evaluatie bij partners Voorbeeld Vragenlijst (a.d.h.v. stellingen) OF doorlopend via werk-/stuurgroep Bevraagde aspecten: Samenwerking (ondersteuning, rol- en taakverdeling, vertegenwoordiging, informatiedoorstroming) Timing (geïnformeerd, voldoende tijd voor) Administratie (aanvragen materialen, engagementsverklaring, inschrijving) Taakbelasting en financiële belasting (haalbaar, passen binnen eigen opdracht) Aantal en welke materialen aangevraagd

Productevaluatie Wat: Bevraging van waardering van (onderdelen van) product Inhoud: verstaanbaar, aangepast aan doelgroep (leeftijd, cultureel, ), boeiend, bruikbaar, leerrijk, moeilijk, intensief, Vorm: trekt product aandacht, schrijfstijl, lay-out, illustraties Organisatorisch: inschrijvingsmodaliteiten, kostprijs, presentatie, tijdsduur,

Voorbeeld Draaiboek Bekend met draaiboek? Subdelen aandachtig, diagonaal of niet gelezen? Mening over subdelen (a.d.h.v. schaal): Bijgeleerd? Makkelijk te begrijpen? Missen informatie? Bruikbaar in lokale praktijk? Informatie snel terug te vinden?

Effectevaluatie Wat: Verzamelen van gegevens om na te gaan of de doelstellingen van de interventie bereikt werden Veronderstelt normen over wat effectief is Draagt bij tot kennis over effectieve interventies

Voorbeeld: individu Gedrag nu: Hoe vaak / Hoeveel 30 min. matig intensief bewegen? Stuks fruit? Half bord groenten? Intentie gedragsverandering: Bent u van plan om meer te bewegen/ fruit te eten/ groenten te eten? Zelfvertrouwen: Denkt u dat het u zal lukken om? Welke redenen waardoor het niet zal lukken om?

Attitude: Ik vind dat Voorbeeld: individu voldoende bewegen belangrijk is. sociaal contact belangrijk is. Vaardigheden: Ik kan het streefdoel van 10.000 stappen per dag halen. Wanneer ik bij vreemden(/vrienden) ben, kom ik steeds op voor mijn eigen mening. Kennis: Ik weet / Ik ken verschillende lagen van Actieve Voedingsdriehoek de risico s van vallen 16

Werken aan gezondheid Gezondheidstatus Gezondheidsgerelateerd gedrag Gedragsdeterminanten Interventies: uw project 17

Model uitkomstmaten van gezondheidsbevordering Nutbeam, 1999 Uitkomsten op gezondheid meer kwaliteit van leven functionele onafhankelijkheid reductie in invaliditeit, morbiditeit en mortaliteit reserves opbouwen Tussenuitkomsten op gezondheid Leefwijze Fysiek actief leven Gezond voedingpatroon Stoppen met roken Mentaal actief leven Sociaal actief leven Leefomgeving Fysiek Economisch Sociaal Gezondheidszorg Medische diensten Diensten geestelijke gezondheid Uitkomsten van gezondheidsbevorderende acties Gezondheidscompetentie Kennis, attitudes, zelfeffectiviteit, empowerment, zelfmanagement Sociaal kapitaal Community-mobilisatie, gezondheidsondersteunende en sociale normen, Kwaliteitsvol Overheids en organisatiebeleid Gezondheidsbevorderende acties Voorlichting Facilitatie Pleitbezorging

EIND-UITKOMSTEN - minder valpartijen - minder (ernstige) letsels t.g.v. een val TUSSEN- UITKOMSTEN BEGINNENDE UITKOMSTEN ACTIES IN DE LOKALE GEMEENSCHAP leefwijze meer beweging, meer en correct gebruik van hulpmiddelen, dragen van aangepast schoeisel, veilig gedrag in de woning, veilig ingerichte woningen, gezondheidscompetentie bij senioren kennis hebben, bewustzijn van, emotionele barrières overwinnen, weerstand bieden, zich in staat voelen veranderingen door te voeren, voorlichting peer-educatie, cursussen voor senioren, sensibilisatiecampagne, leefomgeving aangepaste woningen, aangepaste openbare gebouwen, aanbod aan beweging, organisaties met aanbod voor senioren, seniorencoördinatiecel (voor achtergestelde buurten), minder stigmatisering, blijvende maatregelen, sociale invloed en actie aanbod hulpmiddelen, technische ondersteuning, peer-educatiesysteem, competentie bij specifieke groepen, intersectoraal netwerk, facilitatie fysieke omgeving aanpassen openbare gebouwen, verkeer, woningen, recreatieruimte, facilitatie sociale omgeving rolmodellen, activiteiten door organisaties, promotieacties handelaars, TOEPASSING OP BOEBS aanbod gezondheidszorg kwaliteitsvol beleid van lokale overheid en organisaties afspraken, financiële tussenkomst, incentives, opvolging aanpassingen, stimuli vr org. & handelaars, manifest, label, lijst, pleitbezorging uitwerken maatregelen en afspraken voor technische hulp, financiële tussenkomst, incentives, stimuli voor participerende organisaties,

RE-AIM http://www.re-aim.hnfe.vt.edu/ (Virginia Tech University) Kan als een checklist dienen voor het opbouwen van de evaluatie. Verschillende letters verschillende dimensies uitspraken te doen over de impact en implementeerbaarheid, eerder dan enkel over effectiviteit van uw project (= ten dienste van de praktijk) Glasgow et al, 1999; www.re-aim.org 20

RE-AIM Vertaling in doelstellingen Niveau Soort evaluatie R Bereik bevorderen (Reach) einddoelgroep proces E Effect bevorderen (Effectiveness) einddoelgroep setting/intermediair effect effect A Intentie toepassing bevorderen (Adoption) setting/intermediair proces I Implementatie-kwaliteit bevorderen (Implementation) einddoelgroep setting/intermediair proces proces M Behoud van effect en verankering bevorderen (Maintenance) einddoelgroep setting/intermediair effect proces 21

RE-AIM Voorbeeld 2 van belang van RE-AIM evaluatie: 100 90 80 70 leefstijladvies door personeel huisartsenpraktijk zelf vs. door gezondheidsconsulent ism huisartsenpraktijk 97% 100% 60 50 40 50% 41% 47% 30 20 23% 17% 10 6% 22 0 REACH EFFECTIVENESS ADOPTION IMPLEMENTATION Diabetes Priority (DP) Glasgow, 2006 Diabetes Health Connection (DHC)

RE-AIM checklist (1) Dimensie REACH 1. Hoeveel personen uit de doelgroep namen deel aan het project? Lag dat binnen de verwachtingen? 2. Representativiteit van deelnemers nagaan: lage SES reflex, geslacht, leeftijd 3. Haakten er deelnemers af gedurende het project? Weten we waarom sommigen van de doelgroep wel/niet deelnamen of afhaakten? 23 EFFECTIVEIT 1. Welke effecten wil je bereiken? 2. Impact op gedrag, gedragsdeterminanten, deskundigheid, kosten, negatieve effecten? 3. Veralgemeenbaarheid nagaan: lage SES reflex, geslacht, leeftijd Type, ligging, grootte van intermediair,

RE-AIM checklist (2) Dimensie ADOPTION Te overwegen in doelstellingen 1. Welk % van de totaal te bereiken organisaties moet de methodiek (willen) toepassen? (obv context-analyse)? 2. Representativiteit van de organisaties nagaan: type, personeelsgrootte, setting, ruraal 3. Bronnen / barrieres van toepassing kennen? Analyse binnen de organisaties: 4. Representativiteit nagaan van toepassend personeel: ervaring, functie, van personeel 24

RE-AIM checklist (3) Dimensie Te overwegen in doelstellingen 25 IMPLEMENTATION Niveau intermediair: 1. Hebben andere organisaties de methodiek toegepast zoals voorzien? 2. Zijn alle projectonderdelen uitgevoerd zoals gepland? 3. Waren de betrokken partijen tevreden over de projectonderdelen? 4. Waren er drempels om het project en de onderdelen ervan niet uit te voeren? Niveau einddoelgroep: 1. Aan welke projectonderdelen heeft de doelgroep deelgenomen? Welke zijn gebruikt? Is het gebruik/de deelname veralgemeenbaar? lage SES reflex 2. Hoe tevreden waren de deelnemers over hun deelname aan het project en de verschillende projectonderdelen?

RE-AIM checklist (3) Dimensie MAINTENANCE Niveau intermediair: Te overwegen in doelstellingen 1. Welk % van de toepassende organisaties verankert/ continueert/ verandert de methodiek? 2. Bronnen en barriers kennen? Niveau einddoelgroep: 1. Blijven de effecten behouden na > 6 maanden? 2. Drop-out? 26

RE-AIM checklist: Vb. Dimensie Te overwegen in doelstellingen ADOPTION Analyse binnen de organisaties: 1. De verzorgenden van de thuiszorg zijn bereid om mee te werken aan de verdere uitwerking van het project. 2. De verzorgenden van de thuiszorg zijn bereid om de methodiek thuis bewegen toe te passen tijdens de werkuren. 3. We weten waarom verzorgenden wel of niet bereid zijn om de methodiek toe te passen. 4. We weten welke kenmerken van de verzorgenden belangrijk zijn (bijv. deskundigheid, ervaring, ) om de methodiek te willen toepassen. 27

Dimensie RE-AIM checklist: Vb. REACH 1. De overgrote meerderheid van de senioren die thuiszorg krijgen, nemen deel aan het project. 2. De deelnemende senioren zijn representatief voor onze doelgroep: zowel 80+, lage SES ouderen, nemen deel. Indien niet, weten we waarom. 3. We hebben zicht op waarom sommige deelnemers afhaakten tijdens de 10 weken. 28

RE-AIM checklist: Vb. Dimensie Te overwegen in doelstellingen 29 IMPLEMENTATION Niveau Niveaueinddoelgroep: thuiswonende senioren: 1. 1.. De deelnemende senioren namen zowel deel aan de Niveau beweegoefeningen intermediair: als de dagdagelijkse 1.. beweegmomenten (zoals boodschappen doen). 2. De deelnemende senioren zijn tevreden over hun deelname aan thuis bewegen. Niveau verzorgenden: 1. De methodiek thuis bewegen wordt door de verzorgenden tijdens hun werk toegepast zoals voorzien tijdens de vorming en in de handleiding. 2. De verzorgenden zijn tevreden over de handleiding en de vorming. 3. We hebben zicht op waarom de verzorgenden bepaalde onderdelen uit de handleiding of de vorming niet uitvoerden zoals gepland.

RE-AIM checklist: Vb. 30 Dimensie EFFECTIVEIT Te overwegen in doelstellingen Thuiswonende senioren: 1. De deelnemende senioren hebben kennis over belang van bewegen om vallen te voorkomen. 2. Bewegen is na 10 weken geïntegreerd in het dagdagelijkse leven van de thuiswonende senior. 3. De deelnemende senioren weten op welke manier ze na het project kunnen blijven bewegen en zijn gemotiveerd om dit te doen. Verzorgenden: 1. Verzorgenden weten welke beweegactiviteiten ze kunnen integreren in hun dagelijks werk. 2. Verzorgenden kunnen de oefeningen op maat van hun cliënten toepassen en inoefenen met hen. 3. Verzorgenden kunnen het breder kader van valpreventie doorgeven aan hun cliënten.

RE-AIM checklist: Vb. Dimensie MAINTANENCE Te overwegen in doelstellingen Niveau Niveaueinddoelgroep: thuiswonende senioren: 1. 1.. Na meer dan 6 maand is beweging nog steeds Niveau geïntegreerd intermediair: het dagelijkse leven van de 1.. deelnemende senioren. 2. We hebben zicht op waarom deelnemende senioren niet meer deelnemen. Niveau verzorgenden: 1. De verzorgenden zijn bereid om de methodiek thuis bewegen te blijven gebruiken in hun dagelijks werk bij hun cliënten. 2. We hebben zicht op waarom de verzorgenden niet/wel bereid zijn de methodiek te blijven toepassen. 31

STAPPENPLAN 1. Bereid de evaluatie voor 2. Kies of ontwikkel meetinstrumenten 3. Verzamel gegevens 4. Analyseer en interpreteer gegevens 5. Presenteer de resultaten 6. Neem ACTIE!

STAP 1: Evaluatie voorbereiding Evaluatiematrix opmaken PROJECTDOELSTEL LINGEN Welke doelstellingen werden vooropgesteld? EVALUATIEDOEL Wat willen jij en je stakeholders weten? + RE-AIM METHODE Hoe en bij wie ga je deze informatie verzamelen? DEELNEMERS Hoeveel deelnemers en hoe selecteren? UITVOERDER Wie voert dit uit? TIJDSLIJN Wanneer voer je het uit? BUDGET Hoeveel gaat dit kosten? Hoofddoelstelling / Strategische doelstelling: Subdoelstellingen / Operationele doelen: REACH: EFFECT(IVITEIT): ADOPTIE: IMPLEMENTATIE: MAINTENANCE: Evaluatiedoel: Evaluatiedoel:

Projectdoelstellingen 1. Welke doelstellingen zijn vooropgesteld voor uw project? 2. Pas de doelstellingen in RE-AIM model. 3. Vul RE-AIM verder in voor uw project. Formuleer de evaluatiedoelen.

Evaluatiedoelen formuleren Goede evaluatiedoelen zijn geformuleerd volgens het SMART-principe: S M A R T specifiek meetbaar acceptabel realistisch tijdsgebonden

RE-AIM in evaluatiematrix (2) Kolom EVALUATIEDOEL: 10.000 stappen (disseminatie-onderzoek) Niveau einddoelgroep Reach D1: Na 3 jaar zijn gemiddeld 4 op de 10 Vlamingen in de toepassende gemeenten bereikt met 10.000 stappen. - D.1.1. Lager opgeleiden worden even goed bereikt als de andere groepen (lage SES reflex) - D.1.2. De belangrijkste infobronnen worden opgelijst Effect D1: Vlamingen die 10.000 stappen leren kennen vertonen een meer gunstige evolutie in attitude/intentie om te bewegen (of gedrag) t.o.v andere Vlamingen Nota: veralgemeenbare effectiviteit reeds onderzocht in pilootproject Gent Maintenance De gevonden effecten blijven behouden bij postmeting na 1 jaar.

RE-AIM in evaluatiematrix (1) Kolom EVALUATIEDOEL: 10.000 stappen (disseminatie-onderzoek) Setting-niveau Adoptie D1: Na 3 jaar passen 40% van de bevraagde organisaties 10.000 stappen toe sinds de start van de verspreiding in Vlaanderen. - D.1.1. Deze toepassing van 10.000 stappen is veralgemeenbaar naar zowel gezondheids- als sportdiensten, steden en landelijke gemeenten - D.1.2. De barrières voor toepassing zijn gekend Implementatie D2: Na 3 jaar worden gemiddeld 70% van de evidence-based projectpijlers van 10.000 stappen geïmplementeerd door toepassende organisaties (kwaliteitsindicator) - D.2.1. De barrières voor implementatie per projectpijler zijn gekend - D 2.2. Aanpassingen aan de methodiek worden geregistreerd en meegenomen voor verbetering bij vernieuwing van het project. Maintenance /continuering: D3: VIGeZ 50% vzw, 2014, van Vorming de evalueren organisaties Liever Actiever die 10.000 stappen toepassen, herhalen of verankeren dit project (of hebben de intentie hiertoe)

EVALUATIEMATRIX PROJECTDOELSTEL LINGEN Welke doelstellingen werden vooropgesteld? EVALUATIEDOEL Wat willen jij en je stakeholders weten? + RE-AIM METHODE Hoe en bij wie ga je deze informatie verzamelen? DEELNEMERS Hoeveel deelnemers en hoe selecteren? UITVOERDER Wie voert dit uit? TIJDSLIJN Wanneer voer je het uit? BUDGET Hoeveel gaat dit kosten? Hoofddoelstelling / Strategische doelstelling: Subdoelstellingen / Operationele doelen: REACH: EFFECT(IVITEIT): ADOPTIE: IMPLEMENTATIE: MAINTENANCE: Evaluatiedoel: Evaluatiedoel:

METHODE om evaluatie uit te voeren 1. Beschrijvend: geen criterium opgesteld waaraan voldaan moet worden Vb.: tevredenheidsmeting, productevaluatie 2. Toetsend: resultaten worden getoetst aan vooraf geformuleerd criterium Vb.: effectevaluatie (voldoen aan beweegnorm, meer bewegen door project)

aantal stappen Verschillende DESIGNS Studie rond fysieke activiteit bij inactieve ouderen Beschrijvend opzet: post-test 5000 4000 3000 2000 1000 0

aantal stappen Toetsend opzet: pre-post 5000 4000 3000 2000 1000 0

aantal stappen Toetsend opzet: pre-post met controleconditie 5000 4000 3000 2000 1000 0

WIE / WAT geeft antwoord op evaluatievragen? einddoelgroep(en) partners, jezelf documenten, verslagen,

Cijfers of woorden = kwantitatief of kwalitatief MAAR ook kwantitatief en kwalitatief FOUT: enkel kwantitatief is nuttig, wetenschappelijk, Keuze? evaluatiedoelen informatiebronnen (wie/wat) evaluatieopzet (toetsend/beschrijvend, design)

Soorten meetinstrumenten Kwalitatief Open vragen in interview Focusgroepen Open vragen in vragenlijst Observatie Kwantitatief Gesloten vragen in vragenlijst Registraties Gesloten vragen in een interview Objectieve meting Logfiles 45

DEELNEMERS Hoeveel deelnemers? Standaard : kwantitatief: 100 respondenten per doelgroep kwalitatief: 10 interviews per doelgroep kwalitatief: 2 focusgroepen per doelgroep REPRESENTATIVITEIT! in rekening nemen van mogelijke uitval MAAR soort onderzoek (bijv. pilootproject) populatiegrootte tijd en middelen

Hoe selecteren? DEELNEMERS kwantitatief kwalitatief praktisch steekproef trekken of niet 48

UITVOERDER evaluatie: praktisch (tijdsbesteding) kennen en kunnen meerdere personen? TIJDSLIJN: wanneer wordt evaluatie uitgevoerd soort evaluatie (product, proces, effect) wanneer/welke effecten verwachten? Korte Termijn Lange Termijn! belang van voorbereiding evaluatie bij begin project

BUDGET Werkuren uitvoerders, vragenlijst, verplaatsing, organisatie, incentive/prijs, Design Pre-post / interventie met controle / KT + LT Pre-post / interventie met controle / KT Pre-post / interventie / KT Post / interventie / KT 51 Kwantitatief / kwalitatief Kwantitatief: vaak sneller en goedkoper Kwalitatief: intensiever en duurder

EVALUATIEMATRIX Wanneer matrix ingevuld: OVERLEGGEN KEUZES maken EVALUATIEPLAN uitschrijven

STAP 2: Meetinstrumenten Ontwikkel de meetinstrumenten Selecteer bestaande instrumenten Vb.: IPAQ, BPAS Relevant, aangepast aan de bronnen Betrouwbaarheid en = Mate waarin een meetinstrument bij herhaalde metingen in gelijke omstandigheden dezelfde resultaten oplevert. validiteit nagaan = Mate waarin je meet wat je voor ogen hebt te meten.

Vragenlijst maken (1) Vraaginhoud Meten wat je wil meten? Abstracte begrippen vermijden Duidelijk, begrijpbaar Vraagvorm Suggestiviteit Enkele vraag Alle mogelijke antwoordcategorieën (+ andere?) Filtervragen 54

Vragenlijst maken (2) Vraagvolgorde Inleiding algemeen/gemakkelijke moeilijke/specifieke demografische vragen bedanking Lay-out Uitproberen vragenlijst Begrijpbaarheid doelgroep (indirect + doelgroep zelf) Nalezen Timing 55

Interview/focusgroep maken Structuur vragenlijst opstellen Hoofdvragen Mogelijke deelvragen Vraaginhoud Meten wat je wil meten Verduidelijking vooraf bepalen (definities) bewaken van gesprek Duidelijk, begrijpbaar Vraagvorm Vraagvolgorde Uitproberen 56

STAP 3: Gegevens verzamelen VOORBEREIDING: werving respondenten (mail, website, brief, ) training interviewers motivering respondenten INZAMELING: anonimiteit (cfr. privacywetgeving) respons in het oog houden bijsturen

STAP 4: Analyse en interpretatie gegevens Data klaarmaken voor verwerking trefwoordenlijst opmaken data ingeven en zuiveren Data analyseren beschrijvende analyses toetsende analyses Excel, (SPSS) Data interpreteren correcte conclusies zoeken naar verklaringen

STAP 5: Resultaten presenteren Rapport / presentatie: vaste onderdelen visueel (grafieken, taartdiagram, ) ook tekst = mensentaal statistisch alle belanghebbenden op hoogte brengen (~ stakeholders)

Rapport onderdelen: Inleiding Evaluatiematrix Beschrijving methodologie Resultaten Conclusie en discussie Contactgegevens Referentielijst Bijlagen 60

STAP 6: ACTIE! Gebruik resultaten voor discussie en bijsturing Formuleer aanbevelingen Ga over tot ACTIE! Richt in, voer uit, schaf af, pas aan, Herinner belanghebbenden zo vaak mogelijk aan de resultaten en aanbevelingen

VIGeZ: Lien Van Oyen Contact Lien.vanoyen@vigez.be 02/422 49 56 Logo s: website http://www.vlaamselogos.be 62