Zicht krijgen op resultaten buurtsportcoaches

Transcriptie

1 Zicht krijgen op resultaten buurtsportcoaches 23 februari 2017 Caroline van Lindert Vera Scholten VSG-Young Professionals Network Mulier Instituut, Utrecht Februari 2017

2 Agenda Introductie Van Doel naar Aanpak Waarom monitoren en evalueren? Hoe monitoren en evalueren? 5. Samenvatting

3 1a) Kennis maken en verwachtingen Introductie

4 1b) Waarom resultaten zichtbaar maken? Forse structurele investering: rijk 58 ml, gemeenten 87 ml jaarlijks Belangrijk onderdeel sport- en beweegbeleid Rijk & gemeenten Decentralisatie uitkering: lokale verantwoordelijkheid & lokaal maatwerk fte: ongeveer personen in heel Nederland >> nieuwe (grote) beroepsgroep Inzet moet wat opleveren. Verantwoording landelijke & lokale politiek Introductie

5 2) Van Doel naar Aanpak Van doel naar aanpak

6 2a) Landelijke doelstellingen Gemeenten Buurtsportcoaches organisaties Betrokken (n=249)* (n=206)** (n=204)*** Verbindingen leggen tussen sport en andere sectoren Stimuleren van een dagelijks sport- en beweegaanbod op en rond scholen Stimuleren dat meer mensen kunnen sporten en bewegen in de buurt Versterking van sportverenigingen met het oog op hun maatschappelijke functie Stimuleren dat meer mensen lid worden van een sportvereniging/-organisatie Jeugd tot 18 jaar vertrouwd laten raken met een of meer kunst- en cultuurvormen Stimuleren van actieve kunstbeoefening onder jongeren Uitbreiding van het aantal brede scholen met een sport- en cultuuraanbod *Landelijke enquête gemeenteambtenaren sport, Mulier Instituut 2016 **Lokale enquête buurtsportcoaches en combinatiefunctionarissen, Mulier Instituut 2016 (lage N cultuurcoaches) ***Lokale enquête betrokken organisaties, Mulier Instituut 2016 (lage N culturele organisaties) Van doel naar aanpak

7 2b) Lokale doelstellingen Onder andere: Vergroten betrokkenheid ouders (72%) Verminderen overgewicht specifieke groepen (68%) Verbeteren kwaliteit sport- en beweegaanbod (57%) Kwaliteit bewegingsonderwijs verbeteren (49%) Bevorderen leefbaarheid in de buurt (43%) Stimuleren maatschappelijke participatie (41%) Vergroten samenwerking sociale wijkteams (37%) Verbeteren sociale competenties (37%) Bron: Lokale enquête buurtsportcoaches en combinatiefunctionarissen, Mulier Instituut 2016 Van doel naar aanpak

8 2c) Stip op de horizon? Wat wil je voor wie bereiken op welke termijn? Welke outcome: -voor het individu? -voor de gemeente? -voor de samenleving? Doel versus Aanpak Van doel naar aanpak

9 2d) Stel jezelf de volgende vragen: 1. Hoe wil je dat het leven van de deelnemers/doelgroep is veranderd als gevolg van de inzet van cf/bsc? Hoe zal de kennis, het gedrag, de gevoelens, de houding ed. zijn veranderd? 2. Op wat voor manier zal de wijk/buurt/gemeente zijn veranderd als gevolg van het cf/bsc-beleid in de gemeente? En hoe weet je dat je dit hebt bereikt? 3. Hoe zal de samenleving er uit zien als gevolg van de inzet van het cf/bscbeleid? 4. Wat vinden de stakeholders van deze doelen? Zijn de doelen in lijn met het gemeentelijk sport- en beweegbeleid? Van doel naar aanpak

10 2e) Stel indicatoren vast Vertaling doelstellingen in normen & streefcijfers. Vaak kwantitatief. Inzicht in activiteiten, prestaties en effecten versus ingezette middelen. Belangrijk bij monitoring. Vergelijking mogelijk. Voorbeeld: Indicator = sportgedrag Norm = wekelijks sporten Streefcijfer = 53% van de bevolking sport wekelijks Bron: Monitor- en evaluatiewijze Sport- en Beweegbeleid, KC Sport Van doel naar aanpak

11 2f) Hoe stel je indicatoren vast? Helder Herkenbaar Eenduidig Algemeen aanvaardbaar (benchmarking) Aansluiting bij doel Gevoelig voor veranderingen NB. Zegt niet altijd iets over causaliteit tussen beleid en effect! Vooral: beperkte set van indicatoren, eenvoudig te meten, beschikbare data! Bron: Monitor- en evaluatiewijze Sport- en Beweegbeleid, KC Sport Van doel naar aanpak

12 2g) Soorten indicatoren Beleidsproces Kosten effectiviteit Doelmatigheid beleidsproces Zuinigheid Omgeving/individu Middelen Activiteiten Prestatie Effect input geld/ mensen proces of throughput output outcome Doeltreffendheid Van doel naar aanpak

13 2) Soorten indicatoren Bron: Monitor- en evaluatiewijze Sport- en Beweegbeleid, KC Sport Doelstellingen

14 2h) Van Doel naar onderbouwde Aanpak Doelstelling: bijv. hogere sport- en beweegdeelname leerlingen basisonderwijs gemeente. Indicator: sportdeelname. Norm: wekelijk sporten. Streefcijfer: % leerlingen sport wekelijks. Input/middelen/ bronnen Throughput/activiteiten Output/ prestaties Outcome/effecten Welke middelen stoppen we in het programma? Welke interne processen vinden plaats om het programma te kunnen uitvoeren/ welke activiteiten worden uitgevoerd en hoe? Welke prestaties zijn geleverd? Aantal activiteiten uitgedrukt in kwantificeerbare indicatoren Wat zijn de (verwachte) veranderingen bij de doelgroep als gevolg van de geleverde prestaties. Doorwerking op de einddoelgroep/ samenleving? Bijv. geld, personeel, materiaal, aantal bsc in wijk x Bijv. opgezette samenwerking sportscholen, de ontwikkeling van clinics, materialen Van doel naar aanpak Bijv. aantal georganiseerde activiteiten/clinics, aantal workshops, aantal getrainde mensen, aantal deelnemers, etc. Bijv. toegenomen kennis en vaardigheden, vertrouwen, hogere sportdeelname

15 Van doel naar aanpak 2i) Stel theorieën op per activiteit Als- Dan- Waarom- vragen? Als de activiteit plaatsvindt, wat zal Dan het resultaat voor de deelnemers zijn? Waarom denk je dat deze activiteit tot dat resultaat leidt? Wat is je aanname/ veronderstelling? Welk bewijs heb je dat deze activiteit tot dit resultaat leidt?

16 Opdracht: Formuleer maximaal drie doelstellingen die in jouw gemeente met de regeling worden beoogd. Start met stip op de horizon (outcome) Werk terug naar doelen op het niveau van: Output/prestaties Throughput/activiteiten Input/middelen Van doel naar aanpak

17 3) Waarom monitoren & evalueren? Waarom monitoren en evalueren

18 3a) Wat is monitoren en evalueren? Monitoren Systematisch meten Continu proces Bepaalde momenten Volgen/bewaken van verloop en veranderingen in uitvoering Voor intern Wat, waar, wanneer, hoeveel? Evalueren Systematisch en doelgericht verzamelen, interpreteren en presenteren van informatie Periodiek Voor, tussentijds, einde Bepalen van de waarde van proces/resultaat/effect Intern en extern Hoe en waarom? Oorzaak-gevolg Bron: Monitor- en evaluatiewijze Sport- en Beweegbeleid, KC Sport Waarom monitoren en evalueren

19 3b) Waarom monitoren en evalueren? Volgen: hoe verloopt de uitvoering van beleid? Informeren/draagvlak creëren: wat gebeurt er eigenlijk? Samenwerking bevorderen. Bijsturen: gaat het goed, wat kan beter, wat moeten we aanpassen? Leren: wat kunnen we leren van de waargenomen processen/resultaten/effecten? Voor huidige uitvoering, toekomstig beleid Verklaren: welke factoren beïnvloeden proces/resultaten/effecten? Verantwoorden: worden de beoogde doelen bereikt? Hebben investeringen geleid tot gewenste resultaten/effecten? tussentijds/einde Borgen/vervolgen: formuleren nieuw beleid Waarom monitoren en evalueren

20 Vragen aan de zaal: Waarom wil je de inzet van CF/BSC monitoren en evalueren? Wat wil je met de resultaten gaan doen? Waar moeten de resultaten aan bijdragen? Waarom monitoren en evalueren

21 4. Hoe monitoren en evalueren? P5. Voor welke doelgroep(en) wordt u als combinatiefunctionaris of buurtsportcoach ingezet? Meer antwoorden mogelijk 0- tot 4-jarigen 4- tot 12-jarigen 12- tot 18-jarigen 18- tot 45-jarigen 45- tot 65-jarigen 65-plussers (ouderen) Mensen met een handicap of chronische aandoening Mensen uit een aandachtswijk Gespreksleidraad betrokken organisaties Topiclijst interview buurtsportcoaches Hoe monitoren en evalueren

22 4a) Vragen vooraf? Welke middelen zijn beschikbaar/ kunnen we vrijmaken in de gemeente? Welke partijen kunnen we betrekken/ spelen welke rol? Wat doen we nu al en wat levert dat op? Wat is de doel- en vraagstelling van de monitoring? Wat is de periode waarin we willen monitoren? Welke instrumenten kunnen we inzetten bij welke indicatoren? Hoe gaan we de resultaten presenteren? Hoe monitoren en evalueren

23 4b) Meten in de tijd? Startsituatie Doelen/ plan 0-meting 1-meting Tussentijds Bijsturen/ volgen/leren Eindsituatie Resultaten/ effecten Verantwoording/ vervolg 2-meting Vervolgmetingen 1 of 2 jaar erna duurzaamheid resultaten/effecten 2008 of startjaar inzet bsc ev Bron: Monitor- en evaluatiewijze Sport- en Beweegbeleid, KC Sport Hoe monitoren en evalueren

24 4c) Monitoren van input Vraagstelling Indicatoren Instrumenten Zijn er budgetten overschreden? Is het aantal uren inzet cf/bsc voldoende? Is de kwaliteit van de cf/bsc voldoende? Is het plan van aanpak goed? Etc. Totaal budget Aantal personen/fte werkzaam Aantal fte bsc/cf per Etc. Begroting Urenregistratie Tarieven Etc. Hoe monitoren en evalueren

25 4d) Monitoren van throughput Werkprocessen en samenwerking Wat gaat goed en minder goed? De manier waarop de resultaten tot stand gekomen zijn Vraagstelling Indicatoren Instrumenten In hoeverre heeft bevorderend dan wel belemmerend gewerkt bij? Wat heeft positief/ negatief gewerkt? Wat was de rol van? Hoe verliep de samenwerking? Etc. Beoordeling samenwerking, aantal contacten, taak- en rolverdeling, besluitvormingsproces, tevredenheid, etc. Diepte-interview, panel, groepsgesprek, tijdlijnmethode, netwerkanalyse, etc. Hoe monitoren en evalueren

26 Vraagstelling Indicatoren 4e) Monitoren van output Output is het resultaat van productieproces of project. Prestaties die worden geleverd om de outcome doelen te bereiken. Tellen Instrumenten Hoeveel activiteiten zijn georganiseerd? Welke en hoeveel deelnemers zijn er geweest? Welke kenmerken hadden de deelnemers? Waren de deelnemers uit de doelgroep? Etc. Deelnemersaantallen, doorstroom sportvereniging, frequentie, tevredenheid deelnemers, aantal/soort sport- en beweegmogelijkheden in de buurt Deelnemerslijsten, beweegdagboek, lidmaatschapsregistratie verenigingen, tevredenheidsformulier, leerlingvolgsysteem Hoe monitoren en evalueren

27 4f) Monitoren van outcome Gaat meestal om gedragsverandering Causaal verband tussen beleid en effect is lastig vast te stellen Lokaal beleid = mesoniveau (wijk, buurt, gemeente) Thema s doelstellingen: Sportstimulering Actieve gezonde leefstijl Sport en onderwijs Accommodaties Sport en bewegen in de buurt Etc. Hoe monitoren en evalueren

28 Vraagstelling Indicatoren Instrumenten 4g) Monitoren van outcome Kernindicatoren: eens per periode thermometer in samenleving Bijv. In welke mate zijn de inwoners van meer gaan sporten en bewegen? Sport- en beweeggedrag Overgewicht Aantal mensen met een beperking Schooluitval Beweegaanbod Accommodatiegebruik Aantal sportverenigingen, etc. RSO, NNGB, BMI index GGD Monitor Leerlingvolgsysteem Verenigingsmonitor, etc. Hoe monitoren en evalueren Objectieve registraties Experiment Dosis-effectmeting Vergelijking met/zonder in de tijd Vergelijking in de tijd

29 Soort inzet: brede school coördinator Outcome doelstelling 1: Hogere sport- en beweegdeelname inactieve leerlingen Indicator: sport- en beweeggedrag Norm: wekelijks sporten, NNGB Streefgetal: veranderd % deelname, op tijdstip Instrument: GDD monitor Middelen Activiteiten Prestaties Indicator Instrument Indicator Instrument Indicator Instrument 5 fte cf op scholen, wijken Uren registratie/ verantwoording Organisatie naschools aanbod Procesevaluatie 1 activiteit per week Registratie Activiteitenbudg et in x euro s Financiële verantwoording Samenwerking Procesevaluatie X aantal deelnemers Registratie Tevreden deelnemers Vragenlijst/ groepsgesprek X aantal doorverwijzingen Registratie/ instrument verenigingen Outcome: indicator % wekelijks sporten, instrument jeugd monitor Hoe monitoren en evalueren

30 4h) Mooie verhalen vs objectieve feiten? Ga je uit van de mensen (BSC)?: leggen verbindingen, netwerken, mensen in beweging brengen Draagvlak creëren, storytelling, goede verhalen, mooie beelden, subjectieve data Ga je uit van de organisatie?: bsc is instrument in het behalen van doelen. Betekent focus en planmatig werken. Planmatig werken, registreren, evalueren, objectieve data Bron: Evelien Wijdeveld, Eworks, VSG kennisdag 2015 Waarom monitoren en evalueren

31 4h) Rood (warm) vs. Blauw (koud) Rood Waarom? (vaak procesevaluatie) Explorerend Inzicht in gedragingen, motivaties, meningen, wensen en behoeften Kan ingezet worden om de doelgroep zelf mee te laten denken over het project Resultaten niet statistisch representatief Mogelijkheid tot doorvragen: diepgang Gedetailleerde informatie (vaker citaten) Minder mensen bereiken met relatief meer tijd en kosten Blauw Wat? (vaak evaluatie output en outcome) Verklarend Antwoorden op vragen die in hoeveelheden kunnen worden uitgedrukt Evalueren interventie: meten gedragsveranderingen Grote groepen mensen om statistisch betrouwbare en representatieve uitspraken te doen Mogelijkheid tot anonimiteit Resultaten vaak weergegeven in tabellen, grafieken, percentages Veel mensen bereiken met relatief weinig tijd en kosten Hoe monitoren en evalueren

32 Opdracht Welke instrumenten en welke informatie zijn het meest geschikt voor jouw monitoring en evaluatie? Denk ook na over: waarom ook al weer m&e? wat hebben we al gedaan? wie kunnen we inschakelen? welke middelen hebben we nodig/beschikbaar? met wie en hoe willen we de resultaten delen? Hoe monitoren en evalueren

33 5a) Samenvatting Bewustzijn van lokale doelen/indicatoren Doel van monitoring en evaluatie Instrumenten en/of informatie Samenvatting

34 5b) Aanbevelingen lokaal onderzoek Staar niet blind op effecten, maar focus ook op resultaten en activiteiten Mix rood & paars & blauw Neem eigen lokale doelen als uitgangspunt Vooraf en tussentijds inzet en werkzaamheden buurtsportcoach goed registeren Laat bsc zelf bijdragen aan zichtbaarheid werk, gebruik tools Maak gebruik van verschillende databronnen Wissel ervaringen uit met andere gemeenten Maak onderscheid tussen typen buurtsportcoaches Samenvatting

35 Hartelijk dank voor uw aandacht! mulier instituut Herculesplein AA Utrecht t (030) i Caroline van Lindert c.vanlindert@mulierinstituut.nl Vera Scholten v.scholten@mulierinstituut.nl

36 Vb: Als dan theorie Getrainde docenten geven ouderen een training over het belang van bewegen voor de ouder wordende mens Ouderen krijgen kennis over waarom bewegen gezond is en bijdraagt aan sociale contacten. Ouderen veranderen hun houding en intentie t.a.v. bewegen. Ouderen gaan deelnemen aan sport- en beweegactiviteiten De beweegdeelname van ouderen in wijk x, gemeente x is duurzaam toegenomen. Doelstellingen en indicatoren