HANDLEIDING VOOR TUSSENTIJDSE EVALUATIE SPORTBELEIDSPLANNEN

Transcriptie

1 HANDLEIDING VOOR TUSSENTIJDSE EVALUATIE SPORTBELEIDSPLANNEN 14/10/10 12:37

2 Colofon Redactieadres Vlaams instituut voor sportbeheer en recreatiebeleid vzw (ISB) Plezantstraat 266, 9100 Sint-Niklaas T F E secretariaat@isbvzw.be W Auteurs Bart Van Herck (IDEA Consult) in samenwerking met Roel Van Caenegem en David Nassen (ISB) Leescomité ISB-Werkgroep Tussentijdse evaluatie: Luc Mercken (sportdienst Hasselt), Marc Vlogaert (sportdienst Bornem), Mia Maes (sportdienst Kortrijk), René Schreurs (sportdienst Limburg), Tom Van Look (sportdienst Antwerpen), Geert Uyttenhove (sportdienst Lede), Peter Geers (sportdienst Lochristi), Frank Malisse (sportdienst Harelbeke), Katrijn Titeca (sportdienst Waregem), Joke De Prest (sportdienst Waarschoot), Wim Boeckx (sportdienst Westerlo) en Herwig De Vooght (sportdienst Sint-Lievens-Houtem) Bloso: Geertrui Schiltz, Hilde Caers en Sonja Vanden Broeck Kabinet Minister van sport Philippe Muyters: Nicole Bossaerts Gerealiseerd met steun van de Vlaamse Overheid Druk en vormgeving Geers offset NV ISB, oktober 2010 Cov_Publicatie.indd 2

3 HANDLEIDING VOOR TUSSENTIJDSE EVALUATIE (EN OPTIMALISATIE) VAN DE LOKALE SPORTBELEIDSPLANNEN 1. INLEIDING Aanleiding Meerwaarde van (tussentijdse) evaluatie Focus van deze tussentijdse evaluatie Verschillende evaluatiecriteria en -vragen Bepalingen uit het decreet Sport voor allen 5 2. STAPPENPLAN Fase 1: Voorbereiding Stap 1: Aanduiding projectleiding en stuurgroep Stap 2: Bepalen focus, procesverloop en -organisatie Fase 2: Uitvoering Stap 3: Oplijsten doelstellingen en indicatoren Stap 4: Informatieverzameling en analyse Stap 5: Conclusies en rapportage Fase 3: Goedkeuring en communicatie Stap 6: Formele advies- en goedkeuringsprocedure Stap 7: Communicatie Fase 4: Opvolging Stap 8: Leereffecten inventariseren en verankeren BIJLAGEN Evaluatiecriteria Additionele evaluatievragen Voorbeeldindicatoren en streefnormen Ondersteuning Sportverenigingen (Hoofdstuk 1 Sport voor Allen-decreet) Andersgeorganiseerde sport (Hoofdstuk 2 Sport voor Allen-decreet) Toegankelijkheid en diversiteit (Hoofdstuk 3 Sport voor Allen-decreet) Sportinfrastructuur (Hoofdstuk 4 Sport voor Allen-decreet) Kwaliteit van de jeugdsportbegeleiders en jeugdsportcoördinatoren (Hoofdstuk 5 Decreet Sport voor Allen-decreet) Overzicht externe databronnen Sjablonen voor rapportage aan Vlaamse Overheid Basismodel Basismodel Model met uitgebreide opties Bronnenlijst 30 Bblz_Publicatie.indd 1 14/10/10 13:06

4 Inleiding 1.1 Aanleiding In 2008 trad het nieuwe Decreet Sport voor Allen in werking. Meteen het startschot voor de opmaak van sportbeleidsplannen in elke gemeente. In overleg met de Vlaamse Overheid, ondersteunde ISB de gemeenten via een begeleidingstraject. Nu de sportbeleidsplannen stilaan vertrouwde materie zijn, dringt evaluatie en eventuele bijsturing zich op. Het Decreet verwacht een tussentijdse evaluatie na 3 jaar. Daarbij dient nagegaan te worden of de beleidseffecten en resultaten zijn gehaald. Maar ook de opbouw van het plan kan mee onder de loep worden genomen. Een analyse van de eerste lichting beleidsplannen leerde immers dat er o.a. nog verbetermogelijkheden zijn op het vlak van het resultaatgericht formuleren van doelstellingen en het formuleren van indicatoren. Er is groeiende belangstelling voor het meten van de effectiviteit en effi ciëntie van beleid. Doelgerichte inzet van middelen (niet alleen in tijden van crisis), resultaatgericht denken en focus op beleidsresultaat. Ook op gemeentelijk vlak, in het nieuwe gemeentedecreet, is er meer aandacht voor integrale planning en opvolging. Deze handleiding wil een concreet houvast bieden voor het uitvoeren van de tussentijdse evaluatie in het kader van het decreet, maar ook ruimere ondersteuning bieden aan sportdiensten op het vlak van beleidsevaluatie in het algemeen. Figuur 1: Beleidsevaluatie als schakel in de beleidscyclus doelstellingenanalyse BELEIDSVOORBEREIDING gegevensverzamelingen -analyse voorstellen voor veranderingen en beleidskeuzes bijsturen BELEIDSBESLISSING doelstellingen en kritische succes factoren BELEIDSEVALUATIE rapportage sturen meten met indicatoren BELEIDSUITVOERING projecten / maatregels / actie effecten van de beleidsuitvoering Beleidsevaluatie is een onderdeel van de beleidscyclus. Het laat ons enerzijds toe om na te gaan of acties en projecten lopen zoals gepland (meten met indicatoren), anderzijds stelt het ons in staat om onze plannen bij te sturen in functie van nieuwe noden en behoeften 2 Bblz_Publicatie.indd 2 14/10/10 13:12

5 1.2 Meerwaarde van (tussentijdse) evaluatie Deze tussentijdse evaluatie mag dan al een verplicht nummer zijn, het is belangrijk te beseffen hoe waardevol een evaluatiemoment kan zijn voor de eigen sportdienst. Het is een momentum om de banden te versterken met de belangrijkste doelgroepen en de meerwaarde van het lokaal sportbeleid onder de aandacht te brengen van beleidsmakers en bevolking. Er kan een heel sterk motiverende impuls van uitgaan en het maakt de lokale sportdienst en de verenigingen sterker bewust van hun opdracht. Er zijn samengevat vier belangrijke motieven om het gevoerde beleid op regelmatige tijdstippen te evalueren: - Evaluatie helpt ons bij het maken van de juiste keuzen (evaluatie als ondersteuning in de beleidsplanning) Evaluatie helpt bij het plannen en het bepalen van de juiste prioriteiten. Meestal zijn er meerdere mogelijkheden om een uitdaging aan te pakken. Evaluatie laat ons toe te zien wat werkt en wat niet. We moeten onze keuzen ook regelmatig in vraag durven stellen. Noden en behoeften van mensen veranderen voortdurend, het is belangrijk om op regelmatige basis na te gaan of onze initiatieven daar wel voldoende rekening mee houden. Ook andere diensten in de gemeente en de Vlaamse overheid zijn permanent in beweging en verplichten de sportdienst tot regelmatige bijsturing. - Evaluatie helpt ons na te gaan of we wel degelijk doen wat we zinnens waren te doen (evaluatie als opvolgingsinstrument voor de dagelijkse beleidsuitvoering) Sinds het invoeren van lokale sportbeleidsplannen zijn alle sportdiensten vertrouwd met het formuleren van doelstellingen. Door middel van evaluatie kunnen we nagaan of de uitvoering daarvan op schema zit. Door personeelswissels, geldgebrek, slechte afspraken, verkeerde communicatie... lopen de zaken niet altijd als gepland. Gestructureerde evaluatiemomenten stellen ons in staat om bij te sturen en oplossingen te formuleren. - Evaluatie helpt ons in het verantwoorden van wat we doen Het lokale sportbeleid is een zeer interactief gebeuren, met tal van betrokken organisaties. Lokale sportdiensten worden verondersteld verantwoording af te leggen aan tal van belanghebbenden, waaronder: De burger, die steeds mondiger wordt en wil vernemen of zijn middelen effi ciënt en effectief worden besteed; De gemeente als bestuur, waar het domein sport zijn positie moet verdedigen naast tal van andere diensten en prioriteiten; De Vlaamse Overheid (cfr. Decreet lokaal sportbeleid). Periodieke evaluatierapporten stellen de sportdienst in staat om ten aanzien van al zijn verschillende stakeholders aan te tonen dat er op een effi ciënte manier resultaten worden neergezet waar burger en samenleving beter van worden. - Evaluatie helpt ons te verbeteren en maakt ons sterker (Evaluatie als leerinstrument) Tot slot zijn evaluatiemomenten, de momenten bij uitstek om te leren. Beleidsmensen, ambtenaren, verenigingen staan stil bij wat ze ondernemen, stellen zich vragen bij het effect en de relevantie ervan, ze ontdekken alternatieve mogelijkheden. Voor praktijkmensen zullen de leereffecten vooral betrekking hebben op een betere uitvoering van hun taken. Voor beleidsmensen zullen de leereffecten te maken hebben met beter inzicht in de veranderende omgeving, het prioritair inzetten van de middelen en het bereiken van de beoogde effecten. 3 Bblz_Publicatie.indd 3 14/10/10 13:06

6 Beschouw de tussentijdse evaluatie van het lokaal sportbeleidsplan niet als een verplicht nummer voor de Vlaamse Overheid, maar grijp het proces aan om de gemaakte keuzen m.b.t. het sportbeleid te motiveren naar de buitenwereld, te leren uit de ervaringen van de laatste jaren en als kans om bij te sturen waar nodig. 1.3 Focus van deze tussentijdse evaluatie Verschillende evaluatiecriteria en -vragen Evalueren is een veelzijdig begrip en minder eenduidig dan men op het eerste gezicht zou veronderstellen. Er zijn immers tal van perspectieven en criteria van waaruit men beleid kan beoordelen (zie evaluatieschema in bijlage 0). Samengevat kan het accent van beleidsevaluatie ofwel liggen op: De doelstellingen (relevantie, coherentie en consistentie) Beantwoorden de maatregels en doelstelligen uit het sportbeleidsplan (nog steeds) aan de noden en behoeften (relevantie) en zijn ze in lijn met andere doelstellingen binnen of buiten de organisatie (consistentie en coherentie)? De manier van uitvoering (effi ciëntie en proces) Daarbij gaan we na of de input (de energie en middelen die we erin staken) in overeenstemming zijn met de output? Of de resultaten of effecten konden worden bereikt met minder geld en of de wijze van uitvoering optimaal verliep (coördinatie, samenwerking,...); De resultaten (doelbereiking, effectiviteit, duurzaamheid, adequaatheid) Zijn de output, de resultaten en de impact in lijn met de doelstellingen die we in het sportbeleidsplan hebben geformuleerd? Hebben we de vooropgestelde doelen gehaald? Zijn de effecten blijvend (duurzaamheid)? Beantwoorden ze aan de maatschappelijke problemen (adequaatheid)? We illustreren de toepassing van de evaluatiecriteria met een voorbeeld uit het lokale sportbeleid. Het maatschappelijk probleem van waaruit we vertrekken is overgewicht bij kinderen. Om het probleem aan te pakken zetten we de doelstelling voorop dat kinderen minstens 3uur sport doen per week buiten schoolverband tegen Figuur 2: Evaluatiecriteria toegepast op het lokale sportbeleid Maatschappelijk probleem Overgewicht bij kinderen impact Overgewicht bij jongeren neemt af, gezondheid verbetert resultaten 20 kinderen nemen doen blijvend aan sport via sportclubs doelstelling middelen acties output 50% van de kinderen doen tot 3u sport per week buiten schoolverband Geld voor sensibilisering en lesgevers Sportkampen, promotie in de scholen, kinderen nemen deel aan de sportkampen in de vakantieperiodes Doelstelling Uitvoering Resultaten Bron: IDEA Consult 4 Bblz_Publicatie.indd 4 14/10/10 13:06

7 Met betrekking tot deze doelstelling en acties zijn onderstaande evaluatievragen mogelijk: Evaluatiecriterium Relevantie Coherentie Consistentie Evaluatievraag Komen we met onze doelstelling (3u sport per week) tegemoet aan een maatschappelijke nood? Vormen onze doelstellingen (en acties) een samenhangend geheel? Zijn onze doelstellingen consistent met de doelstellingen van andere diensten binnen de gemeente (cultuur, welzijn,...) en die van andere overheden (provincie, Vlaanderen)? Effi ciëntie Werden de sportkampen gerealiseerd tegen aanvaardbare kostprijs (monitoren, promotie,...)? Procesverloop Doelbereiking Effectiviteit Duurzaamheid Adequaatheid Werden onze cursussen goed georganiseerd (bv. vlotte inschrijvingsprocedure), deskundig begeleid (bv. niveau lesgevers), voldoende bekend gemaakt,...? Haalden we onze doelen/targets op output, resultaats- en impactniveau? Zijn de behaalde effecten het gevolg van onze acties en inspanningen? Zijn de effecten blijvend? Beantwoorden de effecten aan de maatschappelijke noden? Bepalingen uit het decreet Sport voor allen Het decreet Sport voor Allen bevat voor gemeenten volgende bepaling betreffende de tussentijdse evaluatie: In het derde jaar van de sportbeleidsplanperiode wordt in overleg met de sportraad het sportbeleidsplan geëvalueerd op het bereiken van zijn doelstellingen en beoogde beleidseffecten, worden nieuwe behoeften gebundeld, en indien nodig, wordt het plan bijgestuurd. (Artikel 17 Decreet Sport voor Allen) Als we de verwachtingen van de Vlaamse Overheid beschouwen met betrekking tot deze tussentijdse evaluatie (zie tekstbox) ligt het accent heel duidelijk op een evaluatie van de doelbereiking en effectiviteit. Men vraagt namelijk per doelstelling (operationeel / strategisch) na te gaan of ze geheel, gedeeltelijk of niet werd gehaald. Indien er indicatoren werden opgevolgd, wordt een meting van deze indicatoren verwacht. In tweede orde (vooral in functie van het resultaat op de eerste vraag), wordt gevraagd om aan te geven of de vooropgezette doelstellingen zullen worden bijgestuurd. Verwachtingen van de Vlaamse Overheid m.b.t. de tussentijdse evaluatie: Per doelstelling (strategisch en operationeel) aanduiden of ze geheel, gedeeltelijk of niet werd gehaald; Per doelstelling aangeven of ze blijft behouden, wordt bijgestuurd of wordt geschrapt. Het betreft niet enkel de inhoud van de doelstellingen, maar ook de bijhorende aanpak. Indien uit bovenstaande twee evaluatievragen blijkt dat er nieuwe behoeften zijn, dan dienen volgens het decreet deze behoeften ook geïnventariseerd te worden. Dit houdt dus expliciet een evaluatie van de relevantie van de doelstellingen en het bijhorende plan van aanpak in. De vraag die men zich dus moet stellen is of met de vooropgestelde doelstellingen nog steeds ingespeeld wordt op de aanwezige noden en behoeften. Zijn bepaalde doelstellingen niet meer relevant of vragen nieuwe noden of behoeften voor nieuwe doelstellingen? In deze handleiding zullen we, in lijn met de Vlaamse verwachtingen, het accent leggen op het evalueren van de doelbereiking en effectiviteit. Daarnaast nemen we de evaluatie van de relevantie ook mee in het evaluatieproces. Gezien de evaluatie in hoofdzaak gevoerd moet worden vanuit de eigen ambitie (die verder kan reiken dan het evalueren van de effectiviteit), maken we niettemin in bijlage 3.2) verwijzingen naar methoden om additioneel effi ciëntie en coherentie te meten. Het is aan de lokale sportdiensten zelf om uit te maken hoever men wil gaan in deze mogelijkheden. In het stappenplan (zie verder), is met name stap 2 gericht op het bepalen van de focus. De verwachtingen van de Vlaamse Overheid met betrekking tot rapportage worden toegelicht in stap 5. 5 Bblz_Publicatie.indd 5 14/10/10 13:06

8 Stappenplan Bij het voeren van de tussentijdse evaluatie onderscheiden we vier fasen, met name: de voorbereiding, de uitvoering, de rapportage en de opvolging. Deze fasen worden verder onderverdeeld in 8 stappen (zie hieronder Figuur 3). Figuur 3: Stappenplan tussentijdse evaluatie FASE 1 Voorbereiding FASE 2 Uitvoering FASE 3 Goedkeuring en communicatie FASE 4 Opvolging Merk op: dit stappenplan is een leidraad. Elke gemeente kan hem vanzelfsprekend aanpassen aan de eigen situatie. Bron: IDEA Consult 2.1 Fase 1: Voorbereiding Geef voldoende aandacht aan de voorbereiding.het is een volwaardige en bijzonder bepalende fase waarin keuzen worden gemaakt over het ganse evaluatietraject. Een goede voorbereiding maakt het halve werk wordt vaak gezegd. Ook voor deze tussentijdse evaluatie is het essentieel vooraf af te spreken welke dingen men grondig wil bekijken en welke minder, welke mensen men vrijmaakt om het werk te doen, welk stakeholders worden betrokken en hoe men het tijdsverloop ziet. We gaan er hieronder uitgebreid op in. Decretaal is alvast bepaald dat de tussentijdse evaluatie in overleg met de sportraad moet gebeuren. 6 Bblz_Publicatie.indd 6 14/10/10 13:06

9 2.1.1 Stap 1: Aanduiding projectleiding en stuurgroep Gezien het participatief karakter van het sportbeleid, voorzien we in de tussentijdse evaluatie ruime consultatie en betrokkenheid van inwoners en verenigingen. De aansturing en coördinatie van het evaluatieproces dient evenwel in handen te worden gelegd van een kleinere groep van mensen, zijnde de projectleider (+team) en de stuurgroep. Deze groep is best niet te groot (tussen de 5 à 10 mensen), zodat er op een effi ciënte en slagvaardige manier kan worden gewerkt. Projectleiding De projectleider zal doorgaans de sportfunctionaris zijn van de gemeente. Hij heeft een belangrijke rol in het proces. Ondanks zijn dichte betrokkenheid is het belangrijk dat hij de nodige kritische zin aan de dag legt bij het evalueren van eigen activiteiten en werking. Stuurgroep Voor het samenstellen van de stuurgroep, dient een weloverwogen keuze te worden gemaakt uit de verschillende stakeholders van het lokale sportbeleid. We denken daarbij aan vertegenwoordigers van volgende groepen: De beleidsmakers (politiek verantwoordelijken en topmanagement); Uitvoerders van het beleid, in casu de medewerkers en vrijwilligers bij de gemeentelijke sportdienst; Vertegenwoordiging sportraad Doelgroepen: sportverenigingen, individuele sporters, specifi eke doelgroepen; Anderen (media, burensportdienst, provincie,...). Rol projectleider (+team) Bewaken voortgang van de evaluatie Goede voorbereiding van de bijeenkomsten Verzamelen en analyseren van data en informatie Onderhouden van contacten met het werkveld, organisatie van terugkoppelingsmomenten Goede ontwerp-rapportage Rol stuurgroep Bepalen ambitieniveau en prioriteiten voor de evaluatie Bepalen procesverloop (stappen, timing) en organisatie (bijeenkomsten, communicatiemomenten) Bepalen evaluatievragen Kritisch beoordelen van de bijeengebrachte informatie Verantwoordelijkheid over conclusies en eindrapportage Adviseren van het gemeentebestuur over het (al dan niet) bijstellen van de doelstellingen Vooral als er goede ervaringen waren met de stuurgroep tijdens de opmaak van het lokale sportbeleidsplan, kan er vanuit dezelfde samenstelling worden vertrokken. Dit is evenwel geen vereiste. Noteer ook dat de stuurgroep de motor en architect van het evaluatieproces is. De stuurgroep mag niet een ruime klankbordgroep zijn waar meningen worden verzameld en belangen behartigd worden Stap 2: Bepalen focus, procesverloop en -organisatie In stap 2 bepaalt de stuurgroep de volledige procesarchitectuur. Het is een bijzonder bepalende fase waarbij keuzen worden gemaakt over volgende onderwerpen: Welke verwachtingen hebben we en welke accenten leggen we? De verschillende stappen die we zullen doorlopen doorheen het proces van de tussentijdse evaluatie, met inbegrip van de consultatie- en terugkoppelingsmomenten; De tijd die we voorzien voor elk van deze stappen; De middelen die nodig zijn om het proces te voeren, in bijzonder de personele middelen; De belanghebbenden (organisaties en mensen) die we zullen betrekken tijdens het traject. Welke problemen zouden kunnen opduiken in het proces en hoe zullen we die proberen te voorkomen? We overlopen hieronder hoe men kan omgaan met elk van deze punten. 7 Bblz_Publicatie.indd 7 14/10/10 13:06

10 We overlopen hieronder hoe men kan omgaan met elk van deze punten. Focus: verwachtingen en prioriteiten Wat zijn onze verwachtingen voor deze evaluatie? Welke accenten leggen we? Besteed voldoende aandacht aan deze vragen en bedenk ook dat het ambitieniveau dat men zich stelt implicaties heeft naar tijd en middelen. Vragen die we bij de afbakening moeten beantwoorden zijn: Leggen we de focus enkel op de door de Vlaamse overheid verplichte evaluatievragen rond doelbereiking, effectiviteit en relevantie of stellen we nog extra evaluatievragen? Doel is het volledige sportbeleidsplan te evalueren, maar zoomen we extra in op bepaalde doelstellingen op basis van eigen prioriteiten of Vlaamse prioriteiten? Willen we ook additionele aspecten onderzoeken zoals effi ciënte inzet van middelen, goede uitvoering van acties en projecten, coherentie van het sportbeleidsplan met andere plannen in de gemeente? Wie hiervoor kiest, zie bijlage 3.2). TIP Pols voor het beantwoorden van bovenstaande vragen ook de verwachtingen van de stakeholders. Kondig de tussentijdse evaluatie van het sportbeleidsplan aan binnen het schepencollege, het managementteam en de sportraad en koppel daar een eerste gedachtewisseling aan. Het zal de betrokkenheid en interesse van elk van deze partijen verhogen. Processtappen en tijdsverloop Belangrijk onderdeel van de voorbereiding is ook het vastleggen van het verloop en de timing van de evaluatie. Daarbij geeft men aan wanneer documenten worden voorzien en bijeenkomsten met stuurgroep, doelgroepen en inwoners. Hieronder een indicatieve tabel met de timing van de verschillende processtappen. Daarin worden volgende activiteiten gepland: 2 bijeenkomsten van de stuurgroep, met respectievelijk volgende agenda s: o Eerste bijeenkomst: vastleggen ambitie, focus, processtappen en -verloop; o Tweede bijeenkomst: analyse van de informatie en conclusies. 2 informatie- en terugkoppelingsmomenten, naar bestuur en sportraad, met volgende onderwerpen: o Toelichting startnota; o Toelichting ontwerp van conclusies. Advies van de lokale sportraad uiterlijk in mei 2011; Goedkeuring van de tussentijdse evaluatie door de gemeenteraad in juni 2011; dit met het oog op indiening bij Bloso vóór Indiening bij Bloso vóór Er worden doorheen het proces twee documenten geproduceerd: o Startnota; o Eindrapport. TIP Stem het proces van de tussentijdse evaluatie af, met het proces voor de opmaak van het voor de Vlaamse Overheid 8 Bblz_Publicatie.indd 8 14/10/10 13:06

11 Tabel 1: Processtappen en tijdsverloop (indicatief) Een goede start Aan de slag Afronding okt-nov 2010 dec/10 Stap 1: Vorming stuurgroep Stap 2: Bepalen focus en organisatie dec/10- mrt /11 apr-mei 2011 jun/11 sept-okt 2011 Stap 3: Doelstellingen en indicatoren Stap 4: Informatieverzameling en analyse Stap 5: Conclusies en rapportage Stap 6: Advies en goedkeuringsprocedure Stap 7: Communicatie GR Stap 8: Leefeffecten Stuurgroepbijeenkomsten Consulteren en/of informeren van doelgroepen en breder netwerk Rapportagemomenten: 1) startnota; 2) eindrapport; GR Goedkeuring door gemeenteraad Indienen bij BLOSO uiterlijk vóór Middelen Hier gaat het in hoofdzaak over mensen en tijd, de andere fi nanciële kosten zijn doorgaans beperkt (vergaderkosten en eventuele communicatiekosten op het einde). Voor een degelijke evaluatie dient voldoende personele ruimte te worden vrijgemaakt. Al te vaak wordt dit verwaarloosd. Bij het afwegen van de mensen en de tijd die zullen nodig zijn voor de tussentijdse evaluatie, neemt men volgende zaken in rekening: De ambitie die we ons stellen (zie hierboven); Het beschikbaar materiaal. Zijn de doelstellingen en de indicatoren in het gemeentelijk sportbeleidsplan goed uitgewerkt of is hier nog werk aan? Houdt de sportdienst veel of weinig informatie bij? Het procesverloop (zie hieronder). Voorzien we veel of weinig bijeenkomsten en terugkoppelingsmomenten. Wordt er al dan niet een bevraging georganiseerd van bepaalde doelgroepen? In het geval de gemeente over onvoldoende tijd of deskundigheid beschikt om (bepaalde onderdelen van) deze tussentijdse evaluatie uit te voeren, is het aangewezen externe begeleiding of experten in te zetten. Bij de organisatie van het proces, kan ook een student hoger onderwijs, in het kader van een stage of eindwerk, interessant werk verrichten. Voldoende tijd moet dan wel voorzien worden voor de omkadering van de student. Consultatie van stakeholders en terugkoppeling In de stuurgroep zijn reeds een aantal belangrijke personen en organisaties vertegenwoordigd. Daarnaast suggereerden we hierboven ook al een drietal bredere consultatiemomenten in ons proces. Indien gewenst kunnen nog bijkomende informatiefora of -momenten worden georganiseerd. Ook via de gemeentelijke website kan men informatie verspreiden over het proces, met eventuele oproep om te reageren; Struikelblokken en remedies Bij het begin van het proces is het ook goed te refl ecteren op mogelijke struikelblokken. Op die manier kunnen we al van bij aanvang rekening houden met te verwachten problemen en remedies inbouwen om ze te voorkomen. 9 Bblz_Publicatie.indd 9 14/10/10 13:06

12 Tabel 2: Mogelijke struikelblokken en remedies Struikelblok Voortgang stokt Proces gaat niet vooruit De mensen willen niet mee Lage betrokkenheid Gebrek aan motivatie Gebrek aan kennis, capaciteit, vaardigheden, planervaring Randvoorwaarden Er is een verschillend begrip van verschillende onderdelen of woorden Te veel mensen rond de tafel om te beslissen Remedie Zorg voor een gedragen startnota met duidelijke en realistische afspraken. Een aanjager in het bestuur is noodzakelijk (ambtelijk + politiek). Maak duidelijk aan medewerkers en stakeholders dat er iets met hun inbreng zal gebeuren. Bereid elke vergadering goed voor. Stuur info door naar alle participanten en stimuleer hen om op voorhand na te denken over de te behandelen thema s. Wijs op de wettelijke verplichting. (Kan helpen om op te starten, maar moet in de loop van het proces omslaan in intrinsieke motivatie). Herhaal de voordelen en de meerwaarde voor de eigen organisatie en overhaal de tegenstanders met argumenten waar ze gevoelig voor zijn (resultaten in de verf zetten ten aanzien van andere diensten en bevolking, mogelijkheid om te verbeteren,...). Grijp de ondersteuning aan van ISB (deze handleiding, coaching, opleiding). Investeer in externe ondersteuning en leer daaruit voor de volgende keer. Eenvoudige en duidelijke begrippen gebruiken, waar nodig uitleggen. Het consulteren van een groot aantal mensen is aanbevolen. In de stuurgroep houdt men evenwel best het aantal mensen beperkt. TIP vat alle beslissingen die werden genomen in deze voorbereidingsfase samen in een bevattelijke startnota. Deze kan worden gebruikt om ten aanzien van een breed publiek (waaronder sportraad, college, ) duidelijk te maken hoe zal worden tewerk gegaan. 2.2 Fase 2: Uitvoering Waar in de voorbereidingsfase de contouren van de evaluatie werden bepaald, vormt de uitvoering vanzelfsprekend de kern van het proces Stap 3: Oplijsten doelstellingen en indicatoren De tussentijdse evaluatie richt zich in hoofdzaak op de realisatie van de strategische en operationele doelstellingen in het lokaal sportbeleidsplan. De belangrijkste evaluatievraag is namelijk: hebben we onze vooropgezette doelstellingen behaald? Daarnaast is het ook essentieel om de relevantie te evalueren. Zijn onze doelstellingen nog geldig/relevant, drie jaar na datum? De context is mogelijks gewijzigd, er ontstonden mogelijks nieuwe noden en behoeften. Ideaal vertrekpunt voor deze tussentijdse evaluatie is een overzichtelijke tabel met alle doelstellingen uit het lokaal sportbeleidsplan, bij voorkeur gekoppeld aan indicatoren en streefdoelen, zoals weergegeven in onderstaande tabel: 10 Bblz_Publicatie.indd 10 14/10/10 13:06

13 Doelstellingen Indicatoren Streefwaarden Strategische doelstelling 1: Tegen 2012 is het aantal inwoners dat lid is van een erkende sportvereniging in de gemeente gestegen met 10% Operationele doelstelling 1: Vanaf 2009 zijn er jaarlijks minstens 2 nieuwe sportverenigingen die een samenwerkingsverband met de gemeente aangaan voor de organisatie van sportkampen Maatregel / actie: De sportdienst organiseert samen met de sportraad jaarlijks 2 infomomenten omtrent het subsidiereglement waarop minstens 80 % van de clubs aanwezig is Aantal inwoners die lid zijn van erkende sportclub Aantal sportclubs die samenwerken met de gemeente voor sportkampen Aantal aanwezige clubs op infomoment 10% meer t.o.v Elk jaar twee nieuwe 80% van de clubs In het geval de gemeente een soortgelijke tabel kan opmaken is stap 3 voltooid. De basis voor de tussentijdse evaluatie zijn echter de doelstellingen zoals men ze zelf heeft geformuleerd ten tijde van de opmaak van het sportbeleidsplan. Deze doelstellingen moeten geëvalueerd worden. De afwezigheid van indicatoren en streefwaarden vormen formeel geen belemmering voor het uitvoeren van een tussentijdse evaluatie. Het meer SMART 1 -geformuleerd zijn van doelstellingen is ongetwijfeld handig, maar ontbreken hiervan is geen belemmering voor evaluatie. Los van de formele vereisten, kunnen gemeenten er wel voor opteren om hun sportbeleidsplan te optimaliseren. Vandaar dat we in het kader van deze tussentijdse evaluatie graag volgende opties aanbieden: Optie 1: het herformuleren of herstructureren van de doelstellingen in het sportbeleidsplan; Optie 2: aanvullen of bijwerken van indicatoren en/of streefdoelen. Noot: in bijlage 3.3 vindt men tal van doelstellingen met indicatoren en streefnormen, die als inspiratie kunnen dienen voor de gemeenten Optie 1: Herstructureren of herformuleren van de doelstellingen Aanleiding voor deze optie is de ervaring dat het formuleren van doelstellingen bij de opmaak van het sportbeleidsplan als een moeilijke stap werd ervaren. Sommige doelstellingen onder de noemer strategisch zijn soms eerder operationeel. Operationele doelstellingen zijn vaak op output gericht en zijn dus eerder maatregelen of acties. Ook het formuleren van doelstelling op resultaatgerichte wijze is een verbeterpunt. Bij het (her)formuleren van doelstellingen is het aanbevolen volgend plaatje in het achterhoofd te hebben (doelstellingenboom): Figuur 4: Doelstellingenboom Strategische doelstellingen Operationele doelstellingen Maatregelen Acties 1 SMART-principe: Het Specifi ek, Meetbaar, Aanvaard, Relevant/Resultaatgericht en met aandacht voor Timing formuleren van doelstellingen. 11 Bblz_Publicatie.indd 11 14/10/10 13:06

14 Het onderscheid tussen strategische doelstellingen, operationele doelstellingen, maatregelen en acties, maken we als volgt: Strategische doelstellingen: geven de beleidseffecten aan die we willen bereiken op lange termijn (gezondheid verbeteren, gemeenschapszin verhogen, meer mensen die sport beoefenen). Operationele doelstellingen: beschrijven meer in detail hoe we de strategische doelstelling wensen te bereiken. Vaak leiden meerdere wegen naar Rome en dringt een keuze zich op. Operationele doelstellingen worden verder doorvertaald in maatregelen en eventueel acties. Op dit niveau koppelen we ook middelen, timing en verantwoordelijkheden. Voorbeeld Strategische doelstelling: : Het aantal sociaal-geïsoleerde senioren in de gemeente is tegen 2013 met 10% teruggedrongen d.m.v. sport. Operationele doelstelling(en): : Tegen 2012 nemen 25% van de alleenstaande ouderen op regelmatige basis deel aan sportactiviteiten of lid zijn van een sportvereniging. Maatregelen en acties: : in 2010 worden vijf seniorensportverenigingen fi nancieel ondersteund als ze een actieplan ontwikkelen en uitvoeren rond verhoogde sportdeelname door alleenstaande ouderen Noteer dat volgens het decreet niet verwacht wordt om acties op te nemen in het sportbeleidsplan. Het sportbeleidsplan bevat naast de doelstellingen een plan van aanpak met maatregels, een timing en een fi nanciële prognose. Wanneer men eventueel een jaaractieplan opmaakt, kunnen hierin concrete acties opgenomen worden. Naast een goede opbouw van de doelstellingen is ook de formulering vanzelfsprekend essentieel. Doelstellingen moeten voldoende evalueerbaar zijn. Als ze onvoldoende aangeven welke beleidsprestaties en effecten men wil bereiken, moet men de tijd nemen om de doelstellingen explicieter te maken. In onderstaande tekstbox formuleren we de belangrijkste aandachtspunten. Aandachtspunten bij het formuleren van doelstellingen: Formuleren doelstelling: zelfstandig naamwoord of voltooid deelwoord dat de richting van de verandering aangeeft + situatie die moet veranderen + doelgroep + mate van verandering + tijdschema. Bv. De deelname aan sportclubs van jongeren tussen 12 en 18 jaar is verhoogd met 10% tegen 2015; Voor een formuleren van doelstellingen, be SMART (zie handboek sportbeleidsplanning); Een doelstelling geeft aan wat men wil BEREIKEN (resultaat, effect, ). Een maatregel zegt wat men gaat DOEN. Strategische doelstellingen worden geformuleerd in termen van beleidseffecten (wat men wil bereiken), niet in termen van output (wat men wil doen); Een operationele doelstelling hoeft niet altijd 1 op 1 te zijn met een strategische doelstelling. Een operationele doelstelling kan ook bijdragen tot twee strategische doelstellingen; Formuleren van effecten en (prestatie)indicatoren per doelstelling. 12 Bblz_Publicatie.indd 12 14/10/10 13:06

15 Optie 2: Aanvullen of bijwerken indicatorenset en streefdoelen De operationele en strategische doelstellingen worden gekoppeld aan indicatoren. Deze laten toe om na te gaan of de gemeente succesvol is m.b.t. de gestelde doelstellingen. Zoals aangegeven in onderstaande fi guur, zijn die zoals de doelstellingen hiërarchisch gestructureerd. Het formuleren van goede indicatoren met een streefwaarde of meetnorm bleek een verbeterpunt bij de opmaak van de sportbeleidsplannen. Deze tussentijdse evaluatie is het moment bij uitstek om daar iets aan te doen. Het kan ook zijn dat men bepaalde indicatoren wil herzien. Onderstaande box vat de belangrijkste criteria samen waaraan enerzijds een goed indicatorensysteem moet voldoen en anderzijds waaraan een goede indicator moet voldoen. Figuur 5: Hiërarchie van doelstellingen en indicatoren DOELSTELLINGEN Strategische doelstellingen INDICATOREN Impactindicatoren Operationele doelstellingen Resultaatsindicatoren Maatregelen / Acties Outputindicatoren Een goed indicatorensysteem moet: - evenwichtig samengesteld worden uit een mix van verschillende categorieën en types van indicatoren: o Inputindicatoren: hebben betrekking op de middelen die worden ingezet zowel in termen van fi nanciële middelen als van personeel; o Output: hebben betrekking op de rechtstreekse acties die worden uitgevoerd in het kader van het beleid; o Resultaatindicatoren: verwijzen naar de rechtstreekse resultaten die zijn voortgekomen uit de ondernomen acties en projecten; o Impactindicatoren: verwijzen naar de (lange termijn) resultaten die voortvloeien uit de projecten en initiatieven. De impactindicatoren moeten het mogelijk maken om de relatie te leggen tussen behaalde resultaten uit projecten en initiatieven en de algemene strategische doelstellingen van het beleid. - eenvoudig en selectief zijn; - relevant zijn waarbij de geselecteerde indicatoren een signifi cante impact hebben op het beslissingsproces. Het is beter een selectie van goede en relevante indicatoren te maken dan een exhaustieve lijst die niet haalbaar is. Een goede indicator moet voldoen aan de SMART kwaliteitscriteria, zie handboek sportbeleidsplanning. 13 Bblz_Publicatie.indd 13 14/10/10 13:06

16 Tot slot werden in sommige sportbeleidsplannen per indicator ook reeds normen of streefdoelen geformuleerd. Indien dit nog niet het geval is, willen we dit sterk aanbevelen, omdat het motiverend werkt indien ze tegelijk ambitieus en realistisch worden geformuleerd. Een norm of streefwaarde is een ijkpunt waaraan gemeten waarden worden getoetst. Het kan gaan om een absolute waarde (bv. 250 deelnemers aan een evenement), een relatieve verandering (bv. 10% meer deelnemers) of een marge (tussen de 10 à 20%). Deze streefwaarden kunnen worden vastgesteld op basis van historische gegevens, wetenschappelijke studies, vergelijking met andere regio s of politieke overwegingen. Belangrijk te noteren is dat in het decreet Sport voor Allen een inspanningsverbintenis wordt gevraagd en geen resultaatsverbintenis. Het formuleren van indicatoren en streefwaarden moet dus gezien worden in de context van een sportbeleidsplan als werkinstrument voor de gemeente zelf Stap 4: Informatieverzameling en analyse Om informatie te verzamelen met betrekking tot de genoemde indicatoren, kunnen diverse bronnen worden aangesproken binnen en buiten de gemeente. Data in de gemeente: Gegevens bijgehouden door lokale sportdienst: jaarlijkse subsidieaanvragen met gegevens over de sportverenigingen,...; Financiële gegevens op niveau van gemeente, ; Gegevens van sportverenigingen; Enquêtes. Externe informatie (zie overzicht in bijlage 3.4): Publicaties en studies (bv. cijferboek lokaal sportbeleid); Databanken ter beschikking op het internet, vb. lokale statistieken. Voor indicatoren waarvoor geen hapklare data beschikbaar zijn, dient een werkwijze te worden bepaald. Een aantal courante technieken zijn de volgende: Schriftelijke vragenlijst; Interviews; Focusgroep; Casestudie. De keuze van een van bovenstaande technieken hangt samen met hetgeen men wil aan de weet komen. Kwalitatief onderzoek wordt gebruikt bij het zoeken naar verklaringen, wensen, behoeften en meningen. Kwantitatief onderzoek gaat op zoek naar de omvang van effecten in objectieve feiten (cijfers, omvang, kenmerken) en zoekt naar verbanden. Kwantitatief onderzoek geeft kortom antwoord op vragen als wat? en hoeveel? en kwalitatief onderzoek gaat in op de vragen hoe? en waarom?. Onderstaande tabel geeft meer achtergrond bij het geschikt inzetten van beide onderzoeksmethodes. Kenmerken Toepasbaarheid Methoden Kwantitatief onderzoek Verzamelen van cijfermatige gegevens Groot aantal respondenten Participatie in de breedte: vb. hoeveel leden hebben de georganiseerde sportverenigingen in de gemeente? Participatie in de diepte: vb. hoeveel uur besteden de jongeren in onze gemeente aan sport? Mate van tevredenheid over aanbod Analyse op basis databestanden Enquêtering (schriftelijk, telefonisch, on line) Kwalitatief onderzoek Verzamelen van achterliggende motivaties, meningen, wensen en behoeften Beperkt aantal respondenten bij bepaalde doelgroep, of stakeholders Achterhalen van motieven van participatie van bepaalde doelgroep Evalueren van samenwerking en uitvoeringskwaliteit binnen een organisatie en/of tussen partners Diepgaand inzicht krijgen in beleving en waardering van acties Groepsdiscussie: onder leiding van een gespreksleider praat een groep van stakeholders op basis van een checklist over een bepaald onderwerp Diepte-interview: een 1-op-1 gesprek tussen een interviewer en een respondent 14 Bblz_Publicatie.indd 14 14/10/10 13:06

17 2.2.3 Stap 5: Conclusies en rapportage Het resultaat van het evaluatieproces binnen de gemeente in het kader van de tussentijdse evaluatie mondt uit in een rapportage. Criteria voor een goede basisrapportering Bruikbaar als werkdocument voor de sportdienst; Overzichtelijk en ondubbelzinnig rapporteringdocument naar de gemeenteraad, sportraad en naar de Vlaamse Overheid (BLOSO); Volledig, bevat alle decretale elementen; Minimale onderdelen Beoordeling van de realisatie van de doelstellingen, o Met, indien aanwezig, een meting van de indicatoren; Beslissing omtrent het verder zetten of aanpassen van de doelstellingen; Nieuwe knelpunten of behoeften; 2 Bijgestuurde onderdelen van het sportbeleidsplan of een volledig bijgestuurd sportbeleidsplan. Eventueel bijkomende onderdelen Beknopte samenvatting (vooraan het document); Herhaling essentie sportbeleidsplan; Aanpak van de evaluatie; Bijlagen. We gaan hieronder verder in op de minimale onderdelen in de rapportage (verplichte onderdelen voor BLOSO) Beoordeling van de realisatie van de doelstellingen Vooreerst wordt aangegeven of de verschillende strategische en operationele doelstellingen volledig, gedeeltelijk (incl. nog bezig) of niet gerealiseerd werden. Notitie kan d.m.v. getallen, letters of kleuren, naar eigen keuze (zie hieronder): Voor elke doelstelling (strategisch en operationeel) de mate van realisatie aangeven d.m.v. cijfers, letters of kleuren: Volledig 2 Volledig 2 Volledig Groen Deels / bezig 1 Deels / bezig 1 Deels / bezig Oranje Niet 0 Niet 0 Niet Rood Motivatie op basis van indicator: Meetresultaat Meetresultaat Meetresultaat Daarnaast houdt een beoordeling van elke doelstelling ook impliciet een beoordeling in van het bijhorende plan van aanpak. Dit oordeel vermeld bij de doelstelling slaat dus ook op het plan van aanpak. Wijzigingen in het plan van aanpak dienen dus ook vermeld te worden. Het kan omwille van handigheid een keuze van de gemeente zijn om ook een oordeel te zetten bij elke maatregel of actie. 2 Indien van toepassing 3 Eventueel kan er in de rapportage ook een beschrijving van de manier van opvolging van de indicator worden meegegeven: meetmethode, meetfrequentie, meetmoment, meetbron, streefnorm (zie ook Handboek Sportbeleidsplanning). 15 Bblz_Publicatie.indd 15 14/10/10 13:06

18 Beslissing omtrent het verderzetten of aanpassen van de doelstellingen Hiermee wordt aangegeven of de doelstelling: behouden, aangepast of stopgezet wordt. Mogelijke notitievormen: Verderzetting van doelstellingen Behouden B Behouden Groen Aangepast A Aangepast Oranje Stopgezet S Stopgezet Rood Indien er beslist wordt bepaalde doelstellingen aan te passen, dient dit niet alleen vermeld, maar ook gemotiveerd te worden in de rapportage. Een aanpassing van de formulering van een doelstelling, maar zeker de formulering van een nieuwe doelstelling heeft impact op het bijhorende plan van aanpak. Eventuele wijzigingen of nieuwe elementen in het plan van aanpak moeten dan ook worden opgenomen. Met een beslissing omtrent het verderzetten of aanpassen, worden per defi nitie een eenvoudige beoordeling van de relevantie van de doelstellingen gemaakt Nieuwe knelpunten/behoeften of beleidsuitdagingen De tussentijdse evaluatie van het sportbeleidsplan kan aanleiding geven tot het formuleren van nieuwe knelpunten, behoeften of beleidsuitdagingen. De knelpunten/behoeften of beleidsuitdagingen waarvan na gegevensanalyse en evaluatie van de relevantie van de doelstellingen beslist wordt op in te spelen de komende jaren van de beleidsperiode worden opgenomen in de rapportage. Mogelijke rapporteringswijzen: Nieuwe knelpunten/behoeften of beleidsuitdagingen worden vermeld per hoofdstuk/thema van het sportbeleidsplan; Knelpunten-/Behoeftennota uit het sportbeleidsplan wordt aangevuld met nieuwe knelpunten of behoeften (zie Handboek Sportbeleidsplanning); SWOT-analyse uit het sportbeleidsplan wordt aangevuld met nieuwe elementen of beleidsuitdagingen (zie Handboek Sportbeleidsplanning). TIP Duidt in de opsomming van de nieuwe knelpunten en behoeften deze aan waarvan (analyse en evaluatie van de relevantie van de doelstellingen) beslist wordt op in te spelen. TIP Indien de knelpunten-/behoeftennota of SWOT-analyse wordt aangevuld kan je deze nieuwe elementen markeren. Noteer dat het decreet niet oplegt om een volledig nieuwe gegevensanalyse te doen via een knelpunten/behoeftennota of SWOT-analyse, maar wel om minimaal nieuwe knelpunten, behoeften of beleidsuitdagingen afzonderlijk te vermelden. 2.3 Fase 3: Goedkeuring en communicatie Stap 6: Formele advies- en goedkeuringsprocedure Eens het syntheserapport is opgemaakt, kan de formele advies- en goedkeuringsprocedure opgestart worden. Daarin wordt het ontwerpdocument voor advies voorgelegd aan de sportraad en vervolgens ter goedkeuring aan de gemeenteraad. We zien twee belangrijke actie- en aandachtspunten: In deze eindfase is het niet wenselijk dat het synthesedocument nog helemaal op zijn kop wordt gezet. In het geval nieuwe analyses of overleg worden gevraagd, komt immers het halen van de deadline in gevaar. Vermijden dat men in deze fase teruggefl oten wordt, heeft in hoofdzaak te maken met een goede en interactieve procesvoering. Het is belangrijk de leden van de sportraad en de gemeenteraadsleden niet te verrassen op het einde, maar hen doorheen het proces voldoende inkijk en inspraak te verlenen. Als met hun verzuchtingen rekening wordt gehouden tijdens het proces, moeten zij aan het eind van de rit geen opmerkingen meer formuleren. 16 Bblz_Publicatie.indd 16 14/10/10 13:06

19 Zorg dat de goedkeuring door de gemeenteraad meer is dan een formele procedurestap. Voorzie een goede toelichting in bijvoorbeeld een commissiebijeenkomst van de gemeenteraad. Deze tussentijdse evaluatie is een uitgelezen moment om het draagvlak en het enthousiasme voor het lokaal sportbeleid te verhogen Stap 7: Communicatie Het rapport met de tussentijdse evaluatie moet vervolgens vóór 1 september van het jaar van tussentijdse evaluatie (i.c. 2011) ingediend worden bij het BLOSO. Eens de tussentijdse evaluatie door de gemeenteraad is goedgekeurd, moet ook nagedacht worden over een ruimere communicatie van de resultaten. In deze fase moet worden beslist: Aan welke doelgroepen /stakeholders men de Op welke manier, via welke communicatiemiddelen resultaten van de tussentijdse evaluatie wil men dat wil doen? Ten aanzien van een breed publiek bekendmaken? communiceer je op een andere manier dan ten aanzien van politici of leden van de sportraad (maak een keuze uit onderstaande box van mogelijkheden). Communicatiekanalen (niet limitatief) Eindrapport; Samenvattende brochure; Informatiemoment voor beperkt (bv. sportraad) of breed publiek (alle inwoners); Overzichtelijke ppt-presentatie die kan gebruikt worden op bijeenkomsten, of getoond op schermen in gemeentehuis of andere publieke locaties; Persmededeling of conferentie; E-zine (mail); De gebruikelijke communicatiekanalen van de gemeente: informatieblad en website;... Hou bij de communicatie rekening met: Toegankelijke en heldere communicatie, geen vaktaal; Visuele presentatie van gegevens! Beelden en goede grafi eken lezen makkelijk; Bij brochure: schrijf niet alles in de indirecte stijl, maar laat belangrijke boodschappen uit de mond komen van medewerkers van de sportdienst, inwoners, of leden van sportverenigingen. Je hebt meteen een pak ambassadeurs erbij 2.4 Fase 4: Opvolging Stap 8: Leereffecten inventariseren en verankeren In deze laatste stap blikken we terug op het doorlopen traject en inventariseren we de leereffecten m.b.t.: Het evaluatieproces: is het proces vlot en volgens planning verlopen? was er voldoende medewerking van betrokkenen? welke leereffecten m.b.t. evaluatieaanpak kunnen we opmaken, die bruikbaar zijn om volgende evaluatie te verbeteren? Het meetsysteem: wordt door de ingezette onderzoeksmethode de juiste informatie verkregen? volstaan de gekozen indicatoren om de gewenste beleidsdoelstellingen te evalueren? Indien niet kan dit resulteren in een aanpassing van de indicatoren, in de zin van schrappen van niet meer relevante indicatoren, aanpassen van bestaande indicatoren of het toevoegen van nieuwe indicatoren. TIP Probeer in deze fase een aantal metingen te verankeren in een gestructureerd monitoringsysteem. Monitoring betekent dat men bepaalde indicatoren op permanente basis gaat opvolgen. Op die manier houdt men permanent zicht op de realisatie van doelstellingen en maatregelen en kan men bij toekomstige evaluatiemomenten terugvallen op een set van beschikbare data. 17 Bblz_Publicatie.indd 17 14/10/10 13:06

20 Bijlagen 3.1 Evaluatiecriteria Onderstaande fi guur illustreert hoe evaluatie zich kan richten op diverse aspecten van de beleidsvoering. Figuur 6: Evaluatiecriteria Problemen en uitdagingen adequaatheid Impact coherentie consistentie processen Resultaten Doelstellingen Input Acties Output duurzaamheid relevantie (kosten)effi ciëntie Doelbereiking-effectiviteit Doelstelling Relevantie Coherentie (intern) Consistentie (extern) Uitvoering Effi ciëntie Processen Resultaten Doelbereiking Effectiviteit Duurzaamheid Adequaatheid Bron: IDEA Consult Onderdelen van het schema: Problemen en uitdagingen: onderwerpen en vraagstukken waar de overheid met haar beleid wil op inspelen (sociale uitsluiting, zwaarlijvigheid,...); Doelstellingen: doelstellingen van plan/programma/maatregel; Input: middelen (geld, personeel) om plan/programma/maatregel uit te voeren; Acties: activiteiten die hebben plaatsgevonden in de uitvoering van plan/programma/maatregel; Output: verwijzen naar de uitvoering van de acties in de vorm van producten en dienstverlening (vb. aantal personen die deelnamen aan sportactiviteit, aantal sportlokalen,...); Resultaat: effecten bij de beoogde doelgroep(en) van maatregel/project/plan, direct na afl oop van de actie; Impact: effecten die zich op langere termijn voordoen bij de doelgroep(en), effecten die zich voordoen bij andere dan de beoogde doelgroepen, effecten die zich situeren op een hoger niveau (macro-economisch, maatschappelijk,...). 18 Bblz_Publicatie.indd 18 14/10/10 13:06

21 3.2 Additionele evaluatievragen Naast de centrale evaluatievraag (hebben we onze doelstellingen bereikt?) zijn er tal van andere evaluatievragen die de gemeente tijdens de tussentijdse evaluatie onder de loep kan nemen. Hieronder gaan we in op de vragen rond relevantie, effi ciëntie en coherentie. Vragen die dieper graven naar het lange termijneffect (duurzaamheid) en oorzaak-gevolg relaties (causaliteit, neveneffecten, alternatieven), laten we in deze bijdrage buiten beschouwing omdat ze meer diepgaand evaluatieonderzoek vragen. Uitgebreide evaluatie van de relevantie Zijn onze doelstellingen nog steeds geldig, drie jaar na datum? De context is mogelijks gewijzigd, er ontstonden mogelijk nieuwe noden en behoeften. De basisevaluatie van de relevantie is een verplicht en essentieel onderdeel (zie en 2.2.1) van de tussentijdse evaluatie en kan worden gerealiseerd met relatief beperkte inspanningen door een beoordeling met de stuurgroep te maken van het verderzetten of aanpassen van doelstellingen. Het kan echter interessant zijn om additioneel dit uitgebreider te behandelen voor het totale plan of voor specifi eke onderdelen. Interessante methodieken: o Het uitvoeren van een nieuwe SWOT of knelpunten/behoeftenanalyse (handboek ISB) en nagaan of de situatie is veranderd tegenover de uitgangssituatie (ten tijde van de opmaak van het sportbeleidsplan). Dit kan door het organiseren van een workshopsessie met beleidsmensen en sportactoren; o Een andere methode is het uitvoeren van een behoeften-onderzoek bij de bevolking. Op basis van die resultaten, kan men nagaan of het sportbeleid voldoende inspeelt op de reële noden van de inwoners. Effi ciëntie Bij het onderzoeken van de effi ciëntie leggen we de relatie tussen de input (geld, personeel, inspanningen) en de output (producten, dienstverlening, resultaten, impact). Wij vragen ons af of deze in een correcte verhouding staan: hadden we met dezelfde hoeveelheid middelen méér leden van de beoogde doelgroep kunnen bereiken? Of hadden we de beoogde doelgroep net zo goed kunnen bereiken met minder middelen? Dit onderzoek is minder evident. We stellen een combinatie voor van kwantitatief en kwalitatief onderzoek. Dit betekent dat we enerzijds data verzamelen m.b.t. een aantal inputindicatoren (aantal personeelsleden, budget sportdienst, aantal activiteiten,...) en anderzijds kwalitatieve gesprekken om deze data te interpreteren. 4 Deze gesprekken kunnen gebeuren met zowel interne medewerkers, collega s uit andere gemeenten als doelgroepen (bv. sportverenigingen). Indicatoren die vaak worden gehanteerd bij het beoordelen van de effi ciëntie (en aan aantal bijgaande bronnen), illustreren we in onderstaande tabel: Indicatoren Ingezette middelen voor sport (in zijn geheel of voor bepaalde acties) Aantal uren sportbegeleiding / versus aantal bereikte personen Aantal beleidsmedewerkers op de sportdienst / versus aantal inwoners Middelen voor promotie / versus bekendheid van werking Bronnen Gemeentelijke begroting / rekening Boekhouding en reservatieoverzichten sportaccomodaties Subsidie- en tariefgegevens Personeelsregisters Interviews Bezetting sportaccommodatie / versus behoeftenormen (Steunpunt Beleidsrelevant Onderzoek, 2008) 4 Interessante data voor benchmarking inzake personeel, fi nanciële middelen en infrastructuur zijn te vinden in het Cijferboek Lokaal Sportbeleid (2009). 19 Bblz_Publicatie.indd 19 14/10/10 13:06