Evaluatie Beleidsgestuurde Contractfinanciering Stichting Welzijn Aa en Hunze. BCF evaluatie SWAH 1
Inhoud 1. Inleiding... 3 2. Doel van de BCF evaluatie en vraagstelling... 3 3. Uitleg BCF methode... 4 4. Samenvatting met korte weergave conclusies en aanbevelingen... 4 5. Beleidskader en organisatieprofiel... 4 6. Proces... 5 7. Kostprijs... 5 8. Inhoud en bevindingen per deelopdracht... 6 BCF evaluatie SWAH 2
Evaluatie Beleidsgestuurde Contractfinanciering Stichting Welzijn Aa en Hunze. 1. Inleiding In 2009 is de gemeente gestart met de implementatie van BCF (beleidsgestuurde contractfinanciering) bij de Stichting Welzijn Aa en Hunze (SWAH). Het eerste jaar waarin de stichting op basis van BCF is gesubsidieerd is 2010. Bij de invoering is besloten om tussentijds te evalueren omdat wederzijds nog ervaringen moesten worden opgedaan ten aanzien van de systematiek van BCF. In de gemeenteraadsvergadering van 6 juni 2012 is naar aanleiding van de behandeling van onderzoek van de Rekenkamercommissie (RKC) inzake het jongerenbeleid door de wethouder toegezegd dat een evaluatie aan de gemeenteraad zal worden aangeboden. Deze evaluatie draagt bij aan de verdere besluitvorming rondom het gebruik van de BCF methode en de intentie om deze aanpak op termijn bij meerdere organisaties toe te passen. 2. Doel van de BCF evaluatie en vraagstelling Het doel van deze notitie is om een basis vast te stellen voor de tussentijdse BCF evaluatie van de Stichting Welzijn Aa en Hunze. Op deze manier kan effectiever en transparanter worden gestuurd op de ontwikkeling en uitvoering van beleidsdoelen in samenwerking met Stichting Welzijn Aa en Hunze. De centrale opdracht en vraagstelling kunnen als volgt worden samengevat: - In hoeverre zijn de gevraagde prestaties daadwerkelijk geleverd. - Hoe hebben de prestaties bijgedragen aan de gemeentelijke beleidsdoelen Deze evaluatie beantwoordt de centrale opdracht en vraagstelling vanuit twee invalshoeken, de kant van het proces en de inhoudelijke kant: - Het proces: de technische toepasbaarheid van het systeem BCF - De inhoud: zijn van doelstellingen van het beleid en de behaalde resultaten meetbaar. Het proces en de inhoudelijke kant zullen worden uitgewerkt naar aanleiding van de volgende uitgangspunten: Ten aanzien van de inhoud: - Visie en doelen: Is het beleidskader SMART geformuleerd? Hierbij gaan we na of de visie van de gemeente t.a.v. het gewenste maatschappelijk effect adequaat is uitgewerkt naar een SMART geformuleerde doelstelling. We nemen hierbij mee of er voldoende samenhang is tussen doelstellingen en de beoogde effecten. - (Meetbare) Resultaten en indicatoren: Zijn de in de opdrachtformulering opgenomen indicatoren geschikt om een oordeel te vormen over de effectiviteit van het beleid? Vervolgens maken we een vertaling van de doelstellingen naar resultaten. Hierin wordt meegenomen in hoeverre de indicatoren ingaan op de effectiviteit van het beleid en eenvoudig en objectief meetbaar zijn. Ten aanzien van het proces: Is de vertaling van beleid naar opdrachtformulering voldoende uitgewerkt? Is de inhoud van de aangeboden producten zodanig omschreven zodat een goede match tussen vraag en aanbod kan worden gemaakt? Is de kostprijs objectief vast te stellen en vergelijkbaar met andere aanbieders Is de kostprijs integraal toe te passen? (geen verstorende elementen door specifieke afspraken) Verantwoording van de werkelijke productinzet door Stichting Welzijn: - Tenslotte geven we een indicatie of de daadwerkelijk geleverde inzet aan producten bijgedragen heeft aan het bereiken van de resultaten en doelen. Hierbij dient opgemerkt te BCF evaluatie SWAH 3
worden dat de gewenste maatschappelijke effecten niet alleen bereikt worden door inzet van SWAH, maar dat ook andere organisaties hier aan bijdragen. 3. Uitleg BCF methode De BCF methode begint op politiek niveau waarbij gewenste maatschappelijke effecten in kaart worden gebracht en aan de hand van een geformuleerde visie richting wordt gegeven aan maatschappelijke doelstellingen. Hierbij worden de vragen vanuit de omgeving en het bestaande beleid geanalyseerd. De ambtelijke organisatie heeft een regisserende rol waarbij het verlenen van subsidie wordt gezien als een instrument om te sturen op het bereiken van de maatschappelijke doelstellingen. Op basis van de visie wordt het beleid bijgesteld en worden concrete, SMARTgeformuleerde doelen opgesteld en vertaald in resultaten die gemeten worden aan de hand van indicatoren. Op deze manier kan gerichter informatie worden verkregen over de uitvoering. Op basis van de te bereiken doelen en resultaten wordt de juiste aanpak gekozen om de prestaties te kunnen leveren. Verder wordt gelet op een goede prijs/kwaliteit verhouding en adequate manier van beoordeling van prestaties en resultaten. Met de BCF methode ontstaat er meer samenhang tussen beleid, financiën en uitvoering. Zo ontstaat een sterkere bedrijfsvoering bij organisaties waarbij gericht wordt ingespeeld op de vraag vanuit de gemeente en aanbod vanuit organisaties. In een ideaaltypisch BCF traject worden de volgende stappen gezet: 1. De overheid stelt het beleid op hoofdlijnen vast met visie die aansluit op maatschappelijke effecten. 2. Analyse van vraag en aanbod 3. De opdrachtformulering 4. De offerte van de maatschappelijke organisatie 5. De beoordeling van de offerte 6. Het contract 7. De uitvoering van het contract 8. Tussentijdse communicatie en bijstelling 9. De eindrapportage 10. Beoordeling en afrekening 4. Samenvatting met korte weergave conclusies en aanbevelingen - De algemene doelen, beleidsdoelstellingen en resultaten vertonen overlap, waarbij tekstueel vaak dezelfde informatie wordt vermeld. - De vertaling van beleid naar opdrachtformulering zou inhoudelijk concreter en meer resultaatgericht kunnen worden uitgewerkt. - De deeldoelstellingen kunnen meer SMART worden geformuleerd. Hierbij speelt vooral een rol wat de Gemeente en SWAH concreet willen bereiken en hoe dit bereikt kan worden. - De resultaatindicatoren zijn veelal eenvoudig meetbaar maar zouden nog meer de inhoud en effectiviteit van het beleid kunnen meten. gebeurt dit al. - Er is gedeeltelijke samenhang tussen de beleidsdoelstellingen en beoogde effecten. - Zoals de inhoud van de producten nu omschreven zijn is nog niet voldoende inzichtelijk of een goede match kan worden gemaakt tussen vraag en aanbod. 5. Beleidskader en organisatieprofiel De gemeente Aa en Hunze wil haar beleidsdoelstellingen doelstellingen bereiken door middel van een samenhangend pakket van voorzieningen op het terrein van wonen, welzijn, werken en zorg die aansluiten bij de vraag van inwoners. Bij de inzet van deze voorzieningen is een goede kwaliteit en passende prijs belangrijk. Tevens is belangrijk dat uitvoering geven aan het beleid erop gericht is problemen te voorkomen of problemen zo goed mogelijk op te lossen als deze zich voordoen. De opdracht aan Stichting Welzijn is onderverdeeld in deelopdrachten die gekoppeld zijn aan de eerste vier prestatievelden van de WMO. Het WMO beleidsplan 2008-2011 Samen Vitaal was het uitgangspunt voor de opdrachtformulering aan SWAH. BCF evaluatie SWAH 4
Stichting Welzijn Aa en Hunze is een maatschappelijke onderneming die zich primair richt op het maatschappelijke rendement. Onder rendement verstaat de stichting levensvoorwaarden die zodanig in balans zijn dat het tevredenheid oproept met het individuele bestaan en bijdraagt aan de sociale kwaliteit in de samenleving. SWAH beoogt om een bijdrage te leveren aan het voorkomen, signaleren en oplossen van maatschappelijke vraagstukken, gericht op een gezond sociaal klimaat in de samenleving. Ze bieden hiertoe activiteiten aan en ondersteunen activiteiten gericht op het voorkomen en opheffen van uitval van mensen. 6. Proces De eerste verkenning over de BCF methodiek heeft in 2008 plaatsgevonden door middel van een gezamenlijke startbijeenkomst. Na deze bijeenkomst zijn beide partijen intern verder gegaan met het proces. De gemeente Aa en Hunze heeft de opdracht formulering uitgewerkt en SWAH heeft de dienstencatalogus aangeleverd waarin de producten omschreven staan. In 2009 is vervolgens de opdrachtformulering besproken en bijgesteld. Op grond daarvan heeft SWAH een subsidieaanvraag voor 2010 ingediend. In deze subsidieaanvraag zijn kanttekeningen geplaatst en wijzigingen aangebracht die betrekking hebben op diverse onderdelen van de opdrachtformulering. De gemeente en SWAH hebben gezamenlijk een knelpunt gesignaleerd over de meetbaarheid van verbeteringen en het gebrek aan nulmetingen. In de opdrachtformulering van 2011 en 2012 zijn geen wezenlijke veranderingen meer aangebracht. Uit de ervaring met BCF blijkt het een voordeel te zijn dat deze methode zowel de opdrachtgever als de aanbieder dwingt om stil te staan bij het formuleren van de doelen en de prestatie-indicatoren. Tegelijkertijd blijkt het soms ook lastig te zijn om diensten te vertalen in meetbare resultaten. Dit geldt vooral voor de producten die een breed spectrum bevatten zoals participatie en sociale kwaliteit. Bij deze producten is het belangrijk om de vertaling te maken naar concrete doelen en meetbare factoren. Zowel kwalitatieve als kwantitatieve factoren zijn hierbij belangrijk om de resultaten goed te kunnen interpreteren en hiervoor verklaringen te zoeken. Enerzijds worden met de gemeente afspraken gemaakt over de inhoud van de diensten en het aantal uren dat wordt geleverd. Anderzijds wordt gekeken naar de effectiviteit van de diensten op het beleid en wordt de inhoud van de diensten/instrumenten bijgesteld als hiertoe aanleiding is. Het is van belang de juiste resultaten en indicatoren te benoemen en andere maatschappelijke factoren in kaart te brengen die op het beleid van invloed zijn. Door deze evaluatie willen we inzichtelijk maken welke zaken in het proces goed zijn gelopen en welke onderwerpen nog voor verbetering vatbaar zijn. 7. Kostprijs De integrale kostprijssystematiek die wordt gehanteerd past goed binnen de BCF methodiek en is vanaf het begin van het traject ook toegepast. De bedragen, die worden gehanteerd zijn gebaseerd op de toepassing van een integrale kostprijs. Deze kostprijs is ontstaan op basis van het totaal aan direct productieve uren, die de Stichting Welzijn Aa en Hunze beschikbaar heeft voor de uitvoering in het primair proces. Alle vaste lasten en vaste baten zijn inbegrepen in deze tariefstelling. De stichting heeft er wel voor gekozen het tarief te differentiëren naar inzet op HBO, MBO en VMBO niveau. Stichting Welzijn Aa en Hunze wil benadrukken dat het integrale tarief nog onzuivere elementen bevat. Dit zijn bijvoorbeeld huurafspraken met sommige dorpshuizen die in relatie tot het werkelijke gebruik het beeld van de kostprijs vertroebelen. Indien deze elementen buiten de kostprijs afzonderlijk worden doorberekend ontstaat een kostprijs die vergelijking in de markt mogelijk maakt. In de integrale kostprijs is geen opslag opgenomen voor het opvangen van risico s. Vandaar dat de gehanteerde tarieven geen ruimte bieden voor het kunnen opvangen van risico s zoals bijvoorbeeld het niet kunnen leveren van prestaties. BCF evaluatie SWAH 5
8. Inhoud en bevindingen per deelopdracht Prestatieveld 1: Participatie en kwaliteit: het doel is bevorderen van sociale samenhang in dorpen en behoud van voorzieningen. Speerpunten zijn: plan van aanpak brede samenwerking, toename samenwerking lokale organisaties, 10% toename bewoners participatie, handhaven community werk, inzet virtuele toepassingen. Resultaten & indicatoren Werkelijke productinzet.. Grotendeels Voldaan De doelen leveren een positieve bijdrage aan het gewenste maatschappelijke effect. Het beleid zou meer richting kunnen geven en concreter worden uitgewerkt. De regierol van het welzijnswerk kan sterker in beleid naar voren komen. Doelen specifieker en meetbaar formuleren en bijdrage van doelen aan resultaten meer inzichtelijk maken. Tijdsduur en kwantitatieve indicatoren zijn gegeven. Omschrijven wanneer en op welke manier resultaten bereikt worden. Indicatoren zijn eenvoudig meetbaar, maar zouden nog meer effect van beleid kunnen meten. Communitywerk heeft in samenwerking met andere organisaties gewerkt aan versterken van burgerkracht en vroegtijdige signalering van behoeften en problemen uit de gemeenschap, de brede samenwerking heeft een doorstart gekregen en betrokkenheid onder bewoners is gestegen. Prestatieveld 2: Jongeren, ontmoeting en overlast: Bevorderen van ontmoeting en ondersteuning jongeren, terugdringen van overlast. Speerpunten: meer gereguleerde JOAPS creëren, vermindering (subjectieve) overlast met 5% en meer frequent contact tussen community werk en jongeren, snellere doorleiding van jongeren naar ondersteuning en activiteiten. Grotendeels De rol van SWAH in contact met en doorleiding van jongeren kan sterker naar voren komen. Beleid richtinggevend en concreet, maar probleemgericht geformuleerd. Nog specifieker verwoorden op welke manier doelen bereikt worden en ingaan op haalbaarheid en draagvlak van het doel. Resultaten & indicatoren Voldaan Er is overlap tussen doelen en resultaten. Nulmeting terugdringen overlast ontbreekt. Indicatoren zijn eenvoudig meetbaar, maar kunnen nog meer het effect meten van het beleid zoals het soort problematiek en % gebruikers JOAPS van totale groep jongeren. Werkelijke productinzet Voldaan. Overlast door jongeren is gedaald met 5%, mede door bemiddeling en snellere toeleiding naar hulp. Vier gereguleerde ontmoetingsplaatsen zijn in stand gehouden. De productinhoud kan nog concreter omschreven worden: bijvoorbeeld de inhoud van activiteiten, aantal contacten ambulant jongeren werk en hoe wordt ingespeeld op veranderingen. Prestatieveld 2: Centra Jeugd en gezin: Jeugdigen kunnen zich ontwikkelen, zijn geïnformeerd en weerbaar. Speerpunt: voorlichting jongeren, invulling CJG, sluitend netwerk van hulpverlening en vroegtijdige signalering hulpvragen waarbij alle jongeren worden bereikt, afname van het aantal zelfmeldingen Jeugdzorg. Het CJG behoorde tot en met 2011 tot de dienstverlening van Stichting Welzijn. Vanaf 2012 worden de activiteiten in het CJG anders ingevuld. Dit is de reden dat een evaluatie m.b.t. dit speerpunt niet wordt meegenomen in dit document. BCF evaluatie SWAH 6
Prestatieveld 2: Peuterspeelzalen: Kinderen hebben een veilige en uitdagende omgeving om zich te ontwikkelen. Er is vroegtijdige signalering en doorverwijzing bij achterstanden. Speerpunten: Kinderen met achterstand worden eerder gesignaleerd en volgen VVE programma, aanbod peuterspeelzalen is dichtbij en financieel goed toegankelijk, Resultaten & indicatoren Goede vertaling van beleid in doelen. Een opmerking hierbij is, of het beleid voldoende aansluit bij de realiteit en situatie in de praktijk. Doelen redelijk specifiek en meetbaar geformuleerd, echter niet voldoende realistisch en acceptabel geformuleerd. Indicatoren zijn eenvoudig meetbaar, maar kunnen nog meer het effect van beleid meten: neemt bv de ontwikkelingsachterstand af door acties. Werkelijke productinzet Voldaan Peuterspeelzaalleidsters zijn geschoold in Piramide trainingen en kunnen zodoende ontwikkelingsachterstand beter signaleren en gaat m.b.v. een plan aan de slag om achterstand te verkleinen. Ouders worden geïnformeerd over de peuterspeelzaal en gemotiveerd om zich in te schrijven. Er is bereikt dat betere signalering, samenwerking en overdracht plaatsvindt tussen peuterspeelzaal, consultatiebureau, ouders en scholen. Prestatieveld 3: Wegwiezers: Zelfredzaamheid van inwoners wordt bevorderd door laagdrempelige informatie voorziening en samenwerking met organisaties. Op lokale informatie punten kunnen inwoners met en zonder zorgvraag terecht. Speerpunten: Beter bereik van inwoners met- en zonder zorgvraag, beter benutten van voorzieningen en bieden van vraaggerichte zorg, uitbreiding samenwerkingspartners en daling van het aantal zorgmijders. Resultaten & indicatoren Werkelijke productinzet Grotendeels Voldaan Goede speerpunten, echter deze zijn niet verder vertaald in beleidsdoelen en resultaten. Doelen niet voldoende SMART geformuleerd. Indicatoren zijn eenvoudig meetbaar, maar kunnen meer het effect van beleid meten. Producten zijn concreter uitgewerkt en geleverd adv geformuleerde doelen Er is gewerkt aan het vergroten van publiciteit rondom de Wegwiezers, het registreren van vragen, gewerkt aan deskundigheidsbevordering. Toename van het aantal (digitale) bezoekers is gerealiseerd. Prestatieveld 3: Ondersteuning aan Senioren: Ouderen zijn zelf verantwoordelijk voor een zinvolle invulling van hun sociale en maatschappelijke leven. Kwetsbare ouderen worden hierbij ondersteund. Speerpunten: alle senioren met een zorgvraag worden beter bereikt en voorzieningen worden beter benut. Er wordt gewerkt volgens de werkwijze van de Wegwiezer, hierbij ook aandacht voor preventie en vroegtijdige signalering. Vertaling van maatschappelijke effecten uitgewerkt in beleidsdoelen. Nog concreter omschrijven hoe wordt ingespeeld op de juiste zorgvraag en juist gebruik van voorzieningen. Doelstellingen concreet geformuleerd. Nog beter omschrijven op welke wijze ouderen nog meer worden bereikt en Wegwiezer bijdraagt aan het bereiken van het doel. Resultaten & indicatoren Voldaan Redelijke samenhang tussen doelstellingen en effecten. Indicatoren eenvoudig meetbaar. Interessant is nog om te weten naar welk soort organisaties mensen zijn verwezen. En of er een BCF evaluatie SWAH 7
stijging is in vragen en verwijzingen. Werkelijke productinzet Voldaan Producten redelijk concreet verwoord en geleverd. Ouderen zijn aangeschreven en bekender met het ondersteuningsaanbod. Er kan nog verduidelijkt worden hoe de benadering en deskundigheidsbevordering door seniorenvoorlichters eruit moet zien. Prestatieveld 4: Ondersteunen mantelzorgers: Erkenning van het belang en ondersteuning van mantelzorgers zodat mensen langer zelfstandig thuis kunnen wonen. Draagkracht van mantelzorgers neemt toe en draaglast neemt af. Mantelzorgers kunnen terecht met vragen, contact hebben en collectieve belangen worden behartigd. Speerpunten: bekendheid met reëel aantal mantelzorgers, beter bereik van mantelzorgers met ondersteuningsvraag, minder mantelzorgers vallen uit door overbelasting. Resultaten & indicatoren Werkelijke productinzet Voldaan Minder samenhang in effect en doelen en resultaten. Wel goede doelen om te bereiken, dit concreter uitwerken in doelen en resultaten. Doelen specifieker en meetbaarder formuleren hoe ze worden bereikt. Indicatoren eenvoudig meetbaar. Interessant is nog om te weten wat de inhoudelijke vragen zijn die worden gesteld en of er een stijging is in vragen en verwijzingen. Producten redelijk concreet omschreven en geleverd. Er is gewerkt aan de ontwikkeling en vergroten de bekendheid van het Centraal Punt Mantelzorg en het ondersteunen van mantelzorgers. Er wordt aandacht besteed aan het bereiken en gericht ondersteunen van grotere aantallen mantelzorgers. Prestatieveld 4: Ondersteunen vrijwilligers: In Aa en Hunze zijn er ongeveer 5000 vrijwilligers en 540 vrijwilligersorganisaties actief. Hierdoor hebben veel voorzieningen bestaansrecht en mensen kunnen meedoen aan de samenleving. Speerpunten: Het aantal vrijwilligers blijft stabiel. Het vrijwilligerswerk wordt meer gewaardeerd, ondersteund en gestimuleerd waardoor dit aantrekkelijk blijft. Ondersteuning is beter afgestemd op vragen en wensen van vrijwilligers en vrijwilligers organisaties. Meer jongeren komen in aanraking met vrijwilligerswerk en stromen door naar regulier vrijwilligerswerk. Overlap tussen maatschappelijk effect, doelen en resultaten. Doelen gaan in op diverse doelgroepen en activiteiten. Doelen en resultaten kunnen nog meer ingaan op signalen vanuit de samenleving en de manier waarop signalen worden vertaald. Resultaten & indicatoren Voldaan Resultaten en indicatoren concreet gemaakt. Werkelijke productinzet Voldaan Er is diversiteit in activiteiten en ondersteuning van vrijwilligers. Aandacht voor waardering en deskundigheidsbevordering waarvoor oa regionale bijeenkomsten worden georganiseerd. Concrete werving en bemiddeling van vrijwilligers, waaronder jongeren. Het aantal vrijwilligers is mede hierdoor gelijk gebleven en behaald. Het aantal ingeschreven organisaties is gestegen. Wisselend aanbod aan vrijwilligers vacatures. BCF evaluatie SWAH 8
Samenvatting van bevindingen: - In de praktijk vindt er frequent overleg plaats en is er samenwerking tussen organisaties. De vraag is of de uitvoering voldoende samenhang is en of relevante partners voldoende worden betrokken. - Verder is er nog beperkte sturing op streefcijfers voor SWAH. Beleid bevat beperkt meetbare doelen, hierdoor is het lastig te beoordelen in hoeverre de prestaties van SWAH bijdragen aan het bereiken van de gemeentelijke doelen. - Het geformuleerde beleid en doelen zijn beperkt meetbaar, tijdgebonden en specifiek. Kengetallen zijn beperkt gebaseerd op registraties. - Het is wenselijk dat de gemeente en SWAH snel kunnen bijsturen op veranderingen in de gemeenschap. In de praktijk is er regelmatig overleg, er vindt tussentijds echter geen bijstelling van de opdrachtformulering plaats. 1. Conclusies - Beperkte systematische monitoring van cijfers. - Niet voldoende concrete integrale visie en beleid vastgesteld. - Beperkt/geen streefcijfers vastgesteld/geen nulmeting, hierdoor beperkte toetsing mogelijk. - Het is nu lastig aan te geven in hoeverre gemeentelijke doelen zijn behaald en knelpunten zijn opgelost. 2. Aanbevelingen aan de raad. - Stel een integrale visie op en werk deze visie uit in specifieke, meetbare en tijdgebonden doelen. Werk deze doelen verder uit in prestatie afspraken. - Geef opdracht om systematisch te monitoren in hoeverre de prestaties bijdragen aan de gemeentelijke doelen. Op basis van nulmetingen, ontwikkelingen en signalen moet de opdrachtformulering jaarlijks worden geactualiseerd. SWAH dient zich expliciet te verantwoorden over behalen van afspraken, hierbij inzichtelijk maken op welke manier en op basis van welke bronnen zij haar verantwoordingsinformatie heeft opgesteld. - Maak meer gebruik van kwantitatieve gegevens zoals: aantallen geregistreerde mensen/deelnemers, overleg, tevredenheidsonderzoek, inzet van aantallen en soorten producten en ondersteuning, resultaten van afgehandelde vragen, soort problematiek. - Besteed aandacht aan toetsing van beleidskaders: hierbij zijn maatwerk, slagvaardigheid en integrale aanpak belangrijk. BCF evaluatie SWAH 9