Beoordeling doelstellingen conceptbegroting 2012 Provincie Zuid-Holland Onderzoeksopzet Amsterdam, augustus 2011
Inhoudsopgave 1. Inleiding op het onderzoek...2 1.1 Aanleiding...2 1.2 Definiëring van het object van onderzoek...2 1.3 Probleemstelling en onderzoeksvragen...3 2. Onderzoeksaanpak...4 2.1 Onderzoeksaanpak...4 2.1.1 Fase I - In kaart brengen proces totstandkoming van de begroting bij de provincie...4 2.1.2 Fase II Onderzoek naar (de doelstellingen in) de begroting...4 2.1.3 Fase III Rapportage en wederhoor...5 2.2 Beoordelingskader...5 2.3 Afbakening...7 3. Organisatie en planning...8 3.1 Organisatie...8 3.2 Planning...8 4. BIJLAGE Aanbevelingen Validatie Terugblik Coalitieakkoord...9 1
HOOFDSTUK 1 Inleiding op het onderzoek 1.1 Aanleiding Gedeputeerde Staten (GS) hebben besloten dit jaar geen separate kadernota op te stellen, omdat het Hoofdlijnenakkoord 2011-2015 beschouwd wordt als kader voor de begroting. Dit besluit was aanleiding voor de commissie Bestuur en Middelen om in een commissievergadering nader te spreken over de inhoud en inrichting van de begroting. In deze vergadering is een voorstel aangenomen om de Randstedelijke Rekenkamer te verzoeken de doelstellingen uit de conceptbegroting 2012 te beoordelen op afrekenbaarheid (SMART formulering). De Randstedelijke Rekenkamer gaat in op dit verzoek en stelt daarbij tevens vast of alle ambities uit het Hoofdlijnenakkoord zijn opgenomen in de conceptbegroting. Hiertoe is deze onderzoeksopzet opgesteld. 1.2 Definiëring van het object van onderzoek In het document Globaal plan van aanpak voor Begroting 2012-2015 is het plan van aanpak beschreven voor de vertaling van het Hoofdlijnenakkoord 2011-2015 in de begroting 2012. In dit plan van aanpak is aangekondigd dat de begroting 2012 afwijkt van de voorgaande begrotingen. In de begroting 2012 wordt per programma onderscheid gemaakt tussen maatschappelijk doel, effectindicator, taak en prestatie-indicator. De maatschappelijke doelen en effectindicatoren zijn onderdeel van de paragraaf wat willen we bereiken?. Deze doelen zijn afgeleid uit het Hoofdlijnenakkoord. Per inhoudelijk programma (5 programma s) worden maximaal 6 maatschappelijke doelen gedefinieerd, hetgeen leidt tot circa 30 maatschappelijke doelen in de begroting 2012. Deze doelen zijn vertaald in effectindicatoren. De maatschappelijke doelen zijn verder uitgewerkt in taken (maximaal 4 per doel) in de paragraaf wat gaan we daarvoor doen?. Deze taken (maximaal 120 in totaal) zijn de prestaties die geleverd worden om het maatschappelijk doel en de effectindicator te bereiken. Deze taken zijn verder vertaald in prestatie-indicatoren. Het plan van aanpak is op 22 juni 2011 besproken in de commissie Bestuur en Middelen van PS. Tijdens de behandeling hebben PS voorgesteld om de doelstellingen en indicatoren te laten beoordelen op SMART formulering door de Rekenkamer, zodat het begrotingsdebat wordt gehouden over de inhoud van de begroting. De gedeputeerde Van der Sande heeft het voorstel, om de indicatoren van de conceptbegroting voor te leggen aan de Randstedelijke Rekenkamer, overgenomen en heeft toegezegd dat wijzigingsadviezen van de Rekenkamer zo mogelijk in de conceptbegroting van 2012 worden overgenomen. Voor zover dat niet mogelijk is, gebeurt het in de conceptbegroting van 2013. In het formele schriftelijke verzoek d.d. 29 juni 2011 van de Statencommissie Bestuur en Middelen wordt verzocht om de doelstellingen in de begroting 2012 te beoordelen op SMART formuleringen. Op basis van de commissiebehandeling en het formele verzoek richt het rekenkameronderzoek zich op de formulering van de maatschappelijke doelen en effectindicatoren. In figuur 1 is de doelenboom opgenomen uit het factsheet Kaderstelling van maart 2011 van de Randstedelijke Rekenkamer. Dit onderzoek richt zich op de bovenste twee blokken van de doelenboom en monitoring van het figuur ( wat willen we bereiken? ). De beoordeling van de formulering vindt plaats op de maatschappelijke doelen inclusief de bijbehorende effectindicatoren. Daar waar deze niet SMART geformuleerd zijn, wordt nagegaan of het maatschappelijke doel wellicht SMART is uitgewerkt in prestaties en activiteiten ( wat gaan we daarvoor doen?). Bij alle 2
maatschappelijke doelen wordt beoordeeld of de activiteiten en de prestatie-indicatoren in lijn liggen met het maatschappelijk doel. 3 W-vragen Doelenboom Monitoring Wat willen we bereiken? Beoogd maatschappelijke effect/algemene doelstelling Operationele doelstelling Effect Indicator Effect Indicator Wat gaan we daarvoor doen? Prestatie Activiteiten Prestatie Activiteiten Prestatie Indicator Proces Indicator Wat mag het kosten? Middelen Figuur 1 Drie W-vragen, doelenboom en monitoring 1.3 Probleemstelling en onderzoeksvragen De probleemstelling voor het onderzoek bestaat uit een doel- en een vraagstelling: Doelstelling: Beoordelen van de formulering van de doelstellingen uit de conceptbegroting 2012 aan de hand van het Hoofdlijnenakkoord en SMART-criteria. Beoordelen of bij het opstellen van de begroting 2012 rekening is gehouden met de aanbevelingen uit de Validatie Terugblik Coalitieakkoord 2007-2011 van de Randstedelijke Rekenkamer (zie bijlage). Vraagstelling: In hoeverre zijn alle ambities uit het Hoofdlijnenakkoord 2011-2015 overgenomen in doelstellingen in de conceptbegroting 2012 en is de formulering van deze doelstellingen SMART en in lijn met de aanbevelingen uit de Validatie Terugblik Coalitieakkoord 2007-2011? De vraagstelling wordt beantwoord aan de hand van de volgende onderzoeksvragen (zie tabel 1). Tabel 1 Onderzoeksvragen Nr. Onderzoeksvragen 1. Zijn de aanbevelingen uit het onderzoek Validatie Terugblik Coalitieakkoord 2007-2011 opgevolgd door GS? 2. Zijn alle ambities uit het Hoofdlijnenakkoord 2011-2015 vertaald in maatschappelijke doelstellingen in de conceptbegroting 2012 en dekken deze doelstellingen de ambities voldoende? 3. Voldoen de formuleringen van de maatschappelijke doelstellingen aan de beoordelingscriteria? 3
HOOFDSTUK 2 Onderzoeksaanpak 2.1 Onderzoeksaanpak De aanpak van het onderzoek zal verlopen in drie fasen: 1. In kaart brengen van het proces van totstandkoming van de begroting bij de provincie; 2. Onderzoek naar (de doelstellingen in) de begroting; 3. Rapportage en wederhoor. 2.1.1 Fase I - In kaart brengen proces totstandkoming van de begroting bij de provincie In de Validatie Terugblik Coalitieakkoord 2007-2011 heeft de Randstedelijke Rekenkamer aanbevelingen gedaan aan de provincie Zuid-Holland over de wijze waarop verantwoording over doelstellingen plaats kan vinden. Aanbevelingen 1, 3, 4 en 5 hebben betrekking op het totstandkomingsproces en monitoring van doelstellingen. In fase I van het onderzoek wordt door middel van een interview beoordeeld in hoeverre de aanbevelingen over de spelregels, het monitoren van de doelstellingen in de P&C cyclus en de rapportage zijn opgevolgd. Aan de orde komen op welke wijze de ambities van het coalitieakkoord door de provincie zijn vertaald in de conceptbegroting en hoe de provincie de individuele doelstellingen onderkent. Aanbeveling 2 uit het eerdere rekenkameronderzoek heeft betrekking op de formulering van doelstellingen. Opvolging van aanbeveling 2 wordt in fase II van het onderzoek in detail beoordeeld. 2.1.2 Fase II Onderzoek naar (de doelstellingen in) de begroting Ten aanzien van de maatschappelijke doelstellingen en effectindicatoren vinden de volgende beoordelingen plaats: a. Beoordeling vertaling ambities uit Hoofdlijnenakkoord naar doelstellingen en effectindicatoren in de conceptbegroting; b. Beoordeling van de formulering van de doelstellingen en effectindicatoren uit de conceptbegroting aan de hand van de beoordelingscriteria. a. Vertaling ambities uit Hoofdlijnenakkoord naar doelstellingen Fase II-a start met het identificeren van de individuele doelstellingen uit de conceptbegroting. Vervolgens wordt vastgesteld of alle ambities uit het Hoofdlijnenakkoord door het college van Gedeputeerde Staten (GS) vertaald zijn in doelstellingen in de conceptbegroting. Ook wordt beoordeeld of de ambities volledig gedekt zijn door de doelstellingen in de conceptbegroting. De uitkomsten van deze werkzaamheden worden tussentijds besproken met de provincie Zuid-Holland. b. Beoordeling formulering van de doelstellingen Alle maatschappelijke doelstellingen en effectindicatoren uit de conceptbegroting worden beoordeeld aan de hand van opgestelde beoordelingscriteria volgens het principe van SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdgebonden). In paragraaf 5 van deze onderzoeksopzet worden de beoordelingscriteria nader toegelicht. Daar waar de maatschappelijke doelstellingen en effectindicatoren niet SMART geformuleerd zijn, wordt nagegaan of het maatschappelijke doel wellicht SMART is uitgewerkt in prestaties en activiteiten ( wat gaan we daarvoor doen?). 4
Vervolgens wordt nagegaan in hoeverre aanbeveling 2 uit het rekenkameronderzoek Validatie Terugblik Coalitieakkoord 2007-2011 omtrent de formulering van doelstellingen is gevolgd. Deze fase wordt afgesloten met gesprekken met de directeuren van de provincie Zuid-Holland, waarbij de feitelijke bevindingen over de doelstellingen in relatie met de beoordelingscriteria en de ambities uit het Hoofdlijnenakkoord worden besproken. 2.1.3 Fase III Rapportage en wederhoor De bevindingen worden vastgelegd in een rapportage. Gezien de korte doorlooptijd van het onderzoek kan het reguliere tijdspad voor feitelijke en bestuurlijke wederhoor niet worden gehanteerd. Voor belangrijke bevindingen wordt in diverse fasen van het onderzoek dan ook tussentijds feitelijke wederhoor toegepast met de ambtelijke organisatie van de provincie. De eindrapportage, inclusief conclusies en aanbevelingen, wordt gelijktijdig in feitelijke en bestuurlijke wederhoor gegeven met een doorlooptijd van vijf werkdagen (zie ook de paragraaf 7 Planning). Gezien de korte doorlooptijd van de wederhoor is een bestuurlijk interview met de verantwoordelijk gedeputeerde mogelijk van belang voor een vlotte afwikkeling van het bestuurlijk wederhoor. Op het moment van het opstellen van deze onderzoeksopzet is nog niet duidelijk hoe de conceptbegroting er uitziet en of de uitkomsten van het onderzoek aanleiding geven voor dit bestuurlijk interview. De reactie op de feitelijke en bestuurlijke wederhoor en eventuele bevindingen uit het eventuele bestuurlijk interview worden meegenomen in de opstelling van de rapportage. 2.2 Beoordelingskader Voor fase II is op basis van het Globaal plan van aanpak voor Begroting 2012-2015 een beoordelingskader uitgewerkt voor beoordeling van de formulering van de doelstellingen van de conceptbegroting 2012. Het beoordelingskader is onder voorbehoud van de conceptbegroting 2012, welke op het moment van opstellen van deze onderzoeksopzet (medio augustus), nog niet beschikbaar is. Het beoordelingskader voor de doelstellingen is uitgewerkt in tabel 2. Tabel 2 Beoordelingskader doelstellingen uit conceptbegroting Norm Criterium 1. Het maatschappelijke doel heeft een Het maatschappelijke doel komt voor in het Hoofdlijnenakkoord. directe relatie met één van de Alle ambities uit het Hoofdlijnenakkoord komen terug in de begroting. hoofdlijnen uit het Hoofdlijnenakkoord 2. Het maatschappelijke doel voldoet aan de SMART-criteria of is SMART gemaakt in de effectindicator. 3. De activiteiten hebben een directe relatie met het maatschappelijke doel. 4. Optioneel: De activiteiten zijn SMART geformuleerd. 5. De prestatie-indicatoren zijn SMART geformuleerd. 6. Aan activiteiten worden financiële middelen toegekend. Zie separate uitwerking van SMART criteria in tabel 3. Als het maatschappelijke doel niet of onvoldoende SMART is, wordt de effectindicator in de beoordeling betrokken. Het maatschappelijke doel is vertaald in één of meer activiteiten. Deze activiteiten sluiten aan bij de maatschappelijke doelen en dekken de doelstelling volledig of grotendeels af. Zie separate uitwerking van SMART criteria in tabel 3. Als het maatschappelijke doel niet of onvoldoende SMART is, wordt nagegaan of de taak verder uitgewerkt is in een prestatie-indicator. Zie separate uitwerking van SMART criteria in tabel 3. Voor iedere activiteiten welke is gerelateerd aan een maatschappelijk doel, is in de paragraaf wat mag dat kosten? een bedrag toegekend. 5
Zoals in tabel 3 is aangegeven, worden de activiteiten in de beoordeling van de SMART-criteria betrokken indien het maatschappelijk doel op voorhand niet SMART is geformuleerd. Denk hierbij bijvoorbeeld aan een doelstelling om een krachtig en slagvaardig bestuur te vormen (uit programma 6 van de vorige coalitieperiode). Deze doelstelling is door activiteiten nader uitgewerkt en SMART gemaakt. In dat geval worden deze activiteiten ook in de beoordeling meegenomen. Indien het maatschappelijk doel SMART is geformuleerd, wordt vastgesteld of de activiteiten het doel niet afzwakken (zie ook uitleg Specifiek in tabel 3), maar wordt niet beoordeeld of de activiteiten op zichzelf ook SMART zijn. De SMART-criteria zijn uitgewerkt in tabel 3. Waar het woord doelstelling in tabel 3 is gebruikt, kan respectievelijk het woord activiteit gelezen worden. Tabel 3 Beoordelingskader SMART-criteria Norm Criterium Voorbeeld Is de doelstelling specifiek? Voor alle betrokkenen is op elk onderdeel van de doelstelling duidelijk wat bereikt moet worden. De onderdelen van de doelstelling zijn niet voor meerdere uitleg vatbaar. Wanneer het niet mogelijk is de doelstelling kort te Betere bereikbaarheid: is het voldoende duidelijk wanneer de bereikbaarheid beter is? Wat wordt onder OV-gebruik verstaan? Tram, bus, trein en/of metro. formuleren, wordt de doelstelling voorzien van een uitleg of verder uitgewerkt in een indicator. De uitleg of indicator mag de doelstelling niet afzwakken. Is de doelstelling meetbaar? De doelstelling is meetbaar (kwantitatief of kwalitatief) gemaakt zodat objectief is vast te stellen of sprake is van realisatie van de doelstelling. Intensivering van het OV-gebruik is pas meetbaar als het bijvoorbeeld wordt uitgedrukt in het aantal reizigerskilometers openbaar vervoer. Is de doelstelling afgesproken? Is de doelstelling realistisch? Is de doelstelling tijdsgebonden? De doelstelling is direct afgeleid van de hoofdlijnen van het Hoofdlijnenakkoord (met uitzondering van de doelstellingen die voortkomen uit de wettelijke taak). De doelstelling moet direct of indirect door de provincie beïnvloedbaar zijn. Het is duidelijk gedurende welk tijdvak of op welk tijdstip de doelstelling gerealiseerd dient te zijn. Voor sanering van verspreid liggend glas heeft de provincie een financierende rol. Dit dient expliciet uit de doelstelling te blijken door aan te geven voor hoeveel hectare afspraken met de gemeenten gemaakt zijn in plaats van te benoemen hoeveel hectare gesaneerd is. Ieder SMART criterium wordt beoordeeld op een schaal van 1 tot en met 5, waarbij 1 inhoudt dat er niet aan het criterium wordt voldaan en 5 inhoudt dat volledig aan het criterium wordt voldaan. Maximaal kan een doelstelling 25 punten scoren. Als een doelstelling meer dan 20 punten scoort wordt verondersteld het doel SMART is geformuleerd. Ter illustratie is een voorbeeld voor het criterium meetbaar opgenomen in tabel 4. 6
Tabel 4 Voorbeeld voor score op beoordelingscriterium meetbaar Voorbeeld van beschrijving van een doelstelling / activiteit Score op meetbaar Het OV-gebruik wordt de komende periode verder geïntensiveerd 1 Het OV-gebruik wordt de komende periode met 10% geïntensiveerd 2 Het OV-gebruik neemt in de komende 4 jaar met 10% toe ten opzichte van het huidige OV gebruik (nulmeting 3 onbekend) Het OV-gebruik neemt toe doordat het aantal reizigerskilometers in de komende 4 jaar met 10% toeneemt ten 4 opzichte van het huidige OV gebruik van x. Het OV-gebruik wordt verder geïntensiveerd doordat het aantal reizigerskilometers in 2012 zal toenemen met 5 x (of x % t.o.v. de nulmeting), in 2013 met x km etc. 2.3 Afbakening Het onderzoek richt zich op de doelstellingen uit de conceptbegroting 2012. De afbakening van het begrip doelstelling is opgenomen in paragraaf 1.2. De beoordeling richt zich op de inhoudelijke programma s, waarvoor maatschappelijke doelstellingen zijn geformuleerd. Als onderdeel van de beoordeling wordt nagegaan of financiële middelen toegekend zijn ter realisatie van de activiteiten. De inhoudelijke beoordeling van de plausibiliteit van de begrote financiële middelen ter realisatie van de doelstellingen valt echter buiten de scope van dit onderzoek. In de beoordeling worden de doelstellingen uit de programma s betrokken. De paragrafen vallen buiten het onderzoek. 7
HOOFDSTUK 3 Organisatie en planning 3.1 Organisatie Het onderzoek wordt uitgevoerd door het onderzoeksbureau Zaker onder verantwoordelijkheid van het MT van de Rekenkamer. De onderzoekers van Zaker zijn: drs. Henriëtte Boerma RA; drs. Filip den Eerzamen RO; drs. Eline Vree RA; drs. Peter Bakhuizen RA. 3.2 Planning In tabel 5 is de planning opgenomen. De Bestuurlijke Nota, de reactie van GS en het nawoord van de Rekenkamer vormen samen het eindrapport. De doorlooptijd van het onderzoek is kort, binnen een maand na ontvangst van de conceptbegroting dient rapportage plaats te vinden. De oplevering van het eindrapport aan PS staat gepland voor 21 oktober. Om dit te kunnen realiseren is een tijdige beschikbaarheid van de conceptbegroting 2012 van GS voor de Rekenkamer van evident belang. Fase I wordt uitgevoerd in augustus en september, voorafgaand aan de ontvangst van de conceptbegroting. Fase II volgt na ontvangst van de conceptbegroting. De detailplanning voor fasen I, II en III is weergegeven in tabel 5. Tabel 5 Detailplanning fasen I, II en III augustus September Oktober 29 tot 31 1 tot 13 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 3 4 5 6 7 10 11 12 13 14 17 18 19 20 21 Fase I analyse totstandkoming begroting Fase II Ontvangst voorlopige conceptbegroting check op mutaties tov eerste concept Ontvangst conceptbegroting Confrontatie coalitieakkoord - begroting Bespreken uitkomsten confrontatie Beoordelen doelstellingen Afstemming onderzoekers Bespreken directeuren Fase III Rapportage tbv wederhoor Afstemming rekenkamer Wederhoor (feitelijk en bestuurlijk) Bestuurlijk interview gedeputeerde middelen (optioneel) Terugkoppeling wederhoor Definitieve rapportage naar provincie 8
BIJLAGE Aanbevelingen Validatie Terugblik Coalitieakkoord Aanbeveling 1: Het implementeren van leerervaringen en bevindingen uit het validatieproces De Rekenkamer heeft, naast de validatie van deze Terugblik, met dit onderzoek beoogd aanbevelingen te doen over de wijze waarop in de toekomst verantwoording afgelegd kan worden over de doelstellingen uit het Coalitieakkoord en de validatie hiervan. De Rekenkamer beveelt GS dan ook aan om de leerervaringen en bevindingen uit het validatieproces van de Terugblik te gebruiken bij toekomstige verantwoordingen. Aanbeveling 2: Het formuleren van de doelstellingen in het Coalitieakkoord Het is van belang al bij de totstandkoming van het Coalitieakkoord of een hieruit voortvloeiend collegeprogramma te anticiperen op toekomstige evaluaties. De Rekenkamer beveelt aan om deze documenten te ontwikkelen aan de hand van de volgende uitgangspunten: Formuleer de doelstellingen SMART. Stel spelregels op (tussen GS en PS) over definities, mijlpalen, bijstelling van doelstellingen. Aanbeveling 3: Het (tussentijds) monitoren van de doelstellingen De Rekenkamer beveelt GS aan om de doelstellingen uit het Coalitieakkoord verder in te bedden in de planningen control cyclus. Verdere inbedding vindt plaats door: 1. De doelstellingen uit het Coalitieakkoord te gebruiken als leidraad voor de begrotingen en (tussentijdse) verantwoordingen. Idealiter wordt jaarlijks verantwoording afgelegd over de voortgang (op de mijlpalen) van de doelstellingen uit het Coalitieakkoord(zie hiervoor ook aanbeveling 2). 2. Registraties op orde te brengen die nodig zijn om te kunnen rapporteren over de doelstellingen uit het Coalitieakkoord en meetinstrumenten te ontwikkelen voor(de mijlpalen voor) deze doelstellingen. 3. Te rapporteren over tussentijdse resultaten op de doelstellingen uit het Coalitieakkoord als onderdeel van de planning- en control cyclus. Aanbeveling 4: Het rapporteren over alle doelstellingen De Rekenkamer beveelt GS aan om over alle doelstellingen uit het Coalitieakkoord verantwoording af te leggen. Mochten er zwaarwegende argumenten zijn om over bepaalde doelstelling geen verantwoording af te leggen, dan dienen deze afwegingen inzichtelijk te zijn. Aanbeveling 5: Het verhogen van de kwaliteit van de rapportage De Rekenkamer beveelt GS aan om de kwaliteit van de verantwoording over de behaalde resultaten te verhogen door: 1. Gebruik te maken van concrete formuleringen en bewoordingen in de verantwoording, zodat duidelijk is welk resultaat is behaald en het resultaat ook te valideren is. 2. Indien de doelstelling niet is gehaald, alleen te rapporteren over de reden waarom de doelstelling niet is gehaald. Andere informatie is minder relevant. 3. Intern vast te stellen dat de gerapporteerde resultaten juist en onderbouwd zijn. 4. De betrouwbaarheid van opgaven van derden, waarop behaalde resultaten zijn gebaseerd, door een onafhankelijke partij te (laten) verifiëren. 5. In de rapportage onderscheid te maken tussen daadwerkelijke realisatie en contextinformatie, zodat in één oogopslag inzichtelijk is wat de realisatie is. 6. Verwachtingen te vermijden die niet met voldoende zekerheid te valideren zijn. 7. Beknopte verslaggeving over behaalde resultaten in relatie tot de doelstellingen. 9
Colofon RANDSTEDELIJKE REKENKAMER Randstedelijke Rekenkamer Teleportboulevard 110 1043 EJ Amsterdam 020 58 18 585 TELEFOON 020 58 18 586 FAX info@randstedelijke-rekenkamer.nl www.randstedelijke-rekenkamer.nl Amsterdam Augustus 2011 EMAIL INTERNET 10