E valuatie perceptie formats Begrotingsc yclus

Transcriptie

1 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 1 uit 28 E valuatie perceptie formats Begrotingsc yclus I n h o u d 0 Inleiding Samenvatting van de SWBC-adviezen Interviews Statenleden Interview Gedeputeerde Financiën Vragen aan AFD Vragen accountant Vragen RRK Interviews Statenleden Interview Gedeputeerde Financiën Vragen aan AFD Vragen Accountant Vragen RRK Volledig inhoud

2 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 2 uit 28 0 Inleiding Inmiddels zijn van de begrotingscyclus 2011 de Kaderbrief, de Begroting en de Zomernota volgens het door de Staten gewenste format opgeleverd. Met besluit nr. 89 d.d. 13 december 2010 hebben de Staten de SWBC opgedragen de perceptie van het nieuwe format te evalueren. Hoofddoel van de SWBC met deze evaluatie is, PS te adviseren GS verbeteringen door te voeren. Deze schriftelijke en mondelinge interviews met alle bij de begrotingscyclus betrokkenen bedoelen een kwalitatief beeld te geven van de perceptie van het nieuwe format. De gebundelde adviezen zullen middels een voordracht aan GS voorgelegd worden. De SWBC adviseert PS GS te vragen alle adviezen uit te voeren op alle nog op te leveren stukken. 2

3 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 3 uit 28 1 Samenvatting van de SWBC-adviezen 1.1 Interviews Statenleden Advies SWBC _papier /.pdf Vraag GS, P&C-stukken gelijktijdig op papier en als.pdf te versturen. Vraag GS, een proces voor geheime stukken in te richten, dat ook digitale versturing mogelijk maakt. Overweeg de Griffie te vragen, op veel kortere termijn dan in de huidige projecten voorzien, Statenleden met digitale tools te faciliteren. Vraag GS, de P&C-stukken beter op de site te ontsluiten, bij voorkeur met een indexering binnen en door cyclussen die diagonale en longitudinale vergelijking mogelijk maakt. Geef de gepubliceerde.pdf-files natuurlijke, systematische namen. Vraag GS, de toegezegde verbeteringen aan BABS versneld door te voeren. Faseer de papieren versie pas uit, als de digitale goed functioneert. Overweeg de Griffie te vragen een helpdesk en workshops te faciliteren voor gebruik van de.pdf-versies van de P&C-stukken. Werkt u voornamelijk op papier of voornamelijk met de.pdf-versie op de computer, een laptop of een Ipad? Advies SWBC _kaderstelling / controle Vraag GS, de mutaties (in de Zomernota) eenduidig en consequent toe te lichten. Overweeg extra ontsluitingsmogelijkheden, om dwarsverbanden mogelijk te maken. Vraag GS, ontsluiting van de P&C-documenten in.pdf-catalogusfiles te verzorgen. Overweeg nog eens kritisch naar de gewenste mate van detaillering te kijken, door het huidige format met voorheen de productencatalogus te vergelijken. Helpt het nieuwe format u bij kaderstelling en controle? Advies SWBC _verwachtingen Vraag GS, de output consequenter SMART te formuleren. Overweeg, een begroting in één oogopslag te ontwerpen en aan het format toe te voegen. Overweeg, de causaliteit in de causale cascade kritisch te -laten- evalueren in een adviesrapport met aanbevelingen. Overweeg, een aansluiting tussen begroting en productencatalogus te laten onderzoeken. Vraag GS, de hyperlinks beter te verzorgen. Vraag GS, de toelichtingen beter te redigeren, en de relaties tussen tekst en cijfers beter te expliciteren. 3

4 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 4 uit 28 Overweeg, te laten onderzoeken of en hoe behandeling van de P&C-stukken in de commissies geprofessionaliseerd kan worden. Overweeg, GS te vragen, voor de Kaderbrief een format te gebruiken dat beter aansluit bij de ander drie P&C-stukken. Waar voldoet het nieuwe format niet aan uw verwachtingen? Advies SWBC _aanbevelingen Overweeg de relevantie van diepere detaillering van cijfers en toelichtingen in het format te onderzoeken. Overweeg GS te vragen, de beleids- en bestedingsruimte bij de verschillende operationele doelen aan te geven. Neem dat op in het format. Overweeg GS te vragen, per doel relaties tussen risico, weerstand en dekking aan te geven. Neem dat op in het format. Vraag de SWBC de resultaten van haar inspanningen na ontbinding van de werkgroep te borgen in de organisatie. Vraag de Griffie een actieve rol te spelen in hulp aan en opleiding van Statenleden rond de P&C-documenten. Hebt u aanbevelingen voor verbeteringen aan het format? Advies SWBC _nog iets vergeten? Overweeg de aansluiting van opgeleverde P&C-documenten bij letter en geest van het format te -laten- monitoren, bijvoorbeeld als vast punt in de auditopvolging aan PS. Zijn wij nog iets vergeten te vragen? 1.2 Interview Gedeputeerde Financiën Advies SWBC Overweeg een inter-duale evaluatie van de causale cascade. Ondersteun het beleggen van de procesverantwoordelijkheid bij de concerncontroller. Interview Gedeputeerde Financiën 1.3 Vragen aan AFD Advies SWBC _vooraf Vraag GS om de toegevoegde hoofdstukken begroting in een oogopslag en inleiding te relateren aan de andere hoofdstukken, waar mogelijk ook in de vorm van hyperlinks. Vraag GS geen beleidsinformatie toe te voegen in als samenvatting bedoelde hoofdstukken, noch de nuance van informatie anders te leggen. Vooraf 4

5 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 5 uit 28 Advies SWBC _ICT-ondersteuning Vraag GS de functionaliteiten van het bij PS-besluit geleverde format te - laten- implementeren in alle bij de productie van P&C-documenten gebruikte applicaties. Vraag GS, het ook voor hyperlinking vanuit P&C-documenten onontbeerlijke versiebeheer van voor de begrotingscyclus relevante documenten in het stateninformatiesysteem en het provinciaal documentair informatiesysteem op zo kort mogelijke termijn zodanig te verbeteren, dat kaderstellende en controlerende taken van PS niet meer door onvolkomen versiebeheer gefrustreerd worden. Vraag GS daarbij de aanbevelingen van de rekenkamer uit 2008 te betrekken. Vraag GS alle nodige inspanning te verrichten om de hyperlinking conform format snel op meer dan het huidige minimumniveau te brengen. Vraag GS de export van data uit SAP zo in te richten, dat de functionaliteit die het format vraagt niet aangetast wordt, en dat de integriteit van de gegevens in de aan de Staten voorgelegde documenten gewaarborgd is. Vraag een onderzoek te laten doen naar de foutgevoeligheid van de huidige data-koppelingen tussen de SAP-administratie, de Basisadministratie en de aan de Staten in P&C-documenten geleverde informatie, en naar de controleerbaarheid van de integriteit van aan de Staten geleverde P&C-data. Sluit het format aan bij uw eigen werkprocessen en bij uw eigen ICT-ondersteuning? Advies SWBC _Verwachtingen Geen. Waar voldoet het nieuwe format niet aan uw verwachtingen? Advies SWBC _aanbevelingen_causale cascade en _omgevingsfactoren Geen. Hebt u aanbevelingen voor verbeteringen aan het format? Advies SWBC _aanbevelingen_tabellen Vraag het ambtelijk apparaat toe te lichten waar financieel-technische aspecten problemen lijken te geven, en welke oplossingen het voorstelt. Onderzoek samen met het ambtelijk apparaat, wat een optimale detaillering voor de apparaatskosten is. Hebt u aanbevelingen voor verbeteringen aan het format? 1.4 Vragen accountant Advies SWBC _resultaat format In navolging van de accountant lijkt het de SWBC zinnig een onderzoek te doen naar de causale relaties tussen de doelen in de verschillende programma s. Heeft u kritiek op het resultaat? 5

6 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 6 uit Vragen RRK Advies SWBC Geen 6

7 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 7 uit 28 2 Interviews Statenleden Bijna alle fracties hebben schriftelijk en/of in interview gereageerd. De antwoorden zijn hier per vraag samengevoegd, om een modaal kwalitatief beeld van de ervaringen van de Staten te geven. Er lijken geen politieke verschillen tussen de antwoorden van de verschillende fracties te zijn. Werkt u voornamelijk op papier of voornamelijk met de.pdf-versie op de computer, een laptop of een Ipad? Papier is nog steeds de basis voor de P&C stukken. Zoeken op specifieke onderwerpen gaat digitaal. 2 D66 leden werken met een ipad, 2 leden met een laptop en 2 leden met de desktop computer. De fractiemedewerker zowel laptop als desktop computer. Voornamelijk met de stukken op papier omdat we die krijgen toegestuurd. Voor onderweg gebruik ik de tablet en wanneer ik moet citeren uit de stukken de computer. Beiden. Ook dit jaar kwam de papieren versie eerder en daar komen dan de aantekeningen in en die blijven bruikbaar. Voor zoekwerk wordt ook de digitale versie gebruikt. Uitsluitend met de versie op papier. Noodgedwongen veelal papier, want de e-versie komt veel later. Met papier, thuis ook wel.pdf op de PC. Maar ik krijg de.pdf niet goed op mijn Android-tablet. Papier, alleen maar. Vooral papier, soms.pdf handig, maar wel lange leercurve, zou wel hulp willen. Wat zijn de voor- en nadelen van papier en.pdf voor uw Statenwerk? Aantekeningen maken, heen en weer bladeren en papieren tags erin hangen is nog steeds makkelijker met papier. Tijdens vergadering is zoeken in papieren document ook gemakkelijker. Communicatie via over discussiepunten wordt wel steeds lastiger vanwege de voortdurende -tsunami. De combinatie papier en scherm is nog steeds handig. Omdat niet iedereen dezelfde digitale tools gebruikt is uitwisselen van digitale documenten niet vanzelfsprekend. Ook kan niet iedereen overal online zijn (ontbreken van wifi of internet abonnement). Statenleden werken veel vanaf verschillende werkplekken. Papier: je kijkt eens naar iets anders dan een computerscherm vanuit de luie stoel. Nadeel is dat er vaak weinig ruimte is voor aantekeningen. Het nadeel van pdf is dat je relatief snel het overzicht verliest waardoor werken chaotisch is. Het voordeel is het kopiëren en plakken in een zodra je vragen hebt. Bovendien is pdf overal toegankelijk. 7

8 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 8 uit 28 In praktische zin is papier er eerder, maar dat zou niet hoeven. Digitaal werken maakt zoeken eenvoudiger en dwingt tot efficiënter lezen. Op papier is het overzicht van de tekst natuurlijker, heeft ook met ervaring te maken. Papier komt door de brievenbus, digital moet binnengehaald worden en dat is momenteel nog bewerkelijk. Voordeel van papier is makkelijke raadpleging en vergelijking van gegevens in verschillende onderdelen van de documenten. Bovendien de mogelijkheid aantekeningen te maken in de stukken. Papier bladert voor mij nog sneller dan.pdf, en ik kan er makkelijker in terugzoeken. Zoeken naar achtergrondinformatie of naar historie gaat in.pdf s beter. Geheime stukken komen nog steeds alleen op papier. We worden wel sterk gehinderd door de belabberde ontsluiting op de site en de onbetrouwbaarheid van BABS. De rare inhoudsloze systeemnamen van de.pdf-files helpen niet echt. Ik zou wel willen kunnen vergelijken met vorige jaren, maar dat kan nu nog niet. Lezen gaat beter in het boek, zoeken kan met.pdf wel beter. Zoeken met.pdf is handig, maar ik gebruik het nog niet zoveel. Advies SWBC _papier /.pdf Vraag GS, P&C-stukken gelijktijdig op papier en als.pdf te versturen. Vraag GS, een proces voor geheime stukken in te richten, dat ook digitale versturing mogelijk maakt. Overweeg de Griffie te vragen, op veel kortere termijn dan in de huidige projecten voorzien, Statenleden met digitale tools te faciliteren. Vraag GS, de P&C-stukken beter op de site te ontsluiten, bij voorkeur met een indexering binnen en door cyclussen die diagonale en longitudinale vergelijking mogelijk maakt. Geef de gepubliceerde.pdf-files natuurlijke, systematische namen. Vraag GS, de toegezegde verbeteringen aan BABS versneld door te voeren. Faseer de papieren versie pas uit, als de digitale goed functioneert. Overweeg de Griffie te vragen een helpdesk en workshops te faciliteren voor gebruik van de.pdf-versies van de P&C-stukken. Helpt het nieuwe format u bij kaderstelling en controle? Overzichtelijkheid en standaardisering hebben geholpen. De mutaties worden niet eenduidig en consequent toegelicht. Er zijn mutaties bij zonder een goede verklaring. Matig, het was niet zo overzichtelijk als ik was gewend bij de gemeente Anna Paulowna. Daar ging het in de vorm: wat willen we bereiken, wat gaan we daarvoor doen en wat mag het kosten. In theorie zou het moeten helpen. Het format biedt veel mogelijkheden en maakt de begroting transparanter. De uitwerking behoeft nog aanscherping en de PS heeft nog ervaring nodig om de mogelijkheden te zien. 8

9 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 9 uit 28 Door het format waarin maatschappelijke doelen expliciet moeten worden geformuleerd en logisch moeten aansluiten op uiteindelijk instrumenten, bleek de logische inconsistentie van natuurbeheer om natuur te helpen. Geen concreet voorbeeld voor kaderstelling te geven maar in het algemeen geldt dat het format - door de toegelichte mutaties/afwijkingen te beperken tot de posten die relevant zijn voor het resultaat zaken overzichtelijker maakt. Daardoor is het makkelijker om een goed beeld te krijgen van wat er gebeurt op de verschillende beleidsterreinen en niet vast te lopen in administratief-technische verklaringen. Geen voorbeeld voor controle te geven. Wel geldt ook hierbij dat de overzichtelijkheid is vergroot. Pas door de.pdf-verzameling van de cursus 1 werd mij de kracht van het format duidelijk. De structuur is helder, maar ik vind het moeilijk dwarsverbanden te zien. Je krijgt een beter overzicht over het geheel, maar ik mis de details die vroeger in de productencatalogus stonden. Wat gek is, is dat er bij de behandeling van de begroting 2012 maar 1 amendement was. De rest was slechts motie. Daar is heet veel te hoge autorisatieniveau wellicht debet aan? Ja, ik kan makkelijker zoeken. Is wel overzichtelijker geworden. De opbouw is inzichtelijker geworden. Advies SWBC _kaderstelling / controle Vraag GS, de mutaties (in de Zomernota) eenduidig en consequent toe te lichten. Overweeg extra ontsluitingsmogelijkheden, om dwarsverbanden mogelijk te maken. Vraag GS, ontsluiting van de P&C-documenten in.pdf-catalogusfiles te verzorgen. Overweeg nog eens kritisch naar de gewenste mate van detaillering te kijken, door het huidige format met voorheen de productencatalogus te vergelijken. Waar voldoet het nieuwe format niet aan uw verwachtingen? Hebt u kritiek op het resultaat? Er zijn nog steeds programma s die wel S.M.A.R.T. geformuleerd zouden kunnen worden maar het niet zijn. Resultaatformuleringen moeten ook in directe relatie staan met de beleidsdoelen en duidelijk maken of we doen de juiste dingen om de beleidsdoelen te realiseren. Een begroting in één oogopslag (samenvatting) zou behulpzaam zijn voor een consistente externe communicatie (zie ook provincie Utrecht). De overzichtelijkheid en verklarende termen. De Zomernota zou aansluiten op de begroting, dat helpt. Inhoudelijk konden we er niet veel mee dit jaar. Neen. 1 De geïndexeerde bundel die voor de workshops Slim werken met de begroting in.pdf gemaakt zijn. Zie hier 9

10 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 10 uit 28 Ik kan niet altijd de causaliteit van de causale cascade volgen. Soms zie ik te abstracte woorden als uitvoeren volgens de regels. Ik mis de aansluiting met de productencatalogus. Door de gebrekkige hyperlinks heb je lang niet altijd toegang tot de stukken. Er staat veel informatie in waar je toch niet over kunt beslissen, al weet je niet altijd wat precies. Ik mis het gevoel. De relatie tussen inhoud en cijfers is niet altijd te leggen. De toelichtingen zijn van zeer wisselende kwaliteit. De richting is goed, maar ik wil meer toelichtingen. De behandeling van de begroting in de commissies noch plenair is goed. Ik mis het inhoudelijke debat. Ik mis de aansluiting met de Kaderbrief. Daar zie ik wel het coalitieakkoord maar niet de ander 3 P&C-stukken. Bijvoorbeeld bij Exin-H en Twin-H. Hebt u kritiek op het proces rond de totstandkoming? Nee. Nee, dat proces ken ik niet. Echt vlot is het niet tot stand gekomen. Neen. Ja, er zou meer commentaar van de Staten moeten zijn op de PC-stukken in de commissies. Advies SWBC _verwachtingen Vraag GS, de output consequenter SMART te formuleren. Overweeg, een begroting in één oogopslag te ontwerpen en aan het format toe te voegen. Overweeg, de causaliteit in de causale cascade kritisch te -laten- evalueren in een adviesrapport met aanbevelingen. Overweeg, een aansluiting tussen begroting en productencatalogus te laten onderzoeken. Vraag GS, de hyperlinks beter te verzorgen. Vraag GS, de toelichtingen beter te redigeren, en de relaties tussen tekst en cijfers beter te expliciteren. Overweeg, te laten onderzoeken of en hoe behandeling van de P&C-stukken in de commissies geprofessionaliseerd kan worden. Overweeg, GS te vragen, voor de Kaderbrief een format te gebruiken dat beter aansluit bij de ander drie P&C-stukken. 10

11 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 11 uit 28 Hebt u aanbevelingen voor verbeteringen aan het format? Hebt u aanbevelingen voor het resultaat? Er zijn nog steeds programma s die wel S.M.A.R.T. geformuleerd zouden kunnen worden maar het niet zijn. Doe het zoals Anna Paulowna, een voorbeeld is op verzoek verkrijgbaar. De uitwerking tot op programmaniveau en uiteindelijk op operationeel doel niveau blijft een overzicht van geaggregeerde cijfers. Het zou tot op instrumentniveau inzichtelijk moeten zijn. Het is work in progress. Hoe de format in de praktijk werkt zal nog moeten worden bekeken. Neen. Meer uitleg over wat vast is, en waar je wel over gaat, met en toelichting wat je nog kunt beslissen. Ik wil beter binnen de jaren en over de jaren heen kunnen vergelijken. Ik mis een overzicht van: beleidsruimte / bijstelruimte / vrije ruimte / potjes De relatie tussen risico, weerstand en dekking zou gelegd moeten kunnen worden, inclusief de veranderingen. Hebt u aanbevelingen voor het proces rond de totstandkoming? Nee. Nee, want ik ken het proces niet. Neen. Als de SWBC klaar is, moet de verantwoordelijkheid voor controle op uitvoering van het format wellicht naar de auditcommissie? Zorg dat er een contactpersoon bij de griffie blijft voor vragen. Geef Statenleden cursussen over werken met de nieuwe begroting. Leer de Statenleden per fractie hoe diep ze door de begroting zouden moeten gaan. Advies SWBC _aanbevelingen Overweeg de relevantie van diepere detaillering van cijfers en toelichtingen in het format te onderzoeken. Overweeg GS te vragen, de beleids- en bestedingsruimte bij de verschillende operationele doelen aan te geven. Neem dat op in het format. Overweeg GS te vragen, per doel relaties tussen risico, weerstand en dekking aan te geven. Neem dat op in het format. Vraag de SWBC de resultaten van haar inspanningen na ontbinding van de werkgroep te borgen in de organisatie. Vraag de Griffie een actieve rol te spelen in hulp aan en opleiding van Statenleden rond de P&C-documenten. 11

12 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 12 uit 28 Zijn wij nog iets vergeten te vragen? Acht u het zinvol dat de SWBC na elk verschijnen van een cyclusdocument een technische toelichting/commentaar geeft op hoe het product van GS aansluit op het format van PS? o Ja, dat lijkt mij zinvol. Advies SWBC _nog iets vergeten? Overweeg de aansluiting van opgeleverde P&C-documenten bij letter en geest van het format te -laten- monitoren, bijvoorbeeld als vast punt in de auditopvolging aan PS. 12

13 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 13 uit 28 3 Interview Gedeputeerde Financiën Hoe werkt u met de stukken? Ik werk veel op m n Ipad, met.pdf s. Ook wel op papier. Helpt of hindert van het format u? Het format is een gegeven van de Staten, waar ik ook in een vorig politiek leven achter stond. Ik vind wel dat er nog steeds teveel gedoe is over het proces van totstandkoming. Sluit het format aan bij uw werkprocessen? Ja, maar ik vind wel dat er niet altijd een evenwicht is tussen de hoofdlijnen voor de Staten en de details in de organisatie. Hebt u aanbevelingen voor verbetering? Voor wat betreft het format denk ik dat het goed zou zijn nog eens kritisch te kijken naar de causale cascade. Een aanbeveling aan mijzelf zou zijn, nog eens te bezien of de verantwoordelijkheid voor de processen rond de P&C-formats nu wel handig belegd zijn. Wellicht zou onderbrengen buiten de lijn, bijvoorbeeld bij concern-control een mogelijkheid zijn. Advies SWBC Overweeg een inter-duale evaluatie van de causale cascade. Ondersteun het beleggen van de procesverantwoordelijkheid bij de concerncontroller. 13

14 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 14 uit 28 4 Vragen aan AFD Vooraf Uitgangspunt bij de navolgende beantwoording is de verdere verbetering van het huidige format. Een radicaler uitgangspunt is denkbaar, maar is niet gekozen. Een tweede uitgangspunt is dat de in de loop van de jaren onder invloed van PS toegepaste verbeteringen een gegeven zijn dat verder geen aandacht vraagt. Ik doel bijvoorbeeld op de toevoegingen als begroting in een oogopslag en het inleidende hoofdstuk. Deze zijn ingevoerd omdat het format het niet gemakkelijk maakt hoofd- en bijzaken in de besluitvorming te onderscheiden. Ook het formuleren van concrete beslispunten in de aanbiedingsbrief hoort daartoe. Ik ga ervan uit dat dat inmiddels vaste gegevens zijn, maar wellicht is een expliciet besluit zinvol. Advies SWBC _vooraf Vraag GS om de toegevoegde hoofdstukken begroting in een oogopslag en inleiding te relateren aan de andere hoofdstukken, waar mogelijk ook in de vorm van hyperlinks. Vraag GS geen beleidsinformatie toe te voegen in als samenvatting bedoelde hoofdstukken, noch de nuance van informatie anders te leggen. Helpt of hindert het nieuwe format u bij uw werkzaamheden voor de planning en controlcyclus? N.v.t. Sluit het format aan bij uw eigen werkprocessen en bij uw eigen ICT-ondersteuning? In de ambtelijke organisatie is voor het maken van de P&C-documenten speciale software in gebruik om alle financiële tabellen op een betrouwbare manier te exporteren uit het financiële systeem en samen te voegen met de teksten uit de hele organisatie. Het huidige begrotingsformat gaat echter uit van een handmatige opzet in Microsoft Word. Op enkele punten is hierdoor de werking minder efficient: Het begrotingsformat is GS geleverd als MsWord-template omdat de P&Cdocumenten ten tijde van het besluit in MsWord werden geproduceerd. De eigenschappen van het format voor de P&C-documenten zijn leidend, niet de gebruikte presentatie-programmatuur. 14

15 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 15 uit 28 De geschetste efficiency-problemen: i.e. hyperlinking, versiebeheer en export uit de SAP, hebben geen enkele relatie met toepassen van het format in een presentatie-instrument als het Word-template. Het aanbrengen van de hyperlinks is een zeer arbeidsintensief handmatig en foutgevoelig proces, dat geen link kent met het stateninformatiesysteem BABS of een provinciaal documentair informatiesysteem. Hierdoor zijn documenten dubbel opgeslagen met alle nadelen die daarbij horen, zoals verschillen in versies of verouderde links naar documenten. PS heeft bij verschillende gelegenheden gevraagd om beter geïntegreerde informatiesystemen. De hier geschetste problematiek illustreert de noodzaak daarvan eens te meer. In haar rapport "Onderzoek naar de Pilot herschrijven programmaplan" van 2008 merkte de rekenkamer al het volgende op: "2b. De hyperlinks zijn een goede toepassing van de nieuwste ICT- mogelijkheden om te beschikken over volledige en tijdige informatie. Hiervoor is een goed versiebeheer onontbeerlijk. Zorg daarom voor goed versiebeheer" Al in 2008 signaleert blijkbaar ook de Randstedelijke rekenkamer het belang van goed versiebeheer. Een dergelijk versiebeheer is, met de duizenden documenten die de provincie jaarlijks produceert, niet iets wat "even" in het kader van alleen de P&C documenten kan worden aangepakt. Hiervoor loopt het project "Documenten Digitaal dat erop is gericht het gehele documentenbeheer en de documentenstroom te digitaliseren. In de gebruikte software is het niet mogelijk interne hyperlinks aan te brengen van het ene deel van het uiteindelijke document naar het andere. Het verbaast de SWBC dat AFD naar eigen zeggen software in gebruik heeft genomen die het haar moeilijk maakt aan de bij PS-besluit vereiste functionaliteit van P&C-documenten te voldoen, hoewel dat besluit al enig jaren daarvoor genomen is. Suggestie (AFD): Ga bij het opnemen van de hyperlinks uit van een groeiproces, waarbij nu alleen de belangrijkste documenten handmatig worden opgenomen (huidige situatie) en in een later stadium een koppeling tot stand wordt gebracht met een documentair informatiesysteem of stateninformatiesysteem. Deze suggestie komt neer op het paard achter de wagen spannen. De huidige mate van hyperlinking wordt bovendien al als slechts minimaal voldoende beschouwd. 15

16 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 16 uit 28 De financiële administratie maakt gebruik van SAP. De basisinrichting hiervan is gericht op het rapporteren conform de wet- en regelgeving aan het ministerie van BZK en het Centraal Bureau voor de Statistiek (CBS). Deze basisinrichting is niet gelijk aan de door Provinciale Staten gekozen indeling. Om te rapporteren aan Provinciale Staten conform de gekozen indeling is een aparte structuur aangebracht. In sommige gevallen is deze oplossing enigszins kunstmatig. Bij een recente SAP-herinrichting is ervoor gekozen de door CBS gevraagde inrichting leidend te laten zijn. Dat was niet conform een -extern- advies. Suggestie (AFD): Laat bij het vaststellen van een wijziging in het format een advies voegen over de administratief-technische consequenties, waarbij vooral wordt ingegaan op foutgevoeligheid en koppeling aan de basisadministratie (i.v.m. controleerbaarheid). Vraag daarbij om eventuele alternatieven. Er zijn vooralsnog geen wijzigingen in het format voorzien. De door de werkgroep bijgeleverde MS-word handleiding is overbodig, omdat van andere programmatuur gebruik wordt gemaakt. De door de SWBC geleverde handleiding bedoelt GS te faciliteren bij het conform toepassen van het format. Als de onderdelen die hulp bieden bij het toepassen van het format in een MsWord-template obsoleet geworden zijn door een latere keuze voor een andere applicatie, kunnen die ongebruikt gelaten worden. Advies SWBC _ICT-ondersteuning Vraag GS de functionaliteiten van het bij PS-besluit geleverde format te - laten- implementeren in alle bij de productie van P&C-documenten gebruikte applicaties. Vraag GS, het ook voor hyperlinking vanuit P&C-documenten onontbeerlijke versiebeheer van voor de begrotingscyclus relevante documenten in het stateninformatiesysteem en het provinciaal documentair informatiesysteem op zo kort mogelijke termijn zodanig te verbeteren, dat kaderstellende en controlerende taken van PS niet meer door onvolkomen versiebeheer gefrustreerd worden. Vraag GS daarbij de aanbevelingen van de rekenkamer uit 2008 te betrekken. Vraag GS alle nodige inspanning te verrichten om de hyperlinking conform format snel op meer dan het huidige minimumniveau te brengen. Vraag GS de export van data uit SAP zo in te richten, dat de functionaliteit die het format vraagt niet aangetast wordt, en dat de integriteit van de gegevens in de aan de Staten voorgelegde documenten gewaarborgd is. 16

17 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 17 uit 28 Vraag een onderzoek te laten doen naar de foutgevoeligheid van de huidige data-koppelingen tussen de SAP-administratie, de Basisadministratie en de aan de Staten in P&C-documenten geleverde informatie, en naar de controleerbaarheid van de integriteit van aan de Staten geleverde P&C-data. Waar voldoet het nieuwe format niet aan uw verwachtingen? Heeft u kritiek op het resultaat? Zie de suggesties. Heeft u kritiek op het proces rond de totstandkoming? Nakaarten is niet zo zinvol. Het huidige format is een gegeven, dat we gaandeweg met elkaar verbeteren en vervolmaken. Misschien een enkele terugkijkende opmerking die van belang kan zijn voor het vervolg. Het format is geheel vanuit het bestuur ontwikkeld, zonder aansluiting op de ambtelijke werkprocessen. Daarvoor zijn inmiddels vertaalslagen ontwikkeld, maar het gevolg is wel dat deze begroting niet breed leeft als sturingsdocument binnen de ambtelijke organisatie. En dat is door het hoge abstractieniveau waarschijnlijk niet goed oplosbaar. De vraag is ook of het daarmee voldoet aan de wens van het bestuur om een beter sturingsinstrument in handen te krijgen. Het Staten-format is nooit bedoeld als sturingsinstrument. Het is bedoeld om de inzichtelijkheid van de P&C-documenten te vergroten, om daarmee de kaderstellenden en de controlerende rol van de Staten te faciliteren. Of deze begroting als sturingsinstrument leeft binnen de ambtelijke organisatie lijkt van ondergeschikt belang. Afgezien daarvan kan dit format bij juiste verankering in de werkprocessen binnen het apparaat naar de stellige mening van de SWBC wel degelijk ook het proces van totstandkoming van de P&C-documenten faciliteren. Advies SWBC _Verwachtingen Geen. Hebt u aanbevelingen voor verbeteringen aan het format? Heeft u aanbevelingen voor het resultaat? 17

18 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 18 uit 28 Doelenboom en cascade: De taalvoorschriften in de formulering van het maatschappelijk doel (met een werkwoord in infinitief-vorm, een "doe"-vorm) hebben tot effect dat een algemeen overkoepelend werkwoord ("waarborgen", "zorgdragen", "benutten en beheren", "bevorderen", optimaliseren", "behartigen") wordt gekozen dat de inspanning beschrijft die we gaan doen. ("Voor veilig vervoer naar en bereikbaarheid van woon- werk- en recreatielocaties zorg dragen). Dit doet weinig recht aan de eerste van de drie W-vragen, die immers stelt "Wat willen we bereiken". Het antwoord op deze vraag leent zich minder voor een werkwoord, en meer voor het vastleggen van de ambitie, de gewenste maatschappelijke toestand: "Woon-, werk- en recreatielocaties zijn veilig bereikbaar". Vervolgens kan dan in de onderliggende doelencascade worden ingegaan op de mogelijkheden die de provincie heeft om dit doel te bereiken en kan in de omgevingsfactoren worden uitgelegd, waarom wij dit doel niet 100% in de hand hebben. Het Statenformat is een doorontwikkeling van het WWW/HHH-concept, met een hiërarchische ordening van doelen, met aan de top maatschappelijke, politiek gestuurde outcome-doelen, en aan de basis operationele, uitvoeringsgerichte output-doelen. Denken in een maatschappelijke toestand miskent de dynamiek in het beleidsobject van de provincie. Denken in ambities miskent het doelgerichte, operationele karakter van de begrotingscyclus. Dit maakt op den duur ook een effectmeting mogelijk: Hoe effectief is ons beleid? (We hebben het geen 100% in de hand, maar hoeveel dan wel? En hoe effectief zijn onze middelen ingezet?) Effectmeting is juist in het Statenformat goed mogelijk, omdat vanuit zo goed mogelijk politiek interpreteerbaar gemaakte output, terug geredeneerd kan worden naar politiek gewenste outcome. Meting van effectiviteit van beleid is een complexe materie, die hier wel erg naïef voorgesteld wordt. Effectmeting is een kostbare zaak. Een relatie tussen metingen en beleidseffecten aantonen is moeilijk, een onderscheid maken tussen correlaties en causaties welhaast nog moeilijker. Bij de onderliggende doelencascade signaleren wij dat enige toelichting per doel gewenst is en vragen zou kunnen voorkomen. Zonder te vervallen in wollige omschrijvingen zou, daar waar de titel van het doel alleen onvoldoende inzicht geeft, per doel in een regel of drie kunnen worden toegelicht, hoe het verband met het bovenliggende doel wordt gezien. Een doel wordt toegelicht in zijn onderliggende doelen. De SWBC kan zich weinig voorstellen bij de gesuggereerde toelichting, maar zal een voorbeeld welwillend beschouwen. 18

19 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 19 uit 28 De rekenkamer zegt hierover: 3b. Formuleer indicatoren bij de maatschappelijke doelen, beleidsdoelen en operationele doelen en plaats de indicatoren en doelen in een historisch perspectief en politiek-bestuurlijke context, opdat deze gebruikt kunnen worden als monitoringinformatie t.b.v. effectmeting (outcome). Deze opmerking gemaakt in een vroeg stadium van dit traject- van de rekenkamer miskent de causale cascade, zoals de SWBC inmiddels in een discussie aldaar heeft mogen aantonen. Suggestie: Laat het maatschappelijk doel formuleren in termen van de gewenste situatie ("resultaat") in plaats van in een werkwoord ("inspanning"). Maak bij de titels van de doelen op alle niveaus in een paar zinnen duidelijk WAAROM een subdoel bijdraagt aan het hoger gelegen doel. Uitleg bij de causale relaties van doelen is qualitate qua tautologisch. Suggestie: Voeg toe in het format dat per doel, daar waar nodig voor de begrijpelijkheid, een paar regels tekst mogen worden toegevoegd om een doel nader uit te leggen. Beperk het aantal regels om wollige teksten te voorkomen. Dit lijkt een herhaling van wat hierboven gesteld wordt. Voorstel: neem een besluit over de wenselijkheid van het opnemen van outcome-indicatoren bij de maatschappelijke en/of beleidsdoelen. Dit is overwogen, maar het is methodisch onmogelijk en feitelijk onwenselijk: de outcome van een doel is de aggregatie van output van de operationele doelen. Omgevingsfactoren De omgevingsfactoren kunnen worden gezien als "programmarisico's". Gekoppeld aan het formuleren van het maatschappelijk doel als de "gewenste maatschappelijke toestand" kunnen de omgevingsfactoren de risico's bevatten, die belemmeren dat die toestand wordt bereikt. Suggestie: Overweeg of het gewenst is het gebruik van de omgevingsfactoren te ontwikkelen in de richting van risicomanagement op het bereiken van de maatschappelijke doelen en laat dan op termijn een koppeling ontstaan met de paragraaf risicomanagement. Er bestaat bij weten van de SWBC geen "gewenste maatschappelijke toestand", zie hierboven. 19

20 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 20 uit 28 Omgevingsfactoren kunnen risico s, kaders of kansen zijn. Voor een beperkt aantal omgevingsfactoren zou een koppeling met risicomanagement informtiewaarde hebben voor de Staten. Andersom zouden vanuit de paragraaf risicomanagement hyperrelaties gelegd kunnen worden naar de betrokken doelen. Advies SWBC _aanbevelingen_causale cascade en _omgevingsfactoren Geen. 20

21 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 21 uit 28 Financiële tabellen Hieronder wordt een aantal aspecten van de huidige financiële tabellen uitgelicht. Hierbij is rekening gehouden met de diverse signalen over onduidelijkheden die de Staten hebben gegeven bij de bespreking van P&C stukken in verschillende commissies. De onduidelijkheden hebben vaak te maken met de wijze waarop financiële processen verlopen in de organisatie, in relatie tot wat in het format wordt gepresenteerd. Bezien zou kunnen worden of een andere indeling voor de Staten relevantere informatie biedt. Dit is verwoord in diverse suggesties bij de onderwerpen. Desgewenst kunnen voorbeelden worden gemaakt of kan in een gesprek met de Statenwerkgroep een en ander worden toegelicht. Dat het format debet is aan de signalen zoals AFD die interpreteert, wordt uit onze evaluatie niet duidelijk. Maar dit kan interessant item voor een discussiedag zijn. De kolom "Begroot 2011" in de jaarstukken In de jaarstukken 2010 worden in alle tabellen getallen genoemd voor de begroting Deze getallen komen uit de oude meerjarenraming en zijn niet meer actueel. Immers, inmiddels hebben de Staten een nieuwe begroting vastgesteld, die heel andere doelen kan bevatten (en bevat in 2011). Er zijn nieuwe doelen ingevoerd, waar budget voor beschikbaar komt dat afgaat van de oude doelen. Ook kunnen de ramingen zonder meer zijn aangepast. Suggestie: Laat in de jaarstukken de kolom "begroting volgend jaar" weg. Deze biedt vanwege de oorsprong van deze getallen noodzakelijkerwijs ofwel onvolledige, ofwel verouderde informatie, omdat niet alle nieuw vastgestelde doelen 2011 in de oude doelenboom 2010 passen en omdat inmiddels andere besluiten over de ramingen kunnen zijn genomen. De kolom begroot jaar n+1 in het jaarverslag is bedoeld een historische stand te geven: die ten tijde van de begroting van verslagjaar n. Aanpassing van de titel valt te overwegen: in verslagjaar n begroot voor n+1. Gebruik van de kostencategorieën * Een begroting bevat noodzakelijkerwijs veel financieel-technische wijzigingen. De indeling in kostencategorieën, die alleen iets zeggen over de vorm waarin het geld wordt besteed (subsidie, aankoop, kapitaallast of apparaatkosten), beperkt de informatiewaarde op een aantal manieren: Hier lijkt niet betoogd te worden dat de indeling in kostencategorieën de informatiewaarde beperkt, maar dat die indeling te beperkt is. - Er blijft onderbelicht of het nieuw beleid beïnvloedbaar beleid, structureel of incidenteel beleid betreft. 21

22 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 22 uit 28 - Onduidelijk is wat de invloed is van externe factoren, zoals het afnemen van een doeluitkering, op het meerjarige beeld. Het format kent de vaste paragrafen toelichting bij de tabel waar deze preciseringen gegeven kunnen worden. - Financieel technische aspecten (kasramingen, stelselwijzigingen, doeluitkeringen) vertroebelen eenvoudig zicht op wat politiek relevante financiële informatie is. De uitspraak dat deze technische aspecten zicht op politiek relevante informatie vertroebelen lijkt niet onderbouwd. De technische aspecten zelf kunnen wel degelijk relevant zijn in een politieke discussie. Suggestie: Geef aan wat relevante financiële informatie is op het niveau van een operationeel doel (b.v. structureel, incidenteel, nieuw, bestaand, beïnvloedbaar, of de bestaande kostencategorie) en laat de organisatie voorbeelden geven van de financieel-technische mogelijkheden om deze informatie op inzichtelijke wijze te presenteren. De SWBC staat als voorvechter van inzichtelijkheid zeker open voor een demonstratie van deze financieel technische mogelijkheden, bijvoorbeeld op een eerder gesuggereerde studiedag. * De uitsplitsing in de kostencategorieën overdrachten en directe lasten is kunstmatig. Zeker op het moment van begroten is niet voor alle budgetten bepaald, of die tot een aankoop of een verstrekking van een subsidie zullen leiden. Hierdoor ontstaan dan in de jaarrekening weer verschillen die verklaard worden met teksten als "de overschrijding op overdrachten wordt gecompenseerd door de onderschrijding op directe lasten". Dit is geen politiek relevante informatie. Suggestie: Laat in ieder geval de uitsplitsing tussen overdrachten en directe lasten vervallen. Ook hier geldt: De uitspraak dat deze technische aspecten zicht op politiek relevante informatie vertroebelen lijkt niet onderbouwd, en de technische aspecten zelf kunnen wel degelijk relevant zijn in een politieke discussie. De SWBC wil niet ontkennen, dat financieel-technische aspecten niet aan iedereen besteed zijn. Wat nog niet betekent, dat ze alle Statenleden boven de pet gaan, en al helemaal niet dat ze voor de kaderstellende en controlerend rol irrelevante zouden zijn. Het lijkt de SWBC een verantwoording van de Staten zelf om voor voldoende financieel-technische expertise in de gelederen zorg te dragen. 22

23 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 23 uit 28 * Apparaatkosten worden niet sectoraal begroot en gedurende het jaar vinden er regelmatig verschuivingen plaats tussen diverse operationele doelen, naar gelang de politieke actualiteit. Het sturen door de Staten op de kostensoort apparaatkosten kan beter plaatsvinden op basis van de (wettelijk voorgeschreven) paragraaf bedrijfsvoering en het totaal aan apparaatkosten. In de paragraaf bedrijfsvoering wordt toegelicht, welke ontwikkelingen de ambtelijke organisatie beoogt. Deze paragraaf is bedoeld om de Staten informatie te verschaffen voor hun rol als werkgever. Suggestie: Splits de apparaatkosten niet uit per operationeel doel, maar beperk dit tot het niveau van een programma. Stuur op het totaal aan apparaatkosten en de daarin gewenste ontwikkeling met behulp van de kaders en indicatoren in de paragraaf bedrijfsvoering. Omdat de apparaatskosten bij veel doelen het leeuwendeel van de kosten uitmaken, lijkt een zo gedetailleerd mogelijke uitsplitsing ervan het kaderstellen en controleren eerder te helpen dan te hinderen. De SWBC stelt nadere studie voor, om te kijken op welk niveau een evenwicht gevonden kan worden tussen een voor de Staten optimale detaillering en een voor het apparaat administratief werkbare toedeling. Advies SWBC _aanbevelingen_tabellen Vraag het ambtelijk apparaat toe te lichten waar financieel-technische aspecten problemen lijken te geven, en welke oplossingen het voorstelt. Onderzoek samen met het ambtelijk apparaat, wat een optimale detaillering voor de apparaatskosten is. Heeft u aanbevelingen voor het proces rond de totstandkoming? Suggestie: Vanuit de ambtelijke organisatie kan desgewenst een advies worden gegeven over de technische haalbaarheid en aansluiting op de basissystemen van de gewenste wijzigingen in het format. Daarbij kunnen opties worden aangegeven wanneer bepaalde wijzigingen zouden leiden tot ongewenste bijeffecten of andere onduidelijkheden. Het lijkt de SWBC, dat GS hier de gesprekspartner is voor de ambtelijke organisatie, en ruime inbreng zal kunnen hebben op de reactie van GS op voordrachten van PS. Dat laat onverlet, dat de SWBC al meermalen gepleit heeft, en ook in deze evaluatie -met een studiedag - weer pleit, voor een voortgaande open inhoudelijke dialoog met de ambtelijke organisatie. 23

24 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 24 uit 28 5 Vragen Accountant Helpt of hindert het nieuwe format u bij uw rechtmatigheids- uw doelmatigheids- en uw getrouwheidscontroles? Wij hebben geen verhinderingen ondervonden van de nieuwe formats voor onze getrouwheids- en rechtmatigheidcontrole. Wij hebben geen doelmatigheidscontrole uitgevoerd. Sluit het format aan bij uw eigen werkprocessen? Ja, de financieel georiënteerde stukken zijn niet wezenlijk veranderd ten opzichte van het vorige model. Waar voldoet het nieuwe format niet aan uw verwachtingen? Heeft u kritiek op het resultaat? Zie onze managementletter 2009 waarin wij een aantal opmerkingen hebben geplaatst over de nieuwe formats. Het gaat om deze opmerkingen: 3. Wij adviseren u om bij het opstellen van de begroting kritisch te kijken naar de relatie tussen de doelstellingen, activiteiten en output en relevante informatie op te nemen. Daarnaast is het aan te bevelen het aantal activiteiten en outputgegevens te beperkten tot de belangrijkste. In het kader van de uitrol van de begroting nieuwe stijl zullen wij bij het opstellen van de begroting 2011 bijzondere aandacht besteden aan de consistentie en de kwaliteit van de causale cascade. Daarnaast zal tezamen met de werkgroep nieuwe begroting vanuit PS gekeken worden naar verdere verbeteringen en verduidelijkingen bij het gebruik hiervan. Advies SWBC _resultaat format In navolging van de accountant lijkt het de SWBC zinnig een onderzoek te doen naar de causale relaties tussen de doelen in de verschillende programma s. Heeft u kritiek op het proces rond de totstandkoming? Nee 24

25 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 25 uit 28 Heeft u aanbevelingen voor verbeteringen aan het format? Heeft u aanbevelingen voor het resultaat? Zie onze managementletter 2009 waarin wij een aantal opmerkingen hebben geplaatst over de nieuwe formats. Heeft u aanbevelingen voor het proces rond de totstandkoming? Nee 25

26 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 26 uit 28 6 Vragen RRK De Randstedelijke Rekenkamer evalueert liever niet mee Geachte heer van Berkum, Beste Servaz Goed initiatief om een eigen evaluatieonderzoek te doen naar de ervaringen met het format om zodoende verbetervoorstellen te krijgen. De vragen die u voorlegt zie ik echter vooral als vragen aan de gebruikers en daarom minder geschikt voor ons als Randstedelijke Rekenkamer. Vriendelijke groet, Ans Hoenderdos dr.ir. A.W.C. Hoenderdos-Metselaar MBA Bestuurder/Directeur Randstedelijke Rekenkamer 26

27 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 27 uit 28 7 Volledig inhoud 0 Inleiding 2 1 Samenvatting van de SWBC-adviezen Interviews Statenleden 3 Advies SWBC _papier /.pdf 3 Advies SWBC _kaderstelling / controle 3 Advies SWBC _verwachtingen 3 Advies SWBC _aanbevelingen 4 Advies SWBC _nog iets vergeten? Interview Gedeputeerde Financiën 4 Advies SWBC Vragen aan AFD 4 Advies SWBC _vooraf 4 Advies SWBC _ICT-ondersteuning 5 Advies SWBC _Verwachtingen 5 Advies SWBC _aanbevelingen_causale cascade en _omgevingsfactoren 5 Advies SWBC _aanbevelingen_tabellen Vragen accountant 5 Advies SWBC _resultaat format Vragen RRK 6 Advies SWBC 6 2 Interviews Statenleden 7 Werkt u voornamelijk op papier of voornamelijk met de.pdf-versie op de computer, een laptop of een Ipad? 7 Wat zijn de voor- en nadelen van papier en.pdf voor uw Statenwerk? 7 Advies SWBC _papier /.pdf 8 Helpt het nieuwe format u bij kaderstelling en controle? 8 Advies SWBC _kaderstelling / controle 9 Waar voldoet het nieuwe format niet aan uw verwachtingen? 9 Hebt u kritiek op het resultaat? 9 Hebt u kritiek op het proces rond de totstandkoming? 10 Advies SWBC _verwachtingen 10 Hebt u aanbevelingen voor verbeteringen aan het format? 11 Hebt u aanbevelingen voor het resultaat? 11 Hebt u aanbevelingen voor het proces rond de totstandkoming? 11 Advies SWBC _aanbevelingen 11 Zijn wij nog iets vergeten te vragen? 12 Advies SWBC _nog iets vergeten? 12 3 Interview Gedeputeerde Financiën 13 Hoe werkt u met de stukken? 13 Helpt of hindert van het format u? 13 Sluit het format aan bij uw werkprocessen? 13 Hebt u aanbevelingen voor verbetering? 13 Advies SWBC 13 4 Vragen aan AFD 14 Vooraf 14 Advies SWBC _vooraf 14 Helpt of hindert het nieuwe format u bij uw werkzaamheden voor de planning en controlcyclus? 14 Sluit het format aan bij uw eigen werkprocessen en bij uw eigen ICT-ondersteuning?

28 EVALUATIE_PERCEPTIE FORMATS_PP1_WG1_VERWERKT.DOCX blad 28 uit Advies SWBC _ICT-ondersteuning 16 Waar voldoet het nieuwe format niet aan uw verwachtingen? Advies SWBC _Verwachtingen 17 Hebt u aanbevelingen voor verbeteringen aan het format? Advies SWBC _aanbevelingen_causale cascade en _omgevingsfactoren Advies SWBC _aanbevelingen_tabellen 23 Heeft u aanbevelingen voor het proces rond de totstandkoming? Vragen Accountant 24 Helpt of hindert het nieuwe format u bij uw rechtmatigheids- uw doelmatigheids- en uw getrouwheidscontroles? 24 Sluit het format aan bij uw eigen werkprocessen? 24 Waar voldoet het nieuwe format niet aan uw verwachtingen? 24 Heeft u kritiek op het resultaat? Advies SWBC _resultaat format 24 Heeft u kritiek op het proces rond de totstandkoming? 24 Heeft u aanbevelingen voor verbeteringen aan het format? 25 Heeft u aanbevelingen voor het resultaat? 25 Heeft u aanbevelingen voor het proces rond de totstandkoming? 25 6 Vragen RRK 26 De Randstedelijke Rekenkamer evalueert liever niet mee 26 7 Volledig inhoud 27 28