Plan van aanpak>> <<onderzoeken doelmatigheid en doeltreffendheid

Transcriptie

1 Plan van aanpak>> <<onderzoeken doelmatigheid en doeltreffendheid 1 Onderzoekskader In januari 2004 is door de raad, op grond van artikel 213a van de Gemeentewet, de Verordening doelmatigheid en doeltreffendheid van de gemeente Eemsmond vastgesteld. Deze verordening verplicht het college jaarlijks de doelmatigheid van onderdelen van sectoren van de gemeente en de uitvoering van taken door de gemeente te onderzoeken. Tevens moet het college jaarlijks de doeltreffendheid van minimaal twee (delen van) programma s en paragrafen onderzoeken. Het college zendt ieder jaar gelijktijdig met de aanbieding van de begroting een onderzoeksplan naar de raad van de in het erop volgende jaar te verrichten onderzoeken. Het onderzoeksplan voor 2006 is bij dit plan van aanpak gevoegd. 2 Doelstelling onderzoeken Met de instelling van de onderzoeken worden drie doelen beoogd (Overheidsmanagement, 2005):? Doelmatiger en doeltreffender werken. Volgens de toelichting bij de modelverordening 213a impliceert systematische aandacht voor doelmatigheid en doeltreffendheid het doel om te leren, om na te denken over en om te streven naar verbetering.? Transparantie van gemeentelijk handelen richting zowel raad als burger vergroten.? Publieke verantwoording versterken. De onderzoeken dragen een verantwoordingsintrument in zich en kunnen dus gebruikt worden om af te rekenen. Dit dient echter wel plaats te vinden op het al dan niet (tijdig) ten uitvoer brengen van de verbeterplannen en niet vanwege de onderzoeksresultaten op zich. De verleiding is erg groot om, in plaats van ervan te leren, met de onderzoeken politiek te bedrijven, bestuurders op de vingers te tikken of met hen af te rekenen. Het risico is hierdoor aanwezig dat bestuurders en ambtenaren de eigen onderzoeken als een bedreiging gaan ervaren en proberen het aantal onderzoeken tot een minimum te beperken en/of de uitkomsten hierover te beïnvloeden. De resultaten en eventuele verbeterplannen worden ter kennisgeving aan de raad aangeboden, waarmee gesteld is dat de onderzoeken een verantwoordelijkheid zijn van het college. Zij moet op basis van de verbeterplannen organisatorische maatregelen nemen. 3 Definities Om ervoor te zorgen dat iedereen die met de onderzoeken te maken krijgt, uitgaat van dezelfde definities worden ze in dit hoofdstuk allemaal een keer genoemd en waar mogelijk nader uitgewerkt. Tevens worden de begrippen in een model (figuur 1) bij elkaar gebracht. Doelmatigheid Doelmatigheid is in de verordening gedefinieerd als: het realiseren van bepaalde prestaties met een zo beperkt mogelijke inzet van middelen. Doelmatigheid

2 wordt in de literatuur opgesplitst in twee begrippen, namelijk de economy en de efficiency. Bij economy gaat het erom, dat een product met zo weinig mogelijk middelen (meestal geld, mensen of uren) ingekocht wordt. Dit gaat dus uitsluitend om de middelen en er wordt nog niet gekeken naar de behaalde productie. Om de totale inzet van middelen te bepalen is het noodzakelijk de verschillende middelen in één grootheid uit te drukken. De meest voor de hand liggende is geld. De middelen worden in figuur 1 de input genoemd. Bij efficiency gaat het om de verhouding tussen middeleninzet (input/economy) en productieresultaat (output/gewenste prestatie). Daarbij gaat het om twee vragen, die in feite op hetzelfde neerkomen: 1. Was dezelfde productie met minder middelen te realiseren? 2. Was met dezelfde middelen meer productie te realiseren? Bij efficiency worden dus de middelen gedeeld door de productie. Een voorbeeld van een prestatie is: het aantal nieuwe politieagenten. De middeleninzet is dan: de kosten die met de extra agenten gemoeid zijn. Doeltreffendheid Doeltreffendheid is in de verordening gedefinieerd als: de mate waarin de gewenste prestaties en de beoogde maatschappelijke effecten van het beleid ook daadwerkelijk worden behaald. Doeltreffendheid gaat om effectiviteit en wordt bepaald door de bereikte (maatschappelijke) effecten (outcome) af te zetten tegen de productie. Een voorbeeld van een effect is: de extra mensen die zich veilig voelen op straat als gevolg van de nieuwe agenten. Throughput Throughput is het proces om met een bepaalde input tot output te komen. Hierbij gaat het om de werkprocessen en de planning. 2

3 Kwaliteit Naast doelmatigheid en doeltreffendheid is er ook nog sprake van een bepaalde waardering van afnemers. Een burger is niet alleen een klant die een efficiënt product koopt met een effectief resultaat, maar ook iemand die eisen stelt aan het product. De waardering wordt gemeten aan de hand van de kwaliteit van het geleverde product. Doelstelling De concrete vertaling van een gewenste prestatie (output) of (maatschappelijk) effect wordt meestal doelstelling genoemd. Een doelstelling is iets wat bereikt moet worden. Dit zijn dus prestaties en effecten. Als doelen niet duidelijk zijn geformuleerd, kan de doelmatigheid en doeltreffendheid niet worden onderzocht. De prestaties en effecten moeten immers worden afgezet tegen de ingezette middelen en dat is onmogelijk als deze prestaties en effecten niet duidelijk zijn (Handreiking meten van doelmatigheid, 2004). doelstellingen INPUT (middelen) THROUGH- PUT (proces) OUTPUT (productie) OUTCOME (effecten) economy efficiency effectiviteit kwaliteit figuur 1 4 Relatie met programmabegroting Door figuur 1 in relatie te brengen met de programmabegroting wordt nog duidelijker wat de verschillende begrippen inhouden. De programmabegroting is opgedeeld in drie W-vragen. Elke w-vraag staat in verband met een begrip uit figuur 1. Wat willen we bereiken? hoort bij outcome, wat gaan we daarvoor doen? hoort bij output en wat mag het kosten? hoort bij input. Voor de throughput kan een vierde vraag geformuleerd worden, namelijk: Hoe gaan we het bereiken? Door metingen te verrichten op basis van de begrippen uit figuur 1 wordt dus heel duidelijk de doelmatigheid en doeltreffendheid van de programmabegroting onderzocht. 5 Onderzoeksaanpak Het jaar 2006 is het eerste jaar waarin de onderzoeken in het kader van de verordening onderzoeken doelmatigheid en doeltreffendheid van de gemeente Eemsmond plaats zullen vinden. Op basis van een recente studie van het bureau Hofman Krul & Partners onder 107 gemeentes blijkt dat tweederde deel nog niet is begonnen met de onderzoeken. Dit geeft aan dat veel gemeentes nog worstelen met de invulling en de daadwerkelijke uitvoering ervan. Eemsmond zal in 2006 en waarschijnlijk ook in 2007 de nodige ervaring moeten opdoen om dergelijke onderzoeken op een goede wijze uit te voeren. Voor deze jaren worden daarom onderzoeken gekozen, waarvan de verwachting is dat ze relatief van niet zo grote omvang zijn. Daarnaast wordt het aantal onderzoeken jaarlijks opgebouwd. De gemeente Eemsmond kiest voor de onderzoeken voor een productgerichte benadering. Deze benadering is ten eerste gekozen, omdat op deze manier zowel alle taken, de programma s, de afdelingen en de paragrafen worden onderzocht. Producten zijn immers te zien als taken, programma s zijn opgedeeld in producten, afdelingen brengen producten voort en paragrafen zijn dwarsdoorsneden van programma s. 3

4 In de tweede plaats is de organisatie reeds bezig om op productniveau de beschrijvingen van de bestaande doelstellingen, kengetallen en taakomschrijvingen te verbeteren en aan te vullen. Deze beschrijvingen zijn goed te vertalen in prestaties en effecten. Het is in het kader van efficiency logisch hier bij de onderzoeken op in te steken. Als laatste is deze benadering ook gebruikt door andere gemeentes (onder andere Meppel en Maassluis) en dat blijkt tot nu toe goed te werken. In het bijgevoegde overzicht is een lijst met 134 producten gepresenteerd, die allemaal onderzocht moeten worden op hun doelmatigheid en doeltreffendheid. Deze lijst komt rechtstreeks uit de begroting Enkele, financieel gezien, heel kleine producten zijn buiten de lijst gehouden. De producten zijn zoveel mogelijk geclusterd tot bij elkaar horende thema s. Deze thema s zullen onderwerp van onderzoek zijn. In totaal gaat het om 56 uit te voeren onderzoeken. In 2006 zullen 3 onderzoeken gedaan worden, in en in de zes opvolgende jaren steeds 7. Daarnaast is het de bedoeling om vanaf 2007 jaarlijks een relatief groot en specifiek onderzoek door een extern bureau uit te laten voeren. De keuze van het onderwerp wordt jaarlijks voorafgaand aan het opstellen van de begroting gemaakt. Op deze manier zullen in een periode van 8 jaar alle producten en daarmee de gehele gemeentelijke organisatie onderzocht zijn. Alle thema s zullen meteen onderworpen worden aan een onderzoek op zowel doelmatigheid als doeltreffendheid. Door deze benadering hoeft de onderzoeker zich slechts één keer in een thema te verdiepen. Bovendien zijn doelmatigheid en doeltreffendheid beide noodzakelijk en onlosmakelijk met elkaar verbonden. Doelmatig werken heeft weinig zin als geen effecten behaald worden en het behalen van veel effecten door middel van een inefficiënt gebruik van middelen kan niet de bedoeling zijn. De jaarlijks te verrichten onderzoeken zullen na de leerjaren 2006 en 2007 willekeurig worden gekozen, tenzij uit de actualiteit of specifieke wens van het college een andere keuze volgt. Ook kan het zijn dat de opgedane ervaring aanleiding is om de lijst met onderzoeken aan te passen of in te steken op een ander niveau dan op het productniveau. Natuurlijk worden eventuele veranderingen in de onderzoeksaanpak bij de aanbieding van de begroting van het betreffende jaar gemeld. 6 Onderzoek en normstelling Onderzoek gebeurt meestal aan de hand van een vooraf bepaalde norm. Onderzoeksresultaten worden dan aan deze norm gerelateerd. Een doel van de onderzoeken is leren, nadenken over en streven naar verbetering op het gebied van doelmatigheid en doeltreffendheid. Omdat de onderzoeken voor het eerst worden uitgevoerd, is een normstelling moeilijk. Zonder kennis van hoe het ervoor staat, kan geen uitspraak worden gedaan over het feit of iets beter moet en hoeveel beter. De onderzoeken zullen dus startpunt moeten zijn om een norm te stellen voor vervolgonderzoeken. 7 Kanttekeningen Enkele kanttekeningen uit de Handreiking meten van doelmatigheid van de Algemene Rekenkamer: 1. Waar doelmatigheid meestal redelijk goed is te meten, is dat bij doeltreffendheid heel vaak niet het geval. Een onderzoek van de Algemene Rekenkamer onder ministeries (Tweede Kamer, vergaderjaar ) gaf aan dat er meestal geen directe relatie tussen middelen en effecten is door de complexiteit van de materie. Er kunnen dan geen zinvolle en betrouwbare relaties gelegd worden tussen output en outcome van het beleid. Voor de doelmatigheid is inzicht nodig in de middelen en gerealiseerde prestaties. Dit is niet moeilijk, omdat deze gegevens óf aanwezig zijn óf betrekkelijk eenvoudig te verzamelen, 4

5 terwijl bij doeltreffendheid ook omgevingsfactoren als de economie en demografie meespelen. Het is daarom lastig om te zeggen dat een effect het gevolg is van een bepaald productieproces. Het effect kan immers evengoed ergens anders door komen. Vandaar dat de resultaten moeilijk te interpreteren zijn en conclusies slecht te trekken. 2. Het genereren van doelmatigheids- en doeltreffendheidsinformatie in het algemeen is niet eenvoudig en het is niet voor elke beleidsdoelstelling mogelijk om informatie over de doelmatigheid en doeltreffendheid te geven en deze informatie vervolgens te kwantificeren. 3. Het onderscheid tussen prestaties en effecten is niet in iedere situatie zo duidelijk aan te brengen. Het Centrum voor Werk en Inkomen (CWI) heeft onder meer als taak werklozen aan een baan te helpen. Hiertoe verwijzen CWI s werkzoekenden naar vacatures. Is een verwijzing op zichzelf een prestatie of is het pas een prestatie als de verwijzing tot werk heeft geleid? Of is dit laatste een effect. Per onderzoek zal geprobeerd worden hierin duidelijkheid te verschaffen. 8 Organisatorische inbedding De inmiddels algemeen geaccepteerde en gebruikte term voor een doelmatigheids- of doeltreffendheidsonderzoek is audit. Het engelse to audit betekent verifiëren, nazien. Van audit zijn ook de termen auditor en auditfunctie afgeleid. Hiermee wordt respectievelijk degene aangeduid, die de onderzoeken moet uitvoeren en de functie die de auditor vervult. Er zijn een aantal mogelijkheden voor de organisatorische inbedding van de onderzoeken: 1. interne auditfunctie 2. externe auditfunctie 3. combinatie van interne en externe auditfunctie Uit het onderzoek van Hofman, Krul en Partners blijkt dat alle gemeentes in ieder geval kiezen voor een interne auditfunctie. Waar het onderwerp van onderzoek erg breed of moeilijk is of het gevoelig ligt, wordt de mogelijkheid opengelaten om hiervoor een extern bureau in te huren. Ook Eemsmond kiest in eerste instantie voor het invullen van een interne auditfunctie. In het eerste jaar worden tevens onderwerpen gekozen, waarvoor geen externe hulp nodig is. Vanaf 2007 zal naast de interne onderzoeken jaarlijks een onderzoek door een extern bureau gedaan worden. In het bijgevoegde overzicht is schuin gedrukt aangegeven om welke onderzoeken het gaat. Overigens kan, op basis van verworven inzichten, bij de aanbieding van het onderzoeksplan bij de begroting 2007 en volgende jaren blijken dat andere onderzoeken geschikter zijn om extern uit te laten voeren en dat meer of juist minder onderzoeken extern uitgevoerd moeten worden. Bij de meeste gemeentes wordt de auditfunctie ondergebracht binnen de afdeling control of de auditor valt in de hiërarchie rechtstreeks onder de controller. Gezien de ontwikkeling van het takenpakket van de controller dat steeds meer gericht is op het doorlichten en adviseren bij de inrichting op financieel-economische en administratief gebied lijkt dit logisch. Het nadeel van deze positionering kan zijn dat de control-unit hiermee zowel een inrichtende als een toetsende functie krijgt. De gemeente Eemsmond heeft echter geen afdeling control en geen onafhankelijke controller, waarmee deze optie voorlopig afvalt. De keuze die op de tweede plaats van gemeentes staat, is het onderbrengen van de auditfunctie op de afdeling financiën. Het eerste voordeel is dat op deze afdeling reeds veel informatie aanwezig is. Het tweede voordeel is dat de afdeling financiën bij de te onderzoeken onderwerpen voor het grootste deel geen inhoudelijk belang heeft. De meeste thema s horen namelijk bij de drie andere sectoren. Een nadeel is wellicht dat de nadruk teveel op het cijfermatige komt te liggen, terwijl het bij doelmatigheid en doeltreffendheid bijvoorbeeld ook om kwaliteit gaat. 5

6 Dit alles afwegend zullen de onderzoeken in de gemeente Eemsmond door de afdeling financiën uitgevoerd worden. Voorafgaand aan en gedurende elk onderzoek zal er vanzelfsprekend nauwe afstemming zijn met de betrokken afdelingen. 9 Capaciteit Omdat de onderzoeken iets nieuws zijn, waarmee gemeentes nog geen ervaring hebben opgedaan, is het moeilijk een inschatting te maken van de benodigde capaciteit. Uit de praktijk (Overheidsmanagement, 2005) blijkt dat gemiddeld genomen één formatieplaats per inwoners met de coördinatie en uitvoering van de onderzoeken is gemoeid. Dit wil echter niet automatisch zeggen dat Eemsmond de auditfunctie kan invullen middels / = 0,34 formatieplaats. Bovendien is niet duidelijk hoeveel onderzoeken hiervoor gedaan worden. De gemeente Meppel, die al een paar stappen verder is in het implementatieproces van de onderzoeken, heeft de functie ingevuld door middel van 0,5 formatieplaats op inwoners. Hun ervaring tot nu toe is dat dit net genoeg is. Meppel voert hiervoor 12 onderzoeken per jaar uit, wat neerkomt op ongeveer 87 uur per onderzoek, inclusief 12% niet-productieve uren. Als laatste heeft een deskundig onderzoeker (Hofman, Krul & Partners) aangegeven dat een qua omvang één van de grotere onderzoeken ongeveer 120 uur in beslag neemt. Kleinere onderzoeken zullen dus minder tijd in beslag nemen. Uit bovenstaande informatie blijkt dat een inschatting voor de benodigde uren voor de onderzoeken erg moeilijk is te maken, maar dat een aantal aannames gemaakt kunnen worden:? De onderzoeken nemen minder dan 0,5 formatieplaats in beslag;? De benodigde formatie daalt met het aantal inwoners in een gemeente;? De onderzoeken zullen tussen de 87 en 120 uur tijd kosten. Deze aannames zijn natuurlijk gebaseerd op slechts een paar gegevens. Daar komt nog bij dat de onderzoeken voor iedereen nieuw zijn en dat de gegevens dus verkregen zijn via bronnen, die zelf ook nog in een leerproces zitten. Voorlopig wordt voor Eemsmond uitgegaan van gemiddeld 100 uur per onderzoek. Eemsmond doet in de laatste 6 jaar 7 onderzoeken per jaar, wat neerkomt op 700 uur. In de eerste twee jaar voert Eemsmond minder onderzoeken uit, maar zal de extra tijd nodig zijn in het kader van het leerproces. Een hele formatieplaats telt uren, inclusief 12% nietproductieve uren. Dit betekent dat voor de onderzoeken ongeveer % = 784 uur nodig is, wat neerkomt op 0,38 formatieplaats. 10 Het onderzoeksplan De verordening onderzoeken doelmatigheid en doeltreffendheid van de gemeente Eemsmond verplicht het college ieder jaar gelijktijdig met de aanbieding van de begroting een onderzoeksplan naar de raad te zenden met de in het erop volgende jaar te verrichten onderzoeken. Volgens artikel 3 van deze verordening wordt in het onderzoeksplan per onderzoek globaal het volgende aangegeven: a) Het object van onderzoek b) De reikwijdte van het onderzoek c) De onderzoeksmethode d) De doorlooptijd van het onderzoek e) De wijze van uitvoering Tevens wordt in het onderzoeksplan vermeld wat de verwachte kosten van de onderzoeken zijn. 6

7 11 Rapportage Waar het onderzoeksplan een summiere weergave van de te plegen onderzoeken is, zullen de uitkomsten van de onderzoeken worden vastgelegd in uitgebreidere rapportages. Artikel 5 uit de verordening onderzoeken doelmatigheid en doeltreffendheid van de gemeente Eemsmond zegt hierover het volgende: 1. De uitkomsten van een onderzoek worden vastgelegd in een rapportage. Elke rapportage bevat tenminste een analyse van de onderzoeksresultaten en indien nodig aanbevelingen voor verbeteringen. 2. Op basis van de resultaten van ieder onderzoek stelt het college indien nodig een plan van verbetering op. De rapportage en het plan van verbetering worden ter kennisgeving aan de raad aangeboden. Het college neemt op basis van het plan van verbetering organisatorische maatregelen. De rapportages zullen tegelijk met het jaarverslag en de jaarrekening over een begrotingsjaar worden aangeboden. Gedurende een begrotingsjaar rapporteert het college in de bedrijfsvoeringparagraaf van de tussenrapportages over de voortgang van de onderzoeken. 12 Soorten onderzoek De onderzoeken in het kader van de doelmatigheid en doeltreffendheid kunnen op verschillende manieren worden ingevuld:? Op basis van processen. Door het analyseren van werkprocessen, oftewel de throughput, wordt de interne logica beoordeeld.? Door middel van benchmarking. Hierbij worden gegevens van de gemeente Eemsmond vergeleken met die van andere gemeentes.? Via enquêtes. Deze kunnen gebruikt worden om maatschappelijke effecten en kwaliteit te achterhalen.? Door het afnemen van interviews. Dit kunnen bijvoorbeeld interviews onder werknemers zijn voor het achterhalen van interne gegevens.? Op basis van een vergelijking van historische cijfers. Hieruit kunnen conclusies getrokken worden over eventuele kostenbesparingen of andere prestatieverbeteringen ten opzichte van voorgaande jaren. 13 Randvoorwaarden Aan de volgende voorwaarden moet voldaan zijn om de onderzoeken naar doelmatigheid en doeltreffendheid op een adequate manier uit te kunnen voeren: 1. Uit paragraaf 3 blijkt dat het noodzakelijk is om voor alle producten de gewenste prestaties, de beoogde maatschappelijke effecten en de inzet aan middelen te definiëren. Dit dient bovendien op een dusdanige manier te gebeuren dat er metingen aan verricht kunnen worden. Het is algemeen geaccepteerd om hiervan te zeggen dat de gegevens SMART gemaakt moeten worden. SMART staat voor specifiek, meetbaar, acceptabel, realistisch en tijdgebonden. Hierbij moet wel de kanttekening geplaatst worden dat niet alles volledig SMART is te maken. Een zo goed mogelijke beschrijving is dan noodzakelijk. 2. In paragraaf 4 werd een relatie gelegd met de programmabegroting. Voor een insteek op productniveau is het noodzakelijk dat de vragen, die de raad heeft geformuleerd op programmaniveau, adequaat vertaald worden naar het productniveau. Alleen op deze manier is gewaarborgd dat de resultaten en conclusies uit de onderzoeken vanuit het productniveau zijn door te trekken naar het programmaniveau. 3. Het is belangrijk dat de onderzoeken met betrekking tot doelmatigheid en doeltreffendheid draagvlak hebben in de organisatie. Er moet goed gecommuniceerd worden dat de onderzoeken niet in eerste instantie bedoeld zijn om af te rekenen, maar het doel hebben om te leren, om na te denken over en om te streven naar verbetering. De onderzoeken 7

8 moeten ervaren worden als een instrument dat positieve resultaten teweeg kan brengen. 4. Omdat ook in het kader van de rekenkamerfunctie onderzoeken op verschillende terreinen gedaan zullen worden, is het noodzakelijk dat deze onderzoeken op elkaar afgestemd worden, zodat geen dingen dubbel gebeuren. Het instellen van een jaarlijks overleg waarin uit elk onderzoeksveld iemand plaatsneemt is daarom gewenst. 5. Jaarlijks zal geëvalueerd moeten worden in hoeverre de lijst met producten nog actueel en bruikbaar is en of er nog verschuivingen dienen plaats te vinden in extern en intern te verrichten onderzoeken. 14 Planning Bij dit plan van aanpak zit een onderzoeksplan voor De daadwerkelijke onderzoeken, die hieruit volgen, zullen starten op 1 januari 2006 en de resultaten daarvan worden gepresenteerd bij de jaarrekening 2006 in juni Gedurende het begrotingsjaar wordt de raad, via de voor- en najaarsnota, op de hoogte gehouden van de voortgang van de onderzoeken in de paragraaf bedrijfsvoering. In 2013 zullen de laatste onderzoeken uit een cyclus verricht worden. Daarna zal het proces zich herhalen. 15 Kosten De kosten voortvloeiend uit het feit dat 0,38 extra formatie nodig is bedragen Hiervoor is een stelpost in de begroting 2006 opgenomen. Vanaf 2007 zal ook een bedrag geraamd worden om jaarlijks een onderzoek door een extern bureau te laten verrichten. De kosten hiervan zijn nog niet bekend. Bij de samenstelling van de begroting 2007 zal hierover meer duidelijkheid bestaan, zodat een bedrag geraamd kan worden. 8