Efficiëntiewinsten in de publieke sector. Conceptualisering en het proces van meten, rapporteren en auditeren. Rapport

Transcriptie

1 Efficiëntiewinsten in de publieke sector Conceptualisering en het proces van meten, rapporteren en auditeren Rapport Jesse Stroobants & Geert Bouckaert

2

3 Inhoudstafel Managementsamenvatting 7 Inleiding Begrippenkader 19 > 1.1. Publieke sector productieproces 19 > 1.2. Zuinigheid 22 > 1.3. Efficiëntie 22 > 1.4. Effectiviteit 24 > 1.5. Kosteneffectiviteit 24 > 1.6. Gepland versus actueel 25 > 1.7. Conclusie: efficiëntie binnen een ruimere context Efficiëntiewinsten in de overheid 29 > 2.1. Drijfveren voor efficiëntie 29 > 2.2. Wat zijn efficiëntiewinsten (en wat niet)? 30 > 2.3. Geldelijke en niet-geldelijke efficiëntiewinsten 32 > 2.4. Typologie van efficiëntiewinsten 34 > 2.5. Relatie met effectiviteit en kwaliteit 36 > 2.6. Karakteristieken van efficiëntiewinsten 36 > Reëel 37 > Vergelijkbaar 37 > Meetbaar 38 > Auditeerbaar 40 > 2.7. Duurzaamheid 41 > 2.8. Efficiëntie als deel van de overheidscultuur 41 > 2.9. Koppeling van financiële en niet-financiële informatie Efficiëntiewinsten meten, rapporteren en auditeren 47 > 3.1. Stapsgewijs proces van meten en rapporteren 47 i

4 > Stap 1: Efficiëntiewinsten identificeren en omschrijven 48 > Strength in numbers 48 > Kwalitatieve omschrijving 51 > Stap 2: Selecteer indicatoren 52 > Stap 3: Verzamel data 55 > Stap 4: Verwerk data 56 > Stap 5: Rapportering 58 > 3.2. Auditeren van efficiëntiewinsten Case studie: Efficiëntiewinsten in het Verenigd Koninkrijk 63 > 4.1. SR04 (Gershon) Efficiency Programme 64 > 4.2. Bronnen van efficiëntiewinsten 65 > Back office 65 > Overheidsopdrachten 66 > Transactionele diensten 67 > Productiviteit 68 > Beleid, financiering en regulering (BFR) 69 > BFR voor de publieke sector 69 > BFR voor de private sector 70 > Andere winsten 71 > 4.3. Registreren en rapporteren van efficiëntiewinsten 71 > 4.4. Auditeren van het efficiëntieprogramma 77 > Interne audit 78 > Externe audit 78 > National Audit Office 79 > Audit Commission 88 > 4.5. Conclusie 89 Besluit 91 Bijlage 1: Outputvereisten bij efficiëntiemeting 101 Bijlage 2: Criteria voor goede prestatie-indicatoren 103 Bijlage 3: Vragen om efficiëntiemeting te beoordelen 105 ii

5 Bijlage 4: Efficiëntietoolkit 109 Referenties 111 Lijst websites 115 iii

6 Lijst tabellen Tabel 1: De voornaamste types van performantie-indicatoren 26 Tabel 2: Wijzen tot het bereiken van efficiëntiewinsten 31 Tabel 3: Typologie van efficiëntiewinsten 35 Tabel 4: Classificatie van gerapporteerde efficiëntiewinsten 73 Tabel 5: Niveaus van zekerheid omtrent gebruikte datasystemen 74 Tabel 6: Noodzakelijke voorwaarden voor een finale efficiëntiewinst 75 iv

7 Lijst figuren Figuur 1: MAPE-spectrum 20 Figuur 2: Relaties tussen input, output en effecten 21 Figuur 3: Onderscheid tussen zuinigheid, efficiëntie en effectiviteit 25 Figuur 4: Geldelijke versus niet-geldelijke efficiëntiewinsten 33 Figuur 5: Elementen in het proces van efficiëntiewinstmeting 48 Figuur 6: Gekwantificeerde efficiëntiewinstdoelstellingen in het VK 50 Figuur 7: Gekwantificeerde efficiëntiewinstdoelstellingen in Nederland 51 Figuur 8: Informatievereisten voor het meten van efficiëntiewinsten 58 Figuur 9: Algemene voortgangscontrole in cijfers 62 v

8 Longum iter est per praecepta, breve et efficax per exempla (The journey is long through advice, but short and efficient through examples) Seneca vi

9 Managementsamenvatting In dit tweede onderzoeksrapport binnen het project Slagkrachtige Overheid richten we ons specifiek op initiatieven voor het realiseren van efficiëntiewinsten in de publieke sector. Naast een kadering van het efficiëntiebegrip binnen de ruimere context van het publieke sector productieproces, gaan we dieper in op het concept van efficiëntiewinsten. Vervolgens focussen we ons in dit rapport op het proces van het meten en auditeren van efficiëntiewinsten, gebaseerd op goede praktijken uit onder meer het Verenigd Koninkrijk. Overheidsperformantie is niet enkel een verhaal van efficiëntie, maar van de combinatie ervan met zuinigheid, effectiviteit en kwaliteit Relaties tussen input, output en effecten: zuinigheid, efficiëntie en (kosten)effectiviteit Om de performantie van de overheid te beoordelen, is niet enkel (kwalitatieve en kwantitatieve) informatie nodig over de aangewende middelen, geleverde prestaties en bereikte effecten. Ook de relaties tussen deze elementen zijn van groot belang. Efficiëntie ( de dingen juist doen ) combineren met effectiviteit ( de juiste dingen doen ) is een plicht voor elke overheid Deze relaties dienen evenmin los van elkaar bekeken worden. Het debat over het functioneren van de overheid moet in een ruime context gevoerd worden, en mag niet vernauwd worden tot een verhaal van louter zuinigheid of efficiëntie. Directe besparingen kunnen op korte termijn nuttig zijn, maar op lange termijn dingen duurder maken We erkennen dat snijden in de overheidsuitgaven in het huidige financiële en economische klimaat onontbeerlijk is. Naast directe besparingsinitiatieven staat vandaag de dag ook het streven naar efficiëntiewinsten hoog op de politieke agenda, zowel in Vlaanderen als in de ons omringende landen (zoals het Verenigd Koninkrijk en Nederland). Deze aandacht voor het realiseren van efficiëntiewinsten moet echter in een ruimer kader bekeken worden. 7

10 Ook door effectief te functioneren, kan een overheid besparen Ongeacht hoe efficiënt of zuinig een publieke dienst gemaakt wordt in monetaire termen, wanneer het niet het probleem oplost dat het dient op te lossen, of niet de gewenste effecten met zich meebrengt, dan is het een slecht gebruik van overheidsgeld. Nog belangrijker, het zal de dingen enkel meer doen kosten, ofwel omwille van ontevreden burgers die -omdat ze niet krijgen wat ze verwachten- herhalend vragen naar de dienst, ofwel omdat de kosten simpelweg elders zullen doorgerekend zullen worden Meer bereiken met minder De efficiëntie-uitdaging moet dus noodzakelijk gekaderd worden in een grondig en breed debat over het performantieniveau van de overheid, waarbij ook de aspecten van kwaliteit en effectiviteit mee in rekening gebracht worden: hoe kan de overheid meer bereiken met minder, en dus voorzien in diensten die tegemoet komen aan de noden van de mensen (effectiviteit en kwaliteit), tegen lagere kosten (zuinigheid en efficiëntie)? Efficiëntiewinsten in de publieke sector Redenen waarom efficiëntiewinsten hoog op de agenda staan Aangezien de middelen in de publieke sector voornamelijk gegenereerd worden via belastingen, eisen burgers, bedrijven en organisaties dat ze waar krijgen voor hun geld. Input linken aan prestaties (i.e. efficiëntie) komt dus hoog op de agenda te staan. Bovendien wordt de overheid dezer dagen geconfronteerd met een toenemende budgettaire, socio-economische en ecologische druk, waardoor betere prestaties dienen geleverd te worden met minder beschikbare middelen. Er zijn vijf wijzen om efficiëntiewinsten te bereiken - E1: Dezelfde output voortbrengen met minder input; - E2: Meer of betere output voortbrengen met dezelfde input; - E3: Meer of betere output voortbrengen met minder input; - E4: Ietwat minder output voortbrengen met aanzienlijk minder input; - E5: Aanzienlijk meer/betere output voortbrengen met ietwat meer input. Efficiëntiewinsten niet enkel minder kosten of meer outputs Efficiëntiewinsten kunnen zelfs plaatsvinden bij stijgende uitgaven (E5), indien gemotiveerd en onderbouwd kan worden dat de output aanzienlijk 8

11 meer zal toenemen dan de stijging van de inputkosten (waardoor de eenheidskosten dalen). De toename van de output kan zowel een verhoogde kwantiteit zijn, als een verbeterde kwaliteit van de geleverde prestaties. Efficiëntiewinsten mogen niet ten koste gaan van de kwaliteit van de dienstverlening Dit benadrukt opnieuw het feit dat de efficiëntie-agenda steeds in relatie moet staan tot effectiviteit en kwaliteit, waarbij de overheid een optimale balans dient na te streven tussen succesvolle effecten, hoge productiviteit en efficiëntie, en relatief lage kosten. Voorwaarden voor efficiëntiewinsten Zoals de Vlaamse Regering in haar regeerakkoord heeft aangegeven, moeten de beoogde efficiëntiewinsten reëel, vergelijkbaar, meetbaar en auditeerbaar zijn. Reëel De kosten voor efficiëntieprojecten mogen de winsten niet overstijgen, en efficiëntie op de ene plaats mag niet ten koste gaan van efficiëntie op een ander domein. Vergelijkbaar In het streven naar een slagkrachtige Vlaamse overheid die tot de top 5 van Europa behoort, moeten de efficiëntiewinsten eveneens vergelijkbaar zijn. We benadrukken dat hiervoor uiteraard wel zorgvuldig juiste en vergelijkbare indicatoren geselecteerd moeten worden. Benchmarking voor Vlaanderen betekent immers vergelijken op het niveau regio s, niet op het niveau van landen. De Governance at a Glance -indicatoren die vanuit de OESO worden voorgesteld, kunnen een waardevol vertrekpunt zijn om verdere regionale informatie te gaan verzamelen. Meetbaar en auditeerbaar Financiële en niet-financiële informatie dienen gekoppeld te worden om efficiëntiewinsten te kunnen meten en te auditeren. Daarenboven stellen we voor om minstens twee criteria toe te voegen aan deze lijst van voorwaarden. 9

12 Duurzaam Het is ook van belang dat efficiëntiewinsten duurzaam zijn, en dus op lange termijn aangehouden kunnen worden. Hiervoor is het aanbevolen dat de efficiëntie-agenda deel uitmaakt van de strategische en operationele meerjarenplanning en begroting, en past binnen een algemeen prestatiemanagement-perspectief. Ingebed in de overheidscultuur Efficiëntieprogramma s dienen, als langetermijn doelstelling, te streven naar het incorporeren van efficiëntie in de heersende cultuur van de overheid. Efficiëntie moet immers meer zijn dan een apart programma naast de eigenlijke activiteiten, maar moet een wijze zijn waarop de dienstverlening geleverd wordt en verbeteringen in de kwaliteit van de diensten verzekerd wordt. Rekendecreet: koppeling tussen financiële en niet-financiële informatie Een bijkomende, maar niet minder cruciale, voorwaarde om het Vlaamse meerjarenprogramma voor het realiseren van efficiëntiewinsten tot een succesvol initiatief te maken, is het voorzien van een koppeling tussen financiële en niet-financiële informatie. Financiële gegevens over de ingezette middelen linken aan informatie over de prestaties die met deze middelen bereikt worden, is immers essentieel om efficiëntie te kunnen beoordelen en evalueren. Het opmaken van een prestatiebegroting, waarbij de beleids- en beheerscyclus geïntegreerd wordt met de financiële cyclus, is dus van groot belang. We beschouwen het daarom als essentieel om deze integratie van financiële en niet-financiële informatie duidelijk vast te leggen in het Comptabiliteitsdecreet. Het meetproces van efficiëntiewinsten Om na te gaan of efficiëntieprogramma s (met onderliggende projecten, veranderingen en/of innovaties) werkelijk tot de beoogde efficiëntiewinsten leiden, en om deze winsten te kunnen rapporteren, vergelijken en auditeren, is het uiteraard ook noodzakelijk dat efficiëntiewinsten meetbaar zijn. We onderscheiden vijf stappen in het proces van het meten van efficiëntiewinsten. 10

13 Stap 1: Identificeren en expliciteren van efficiëntiewinsten Aan de hand van gestandaardiseerde projectfiches aangeven en omschrijven welke efficiëntiewinst beoogd wordt (E1-5) en hoe dit bereikt kan worden en hoeveel dit kan opleveren. Kwalitatief: efficiëntieproject beschrijven en aangeven hoe winsten gemeten en gerapporteerd worden, wie verantwoording aflegt, welke risico s kunnen optreden, etc. Kwantitatief: targets en taakstellingen voor organisaties of projecten vooropstellen. We verwijzen hierbij naar het Verenigd Koninkrijk waar in 2004 per departement en per project binnen het departement gekwantificeerd werd hoeveel efficiëntiewinsten tegen 2008 dienden behaald te worden. Ook in Nederland wordt voor de verschillende efficiëntieprojecten aangegeven via welke departementale begroting de winst gerealiseerd zal worden. Kwantificering van efficiëntiedoelstellingen vereist dus dat financiële en niet-financiële informatie aan elkaar moeten kunnen gekoppeld worden. Het eventueel inbedden van efficiëntieprogramma s in de cyclus van budgettaire planning en controle (zoals in het Verenigd Koninkrijk) zal het doorvoeren ervan ook vergemakkelijken. Stap 2: Selecteer indicatoren Goede indicatoren voldoen aan een zeker aantal karakteristieken: o.m. relevantie, eenvoudigheid, objectiviteit, nauwkeurigheid, aanvaardbaarheid, vergelijkbaar en auditeerbaar. Indicatoren zijn doorgaans kwantitatief van aard, hoewel ze ook kwalitatief kunnen zijn. Eveneens dient de kwaliteit van de dienstverlening gemeten te worden, enerzijds omdat een stijging in de kwaliteit van de output ook een vorm van efficiëntiewinst kan zijn, anderzijds om de voorwaarde van het minstens behouden van de dienstverleningskwaliteit te valideren. Om de standaardisatie, opvolging en auditeerbaarheid van de efficiëntiewinstmetingen te faciliteren, is het aanbevolen om indicatorenfiches op te maken, met daarin toelichting over de gebruikte terminologie, dimensies, aggregatieniveaus, verantwoordelijke dienst/ persoon, meetfrequentie, etc. 11

14 Stap 3: Verzamel data In de eerste plaats voor het uitvoeren van de nulmetingen, later opnieuw voor de vervolgmetingen. Opnieuw vermelden we dat hierbij zowel financiële als niet-financiële informatie van belang is. Deze gegevensverzameling dient te gebeuren voor elke indicator, rekening houdend met een minimum aan bijkomende administratieve lasten voor de betrokken organisatie(s). Ook toelichting over de kwaliteit van de verzamelde data is belangrijk, om op die manier de risico s op foutieve of onbetrouwbare meting en rapportering te reduceren. Stap 4: Verwerk data Om te kunnen beoordelen of bepaalde projecten, nieuwe processen of innovaties leiden tot een verhoging van de efficiëntie, is het uiteraard noodzakelijk om eerst basislijnen (nulmetingen) vast te stellen over de besteding van middelen (financiële data over bijvoorbeeld kosten van een huidig proces) en het huidige prestatieniveau (het aantal outputs en de kwaliteit van de outputs). Na deze nulmeting kan de organisatie vervolgens het efficiëntieproject doorvoeren. In een latere fase zal de organisatie dan opnieuw metingen uitvoeren voor de inputzijde en outputzijde, om te kijken of de transformatie van het dienstverleningsproces ook daadwerkelijk tot de gewenste efficiëntiewinst heeft geleid. Stap 5: Rapporteren Efficiëntiewinsten op een duidelijke, consistente en transparante wijze rapporteren - frequent en via gestandaardiseerde voortgangsfiches; - om de geboekte voortgang (of de finale winsten) voor de verschillende projecten te beschrijven; - om de koers van het algehele programma aan te geven - opdat de verantwoordelijken een heldere en eenduidige wijze verantwoording kunnen afleggen; - om de auditeerbaarheid ervan mogelijk te maken; - om ambtelijk en politieke opvolging van de projecten en het gehele programma te verzekeren. 12

15 Kwalitatief, maar ook kwantitatief Op een eenduidige en robuuste wijze dient, zowel tekstueel als numeriek, aangegeven te worden hoe de tussentijdse stand van zaken zich verhoudt tot de finaal beoogde doelstellingen. De kwantificering van de initiatieven laat daarnaast toe de kosten die gemaakt worden voor een bepaald project uit te zetten tegenover de behaalde (en kwantitatieve weergegeven) efficiëntie-opbrengsten, om zo de reële nettowinsten te kunnen rapporteren. Aspect van behoud van kwaliteit Bovendien dient bij het rapporteren van efficiëntiewinsten ook het aspect van (minstens) het behoud van kwaliteit van de dienstverlening in kaart te brengen. Deze cross-check voor kwaliteit moet verzekeren dat er werkelijk een efficiëntiewinst heeft plaatsgevonden, eerder dan een zuivere besparing in de dienstverlening. In sommige gevallen kan de verbetering van de kwaliteit van de output zelfs de bron van de efficiëntiewinst zijn. Aandacht voor de huidige en mogelijk toekomstige risico s En daarbij ook in te gaan op de genomen of te nemen maatregelen om deze risico s te beperken of te voorkomen. Audit van efficiëntiewinsten Het is essentieel dat het hierboven beschreven proces van het meten en rapporteren van efficiëntiewinsten, ondersteund kan worden door een traject van audit en evaluatie, zoals ook blijkt uit goede praktijken uit het Verenigd Koninkrijk. Voor wat betreft het Vlaamse meerjarenprogramma Slagkrachtige Overheid lijkt hierin een rol weggelegd voor het IAVA (interne audit) en/of voor het Rekenhof (externe audit). Op niveau van een project Controle en validering van de gerapporteerde (tussentijdse en finale) efficiëntiewinsten: o.m. - Beoordeling van de meetmethode (de gebruikte indicatoren); - Betrouwbaarheid van de data; - Validering van de nulmetingen; - Evaluatie van het kwaliteitsaspect. 13

16 Op niveau van het programma - Algemene voortgangscontrole; - Beoordeling aansturing en coördinatie (governancestructuur); - Samenhang van het programma. Audit van efficiëntie kaderen binnen algemene prestatie-audit - waarbij de globale managementverantwoordelijkheden opgevolgd en benadrukt worden, via rapporten over de uitvoering van de beheers- en managementovereenkomsten; - waarbij efficiëntiewinsten worden geconsolideerd op het niveau van beleidsdomeinen en in relatie gebracht met de beleidseffectenrapportages; - waarbij efficiëntie in relatie gebracht wordt met andere organisationele verantwoordelijkheden (zoals kwaliteit en effectiviteit) is een complementaire, geen tegenstrijdige, doelstelling. 14

17 Inleiding Vanuit de regeringsverklaring Een daadkrachtig Vlaanderen in beslissende tijden en binnen de Vlaanderen in Actie (ViA) Pact doelstellingen om Vlaanderen tegen 2020 naar de top 5 van Europese regio s te leiden, wordt de aandacht voor een slagkrachtige overheid onvermijdelijk. Zo wil de Vlaamse Regering naar een overheid die beter, klantvriendelijker en meer probleemoplossend werkt. Bovendien dwingt de huidige economische toestand -met de bijhorende besparingsoperaties- de overheid om meer en beter te doen met minder middelen. Het realiseren van efficiëntie- en effectiviteitswinsten wordt hierbij een centrale opdracht voor de komende jaren. In haar streven naar een slagkrachtige overheid staat de Vlaamse Regering uiteraard niet alleen. Onder andere op basis van een uitgebreid rapport van de Commissie Efficiënte en Effectieve Overheid (CEEO) zijn er binnen de Vlaamse administratie verschillende initiatieven die de aandacht voor efficiëntie en effectiviteit delen. Zo heeft het College van Ambtenaren- Generaal (CAG) een voorstel uitgewerkt van een meerjarenprogramma Slagkrachtige Overheid. Hiervoor werd onder meer advies gevraagd aan de CEEO en aan de ViA-Raad van wijzen. In februari 2011 heeft de Vlaamse Regering dit meerjarenprogramma goedgekeurd (Vlaamse Regering & College van Ambtenaren-Generaal, 2011). Om dit meerjarenprogramma Slagkrachtige Overheid wetenschappelijk te ondersteunen, is vanuit de Vlaamse Overheid een gelijknamig project geïnitieerd dat uitgevoerd wordt onder de koepel van het Steunpunt Bestuurlijke Organisatie Vlaanderen (SBOV). Dit project Slagkrachtige Overheid heeft als doel om (systeem)ondersteunend en complementair te werken ten aanzien van de bestaande initiatieven. Dit betekent onder meer dat concrete informatie omtrent veranderingsprogramma s en ervaringen uit het buitenland zullen worden aangereikt. In een eerste onderzoeksmodule van het project hebben we de governance van hervormingsinitiatieven onder de loep genomen (Stroobants & Bouckaert, 2010). Op basis van een analyse van governancestructuren van hervormingen in twee andere landen, het Verenigd Koninkrijk en Nederland, werden een reeks aanbevelingen geformuleerd naar de Vlaamse overheid 15

18 toe betreffende het aansturen en beheren van veranderingsinitiatieven (zoals het genoemde meerjarenprogramma). In het voorliggende rapport presenteren we de tweede onderzoeksmodule van het project Slagkrachtige Overheid, waarbij we ons specifiek richten op initiatieven voor het realiseren van efficiëntiewinsten in de publieke sector. Immers, in het traject voor het behalen van de ViA-doelstellingen dienen overheden in Vlaanderen, elk op hun niveau, tegen 2020 substantiële efficiëntiewinsten te bereiken, overeenkomstig met de topregio s die een vergelijkbaar overheidsaanbod realiseren, wat hen toelaat de kwaliteit van dienstverlening aan burgers en ondernemingen sterk te verbeteren (ViA Pact 2020, 2009). Bovendien dwingt de huidige financieel-economische context, en de vele andere sociale, demografische en ecologische uitdagingen op lange termijn, overheden om met minder middelen een beter bestuur en betere dienstverlening tot stand te brengen. Met andere woorden, efficiëntie staat vandaag de dag hoog op de politieke en administratieve agenda. We vangen dit rapport aan met een overzicht van het begrippenkader waarbinnen de term efficiëntie gesitueerd dient te worden. Door alle elementen van het publieke sector productieproces in beschouwing te nemen, en de relaties tussen deze elementen in rekening te brengen, linken we efficiëntie met zuinigheid en (kosten)effectiviteit. Het is immers van belang om de huidige efficiëntie-agenda te kaderen binnen het ruimere debat over het performant functioneren van de overheid, waarbij ook kwaliteit en effectiviteit niet uit het oog verloren worden. Hoofdstuk twee gaat dieper in op het concept van efficiëntiewinsten in de overheid. We starten hierbij met een korte bespreking van de drijfveren die aan de basis liggen van de toegenomen aandacht voor efficiëntie. Daarna definiëren we uitgebreid de term efficiëntiewinsten. We geven aan wat wel een wat niet beschouwd kan worden als een efficiëntiewinst, en we bespreken de verschillende wijzen, vormen en typen van efficiëntiewinsten. Na een overzicht van de noodzakelijke karakteristieken van efficiëntiewinsten eindigen we het hoofdstuk met een pleidooi voor het integreren van financiële en niet-financiële informatie. Om te beoordelen of bepaalde projecten, veranderingen, vernieuwingen of innovaties, die ingevoerd worden met het oog op het realiseren van 16

19 efficiëntiewinsten, ook daadwerkelijk tot deze winsten leiden, is het uiteraard essentieel dat efficiëntiewinsten gemeten en geauditeerd kunnen worden. Dit proces van meten en auditeren vormt de inhoud van het derde hoofdstuk. We onderscheiden daarbij vijf stappen in de keten van efficiëntiewinstmeting. Ook bespreken we het belang van audit voor het beoordelen en valideren van gerapporteerde efficiëntiewinsten, en voor het evalueren van efficiëntieprogramma s en -projecten. Dit hoofdstuk vormt tegelijkertijd een geheel van aandachtspunten en aanbevelingen voor de Vlaamse overheid in het kader van het huidig lopende meerjarenprogramma. Het vierde en laatste hoofdstuk van dit onderzoeksrapport behandelt een case studie die werd uitgevoerd om onze bevindingen uit de vorige hoofdstukken te onderbouwen met goede praktijken uit het buitenland. Meer specifiek gaan we in op het Gershon Efficiency Programme dat tussen 2004 en 2008 in de Britse publieke sector doorgevoerd werd. In deze case studie kijken we eerst en vooral naar de verschillende bronnen voor efficiëntiewinsten in de overheid die in het Verenigd Koninkrijk worden geïdentificeerd. Daarna gaan we uitgebreider in op de voor het Gershonprogramma gehanteerde principes omtrent het meten en rapporteren van efficiëntiewinsten. Tot slot bespreken we de rol van de belangrijkste auditactoren in het programma, en de wijze waarop deze spelers hun rol hebben uitgevoerd. 17

20

21 1. Begrippenkader Met de opkomst van het New Public Management (NPM) gedachtegoed vanaf de jaren 80, waarbij managementideeën en -theorieën uit de bedrijfswereld steeds meer hun ingang vonden in de publieke sector, hebben ook termen als zuinigheid, efficiëntie en effectiviteit binnen de overheid aan belang gewonnen. De huidige economische en financiële toestand, met de bijhorende noodzaak om haar activiteiten uit te voeren met minder middelen, versterkt bovendien de aandacht voor zuinige, efficiënte en effectieve overheden. Gezien de vaak voorkomende misverstanden over -en verwarring tussen- de begrippen omtrent efficiëntie en effectiviteit, is het nuttig en waardevol om dit rapport aan te vatten met een theoretisch begrippenkader. Zodoende kunnen we duidelijk de verschillende relevante termen aflijnen en hun onderlinge relaties aangeven. > 1.1. Publieke sector productieproces De analyse van efficiëntie en effectiviteit heeft betrekking op de relaties tussen middelen (inputs), prestaties (outputs) en effecten (outcomes). Het raamwerk van Bouckaert en Auwers (1999), dat weergegeven is in onderstaande figuur 1, is in dit verband zeer inzichtelijk. Het illustreert de concepten van efficiëntie en effectiviteit en legt de link tussen middelen, activiteiten, prestaties en effecten. Dit raamwerk wordt het MAPE-spectrum genoemd, naar de eerste letters van de elementen. De vier elementen in het MAPE-spectrum vormen de componenten van de standaardbenadering van het publieke sector transformatieproces: bepaalde financiële, menselijke en/of materiële middelen (inputs) worden aangewend om via een proces van activiteiten (throughput) omgezet te worden in bepaalde prestaties (outputs) die leiden tot zekere effecten (outcomes). Bijvoorbeeld, financiële middelen worden vrijgemaakt en ingezet om via het administratieve proces (activiteiten) subsidies toe te kennen aan bedrijven die oudere werknemers in dienst nemen (prestaties), om zo de activeringsgraad van vijftigplussers te verhogen (effect). 19

22 Figuur 1: MAPE-spectrum Het MAPE-spectrum dient dus als volgt begrepen te worden (Heene, 2005): (1) Overheidsorganisaties (en ook het beleid) functioneren in regel als antwoord op bepaalde noden of behoeften die zich in de samenleving stellen en waarop van de overheid een passend antwoord verwacht wordt; (2) Om gericht te kunnen antwoorden op de gestelde noden moet de overheid zelf weten waar ze naartoe wil en wat ze uiteindelijk wil bereiken (doelstellingen); (3) Om de doelstellingen te realiseren worden met bepaalde middelen bepaalde activiteiten uitgevoerd die leiden tot bepaalde prestaties; (4) De prestaties brengen op maatschappelijk vlak bepaalde effecten met zich mee. Echter, om de performantie van de overheid te kunnen beoordelen, is er niet alleen informatie nodig over de verschillende elementen van het spectrum (input, throughput, output en outcome). Evenzeer dienen ook de relaties tussen de beschreven elementen in rekening gebracht te worden. 20

23 Deze relatie- of combinatie-indicatoren zijn, zoals te zien in figuur 1, zuinigheid, efficiëntie, effectiviteit en kosteneffectiviteit. In dit kader van de performantie van de overheid spreekt men ook weleens over de 3 E s (de Engelse termen Economy, Efficiency en Effectiveness) waaraan een goede werking van de publieke sector dient te voldoen. In onderstaande figuur 2 hebben we deze relaties tussen input, output en effecten op een alternatieve wijze weergegeven. Hiermee willen we benadrukken dat verschillende criteria en relaties in rekening dienen worden gebracht bij het beoordelen van de performantie van overheden. Het is dan ook belangrijk dat een debat over het functioneren van de publieke sector niet vernauwd wordt tot bijvoorbeeld enkel een efficiënt of een effectief overheidsoptreden (SERV, 2009). De discussie moet gevoerd worden binnen de ruime context van de genoemde criteria. Figuur 2: Relaties tussen input, output en effecten output effectiviteit efficiëntie effecten input kosteneffectiviteit zuinigheid input In wat volgt verduidelijken we de vier begrippen en onderscheiden we eveneens enkele verwante termen. 21

24 > 1.2. Zuinigheid Zuinigheid (economy) verwijst naar de algemene voorwaarden onder dewelke financiële, menselijke en materiële middelen (inputs) worden verworven. Meer bepaald betreft zuinigheid de aanschaffing van de gepaste kwantiteit en kwaliteit van middelen op de gepaste tijd tegen de laagste kostprijs. Zuinigheid heeft met andere woorden betrekking op de relatie tussen de verworven middelen en de kostprijs van die middelen. Zuinigheid kan eveneens verwijzen naar de relatie tussen input en throughput: is het productieproces verantwoord of gaan er middelen verloren? Zuinigheid betreft dus een input/input-relatie, zoals ook is weergegeven in figuur 2, waarbij de ene inputterm staat voor de kwantiteit (en kwaliteit) van de ingezette middelen en de andere inputterm de kostprijs van deze middelen weergeeft. Bijvoorbeeld voor wat betreft arbeidsinputs handelt zuinigheid over de relatie tussen het aantal VTE die een organisatie inzet en de kostprijs hiervan (met name de personeelskosten). > 1.3. Efficiëntie Efficiëntie, of doelmatigheid, verwijst naar de wijze waarop de organisatie haar (financiële, menselijke en materiële) middelen optimaal -tegen een redelijke kost- aanwendt om haar activiteiten uit te voeren en haar prestaties te realiseren. Efficiëntie heeft dus betrekking op de relatie tussen inputs en outputs, waarbij gestreefd wordt om de prestaties te maximaliseren met een minimale hoeveelheid middelen. Binnen het concept van efficiëntie wordt, zeker in de economische literatuur, een onderscheid gemaakt tussen verschillende types van deze input/output-relatie 1. Een vaak terug te vinden opdeling is deze tussen technische, allocatieve en kostenefficiëntie. Technische efficiëntie (Farrell, 1957) wordt daarbij gedefinieerd als de zuivere ratio tussen input en output. Met andere woorden, een transformatieproces is technisch efficiënt wanneer het de geleverde prestaties maximaliseert bij een gegeven set van 1 Er zijn in de wetenschappelijke literatuur tal van definities, soms afwijkend van elkaar, terug te vinden omtrent de verschillende concepten van efficiëntie. We opteren in deze tekst voor de meest gangbare benaderingen van de onderscheiden termen, zonder in te gaan op de economische uitwerkingen van de aangegeven interpretaties. 22

25 middelen, of wanneer het de ingezette middelen minimaliseert voor een gegeven kwaliteit en kwantiteit van prestaties. Technische efficiëntie refereert dus aan de afwezigheid van verspilling van de toegekende middelen. Allocatieve efficiëntie streeft dan weer naar de optimale combinatie van de beschikbare inputs om de collectieve welvaart te maximaliseren. Bij allocatieve efficiëntie gaat het ruwweg om de vraag of het geld maatschappelijk goed besteed wordt, dus of het daar terecht komt waar het de grootste bijdrage levert aan de bevordering van het publieke belang 2 (Wetenschappelijke Raad voor het Regeringsbeleid, 2000). Voor overheden gaat het bijvoorbeeld over de verdeling van de schaarse middelen tussen de verschillende beleidssectoren of -actoren. Kostenefficiëntie, tenslotte, wordt veelal beschouwd als een combinatie van technische en allocatieve efficiëntie. Kostenefficiëntie bekijkt de ratio tussen de minimale kosten en de eigenlijke kosten van de inputs die ingezet worden om de gewenste output te realiseren. Er is dus met andere woorden sprake van kosteninefficiëntie wanneer middelen aanschaft worden tegen hogere prijzen dan de marktprijs (Mandl et al., 2008). In de literatuur wordt vaak ook een onderscheid gemaakt tussen de termen efficiëntie en productiviteit. Zo benadert een studie van OECD (2009) efficiëntie als de kosten per eenheid van output (ratio kosten/output), en productiviteit als de output per eenheid input (ratio output/input). Raaum en Morgan (2001) hanteren een gelijkaardig onderscheid. De Borger en Kerstens (1994) beschouwen op hun beurt efficiëntie als één van de drie componenten van productiviteit, naast schaal van de productie en stand van de technologie. In dit rapport wordt niet dieper ingegaan op het verschil tussen efficiëntie en productiviteit, daarvoor verwijzen we naar de specifieke economische literatuur zoals bijvoorbeeld Coelli et al. (2005). Ook de hierboven gemaakte opdeling tussen de drie verschillende types van efficiëntie zullen we niet verder meenemen. In deze studie benaderen we efficiëntie algemeen en in brede zin als de relatie tussen middelen (inputs) en 2 Met andere woorden, wanneer de output algemeen (over alle individuen heen) behouden blijft tegen een lagere kostprijs, of wanneer meer/betere output geleverd wordt tegen dezelfde of lagere kosten, dan kan er gesproken worden van allocatieve efficiëntie, zelfs wanneer een minderheid van individuen benadeeld wordt (HM Treasury, 2007). 23

26 prestaties (outputs). Elke daling van de input/output-verhouding zullen we als een verhoging van de efficiëntie (i.e. efficiëntiewinst) beschouwen (cfr. infra). > 1.4. Effectiviteit Effectiviteit, of doeltreffendheid, van het overheidsoptreden relateert de prestaties van de overheid (output) aan de finale effecten die beoogd worden (outcome). Deze effecten zijn vaak gelinkt aan welvaart of groeidoelstellingen, en worden meestal beïnvloed door meerdere factoren (inclusief output, maar ook exogene omgevings- factoren). Hierdoor is effectiviteit moeilijker te beoordelen dan efficiëntie. Bovendien zijn de effecten die beoogd worden, beïnvloed door politieke keuzes, en is het onderscheid tussen prestaties (output) en effecten (outcome) niet altijd even duidelijk (Mandl et al., 2008). Dit laatste is voornamelijk het geval in de publieke sector waarbij de door de overheid geproduceerde prestaties vaak diensten zijn, eerder dan fysieke goederen. Het concept van een output is immers minder expliciet bij diensten dan bij fysieke producten. Ondanks de hierboven aangegeven mogelijke hinderpalen om de effectiviteit van overheidsoptreden duidelijk vast te stellen, kunnen we het begrip wel theoretisch definiëren als de ratio tussen prestaties en effecten. Met effectiviteit wordt dus het doen van de juiste dingen bedoeld ( doing the right things ), zodanig dat de beoogde effecten ook daadwerkelijk gerealiseerd worden (Bartlett, 2009). Hieruit blijkt nogmaals het verschil met het concept van efficiëntie, dat we gedefinieerd hebben als de dingen juist doen ( doing things right ). > 1.5. Kosteneffectiviteit Effectiviteit hoeft niet uitsluitend betrekking te hebben op de relatie tussen prestaties en effecten. Het is ook mogelijk om de input te relateren aan het al dan niet realiseren van bepaalde effecten. In dat geval wordt er gesproken van kosteneffectiviteit: hoeveel middelen heeft de (overheids-) organisatie nodig om het beoogde effect te bewerkstelligen? Als voorbeeld stelt Heene (2005) dat structureel onderhoud aan de wegen (een dure prestatie) waarschijnlijk een meer positieve impact heeft op het ongevallencijfer (effect) dan oppervlakkige ingrepen op het wegdek (een goedkopere prestatie). 24

27 > 1.6. Gepland versus actueel Een alternatieve benadering voor de concepten van zuinigheid, efficiëntie en effectiviteit -gelijklopend met hierboven vermelde beschrijvingen van de begrippen- kan gemaakt worden op basis van de relaties tussen de geplande en de reële (i.e. actuele) inputs en/of outputs. Metcalfe en Richards (1990) definiëren hierbij efficiëntie als de ratio tussen de werkelijke outputs en inputs, zuinigheid als de actuele ingezette middelen relatief ten opzichte van de geplande inputs, en effectiviteit als de relatie tussen de gewenste objectieven en de eigenlijke uitkomsten. Dit onderscheid tussen de drie concepten op basis van geplande versus actuele inputs en/of outputs is weergegeven in onderstaande figuur 3. Figuur 3: Onderscheid tussen zuinigheid, efficiëntie en effectiviteit INPUTS ACTUEEL OUTPUTS ACTUEEL EFFICIËNTIE ZUINIGHEID EFFECTIVITEIT GEPLAND GEPLAND > 1.7. Conclusie: efficiëntie binnen een ruimere context Ter conclusie van dit begrippenkader kunnen we (herhalend) stellen dat de performantie van de publieke sector niet enkel kan beoordeeld worden op basis van kwalitatieve en kwantitatieve informatie over de aangewende middelen (input), het proces (throughput), de prestaties (output) en de effecten (outcome) van het overheidsoptreden. Eveneens van groot belang zijn de relaties tussen deze verschillende elementen van het transformatieproces, met name zuinigheid, efficiëntie en effectiviteit. Onderstaande tabel 1 (OECD, 2009) geeft een overzicht van de voornaamste 25

28 (enkelvoudige en combinatie-) indicatoren die gebruikt worden om overheidsperformantie te meten (cfr ) en te evalueren. Tabel 1: De voornaamste types van performantie-indicatoren Enkelvoudige indicatoren Middelenindicatoren (input) Prestatie-indicatoren (output) Tussentijdse effectindicatoren Finale effectindicatoren (outcome) Omgevingsindicatoren Wat gaat er in het systeem? Welke middelen worden gebruikt? Welke producten en diensten worden geleverd? Wat is de kwaliteit ervan? Wat zijn de directe gevolgen van de prestaties? Wat zijn de bereikte effecten die significant toe te schrijven zijn aan de geleverde prestaties? Wat zijn de contextuele factoren die de prestaties beïnvloeden? Combinatie- of ratio-indicatoren Zuinigheid Efficiëntie Effectiviteit Kosteneffectiviteit Kosten/input Input/output Output/outcome (tussentijds/finaal) Kosten/outcome Bovenstaande combinatie- of ratio-indicatoren kunnen evenmin los van elkaar beschouwd worden. De performantie van de overheid is immers niet louter een verhaal van zuinigheid of efficiëntie, en net zomin kan het enkel teruggebracht worden tot een effectief functioneren van de overheid. Zuinigheid en efficiëntie combineren met effectiviteit en kwaliteit, dat moet de hoofddoelstelling van een ambitieuze en moderne overheid zijn. Met andere woorden met een slagkrachtige overheid dus voorzien in een dienstverlening die beantwoordt aan de noden van burgers, bedrijven en organisaties, en dit tegen lagere kosten. 26

29 We erkennen dat besparingen binnen de huidige financiële en economische context niet te vermijden zijn, en op korte termijn ook nuttig. Daarnaast staat ook het streven naar efficiëntiewinsten hoog op de politieke agenda, zowel in Vlaanderen (cfr. het huidig lopende Meerjarenprogramma Slagkrachtige Overheid ) als in de ons omringende landen (bijvoorbeeld het tussen uitgevoerde Gershon Efficiency Programme in het Verenigd Koninkrijk en het nog in uitvoering zijnde Programma Vernieuwing Rijksdienst in Nederland). Deze aandacht voor directe besparingen en voor een meer efficiëntie publieke sector moeten echter in een ruimer geheel bekeken worden (en op langere termijn), waarbij ook aspecten van kwaliteit en effectiviteit in rekening dienen gebracht te worden. Dit brede kader in het achterhoofd houdend, zullen we ons in dit rapport specifiek concentreren op efficiëntie in de publieke sector, met name de relatie tussen de middelen die de overheid aanwendt en de hiermee gerealiseerde prestaties. In deze financieel moeilijke tijden, waarbij de overheid geconfronteerd wordt met een krappe budgettaire situatie en met toenemende demografische, sociale en ecologische druk, is het immers -nog meer dan anders- van groot belang dat publieke middelen gebruikt worden op de meest efficiënte, maar uiteraard ook zuinige en effectieve, wijze. Het verbeteren van de efficiëntie daar waar mogelijk is dus een kernprioriteit voor de overheid anno

30

31 2. Efficiëntiewinsten in de overheid Zoals in het vorige hoofdstuk reeds is aangegeven, tracht een analyse omtrent de efficiëntie van de publieke sector een vergelijking te maken tussen, enerzijds, de middelen die ingezet worden door de overheid en, anderzijds, de prestaties van de publieke diensten in termen van het realiseren van de overheidsobjectieven (Eugène, 2008). Efficiëntie kan bijgevolg worden gedefinieerd als het behalen van de best mogelijke resultaten met de inzet van zo weinig mogelijk middelen. Vooraleer dieper in te gaan op het concept van efficiëntiewinsten, is het belangrijk om de context en de achtergrond te begrijpen van de hele efficiëntie-agenda waarin publieke sector organisaties momenteel dienen te opereren. > 2.1. Drijfveren voor efficiëntie Publieke verwachtingen over de prestaties en effecten, en over de kwaliteit van de dienstverlening nemen vandaag de dag voortdurend toe. Sir Peter Gershon, het gewezen hoofd van het Britse Office of Government Commerce die in op vraag van de eerste minister en de Chancelloreen efficiëntiedoorlichting van de publieke sector in het Verenigd Koninkrijk uitvoerde, verwoordt dit als volgt: Het publiek is gewend geraakt aan de wijze waarop diensten in de privésector geleverd worden, namelijk als het ware 24 uren per dag en 7 dagen per week. Burgers en organisaties vragen zich af waarom de beschikbaarheid van diensten en toegang tot de overheidsorganisaties niet op dezelfde basis kunnen plaatsvinden. Bovendien nemen de publieke verwachtingen voortdurend toe, bijvoorbeeld in domeinen als onderwijs, gezondheidszorg en veiligheid (Gershon, 2006). Bovendien stijgen ook de verwachtingen omtrent de kwaliteit van het overheidsoptreden en wordt de publieke tolerantie omtrent inefficiëntie binnen de overheid alsmaar kleiner, mede doordat de media steeds meer aandacht besteden aan vormen van inefficiëntie. Al deze elementen dragen volgens Gershon (2006) bij tot een context in dewelke de overheidsinstellingen vandaag de dag dienen te functioneren. Er zijn verschillende redenen waarom een analyse van de overheidsefficiëntie van groot belang is. Ten eerste genereert een hoog aandeel van de overheidsuitgaven in het BBP verstorende belastingen. In die zin weegt elk inefficiënt gebruik van overheidsmiddelen op de economie als geheel. 29

32 Een tweede drijfveer is eveneens van budgettaire aard, aangezien een ambitieus begrotings- en fiscaal beleid vereist is om het hoofd te kunnen bieden aan de kosten van de vergrijzing en de vele andere sociale, economische en ecologische uitdagingen op lange termijn. Gelet op het hoge aandeel van de overheidsuitgaven in België (en in Vlaanderen) ligt hierin een grote potentiële besparingsbron die moet worden aangesproken (Eugène, 2008). Met andere woorden, wanneer extra geld nodig is om de publieke dienstverlening op peil te houden en te versterken, en het verhogen van de belastingen geen optie is, net zomin als de overheidsschuld te verzwaren, dan is er slechts één andere optie mogelijk: geld halen uit de bestaande niveaus van uitgaven door het creëren van efficiëntiewinsten (Gershon, 2006). Tot slot is een goed functionerende (efficiënte en effectieve) overheidssector eveneens van belang binnen de ruimere context van de inspanningen om het concurrentievermogen van onze economie te verbeteren. Bovendien wordt er bij de overheid, met de opkomst van het New Public Management (NPM), ook steeds meer in termen van prestaties en effecten gedacht, daar waar in het verleden vaak een erg inputgerichte benadering gehanteerd werd (zoveel budget, zoveel mensen, zoveel uren). Gegeven dat de middelen in de publieke sector voornamelijk gegenereerd worden via belastingen, eisen burgers, bedrijven en andere gebruikers van de overheid dat ze waar krijgen voor hun geld. Input linken aan prestaties (efficiëntie) komt aldus hoog op de agenda te staan. Concluderend kunnen we dus stellen dat de overheid dezer dagen enerzijds wordt geconfronteerd met een toenemende budgettaire druk, waardoor prestaties dienen geleverd te worden met minder beschikbare, schaarse middelen. Anderzijds worden van diezelfde overheid (kwalitatief en kwantitatief) betere resultaten verwacht. Meer en beter doen met minder middelen, is dus de boodschap, wat ons bij de kern van het efficiëntiebegrip brengt. > 2.2. Wat zijn efficiëntiewinsten (en wat niet)? Het duidelijk vastleggen van wat bedoeld wordt met efficiëntiewinsten is een cruciaal startpunt in het debat omtrent een meer efficiënte overheid. Een verhoging van de efficiëntie (i.e. efficiëntiewinst) kan gedefinieerd worden als elke activiteit die bijdraagt tot een toename van de relatie van 30

33 prestaties (output) ten opzichte van de hiervoor aangewende middelen (inputs), of met andere woorden elke daling van de input/output-ratio. Meer specifiek kan een efficiëntieverbetering op vijf mogelijke wijzen plaatsvinden, zoals opgelijst in onderstaande tabel 2. Tabel 2: Wijzen tot het bereiken van efficiëntiewinsten E1: Dezelfde output voortbrengen met minder input E2: Meer of betere output voortbrengen met dezelfde input E3: Meer of betere output voortbrengen met minder input E4: Ietwat minder output voortbrengen met aanzienlijk minder input E5: Aanzienlijk meer/betere output voortbrengen met ietwat meer input Efficiëntiewinsten kunnen optreden langs de inputzijde (E1, E4), langs de outputzijde (E2, E5), of als een combinatie van beide (E3). Er is dus een grote mate van differentiatie mogelijk tussen processen om efficiëntiewinsten te bereiken. We benadrukken bovendien dat efficiëntiewinsten zelfs kunnen plaatsvinden bij stijgende uitgaven (E5). Indien aangetoond en gemotiveerd kan worden dat de output proportioneel meer zal toenemen dan de stijging van de inputkosten (waardoor de eenheidskosten dalen), dan moet ook deze wijze van efficiëntiewinst in acht genomen worden. Eveneens beklemtonen we dat een toename van de output zowel op een kwantitatieve (meer output) als op een kwalitatieve (betere output) wijze kan plaatsvinden. Efficiëntiewinsten beperken zich dus niet tot een verhaal van minder kosten (door een afname van het aantal inputs) of een hoger aantal prestaties. In ieder geval mogen initiatieven voor het realiseren van efficiëntiewinsten binnen de overheid niet ten koste gaan van de kwaliteit van de dienstverlening (cfr. 2.4). Naast de bovenstaande algemene beschrijving van wat beschouwd wordt als efficiëntiewinsten, is het tegelijkertijd nuttig om aan te geven wat niet geclassificeerd wordt onder efficiëntiewinsten (binnen de publieke sector). Het gaat onder meer om de re-labelling van een bepaalde activiteit zonder 31

34 een wijziging van de inputs of outputs, besparingen die resulteren in mindere of slechtere dienstverlening, het aanboren van nieuwe inkomstenbronnen 3 (bv. diensten aanrekenen die voorheen niet werden aangerekend), stijgende inkomsten die puur voortvloeien uit het verhogen van de aangerekende prijs voor een dienst, extra inkomsten die voortkomen uit veranderingen in de dagdagelijkse vraag, en transfers van kosten en subsidies tussen overheidsinstellingen (wanneer dit de publieke sector in zijn geheel geen voordeel oplevert). > 2.3. Geldelijke en niet-geldelijke efficiëntiewinsten De laatste jaren wordt, voornamelijk voortkomend vanuit programma s binnen de Britse publieke sector (bv. Gershon Efficiency Review), een onderscheid gemaakt tussen geldelijke ( cashable ) en niet-geldelijke ( noncashable ) winsten. Bij geldelijke efficiëntiewinsten komen middelen (tijd, geld, ) vrij door een verlaging van de algemene kosten van een activiteit, zonder dat daarbij de kwantiteit of kwaliteit van de prestaties (diensten) aangetast wordt. Om van geldelijke efficiëntiewinsten te kunnen spreken is het noodzakelijk dat de vrijgekomen middelen geherinvesteerd worden in andere diensten. Niet-geldelijke efficiëntiewinsten vinden plaats wanneer de productiviteit of de outputkwaliteit toeneemt (voor dezelfde of voor een proportioneel lagere stijging van de inputs), en hierbij geen middelen vrijkomen die elders kunnen aangewend worden (HM Treasury, 2007; ODPM, 2006). Niet-geldelijke efficiëntiewinsten worden ook wel eens timereleasing -efficiëntiewinsten genoemd, voornamelijk om aan te duiden dat door rationalisatie en optimalisatie van bepaalde activiteiten, met de bestaande inzet van middelen toch meer tijd kan besteed worden aan het leveren van meer of betere prestaties. Voorbeelden van niet-geldelijke ( tijd vrijmakende ) efficiëntiewinsten zijn onder meer een verbeterd beleid betreffende absenteïsme, reorganisatie van de bestaande personeelskracht en een verbeterd gebruik van ICT. Het verschil tussen beide brede categorieën van geldelijke en niet-geldelijke efficiëntiewinsten wordt geïllustreerd in onderstaande figuur 4. 3 Hoewel additionele inkomsten die voortkomen uit een geplande verbetering van de dienstverlening of uit campagnes (bv. meer mensen toegang tot internet laten krijgen) -na de aftrek van de kosten van de campagne- wel kunnen beschouwd worden als efficiëntiewinsten. 32

35 Figuur 4: Geldelijke versus niet-geldelijke efficiëntiewinsten Wanneer we deze categorisering toepassen op de in tabel 2 vermelde mogelijke wijzen waarop efficiëntiewinsten kunnen bereikt worden (E1-5), kunnen we E1, E3 en E4 binnen de geldelijke efficiëntiewinsten classificeren. Immers, een afname van de inputs 4 levert een directe financiële besparing of voordeel op, waarbij het vrijgekomen geld elders kan uitgegeven worden (E1, E4) of geherinvesteerd kan worden in de dienstverlening om meer of betere prestaties te leveren (E3). Indien meer of betere outputs (extra dienstverlening, verhoogde productiviteit) bereikt worden voor dezelfde inputs (E2) of proportioneel meer outputs bij een toename van middelen (E5), dan worden (volume- of kwaliteitsgebaseerde) niet-geldelijke efficiëntiewinsten bereikt. In deze gevallen is er immers geen directe financiële besparing of geldelijk voordeel. 4 Onder een daling in inputs verstaan we zowel een afname van de ingezette middelen (bv. minder personeelsuren nodig voor het leveren van een bepaalde output) als een daling in prijzen (bv. daling van de prijzen van de ingezette middelen voor het leveren van een bepaalde output). Beide vormen van inputreductie zorgen voor een geldelijke efficiëntiewinst. 33

36 > 2.4. Typologie van efficiëntiewinsten Naast de opdeling tussen geldelijke en niet-geldelijke efficiëntiewinsten kunnen we eveneens een onderscheid maken tussen mogelijke toepassingen om tot een verhoogde efficiëntie van processen of activiteiten te komen. Algemeen kunnen vier methoden tot een mogelijke efficiëntieverbetering leiden. Eerst en vooral kan er gestreefd worden naar vereenvoudiging (simplificatie) of standaardisering van een bepaalde activiteit of proces. Daarnaast kunnen efficiëntiewinsten behaald worden door rationalisatie of optimalisatie van processen of activiteiten. Tenslotte kan een samenwerking tussen verschillende actoren opgezet worden om zo de input/output-relatie te verkleinen (en dus een hogere efficiëntie te bereiken). Elk van deze methoden voor efficiëntieverhoging kan bovendien toegepast worden binnen verschillende domeinen van een (overheids)organisatie. We onderscheiden vier gebieden waarbinnen hervormingsprojecten voor het bereiken van efficiëntiewinsten algemeen toegepast worden: financiële en budgettaire hervormingen, organisationele veranderingen, vernieuwingen op het gebied van HRM, en tenslotte moderniseringen van technologische aard. Op basis van de hierboven vermelde efficiëntiemethoden en de organisatie domeinen waarbinnen efficiëntieprojecten kunnen opgezet worden, hebben we in onderstaande tabel 3 een typologie van efficiëntiewinsten opgesteld. Voor elk van de vier toepassingen binnen elk van de vier domeinen hebben we bovendien een voorbeeld van een efficiëntieproject of -hervorming weergegeven. Het merendeel van deze voorbeelden die we in de typologie hebben ingevuld, komen uit het huidig lopende meerjarenprogramma Slagkrachtige Overheid, dat binnen de Vlaamse overheid is uitgewerkt. Deze typologie is uiteraard niet exhaustief en evenzeer is overlap tussen de verschillende methoden en/of domeinen mogelijk. Zo kan rationalisatie of optimalisatie van een proces of activiteit plaatsvinden door simplificatie of coöperatie, en technologische hervormingen kunnen bijvoorbeeld verder toegepast worden op financieel of organisatorisch vlak (het toenemend gebruik van ICT is terug te vinden in alle domeinen van een organisatie). We verwijzen in dit verband ook naar het uitgebreide overzicht in paragraaf 4.2 met betrekking tot mogelijke bronnen van efficiëntiewinsten, op basis van een classificatie die in het Verenigd Koninkrijk gehanteerd wordt. 34

37 Tabel 3: Typologie van efficiëntiewinsten Methode Domein Financiële en budgettaire hervormingen Organisationele hervormingen Personeels- (HRM-) hervormingen Technologische hervormingen Vereenvoudiging, Standaardisering bv. standaardisering subsidieprocessen bv. intermediaire structuren (interne Vlaamse staatshervorming) bv. vereenvoudiging personeelsstatuten bv. uniek ondernemersloket Rationalisatie bv. beleids- en beheerscyclus (BBC) bv. rationalisatie managementondersteunende functies (MOF) bv. rationalisatie van gebruik statutairen/ contractuelen bv. rationalisatie ICT infrastructuur Optimalisatie bv. financieel instrumentarium optimaliseren bv. bedrijfscontinuïteitsmanagement (BCM) bv. flexibel vormingsbeleid bv. netwerkoptimalisatie Samenwerking, coöperatie bv. e-procurement bv. maximale gegevensdeling tussen administraties (MAGDA) bv. intergemeentelijk personeelsbeleid bv. kruisen van databanken 35

38 > 2.5. Relatie met effectiviteit en kwaliteit Uit de bovenstaande definiëringen en typeringen van efficiëntiewinsten, en uit de opsomming van wat geen efficiëntiewinsten kunnen genoemd worden, mag duidelijk blijken dat efficiëntie dus niet handelt over het simpelweg doorvoeren van besparingen in het dienstverleningsproces ( service cuts ) of binnen een overheidsdienst waarbij louter gesneden wordt in verschillende budgetten (kaasschaafmethode of salami slicing ). De efficiëntie-agenda moet steeds in relatie staan tot effectiviteit en kwaliteit van de dienstverlening, en op die manier deel uitmaken van een breder Value for Money -perspectief. De Value for Money is hoog wanneer er een optimale balans is tussen succesvolle effecten, hoge efficiëntie en productiviteit, en relatief lage kosten. Efficiëntiewinsten worden dus beschouwd als neutraal ten opzichte van de kwaliteit van de dienstverlening, wat inhoudt dat de efficiëntiehervorming binnen een organisatie geen negatieve impact heeft op de kwaliteit van de geleverde prestaties (diensten) (Delbeke et al., 2008). Ook Bouckaert et al. (2003a) geven aan dat efficiëntiewinsten op zich -hoewel zeker belangrijkveelal niet de drijfveer zijn voor publieke organisaties en niet de hoofdbekommernis zijn van de burgers of klanten van de dienstverlening. Bij hen bestaat eerder de roep naar effectiviteit en kwaliteit. Een hoge mate van integratie tussen efficiëntie enerzijds en de effecten en hoge kwaliteit van de dienstverlening anderzijds, is dus noodzakelijk. > 2.6. Karakteristieken van efficiëntiewinsten De Vlaamse Regering geeft in haar regeerakkoord aan dat om een zuinige overheid te zijn, de administratie moet aangespoord worden om efficiëntiewinsten te realiseren, deze transparant te maken en zich te laten benchmarken. Efficiëntiewinsten moeten significant en meetbaar zijn. Efficiëntiewinsten moeten ook auditeerbaar zijn en een benchmark met vergelijkende regio s kunnen doorstaan (Vlaamse Regering, 2009). In wat volgt gaan we verder in op deze vier vermelde karakteristieken van efficiëntiewinsten. Daarenboven bespreken we ook nog twee criteria die toegevoegd zouden kunnen worden aan deze lijst van voorwaarden. Zo is het immers van belang dat de gerealiseerde efficiëntiewinsten duurzaam zijn (cfr. 2.7) en dat efficiëntie geïncorporeerd kan worden in de heersende cultuur van de overheid (cfr. 2.8). 36

39 > Reëel Om te kunnen spreken van een efficiëntiewinst in het publieke sector productieproces dient de betreffende verhoging van de efficiëntie reëel en substantieel (significant) te zijn. Het reëel zijn van efficiëntiewinsten hangt onder meer samen met het feit dat een verhoging van de efficiëntie op één bepaalde plaats niet ten koste mag gaan van een verlies aan efficiëntie op een andere plaats (bv. een herverdeling van middelen). De winsten dienen bovendien significant te zijn, en dus minstens de eventueel gemaakte kosten om de efficiëntieverhoging te bereiken (bv. een aanpassing van het proces) te compenseren. In dit opzicht verwijzen we naar de eerdere (niet exhaustieve) opsomming van wat niet als efficiëntiewinst kan beschouwd worden (cfr. 2.2). > Vergelijkbaar In haar streven naar een slagkrachtige Vlaamse overheid, die tot de top vijf van Europa behoort, ijvert de Vlaamse Regering voor het bereiken van permanente efficiëntiewinsten die een benchmark met vergelijkende regio s kunnen doorstaan. Met andere woorden, het nagestreefde efficiëntieniveau van bepaalde activiteiten en processen dient dus de prestaties van de besten van de Europese klas te benaderen. Dergelijke (internationaal)- comparatieve oefeningen kunnen zeer nuttig zijn, en hebben in de laatste twee decennia enorm aan populariteit gewonnen. Echter, het vergelijken van publieke sectoren en hun prestaties dient met de nodige omzichtigheid uitgevoerd te worden en met de resultaten moet op een genuanceerde wijze omgesprongen worden (Luts et al., 2008). Ook Van de Walle (2006) wijst op moeilijkheden bij het vergelijken van overheidsprestaties. Meer bepaald stellen er zich volgens hem kwaliteits- en conceptuele problemen, onder meer door subjectiviteit van data en de selectie van de indicatoren. Het vergelijken van efficiëntiewinsten is immers meer dan het louter benchmarken van inputs en outputs, en de ratio tussen beide. De selectie van juiste indicatoren, het verzamelen van data en het hanteren van relevante meetmethoden dient dus erg zorgvuldig te gebeuren opdat vergelijkingen mogelijk zouden zijn. Zo betekent benchmarken voor Vlaanderen immers vergelijken op het niveau van regio s, en niet op het niveau van landen. De Governance at a Glance -indicatoren die vanuit de OESO worden voorgesteld, kunnen hierbij een waardevol 37

40 vertrekpunt zijn om verdere regionale informatie te gaan verzamelen om vergelijkingsoefeningen mogelijk te maken. De Britse overheidsrichtlijnen betreffende het meten en rapporteren van efficiëntiewinsten (ODPM, 2006; HM Treasury, 2007) maken een andere belangrijke kanttekening omtrent het vergelijken van efficiëntiewinsten. Efficiëntie gaat volgens hun visie in de eerste plaats over zichzelf meten ten opzichte van de voorbije prestaties. Een departement dient zichzelf te meten ten opzichte van zichzelf, en zal met andere woorden zijn productiviteit en prestaties vergelijken met het vorige jaar of met een bepaald basisjaar. Vergelijken met andere departementen, agentschappen, overheidsorganisaties, data of nationale standaarden zijn uiteraard wel belangrijke instrumenten om te beschouwen waar en hoe een departement of organisatie in staat is projecten te ontwikkelen die leiden tot efficiëntiewinsten ( best practices, innovatieve ideeën, etc.). Echter, de kwantificering van de efficiëntie van de activiteiten en processen van een organisatie dient te gebeuren ten opzichte van de eigen voorgaande prestaties. > Meetbaar Om na te gaan of bepaalde projecten, hervormingen of innovaties werkelijk tot de beoogde efficiëntiewinsten leiden, en om deze winsten te kunnen rapporteren, vergelijken en auditeren, is het uiteraard noodzakelijk dat efficiëntiewinsten meetbaar zijn. Raaum en Morgan (2001) stellen dat er vele redenen zijn om de efficiëntie van overheidsactiviteiten te meten, waarvan vier hoofdredenen zijn: (1) Het bepalen, in budgettering, van de hoeveelheid middelen (arbeid en materiaal, en dus in feite geld) die nodig zijn om tijdig producten en diensten van het gewenste type en van gepaste kwaliteit en kwantiteit te leveren; (2) Het vergemakkelijken van de managementcontrole; (3) Het identificeren van domeinen met een potentieel aan productiviteitsstijging of eenheidskostenvermindering; (4) Het fungeren als een scorebordinstrument voor het realiseren van efficiëntiewinsten en voor verantwoording door het management. 38

41 Het meten van efficiëntie gebeurt veelal in twee dimensies. De eerste dimensie bekijkt het niveau van efficiëntie van een proces of activiteit voor een welbepaalde periode overheen de tijd, meestal voor één jaar. Een tweede dimensie beschouwt de ontwikkeling van efficiëntieniveaus over meerdere periodes. Zo is het verwerken van 10 klachten per dag per personeelslid een voorbeeld van een efficiëntieniveau, terwijl het vergelijken van 10 behandelde klachten per dag per personeelslid dit jaar tegenover 9 vorig jaar en 8 het jaar daarvoor een voorbeeld is van een opwaartse ontwikkeling van het efficiëntieniveau van ongeveer 10% per jaar (Raaum & Morgan, 2001). Deze niveau- en ontwikkelingsmetingen van efficiëntie hebben verschillende aanwendingen. Het meten van het efficiëntieniveau is nuttig bij het bepalen van de benodigde middelen in budgetteringsprocessen, en voor het identificeren van opportuniteiten voor verbetering door het vergelijken van het efficiëntieniveau van de eigen entiteit met deze van andere organisaties die dezelfde of gelijkaardige diensten leveren (of een andere benchmark). Trendmetingen kunnen dan weer toegepast worden om opportuniteiten voor verbetering te identificeren door de huidige efficiëntie te vergelijken met voorgaande periodes, en als scorebordinstrument voor managementverantwoording omtrent het bereiken van efficiëntiewinsten of het verlagen van de eenheidskosten. Naast de drijfveren voor efficiëntiemeting, lijsten Raaum en Morgan (2001) eveneens enkele voorwaarden op om efficiëntie accuraat te kunnen meten. De mate waarin efficiëntie nauwkeurig kan gemeten worden, hangt af van het selecteren van de eigenlijke output van een activiteit of proces, en van het koppelen van deze output met de gepaste of gewenste inputs. De auteurs identificeren een aantal vereisten waaraan outputs dienen te voldoen opdat de efficiëntie accuraat gemeten kan worden. In bijlage 1 hebben we deze voorwaarden op een rij gezet. Wanneer binnen de overheid programma s voor het realiseren van efficiëntiewinsten worden opgezet en geïmplementeerd, zoals het huidige meerjarenprogramma Slagkrachtige Overheid in Vlaanderen, dan is het uiteraard onontbeerlijk dat het aspect van meetbaarheid mee opgenomen wordt in zulke programma s. Daarom gaan we in het volgende hoofdstuk meer in detail in op het proces van het meten (en auditeren) van efficiëntiewinsten, dat we op een stapsgewijze manier hebben benaderd. 39

42 Hiervoor hebben we ons gebaseerd op bevindingen en goede praktijken uit het buitenland, voornamelijk uit het Verenigd Koninkrijk. > Auditeerbaar De laatste van de vier noodzakelijke criteria voor efficiëntiewinsten die door de Vlaamse Regering worden aangehaald, betreft de auditeerbaarheid ervan. Op die manier kan een derde speler de binnen de verschillende projecten gerapporteerde efficiëntiewinsten controleren en valideren. Of zoals de Vlaamse minister van Financiën en Begroting in zijn beleidsbrief vermeldt (Muyters, 2009): De administratie krijgt de ruimte om zelf efficiëntiewinsten voor te stellen, maar deze moeten gevalideerd worden door de Interne Audit van de Vlaamse Administratie. De efficiëntiewinsten moeten op een heldere en eenduidige wijze verantwoord worden. In die zin sluit de auditeerbaarheid van efficiëntiewinsten vooral aan bij de vierde hoofdreden die Raaum en Morgan (2001) hebben geformuleerd voor het meten van efficiëntie (cfr , p. 38). Ook dit aspect van auditeerbaarheid kan beschouwd worden als onderdeel van het meet- en rapporteringsproces van efficiëntiewinsten, en meer bepaald als ondersteunend element ervan. We verwijzen hierbij naar de bespreking van het proces in het volgende hoofdstuk. In het streven naar het verbeteren van de efficiëntie moet audit de overheidsorganisaties eveneens bijstaan in het niet uit het oog verliezen van andere belangrijke managementverantwoordelijkheden zoals onder meer het verzekeren van de kwaliteit, effectiviteit en tijdigheid van de dienstverlening, het verwezenlijken van de missie en (strategische) organisatiedoelstellingen, en klantentevredenheid. De audit van efficiëntie dient met andere woorden te kaderen in bredere en algemene prestatieaudits waarbij de globale managementverantwoordelijkheden opgevolgd en benadrukt worden, via rapporten over de uitvoering van de beheers- en managementovereenkomsten, en waarbij efficiëntiewinsten geconsolideerd worden op het niveau van beleidsdomeinen en in relatie gebracht met de beleidseffectenrapportages. Het benadrukken van efficiëntie in relatie met al deze andere organisationele verantwoordelijkheden (zoals kwaliteit en effectiviteit) is een complementaire, en dus geen tegenstrijdige, doelstelling (Raaum & Morgan, 2001). 40

43 > 2.7. Duurzaamheid Een bijkomend belangrijk kenmerk van efficiëntiewinsten, naast het reëel, vergelijkbaar, meetbaar en auditeerbaard zijn en naast de relatie met kwaliteit, is de verwachting dat de winsten die de overheidsorganisaties realiseren, duurzaam zijn. De Britse efficiëntieprogramma s definiëren een duurzame ( ongoing ) efficiëntiewinst als volgt: een efficiëntiewinst die bestaat voor het huidige jaar en daarna voor minstens twee opeenvolgende financiële jaren blijft bestaan, is een duurzame efficiëntiewinst (ODPM, 2006). Om efficiëntiewinsten duurzaam te houden, en ze correct te kunnen rapporteren, is het bovendien aanbevolen dat de efficiëntie-agenda deel uitmaakt van de (strategische en operationele) meerjarenplanning en -begroting (en een algemeen prestatiemanagement perspectief). Tegenover deze dynamische, duurzame verbeteringen in efficiëntie staan de winsten die slechts tijdelijk zijn. Deze statische efficiëntiewinsten, gedefinieerd als een efficiëntiewinst die niet blijft bestaan voor twee financiële jaren na het jaar waarin het is gegenereerd, worden éénmalige ( one-off ) efficiëntiewinsten genoemd (ODPM, 2006). Toch kunnen ook eenmalige efficiëntiewinsten een waardevolle bijdrage zijn voor de efficiëntie-agenda, in die zin dat ze middelen vrijmaken die aangewend kunnen worden om een betere dienstverlening te voorzien in dat jaar, of die budget vrijmaken voor een nieuw project. Eenmalige winsten kunnen aldus voor ademruimte zorgen ( quick wins ) vooraleer de duurzame winsten aangegroeid zijn. > 2.8. Efficiëntie als deel van de overheidscultuur Binnen de Vlaamse overheid, net als in de ons omringende landen, worden vandaag de dag programma s en projecten opgezet met het oog op het realiseren van allerlei efficiëntiewinsten binnen overheidsdepartementen en -organisaties, en dus met een algemene missie om de efficiëntie van de publieke sector in het algemeen te verhogen. Een van de langetermijndoelstellingen van zulke efficiëntieprogramma s binnen de overheid zou moeten zijn om efficiëntie te incorporeren in de heersende cultuur van de publieke sector, zodat het realiseren van efficiëntiewinsten een routinematige vereiste wordt. Het Britse National Audit Office verwoordt dit als volgt (NAO, 2007): Efficiëntie mag geen uitbreiding zijn, een apart programma naast de eigenlijke activiteiten. Efficiëntie is de 41

44 wijze waarop de core business geleverd en verbeteringen in de dienstverleningskwaliteit verzekerd dienen te worden. Er is potentieel om verder te gaan dan de huidige efficiëntiedoelstellingen wanneer diepere en meer systematische veranderingen doorgevoerd worden (Committee of Public Accounts, 2006). Hierbij kan de publieke sector kijken naar fundamentele proceshervormingen die ingevoerd zijn bij de beste private sector ondernemingen. Departementen kunnen eveneens regelmatig hun prestaties benchmarken tegenover goede praktijken in de private of publieke sector (cfr. supra). Hiervoor is echter betere data omtrent efficiëntie en productiviteit een noodzakelijke voorwaarde. Nog te vaak worden in de publieke sector beslissingen genomen op basis van oude of onbetrouwbare data. Een gebrek aan adequate informatie verhindert veelal pogingen om efficiëntie te vergelijken of om betrouwbaar vaststellingen van de productiviteit uit te voeren. Een gerichte focus met een beperkt aantal indicatoren die werkelijk de kosten en de waarde omvatten, maakt dat inputkosten duidelijk gerelateerd kunnen worden aan outputs en efficiëntie. Hoe efficiënt een overheid kan worden, is sterk afhankelijk van zijn capaciteit om te hervormen. Enkel wanneer er mensen met de gepaste vaardigheden ingezet worden op de juiste wijze kan een significante verbetering in de efficiëntie bereikt worden. Meer specifiek is het verhogen van professionalisme binnen de departementale financiële en commerciële functies van groot belang (Committee of Public Accounts, 2006). Om langdurige verbeteringen in de overheidsuitgaven te realiseren, dient efficiëntie ingebed te worden in het management van de verschillende entiteiten (NAO, 2007). Op die manier wordt efficiëntie ook in relatie gebracht met andere organisationele verantwoordelijkheden (zoals kwaliteit en effectiviteit). > 2.9. Koppeling van financiële en niet-financiële informatie De belangrijkste doelstelling van overheden en overheidsorganisaties is om kwaliteitsvolle diensten te leveren aan burgers en cliënten. De doelstellingen van de klanten zouden dus ook de doelstellingen van de overheid moeten zijn. Een focus op resultaten, namelijk het leveren van diensten met een hoge kwaliteit, is met andere woorden van groot belang. In het verleden was deze focus vaak te weinig aanwezig binnen overheidsorganisaties. Er heerste veelal een inputgericht denken, waarbij de 42

45 aandacht voornamelijk ging naar het aantal middelen (financiën, personeel, materieel, huisvesting, ) die men ter beschikking had, en te weinig gekeken werd naar hoe goed en efficiënt deze organisaties hun middelen gebruikten om de dienstverlening naar de klanten te realiseren. Dit komt ook tot uiting in de wijze van budgettering en begroting, die meestal op inputbasis gebeurt. Dit wil zeggen dat enkel (of vooral) financiële gegevens worden gebruikt voor de begrotingsopmaak. Het verdelen van de beschikbare middelen over de verschillende uitgavendomeinen gebeurt op basis van de toebedeelde of daadwerkelijk uitgegeven middelen in het verleden. Data over de geleverde prestaties of output van de respectieve sectoren worden daarbij niet of nauwelijks gebruikt. De laatste jaren is er echter een kentering merkbaar, kaderend binnen de globale New Public Management (NPM) stroming (Bouckaert, 2006). Binnen veel OESO-landen wordt in toenemende mate aandacht geschonken aan een resultaatgerichte overheid, waarbij niet enkel financiële gegevens over de aangewende middelen van belang zijn, maar ook (en vooral) niet-financiële informatie omtrent de prestaties die met deze middelen bereikt worden. Deze prestatie-informatie is essentieel om middelen te koppelen aan activiteiten en prestaties, en op die manier de overheidsperformantie te evalueren en te verbeteren (zoals het verhogen van de efficiëntie). Een grote uitdaging die vandaag de dag aan de orde is binnen het prestatiegerichte overheidsmanagement, betreft het geïntegreerd gebruiken van niet-financiële (prestatie-)informatie in het budgetteringsproces. Deze vorm van budgetteren die gealloceerde middelen relateert aan meetbare prestaties, wordt door de OESO gedefinieerd als een prestatiebegroting (OECD, 2007). Prestatiebegroting is dus meer dan het ontwikkelen van prestatie-informatie: het betreft het gebruik van deze informatie in begrotingsprocessen en bij het toewijzen en aanwenden van middelen. Zulke initiatieven om financiële en niet-financiële informatie te integreren, maken deel uit van een lopend proces met als doel de focus van besluitvorming in budgettering te verplaatsen van inputs (hoeveel geld kan de organisatie krijgen?) naar meetbare resultaten (wat kan de organisatie verwezenlijken met dit geld?). Pleitbezorgers maken zich sterk dat het gebruik van prestatie-informatie in budgettaire besluitvorming zal bijdragen aan het verhogen van de efficiëntie en de financiële discipline (OECD, 2007). 43

46 Aangezien efficiëntie per definitie handelt over de koppeling tussen middelen en prestaties (ratio input/output) is prestatie-informatie ook in het verhaal van het streven naar efficiëntiewinsten van cruciaal belang. Uit de wijzen waarop efficiëntiewinsten kunnen bereikt worden, zoals opgesomd in tabel 2, komt immers duidelijk naar voren dat zowel informatie over de inputs als prestatie-informatie, en dus zowel financiële als niet-financiële gegevens, nodig zijn om efficiëntiewinsten te kunnen identificeren en bereiken. Zo werden prestatiemetingen in het Verenigd Koninkrijk door de Treasury en de departementen gebruikt als hulpmiddel om jaarlijks meer dan 23 miljard efficiëntiewinsten te verwezenlijken tussen 2005 en 2008 (OECD, 2007). We kunnen dus concluderen dat om efficiëntiewinsten (en prestaties in het algemeen) te kunnen realiseren, te kunnen meten en te kunnen auditeren, een koppeling van financiële en niet-financiële informatie essentieel is. Het opmaken van een prestatiebegroting, waarbij de beleids- en beheerscyclus geïntegreerd wordt met de financiële cyclus, is hierbij van groot belang. In dat verband kunnen we verwijzen naar het VBTB-proces (Van Beleidsbegroting Tot Beleidsverantwoording) in Nederland, waar bij de begroting en de verantwoording (het jaarverslag) de koppeling tussen beleid, prestaties en geld centraal staat. Zo zien we in Nederland ook dat voor het huidig lopende Programma Vernieuwing Rijksdienst het streven naar efficiëntiewinsten ingebouwd wordt in de budgettaire cyclus. Meer bepaald wordt voor de verschillende efficiëntieprojecten die deel uitmaken van het overheidsbrede programma aangegeven via welke departementale begroting de door het project beoogde winst gerealiseerd zal worden. Ook in het Verenigd Koninkrijk kent men een cyclisch proces waarbij de begrotingen van departementen gekoppeld worden aan de beleidsplannen van de overheid, i.e. het Spending Review-framework. Het inbedden van efficiëntieprogramma s in de cyclus van budgettaire planning en controle zal het doorvoeren ervan wellicht vergemakkelijken. Door het inschrijven van de efficiëntiedoelstellingen in de strategische beleidsplannen wordt een programma immers verder vertaald naar operationele doelstellingen voor de departementen en de agentschappen. Het feit dat in het Verenigd Koninkrijk de budgetten van de departementen gekoppeld zijn aan hun beheersovereenkomsten, vormde een sterke stimulans om de efficiëntiedoelstellingen te halen tegen het eind van de budgettaire periode (Delbeke et al., 2008). 44

47 Om deze integratie afdwingbaar te maken voor wat betreft de Vlaamse Overheid, kunnen we ons aansluiten bij het advies van de Commissie voor Efficiëntie en Effectieve Overheid die stelt een integratie van de drie cycli (beleids- en beheerscyclus, financiële cyclus, contractcyclus) dient vastgelegd te worden in het decreet houdende regeling van de begroting, de boekhouding, de toekenning en de controle op de aanwending van subsidies, en de controle door het Rekenhof, ook wel het Rekendecreet genoemd (CEEO, 2010). 45

48

49 3. Efficiëntiewinsten meten, rapporteren en auditeren Om na te gaan of bepaalde projecten, hervormingen of innovaties werkelijk tot de beoogde efficiëntiewinsten leiden, en om deze winsten te kunnen rapporteren, vergelijken en auditeren, is het uiteraard noodzakelijk dat efficiëntiewinsten meetbaar zijn. In dit hoofdstuk gaan we dieper in op het proces van het meten en auditeren van efficiëntiewinsten. Hiervoor hebben we ons gebaseerd op bevindingen en goede praktijken uit het buitenland, voornamelijk uit het Verenigd Koninkrijk. De Britse overheid heeft immers tijdens het afgelopen decennium aanzienlijk wat ervaring en kennis opgebouwd met betrekking tot het doorvoeren van programma s voor het realiseren van efficiëntiewinsten in de publieke sector, waardoor ze de nodige vaardigheden hebben ontwikkeld omtrent het meten, rapporteren en auditeren van efficiëntiewinsten. In het laatste hoofdstuk van dit rapport behandelen we daarom een uitgebreide case studie over het Gershon Efficiency Programme dat in het Verenigd Koninkrijk werd uitgevoerd tussen 2004 en 2008, met specifieke aandacht voor de richtlijnen omtrent het meten, registreren en rapporteren van efficiëntiewinsten, en voor de rol van de Britse audit-actoren bij de evaluatie en beoordeling van het programma. > 3.1. Stapsgewijs proces van meten en rapporteren Algemeen kunnen we vijf stappen onderscheiden in de keten voor het meten van efficiëntie en het rapporteren van efficiëntiewinsten, zoals weergegeven in onderstaande figuur 5 (HM Treasury, 2007; eigen bewerking). De eerste fase in het traject richting efficiëntiewinsten binnen het publieke sector productieproces omvat het identificeren en omschrijven van hoe de organisatie de betreffende efficiëntieverhoging wil realiseren en wat voor type efficiëntie de gewenste winst zal zijn (bv. verlaging input, verhoging output, etc.) en hoeveel de winsten zullen bedragen. Daarnaast dient de organisatie ook aan te geven hoe de efficiëntiewinst gemeten zal worden. Het vastleggen van informatie over indicatoren, nulmetingen, meetmethode en kwaliteitstoetsen zijn hierbij van essentieel belang. Vervolgens handelen de derde en vierde fase over de respectievelijke verzameling en verwerking van de nodige gegevens. Tot slot dient de 47

50 organisatie te rapporteren over de (al dan niet) behaalde efficiëntiewinsten. Dit hele proces van efficiëntiewinstmeting en -rapportering moet bovendien ondersteund worden door een audittraject. Figuur 5: Elementen in het proces van efficiëntiewinstmeting > Stap 1: Efficiëntiewinsten identificeren en omschrijven In een eerste fase dient, voor de verschillende projecten en initiatieven, aangegeven te worden welke efficiëntiewinsten beoogd worden (cfr. vijf mogelijke wijzen), hoe deze winst bereikt kan worden en hoeveel dit kan opleveren (in termen van het vrijmaken van middelen of in de vorm van het verhogen of verbeteren van de prestaties). De identificatie en de omschrijving van nagestreefde efficiëntiewinsten voor de verschillende projecten vindt, onder meer voor redenen van opvolging en auditeerbaarheid, best plaats aan de hand van gestandaardiseerde projectfiches. Deze identificatie en omschrijving van het efficiëntieprogramma en de efficiëntieprojecten via projectfiches kent noodzakelijkerwijze een kwantitatief (numeriek) en een kwalitatief (tekstueel) luik. > Strength in numbers Het cijfermatige luik laat toe om taakstellingen en targets voor organisaties (bv. beleidsdomeinen, departementen, agentschappen, entiteiten) of voor projecten voorop te stellen. Deze kwantificering van doelstellingen vormt een noodzakelijk onderdeel van programma s voor het realiseren van 48

51 efficiëntiewinsten, enerzijds om vooraf in geldelijke termen te kunnen bepalen hoeveel winsten het programma zal genereren (hoeveel besparingen beoogd worden en waar deze zullen gerealiseerd worden), anderzijds om het programma en de onderliggende projecten beter te kunnen opvolgen en monitoren. Een cijfermatig doel kan mensen motiveren omdat het een gedefinieerde betekenis heeft die niet gewijzigd of anders geïnterpreteerd kan worden (het is wat het is). Bovendien wordt, door doelstellingen zoveel als mogelijk te kwantificeren, een duidelijker pad bepaald om het doel te bereiken. Immers, een onduidelijke doelstelling maakt het pad om daar te geraken eveneens vaag. Voor goede praktijken uit het buitenland in verband met het kwantificeren van efficiëntiewinstdoelstellingen kunnen we verwijzen naar voorbeelden uit het Verenigd Koninkrijk en Nederland. Zoals bovenaan in figuur 6 is weergegeven, werden in het Britse Gershon Efficiency Programme (dat uitgebreid besproken wordt in het volgende hoofdstuk) eerst en vooral duidelijke, gekwantificeerde doelstellingen geïdentificeerd voor alle departementen en voor de lokale overheid in haar geheel. Deze cijfermatige targets hadden zowel betrekking op de efficiëntiewinsten die de departementen en lokale overheden dienden te realiseren (in miljoen ), alsook op het aantal personeelsposten die verminderd moesten worden. Binnen deze cijfermatige departementale doelstellingen werd vervolgens per efficiëntieproject (dat deel uitmaakte van een efficiëntieplan per departement) in cijfers aangegeven voor hoeveel winsten het project geacht werd bij te dragen aan de departementale taakstelling. Bijvoorbeeld, zoals onderaan in figuur 6 te zien is (NAO, 2006), werd geschat dat het project HR transformation 68 miljoen winst zou opleveren voor het Department for Work and Pensions (DWP), waarbij het DWP in totaal 960 miljoen efficiëntiewinsten als departementale doelstelling had. Een tweede voorbeeld met betrekking tot het kwantificeren van doestellingen komt uit het Programma Vernieuwing Rijksdienst, het hervormingsplan dat in 2007 binnen de Nederlandse overheid geïmplementeerd werd met een looptijd richting Zoals weergegeven is in onderstaande figuur 7, wordt voor elk van de projecten aangegeven hoeveel miljoen euro efficiëntiewinsten het project per jaar dient te realiseren, en via welk departement (en dus via welke departementale begroting) de winsten binnengehaald zullen worden. Dit laatste betekent dus concreet dat financiële en niet-financiële informatie gekoppeld worden. 49

52 Figuur 6: Gekwantificeerde efficiëntiewinstdoelstellingen in het VK Per departement: Per project: 50

53 Figuur 7: Gekwantificeerde efficiëntiewinstdoelstellingen in Nederland Aangezien efficiëntiewinsten ook op het vlak van kwaliteit behaald kunnen worden (met name een verbeterde dienstverlening), en kwaliteitsgaranties in ieder geval geboden moeten worden, vereist kwantificering van efficiëntiedoelstellingen dat financiële en niet-financiële informatie aan elkaar moeten gekoppeld worden. Het eventueel inbedden van efficiëntieprogramma s in de cyclus van budgettaire planning en controle (zoals in het Verenigd Koninkrijk) zal het doorvoeren ervan ook vergemakkelijken. Er is bovendien een ander essentieel element dat eveneens in rekening moet gebracht worden bij het stellen van doelen: een specifiek tijdskader. Een gekwantificeerde doelstelling is nodig, maar zonder een opgelegde tijd of datum om dit doel te bereiken, is het makkelijk om het doel voor zich uit te schuiven of excuses te zoeken door te zeggen dat men goed op weg is. Daarbij moet wel vermeden worden om algemene tijdskaders te formuleren voor het behalen van de doelstellingen, zoals bijvoorbeeld binnen enkele maanden. Net als een cijfermatig doel kan een concrete datum of tijd niet verkeerd begrepen worden, het is exact wat het is. De doelstellingen moeten dus zo specifiek mogelijk zijn (in cijfers en in tijd). In die zin wordt niet enkel duidelijk wat er dient te gebeuren, maar eveneens wanneer. > Kwalitatieve omschrijving Binnen het informatieve luik van de standaardfiche wordt het efficiëntieproject tekstueel beschreven. Verschillende aspecten komen hierbij aan bod. Eerst en vooral wordt kwalitatief aangegeven welk type 51

54 efficiëntiewinst het project nastreeft en hoe dit bereikt kan worden (welke acties ondernemen moeten worden en welke afhankelijkheden ingebouwd dienen te worden). Vervolgens wordt ook aangegeven hoe de winsten gemeten en gerapporteerd worden (verder uit te werken in de volgende stappen). Tenslotte dient het tekstuele luik ook in te gaan op wie verantwoording aflegt voor het project en welke risico s aan het project verbonden zijn. > Stap 2: Selecteer indicatoren De volgende stap in het meetproces van efficiëntiewinst(project)en omvat het selecteren van de meetmethodologie. In deze context staat het bepalen van de meetmethode doorgaans gelijk aan het selecteren en ontwikkelen van geschikte en relevante indicatoren. Om efficiëntiewinsten binnen een bepaalde organisatie, beleidsdomein, bestuurslaag, etc. te kunnen meten, en dus om de relatie tussen middelen en prestaties te bepalen, is het noodzakelijk dat er relevante efficiëntieindicatoren opgesteld worden. Deze efficiëntie-indicatoren maken deel uit van een breder gamma van zogenaamde prestatie-indicatoren (performance indicators of kortweg PI), die gebruikt worden om de samenhang tussen middelen, prestaties, effecten en doelstellingen (en dus samenhang tussen financiële en niet-financiële informatie) te analyseren. Prestatie-indicatoren zijn maatstaven (veelal gekwantificeerd) waarbij de efficiëntie of effectiviteit van een (volledig of deel van een) proces of systeem gemeten wordt ten opzichte van een standaard, een plan of een gegeven en aanvaarde doelstelling (Rochet et al., 2005). Zoals we op het einde van het eerste hoofdstuk (cfr. 1.7) reeds aangegeven hebben, kunnen voor elk van de vier elementen van het transformatieproces indicatoren ontwikkeld worden (bv. input- of outputindicatoren). Daarnaast bestaan combinatie-indicatoren zoals efficiëntie en effectiviteit. In deze studie gaat het dan specifiek over efficiëntie-indicatoren. De te selecteren of te ontwikkelen indicatoren dienen alle componenten van efficiëntie in rekening te brengen. De indicatoren moeten dus zowel veranderingen in het aantal inputs en outputs meten, alsook de kwaliteit van de dienstverlening in kaart brengen. Bovendien moeten de indicatoren ontworpen zijn om dubbeltellingen en kostenverschuivingen tussen 52

55 activiteiten te vermijden, en maken ze idealiter deel uit van processen van prestatiemanagement om te verzekeren dat efficiëntiewinsten volgehouden worden (NAO, 2006; OGC, 2007). Indicatoren kunnen kwantitatief of kwalitatief zijn. Een belangrijke vraag die zicht stelt, is of kwantitatieve indicatoren te verkiezen zijn boven kwalitatieve indicatoren. Kwantitatieve indicatoren gelden als zijnde objectief, terwijl kwalitatieve indicatoren eerder als subjectief beschouwd worden. Anderzijds wordt er van uitgegaan dat kwalitatieve informatie meer relevantie heeft voor de uiteindelijke beoordeling van het presteren van een organisatie. Ook brengt een kwalitatieve indicator het klantenperspectief dichter bij. Indicatoren bestaan steeds uit twee delen: de naam van de indicator en de waarde van de indicator. De indicatornaam beschrijft wat er gemeten wordt. De indicatorwaarde is de (numerieke) waarde of het bereikte niveau binnen een gegeven meetperiode. Voor elke indicator dient bovendien een indicatorfiche opgemaakt te worden, met daarin meer toelichting over de gebruikte terminologie, dimensies en aggregatieniveaus, meetfrequentie, verantwoordelijke dienst/persoon, etc. Dit is van belang voor standaardisatie, verdere opvolging en auditeerbaarheid (cfr. infra) van efficiëntiewinstmetingen. Om een goede indicator te zijn, moet elke individuele indicator voldoen aan een zeker aantal karakteristieken. Rochet et al. (2005) geven volgende lijst van selectiecriteria (die ietwat tegengesteld kunnen zijn): - Relevantie: de indicator moet perfect beschrijven wat bestudeerd wordt (in dit geval efficiëntie). De indicator moet significant zijn omtrent wat gemeten wordt en deze significantie moet voor een lange periode vastgehouden worden. - Eenvoud: informatie moet makkelijk te verzamelen zijn, op een goedkope wijze en op een zodanige manier dat de gebruiker de informatie kan begrijpen in de meest direct mogelijke zin. - Objectiviteit: de indicator moet betrouwbaar te berekenen zijn zonder ambiguïteit, vertrekkende van observeerbare data. 53

56 - Ondubbelzinnigheid: de indicator moet op een eenduidige wijze variëren in vergelijking met het fenomeen dat bestudeerd wordt (efficiëntie), om zo in staat te zijn deze eenduidige variaties te kunnen interpreteren. - Sensitiviteit: de indicator moet op een significante wijze variëren, zelfs bij kleine wijzigingen van het bestudeerde fenomeen. - Nauwkeurigheid: de indicator moet bepaald worden met een aanvaardbare foutenmarge overeenkomstig de nauwkeurigheid van de metingen van observeerbare zaken. - Auditeerbaar: een derde instantie moet in staat zijn de toepassing van de gebruiksregels van indicatoren (data verzameling, verspreiding, interpretatie, etc.) te controleren. - Communiceerbaarheid: de indicator moet een dialoog toelaten tussen partijen die niet dezelfde bezorgdheden hebben. - Aanvaardbaarheid: de indicator moet acceptabel zijn en mag niet indruisen tegen de cultuur van de potentiële gebruiker. Ook Bouckaert et al. (2003b) en Christiaens et al. (2009) hebben op basis van de nationale en internationale literatuur een lijst van criteria samengesteld waaraan prestatie-indicatoren (zoals indicatoren voor het meten van efficiëntie) dienen te beantwoorden. Deze lijst is terug te vinden in bijlage 2. De auteurs benadrukken dat hun lijst een soort ideaalbeeld is en dat er in de praktijk weinig indicatoren zullen zijn die aan alle criteria zullen voldoen. Uiteindelijk is het de bedoeling indicatoren te ontwikkelen die zo nauw mogelijk aansluiten bij dit ideaalbeeld. Samengevat moeten prestatie-indicatoren valide (ze geven een daadwerkelijk beeld van de realiteit die ze worden verondersteld te meten), betrouwbaar en relevant zijn (Christiaens et al., 2009). De keuze van de indicatoren is tenslotte ook van bepalend voor de vergelijkbaarheid van efficiëntiewinsten. Zoals we bij de karakteristieken van efficiëntiewinsten hebben aangegeven (cfr ) moeten indicatoren, om de vergelijkbaarheid te bewerkstelligen, zorgvuldig en juist gekozen worden. Het is van groot belang om eerst goed te kijken op welk niveau de vergelijkingsoefening gemaakt dient te worden. Zo is bijvoorbeeld voor het benchmarken van Vlaanderen informatie over andere regio s nodig, 54

57 informatie op het niveau van landen is veel minder relevant. In dit opzicht kunnen we nogmaals vermelden dat het Governance at a Glance -initiatief van de OESO een waardevol vertrekpunt kan zijn om sleutelindicatoren op regionaal niveau aan het pakket toe te voegen. > Stap 3: Verzamel data Wanneer bepaald is hoe een efficiëntiewinst gemeten zal worden, i.e. nadat de relevante indicatoren zijn bepaald, kan de dataverzameling aanvangen, in eerste instantie voor het uitvoeren van de nulmeting en later opnieuw voor de verdere vervolgmetingen. Vanzelfsprekend is dit een cruciale stap: zonder data hebben indicatoren uiteraard (letterlijk en figuurlijk) geen waarde. Opnieuw benadrukken we dat hierbij zowel financiële als nietfinanciële informatie van belang is. Bovendien moet niet enkel informatie verzameld worden over de input- en outputniveaus van de betreffende overheidsentiteit, ook informatie over de kwaliteit van de geleverde dienstverlening is essentieel. Dit laatste werd sterk benadrukt in het efficiëntieprogramma dat tussen in het Verenigd Koninkrijk in voege was. Efficiëntiewinsten konden slechts als finaal geclassificeerd worden door de departementen, en als dusdanig door de verantwoordelijken gevalideerd worden, wanneer aangetoond werd dat de kwaliteit van de output niet negatief beïnvloed was door het realiseren van de efficiëntiewinst. Dit wordt uitgebreid besproken in de case studie die het onderwerp vormt van het volgende hoofdstuk. Het verzamelen van gegevens dient te gebeuren voor iedere indicator, rekening houdend met een minimum aan bijkomende administratieve lasten voor de betrokken organisatie(s). Zoals ook in het huidige Vlaamse meerjarenprogramma het geval is, is het belangrijk om duidelijk aan te geven in de project- en/of indicatorenfiches welke gegevens voor de geselecteerde indicatoren verzameld moeten worden en op welke wijze deze dataverzameling kan gebeuren. Bijkomend kan ook vermeld worden welke de bronnen van de nodige statistieken zijn en wie verantwoordelijk is voor de gegevensverzameling. Ook een toelichting over de kwaliteit van de verzamelde data is belangrijk, om op die manier de risico s op een foutieve of onbetrouwbare meting en rapportering te reduceren. 55

58 > Stap 4: Verwerk data Na het verzamelen van de data volgt de analyse ervan. De analyse van data heeft tot doel gegevens om te zetten in informatie. Tot op een zekere hoogte heeft men na de meting al beschikking over informatie, maar een goede analyse kan het informatiegehalte van een indicatorenset gevoelig verhogen. Om te kunnen meten of bepaalde projecten, nieuwe processen, hervormingen of innovaties effectief leiden tot een verhoging van de efficiëntie (efficiëntiewinst), of meer bepaald tot een verbetering leiden van wat de gekozen indicatoren meten, is het uiteraard noodzakelijk om eerst duidelijke basislijnen vast te stellen vooraleer met de efficiëntieactiviteit wordt begonnen. Voor wat betreft efficiëntiemetingen gaat het dan onder meer om het vaststellen van (referentie)gegevens over de besteding van middelen (financiële data over bijvoorbeeld kosten van een huidig proces), het aantal verleende diensten (output) en de kwaliteit van de prestaties. Deze vaststelling van de basislijnen wordt een nulmeting genoemd. Het uitvoeren van een nulmeting vereist in dit geval dus dat de doelen en efficiëntie-indicatoren vooraf bekend zijn. In dit rapport wordt niet dieper ingegaan op de verschillende vormen, methoden en technieken van dataverzameling en data-analyse. We kunnen hiervoor onder meer verwijzen naar Bouckaert et al. (2003b). Bovendien kunnen de dataverzameling en -analyse verschillen per indicator, project of toepassende entiteit die het behalen van efficiëntiewinsten wil vaststellen. Om de nulmetingen uit te voeren, zijn zowel financiële gegevens als prestatie-informatie nodig (cfr. infra). En bovendien moeten voor het meten van efficiëntiewinsten niet enkel basislijnen vastgesteld te worden voor de input- en outputniveaus, ook voor de kwaliteit van de geleverde prestaties dienen nulmetingen te gebeuren. Immers, zoals eerder is aangegeven mogen efficiëntiewinsten niet plaatsvinden ten koste van de kwaliteit van de dienstverlening, en dus moet de outputkwaliteit zowel voor als na de efficiëntieactiviteit vastgesteld en geanalyseerd worden, om deze te kunnen vergelijken. We kunnen dus algemeen aangegeven dat, zoals hierboven reeds meermaals is vermeld, de vereiste informatie om efficiëntiewinsten te kunnen 56

59 vaststellen en te kunnen meten uit zowel kwantitatieve als kwalitatieve informatie bestaat. Meer bepaald vereisen efficiëntiemetingen kwantitatieve informatie over de ingezette inputs en de kosten van de publieke dienstverlening. Daarnaast dient het meten van outputs idealiter zowel kwantitatieve als kwalitatieve aspecten van de geleverde diensten omvatten. Vooral dit laatste is moeilijk in de publieke sector aangezien een groot deel van de diensten typisch ontastbaar zijn, neem bijvoorbeeld beleidsadvies (OECD, 2007). Voor wat betreft de noodzakelijke koppeling van financiële en nietfinanciële informatie kunnen we eveneens verwijzen naar een eerdere bespreking ervan in paragraaf 2.9. We illustreren de bovenstaande aspecten aan de hand van een vereenvoudigd voorbeeld, dat schematisch is weergegeven in figuur 8. Stel, een overheidsorganisatie wil door middel van een transformatie van haar dienstverleningsproces een efficiëntiewinst bereiken, met name door de huidige dienst te kunnen aanbieden tegen lagere kosten, of door tegen de huidige kosten een verbeterde dienst af te leveren aan de cliënt. Om te kunnen meten of de geplande efficiëntiewinst na de hervorming van het werkingsproces effectief zal plaatsvinden, dient de organisatie voor de betreffende dienstverlening eerst een nulmeting uit te voeren. Deze nulmeting zal een kwantitatief en een kwalitatief luik omvatten. Met andere woorden, voor wat betreft de inputzijde zal de organisatie de kostprijs van het huidige proces moeten meten op basis van financiële informatie, langs de outputzijde zullen de huidige prestaties worden gemeten aan de hand van informatie over de kwaliteit. Na deze nulmeting kan de organisatie vervolgens het nieuwe proces invoeren. In een latere fase zal de organisatie dan opnieuw identieke metingen uitvoeren voor de inputzijde (kwantitatieve, financiële gegevens) en outputzijde (kwalitatieve informatie over de dienst). Op basis van de rapportering van deze informatie kan, via de input/output-ratio, vastgesteld worden of de transformatie van het dienstverleningsproces ook daadwerkelijk tot de gewenste efficiëntiewinst heeft geleid. 57

60 Figuur 8: Informatievereisten voor het meten van efficiëntiewinsten > Stap 5: Rapportering Een laatste stap in het meetproces van efficiëntiewinsten is de rapportage van de verwerkte informatie, en dus rapportering over de voortgang van het project (de evolutie van de gemeten indicatoren) en het al dan niet bereiken van de tot doel gesteld efficiëntiewinsten. Om de auditeerbaarheid van efficiëntiewinsten mogelijk te maken, is een duidelijke, consistente en transparante rapportering hierover een noodzakelijk gegeven. Vragen zoals Wat is de aard van de behaalde efficiëntiewinst?, Zijn dit geldelijke of niet-geldelijke efficiëntiewinsten?, Hoe zijn deze winsten gemeten? en Hoe werd de kwaliteit van de output gehandhaafd? dienen bij de rapportage beantwoord te worden. 58

61 Opdat de verantwoordelijken van efficiëntieprogramma s en -projecten op een heldere en eenduidige wijze verantwoording kunnen afleggen over de gerealiseerde efficiëntiewinsten, om de auditeerbaarheid ervan mogelijk te maken, en om ambtelijk en politieke opvolging omtrent de voortgang van de projecten en het koersbehoud van het gehele efficiëntieprogramma te verzekeren, is het noodzakelijk dat de winsten op een duidelijke, consistente en transparante wijze gerapporteerd worden. Dit betekent dat een frequente rapportering (afhankelijk van de looptijd van het programma en de projecten, en afhankelijk van gemaakte afspraken) rapportering via gestandaardiseerde voortgangsfiches essentieel is. Rapportage heeft eerst en vooral tot doel om de geboekte voortgang (of de finale winsten) voor de verschillende projecten te beschrijven, alsook om de koers van het complete programma aan te geven. Net zoals bij het opmaken van de efficiëntiedoelstellingen (stap 1) is het ook bij de rapportering noodzakelijk om de winsten niet enkel kwalitatief maar ook kwantitatief te beschrijven. Op een eenduidige en robuuste wijze dient, zowel tekstueel als numeriek, aangegeven te worden hoe de tussentijdse stand van zaken zich verhoudt tot de finaal beoogde doelstellingen. De kwantificering van de initiatieven moet een uitgebreide kosten-batenanalyse mogelijk maken, waarbij de kosten die gemaakt worden voor een bepaald project uitgezet worden tegenover de behaalde (en kwantitatieve weergegeven) efficiëntieopbrengsten, om zo de reële nettowinsten te kunnen rapporteren. Eveneens dienen de projectrapporteringen duidelijk aan te geven welke acties ondernomen worden om de efficiëntiewinsten tot stand te brengen, en hoe het al dan niet bereiken van efficiëntiewinsten wordt gemeten. Dit laatste betreft het rapporteren over welke inputs en outputs er voor het project gemeten worden. De evolutie van de gekozen indicatoren ten opzichte van de opgelegde norm, beginnende van de nulmeting tot op het tijdstip van de rapportering, vormt een essentieel onderdeel bij het communiceren over de voortgang. Bovendien dient bij het rapporteren van efficiëntiewinsten ook het aspect van het (minstens) behoud van kwaliteit van de dienstverlening in kaart te brengen aan de hand van kwaliteitsindicatoren. Deze cross-check voor kwaliteit moet verzekeren dat er werkelijk een efficiëntiewinst heeft plaatsgevonden, eerder dan een zuivere besparing in de dienstverlening. In 59

62 sommige gevallen kan de verbetering van de kwaliteit van de output zelfs de bron van de efficiëntiewinst zijn. Tot slot dient de rapportering aandacht te besteden aan de huidige en mogelijk toekomstige risico s die een impact kunnen hebben op het behalen van de doelstelling, en daarbij ook in te gaan op de genomen of te nemen maatregelen om deze risico s te beperken of te voorkomen. Ook de mogelijke afhankelijkheden -bijvoorbeeld van wetgeving, van eerdere mijlpalen of van andere initiatieven- moeten bij de rapportage in kaart gebracht worden. > 3.2. Auditeren van efficiëntiewinsten Zoals aangegeven werd bij de noodzakelijke karakteristieken van efficiëntiewinsten (cfr ) is het noodzakelijk dat deze winsten, en dus ook de programma s en projecten die efficiëntieverhogingen beogen, auditeerbaar zijn. Bijgevolg is het essentieel dat het (hierboven beschreven) proces van het meten en rapporteren van efficiëntiewinsten ondersteund wordt door een traject van audit en evaluatie, zoals ook blijkt uit de in hoofdstuk 4 uitgevoerde case studie van het Gershon-efficiëntieprogramma in het Verenigd Koninkrijk. Audit van het gevolgde proces richting het realiseren van de efficiëntiedoelstellingen, alsook controle van de gerapporteerde (zowel tussentijdse als finale) efficiëntiewinsten, is niet alleen belangrijk voor overheidsentiteiten om een onafhankelijk validering te bekomen van de door hen bereikte resultaten. Eveneens helpt audit te verzekeren dat het brede publiek erop kan vertrouwen dat de door de verantwoordelijken verkondigde efficiëntiewinsten ook daadwerkelijk gerealiseerd werden. Voor wat betreft de audit binnen het Vlaamse meerjarenprogramma Slagkrachtige Overheid lijkt een rol weggelegd voor het IAVA (interne audit), zoals door de Vlaamse minister van Financiën wordt aangegeven, en/of voor het Rekenhof (externe audit). In het kader van programma s voor het realiseren van efficiëntiewinsten kan de audit plaatsvinden zowel op het niveau van het gehele programma als op het niveau van de onderliggende projecten. Daarbij hoeft een audit niet beperkt te blijven tot het beoordelen van de efficiëntiewinsten zelf. Ook de methoden die gebruikt worden om efficiëntiewinsten te meten en te 60

63 rapporteren, en de kwaliteit van de gebruikte data en systemen kunnen het onderwerp uitmaken van audit. Voor wat betreft audit op het niveau van het efficiëntieproject zal de beoordeling en validering van efficiëntiewinsten voornamelijk gebeuren op basis van de (gestandaardiseerde) project- en rapporteringsfiches. Het gaat hierbij dan onder meer over een nazicht van de gehanteerde meetmethode (de gebruikte indicatoren) en de betrouwbaarheid van de data, en over een validering van de uitgevoerde nulmetingen. Deze inspecties hebben tot doel de risico s in kaart te brengen dat efficiëntiewinsten niet nauwkeurig gemeten zouden worden. Om efficiëntiewinsten geloofwaardig te laten zijn, is het cruciaal dat de gebruikte cijfers correct zijn. Aanvullend kan audit op projectniveau ook waardevol zijn om vaststellingen te doen met betrekking tot het behoud van kwaliteit van de dienstverlening. Immers, om reële efficiëntiewinsten te realiseren mogen projecten geen negatieve impact hebben op de kwaliteit van de geleverde diensten. Op niveau van het programma heeft audit voornamelijk als functie om een algemene voortgangscontrole uit te voeren, waarbij tussentijds en/of finaal beoordeeld wordt welke evolutie er wordt gemaakt ten opzichte van de einddoelstellingen van het programma. Opnieuw komt hierbij het belang van de kwantificering van targets naar voren. Op die manier kan de auditor de voor de verschillende projecten gerapporteerde cijfers beoordelen, en deze cijfers hanteren om een algemene voortgangscontrole te bewerkstelligen. Ter illustratie is op onderstaande figuur te zien hoe het National Audit Office in het Verenigd Koninkrijk de algemene voortgang van het Gershon-programma op basis van kwantitatieve informatie over de efficiëntiewinsten heeft beoordeeld en de vooruitzichten heeft ingeschat. De audit op programmaniveau is tenslotte ook waardevol wanneer het gaat om beschouwingen over de samenhang van het programma, en om de aansturings- en coördinatiemechanismen te beoordelen (Stroobants & Bouckaert, 2010). We herhalen tenslotte dat de audit van efficiëntiewinsten gekaderd dient te worden in de ruimere context van prestatie-audit, waarbij de relatie met andere managementverantwoordelijkheden zoals effectiviteit en kwaliteit in kaart gebracht wordt. Voor het Vlaamse meerjarenprogramma kan dit onder meer betekenen dat de efficiëntiewinsten geconsolideerd worden op 61

64 het niveau van de beleidsdomeinen en gelinkt worden aan de strategische en operationele doelstellingen en aan de beleidseffectenrapportages. Figuur 9: Algemene voortgangscontrole in cijfers 62

65 4. Case studie: Efficiëntiewinsten in het Verenigd Koninkrijk In de vorige hoofdstukken hebben we het concept van efficiëntiewinsten in de publieke sector uitgebreid gedefinieerd en gekarakteriseerd, en zijn we dieper ingegaan op het proces van het meten, rapporteren en auditeren van dergelijke efficiëntiewinsten. Tijdens deze bespreking hebben we met regelmaat verwezen naar het Verenigd Koninkrijk. Immers, om onze analyse te onderbouwen met goede praktijken uit het buitenland zijn we veelal uitgekomen bij de Britse initiatieven voor het realiseren van efficiëntiewinsten en de door hen opgebouwde kennis omtrent meet-, rapporteringsen auditsystemen voor zulke hervormingen. In dit hoofdstuk gaan we, bij wijze van case studie, dieper in op het belangrijkste efficiëntieprogramma binnen de Britse publieke sector van het afgelopen decennium, met specifieke aandacht voor de overheidsdomeinen waarop deze winsten werden gerealiseerd, voor de gehanteerde principes omtrent het registreren en rapporteren van efficiëntiewinsten, en de wijze waarop de verschillende projecten en het gehele programma werden geauditeerd. Wanneer we de huidige efficiëntie-agenda in het Verenigd Koninkrijk willen kaderen, en over recente Britse efficiëntieprogramma s en -projecten in de publieke sector willen spreken, duikt telkens één en dezelfde naam op: Gershon. In augustus 2003 hebben de Britse premier Tony Blair en de Chancellor of the Exchequer (minister van Financiën) Gordon Brown aan Sir Peter Gershon, een voormalig topmanager uit het bedrijfsleven en toenmalig hoofd van het Office of Government Commerce, gevraagd om een doorlichting van de publieke sector uit te voeren, specifiek gericht op de efficiëntie van de overheid (Stroobants & Bouckaert, 2010). Met het oog op het identificeren van mogelijke efficiëntiewinsten onderzocht Gershon met zijn team de verschillende bedrijfsprocessen binnen de verschillende overheidsorganisaties. Samen met de betrokken departementen en andere stakeholders ging het review team na waar en hoe interne efficiëntiewinsten konden geboekt worden (Delbeke et al., 2008). De focus van deze doorlichting, en tevens de hoofddoelstelling van de regering, was het vrijmaken van (financiële) middelen -door het verbeteren van de efficiëntie van de dienstverlening- om deze te herinvesteren in frontlijn dienstverlening die tegemoet komt aan de hoogste publieke prioriteiten 63

66 (Gershon, 2004). Deze doorlichting resulteerde in de publicatie van de zogenoemde Gershon Efficiency Review in juli > 4.1. SR04 (Gershon) Efficiency Programme Aansluitend op dit Efficiency Review-rapport lanceerde de New Labourregering datzelfde jaar een overheidsbreed efficiëntieprogramma, het SR04 Efficiency Programme, dat via de implementatie van efficiëntieprojecten en kaderend binnen de 2004 Spending Review (SR04) de ambitie formuleerde om in de periode tussen 2004 en 2008 jaarlijks 21,5 miljard efficiëntiewinsten te realiseren (Gershon, 2004). Het SR04 Gershon Efficiency Programme kan beschouwd worden als hét centrale efficiëntieprogramma van het voorbij decennium in het Verenigd Koninkrijk (Delbeke et al., 2008) en vormde meteen ook de basis voor de huidig lopende en voorbereide efficiëntieprogramma s zoals het Value for Moneyprogramma ( ), het Public Value Programme en het Operational Efficiency Programme (met een looptijd richting 2015). Het SR04 Efficiency Programme had dus als doel de publieke dienstverlening te transformeren door (1) efficiëntiewinsten te boeken en te herinvesteren in directe dienstverlening en door (2) een cultuur van efficiëntie te creëren binnen de publieke sector (Delbeke et al., 2008). De basisdoelstelling van het programma, met name een jaarlijkse totale efficiëntiewinst van 21,5 miljard realiseren in de periode tussen 2004 en 2008 (i.e. 2,5% efficiëntiewinsten per jaar voor elke overheidsorganisatie en -entiteit), kwam voort uit de eerder door Gershon uitgevoerde efficiëntiedoorlichting waarbij aan de verschillende departementen gevraagd werd te rapporteren over hoe en hoeveel efficiëntiewinsten ze tegen 2008 zouden kunnen realiseren. Op basis van deze voorstellen werden (in samenspraak met de Treasury) voor alle departementen efficiëntiedoelstellingen overeen gekomen, die geïntegreerd werden in de Spending Review van Daarnaast werd per departement een efficiëntieplan opgemaakt, die de verschillende departementale programma s en projecten met potentiële efficiëntiewinsten omschreef, met concrete, cijfermatige doelstellingen ( strength by numbers -principe) en bijhorende indicatoren. Naast de totale jaarlijkse efficiëntiewinst van 21,5 miljard voor de gehele publieke sector in het Verenigd Koninkrijk, werden de departementale efficiëntieprogramma s ook geacht bij te dragen aan een algemene reductie 64

67 in het aantal ambtenaren met tegen 2008 (binnen de Civil Service en binnen administratieve en ondersteunende militaire functies). Daarnaast moesten nog eens circa banen herschikt worden tot eerstelijnsdienstverlenende functies. Een derde en laatste doelstelling van het programma was de herlocalisatie van minstens overheidsfuncties weg van Londen en het Britse zuidoosten tegen 2010 (NAO, 2007). > 4.2. Bronnen van efficiëntiewinsten Het Gershon-efficiëntieprogramma zou uiteindelijk samen ongeveer driehonderd individuele efficiëntieprojecten omvatten, verspreid over de gehele Britse publieke sector en geclusterd binnen departementale efficiëntieprogramma s. Gegeven de schaal en de reikwijdte van de overheidsuitgaven, besloten Gershon en zijn team om de programma s en hun onderliggende projecten te classificeren in verscheidene thema s. Meer bepaald werden door Gershon (2004) vijf sleutelcategorieën (workstreams) geïdentificeerd, die hij beschouwde als significante domeinen voor financiële efficiëntie-opportuniteiten. Deze workstreams werden geacht algemeen geldend te zijn voor de meeste overheidsdepartementen en hun gerelateerde publieke sector activiteiten. De vijf sleuteldomeinen voor het realiseren van efficiëntiewinsten die door Gershon werden onderscheiden, en die ook in de latere Britse efficiëntieprogramma s relevant blijven, kunnen als volgt worden omschreven (Gershon, 2004): 1. Back office functies; 2. Overheidsopdrachten; 3. Transactionele diensten; 4. Productiviteit; 5. Beleid, financiering en regulering (voor publieke en private sector). In wat volgt gaan we dieper in op elk van deze vijf sleuteldomeinen. > Back office Back office functies in de publieke sector bieden essentiële ondersteuning bij het leveren van eerstelijnsdiensten. Back office functies omvatten onder meer: financiën, HRM, ICT, juridische zaken, logistiek, marketing, facilitair management en communicatie. Op dit vlak kunnen significante 65

68 verbeteringen binnen de overheid plaatsvinden door na te gaan hoe deze back office functies op een meer efficiënte basis kunnen voorzien worden. Een effectieve strategie om back office functies te hervormen tot meer efficiënte activiteiten, omvat benaderingen zoals: - de vereenvoudiging en standaardisatie van processen en beleid; - het toepassen van best practices binnen elke functie; - het delen van ondersteunende diensten, door clustering met andere overheidsentiteiten, om schaalvoordelen te bereiken; - herlocalisatie van activiteiten; - uitbesteding ( outsourcing ) van functies; - het actief managen van strategische kernfuncties (functies met een focus op het leveren van professionele diensten die de efficiëntie en effectiviteit van de organisatie als geheel), bijvoorbeeld door het actief aanpakken van ziekteverzuim. In de publieke sector in zijn geheel moeten nog meer inspanningen geleverd worden omtrent vereenvoudiging, standaardisatie en het delen van processen. Vaak wordt te snel de nadruk gelegd, gevoed door de private sector, op de opportuniteiten voor outsourcing. Het bestuderen van de bestaande processen en nagaan wat er kan gedaan worden om deze te vereenvoudigen, eerder dan overgaan naar gesofisticeerde acties zoals outsourcing, kan aanzienlijke efficiëntiewinsten opleveren. Het realiseren van winsten door vereenvoudiging van back office-processen en -functies heeft ook te maken met het verkleinen van wat de overhead van het systeem genoemd wordt: Hoeveel blijft er over van één euro die het ministerie van Financiën verlaat vooraleer het aankomt bij eerstelijnsdienstverlenende entiteiten die het geld nuttig besteden? Met andere woorden, hoeveel van die ene euro blijft hangen in zijn weg doorheen de dienstverleningsketen, bij centrale departementen, agentschappen en andere soorten van intermediaire lagen? > Overheidsopdrachten De publieke sector is een van de voornaamste aankopers van goederen en diensten van derde partijen in de economie. Voorbeelden van overheidsbestedingen zijn de aanschaf van nutsvoorzieningen, ICT-systemen en -diensten, professionele diensten, tijdelijke arbeidskrachten, 66

69 bouwopdrachten, sociale huisvesting, sociale zorg, en afval- en energiebeheer. Door de vraag op een meer geaggregeerde basis vast te stellen en door een beter leveranciersbeheer, kan het bedrag dat de overheid spendeert aan het verkrijgen van goederen en diensten verminderd worden. Algemeen gesteld bestaan er significante manieren om efficiëntiewinsten te realiseren in het domein van overheidsbestedingen, meer bepaald door middel van: - het aggregeren van de vraag 5 (bijvoorbeeld door het centraal toekennen van contracten, of door bepaalde departementen aan te duiden als leidende aankopers voor een groep van departementen); - een beter management van de aanbodzijde, onder meer door op een strategische wijze de geaggregeerde vraag vanuit de publieke sector te communiceren naar en te managen met de aanbodsector, zodoende deze aanbodzijde ook beter in staat is te anticiperen op verschuivingen van de overheidsvraag; - een verdere professionalisering van de functies betreffende overheidsbestedingen, via gedeelde bestedingsmodellen of het versterken van de functievaardigheden (marktkennis, onderhandelingstechnieken, e.d.); - het verder ontwikkelen van capaciteit in contractmanagement; - een breder gebruik van elektronische aankopen en online veilingen om betere bestedingscontracten af te sluiten. > Transactionele diensten Voor de meeste burgers en bedrijven zijn de transactionele diensten die door de publieke sector geleverd worden, hun meest voorkomende interactie met de overheid, zowel op lokaal als op bovenlokaal niveau. De transactionele diensten van de overheid omvatten bijvoorbeeld de betaling 5 Gershon (2006) stelt wel dat een aggregatie van de vraag niet het antwoord is op alles. Wanneer er duidelijke schaalvoordelen kunnen gerealiseerd worden en er relatief weinig aanbieders zijn in een markt, dan is de realiteit zo dat enkel door het aggregeren van de vraag de publieke sector enige kans maakt om effectieve onderhandeling aan te kunnen vatten met relatief machtige aanbieders (het meest extreme voorbeeld is Microsoft). Anderzijds, wanneer markten sterk gefragmenteerd zijn, zal aggregatie mogelijk niet de juiste strategie zijn. 67

70 van subsidies en pensioenen, het innen van belastingen, heffingen, etc. Ook de overheidsrol bij het verzamelen en uitwisselen van informatie zoals geboorte- en overlijdensregistratie en het berekenen uitkeringen behoort tot de transactionele diensten. De categorie van transactionele diensten kent een enorm potentieel voor een complete transformatie door middel van ICT. Door het gebruik van de moderne technologie kunnen aanzienlijke efficiëntiewinsten gerealiseerd worden, denk maar aan het verder uitbouwen van e-government (dienstverlening via het internet) zoals bijvoorbeeld het Belgische federale Tax-on-web voor het indienen van de belastingsaangifte. Hierbij moet wel blijvend aandacht geschonken worden aan het feit dat de significante investeringen die gepaard gaan met het uitbouwen van de e-gov -agenda ook effectief vertaald moeten worden in reële winsten. In de praktijk zien we immers vaak dat e-gov nieuwe kanalen voor de dienstverlening creëert die slechts gedeeltelijk gebruikt worden, waardoor het onmogelijk is om sommige (of alle) kosten van traditionele, arbeidsintensieve transactionele dienstverlening weg te werken. Overheidsorganisaties moeten voldoende aandacht besteden aan hoe het gebruik van e-gov gebaseerde diensten verhoogd kan worden (advertenties, promotie, etc.). Het bewerkstelligen van een uniek loket, i.e. het voorzien van één enkel online toegangspunt voor cliënten, is een bijkomend aandachtspunt omtrent e-government. Voor de beschreven aandachtspunten in het bovenstaande verhaal van e- government kan een strategie van segmentering van klantengroepen, waarbij elk segment op gepaste wijze benaderd wordt, een bijkomende zekerheid bieden voor het realiseren van efficiëntiewinsten. Op die manier kunnen overheidsorganisaties ten volle de digitale opportuniteiten verzilveren van cliënten die optimaal gebruik willen maken van de online dienstverlening, en tegelijkertijd toch aandacht hebben voor dienstverlening aan burgers die zich langs de verkeerde kant van de digitale kloof bevinden (met name burgers die niet voldoende IT-geletterd zijn of niet de mogelijkheid bezitten om op een elektronische wijze met de overheid in interactie te treden). > Productiviteit De productieve tijd van eerstelijns publieke dienstverleners (zowel in centrale en lokale overheidsdepartementen, als in de publieke sector in de 68

71 brede zin zoals onderwijs, gezondheidszorg en de politie) dient verhoogd te worden. Veel van deze werknemers zijn gefrustreerd omtrent de hoeveelheid van hun tijd die ze effectief besteden aan hun eerstelijns- en kerntaken die tegemoet komen aan de noden van de klanten. De productieve tijd van dienstverleners daalt wanneer ze te veel tijd moeten besteden aan het ten dienste zijn van de organisatie in plaats van aan de klanten, wanneer ondersteunende functies inefficiënt zijn of wanneer te veel tijd besteed wordt aan eenvoudige taken. Jaarlijks worden miljarden euro s gespendeerd aan loonkosten voor ambtenaren in centrale en lokale overheden, en voor werknemers in onder meer scholen, bij de politie en in de gezondheidszorg. Wanneer dit personeel ontlast kan worden van tijd die ze besteden aan onproductieve taken zou dit de publieke sector outputs aanzienlijk doen stijgen. Efficiëntiewinsten kunnen in dit domein gerealiseerd worden via het verhogen van de productieve tijd van eerstelijnsdienstverleners (en overheidspersoneel in het algemeen) door het aanpassen van de rollen en verantwoordelijkheden van deze werkkrachten, zodat er effectiever gebruik gemaakt wordt van menselijke kennis en vaardigheden. Eveneens kunnen productiviteitswinsten bereikt worden door in te zetten op voordelen van investeringen in ICT (zoals het helpen met communicatie in de frontlijn, en het verbeteren van de kwaliteit van informatie voor managementbeslissingen), via hervormingen en moderniseringen van processen en/of organisaties, door het aanpakken van ziekteverzuim en door het delen van best practices. > Beleid, financiering en regulering (BFR) Het sleuteldomein van beleid, financiering en regulering (BFR) kunnen we opsplitsen in twee subterreinen. Enerzijds is er de categorie van BFR voor de publieke sector, anderzijds deze van BFR voor de private sector. > BFR voor de publieke sector Om de performantie van de publieke dienstverlening op te drijven, zijn een effectieve strategie, het voeren van een evidence-based -beleid en een focus op inspectie en regulering kritische succesfactoren. Verscheidene (centrale) onderdelen van de overheid ontwikkelen beleid voor, voorzien financiering voor, en inspecteren en reguleren andere delen van de publieke 69

72 sector (i.e. meer autonome, onafhankelijke entiteiten die de eigenlijke diensten leveren, zoals scholen, hospitalen, politie, etc.). Geïllustreerd met een voorbeeld (voor Vlaanderen): het Departement Onderwijs bepaalt het beleid voor en geeft geld aan de onderwijssector, terwijl het Agentschap voor Kwaliteitszorg in Onderwijs en Vorming onder meer de performantie en kwaliteit van scholen inspecteert. Het is hierbij van belang dat de kosten van zulke activiteiten (inclusief de hieruit voortkomende kosten voor de directe dienstverlenende organisaties) in verhouding staan met hun toegevoegde waarde, terwijl tegelijkertijd verzekerd moet worden dat de eerstelijnsdienstverleners toch de ondersteuning krijgen die ze nodig hebben en dat ze handelen binnen een goed ontwikkelde algemene strategie. Er zijn sterke aanwijzingen dat er een significante basis is voor een verhoogde efficiëntie op dit domein van BFR. Zo moeten dienstverlenende entiteiten bijvoorbeeld vaak subsidies aanvragen bij tal van centrale financieringsbronnen, elk met hun eigen regels en voorwaarden, waardoor dit een tijdsintensief gebeuren is die gepaard gaat met aanzienlijke administratieve lasten. De interactie tussen de centrale overheid en de dienstverlenende organisaties kan dus een stuk efficiënter verlopen, waarbij de administratieve last verlaagd dient te worden. Op die manier kunnen de eerstelijnsdienstverleners meer van middelen (bv. personeelsuren) wijden aan de eigenlijke dienstverlening. > BFR voor de private sector Sommige activiteiten zijn specifiek uitgebouwd om een impact te hebben op, of om te interveniëren in, de private sector. Zo reguleert de overheid bepaalde industrieën om de consumentenbelangen te beschermen, of leggen ze een wet- en regelgeving op bijvoorbeeld omtrent werkomstandigheden en milieubescherming. De overheid bepaalt eveneens beleid voor, en financiert, private sector entiteiten met het oog op bredere doelstellingen zoals een productiviteitsgroei, jobcreatie en duurzaamheid. Overheidsinterventies in de privésector moeten zorgvuldig afgewogen worden ten opzichte van de kosten die de aan bedrijven opgelegde regelgeving met zich meebrengt. De overheid dient zich ervan te verzekeren dat haar interventies efficiënt en effectief zijn. 70

73 Potentiële efficiëntiewinsten binnen dit domein van interactie tussen de overheid en de private sector situeren zich onder andere in: - de vereenvoudiging van het leveringsgebied, bijvoorbeeld door het vermijden van duplicatie en het samenvoegen of aanpassen van gemeenschappelijke klantengroepen; - een meer holistische en risico-gebaseerde benadering van regulering en interventies, zodat schaalvoordelen bereikt kunnen worden, bijvoorbeeld door rationalisatie van de BFR-leverende overheidsentiteiten; - het hervormen van de beleidsbepalende functies binnen departementen die private BFR uitvoeren, om op die manier de inzet van schaarse middelen te verbeteren; - het veranderen van regelgevende kaders en strategieën om deze regulering te bepalen en te implementeren; - het verbeteren van de kwaliteit van de ondersteuning aan de private sector, via een beter gerichte bedrijfsondersteuning en via wetenschappelijk onderzoek. > Andere winsten De grote meerderheid van efficiëntiewinsten kunnen binnen één van bovenstaande workstreams ondergebracht worden, maar de classificatie is niet exhaustief. Efficiëntiewinsten die niet gemakkelijk passen in de sleuteldomeinen zijn vaak departementspecifiek van aard. Efficiëntiewinsten binnen defensie zijn hier veelal een goed voorbeeld van (NAO, 2006). > 4.3. Registreren en rapporteren van efficiëntiewinsten Als deel van het overheidsbrede Efficiency Programme waren de departementen zelf verantwoordelijk voor de implementatie van de (op basis van de Gershon Efficiency Review overeengekomen) efficiëntieprojecten, die werden vastgelegd in departementale efficiëntieprogramma s. De individuele departementen stonden dus zelf in voor het leveren, het kwantificeren, het registreren en het rapporteren van de bereikte efficiëntiewinsten. Daarbij moest door de departementen verzekerd worden dat de registratie en rapportering consistent was met de principes die door de Treasury waren opgezet (cfr. infra). Eveneens moesten ze er zich van verzekeren dat de bereikte winsten publiek 71

74 verdedigbaar waren als zijnde efficiëntiewinsten bezuinigingen ( cuts ). en geen zuivere Het SR04 Efficiency Team van het Office of Government Commerce (OGC), een onafhankelijke entiteit binnen de Treasury, bood steun aan de departementen voor het bereiken van de efficiëntiewinsten, voorzag in begeleiding bij het meten van efficiëntiewinsten, verzamelde de data omtrent de voortgang van de departementale efficiëntieplannen en controleerde de robuustheid van de door de departementen aangeleverde informatie. De grotere departementen installeerden bovendien zelf een eigen centraal efficiëntieteam om de voortgang van de departementale efficiëntieprojecten op te volgen (NAO, 2006). De Treasury rapporteerde over de algemene voortgang aan de eerste minister en de Chancellor, inclusief het adviseren over de geloofwaardigheid van de geclaimde efficiëntiewinsten (HM Treasury, 2007). Opdat het meten, registreren en rapporteren van efficiëntiewinsten door de verschillende departementen op een correcte, consistente en coherente wijze zou plaatsvinden, heeft het OGC -als antwoord op een rapport van het National Audit Office (NAO) 6 - een raamwerk opgesteld met regels en richtlijnen voor het meten en rapporteren van efficiëntiewinsten, en instrumenten die konden helpen bij het opzetten van systemen. Het raamwerk bestond in de classificatie van gemeten winsten en van de kwaliteit van de systemen die gebruikt werden om deze winsten te meten (Delbeke et al., 2008). Zodoende werden de departementen bij het rapporteren van hun efficiëntiewinsten sinds 2006 verplicht om een zelfevaluatie over hun gerapporteerde cijfers uit te voeren tegen het licht van dit -in samenspraak met het NAO en de Audit Commission- ontwikkelde raamwerk (NAO, 2007). In het door het OGC gehanteerde raamwerk worden efficiëntiewinsten geclassificeerd volgens vier dimensies (OGC, 2007; Delbeke et al., 2008): 6 In een tussentijds rapport (februari 2006) inzake het efficiëntieprogramma concludeerde het NAO dat alle efficiëntiewinsten die tot dan toe door de departementen waren gerapporteerd, slechts als voorlopige winsten konden beschouwd worden. Als antwoord op dit rapport stelde de Treasury procedures op (en voorzag ze in gedetailleerde begeleiding) om duidelijk te maken wat departementen moesten doen om de door hun gerapporteerde efficiëntiewinsten naar een finale status te laten evolueren (OGC, 2007). 72

75 (1) Meetmethodologie: de mate waarin er al dan niet overeenstemming is over de metingen en basislijnen (nulmetingen) die gehanteerd worden om de winsten te kwantificeren; (2) Datamaturiteit: de mate waarin het waarschijnlijk is dat de gegevens nog zullen veranderen; (3) Kwaliteit van de dienstverlening: de mate waarin er al dan niet overeenstemming is over de methode -inclusief goedgekeurde basislijnen- om de kwaliteit van de dienstverlening te meten, en of dit al dan niet aantoont dat het niveau van de kwaliteit van de dienstverlening behouden is gebleven gedurende de periode waarvoor een efficiëntiewinst wordt geclaimd; (4) Betrouwbaarheid: de mate van zekerheid die het departement heeft over de datasystemen die gebruikt worden om de efficiëntiewinsten te registreren en te rapporteren. De combinatie van de eerste drie dimensies bepalen of een departement een gerapporteerde efficiëntiewinst kan classificeren als zijnde voorbereidend (preliminair), tussentijds (interim) of finaal. Deze classificatie wordt weergegeven in onderstaande tabel 4 (OGC, 2007). Tabel 4: Classificatie van gerapporteerde efficiëntiewinsten Meetmethoden & nulmetingen gedefinieerd en aanvaard Ja Neen Datamaturiteit Data zullen niet wijzigen Data zouden kunnen wijzigen Data zullen waarschijnlijk wijzigen Kwaliteitsmeting aanvaard & kwaliteit bewezen Ja Neen Classificatie Finaal Tussentijds Voorbereidend 73

76 De vierde dimensie voor het classificeren van winsten heeft betrekking op de mate van zekerheid die een departement bezit ten aanzien van de gebruikte datasystemen voor het vaststellen en rapporteren van efficiëntiewinsten. Een datasysteem omvat een reeks van acties en taken door dewelke data gedocumenteerd, geclassificeerd, verwerkt en samengevat wordt. Deze dimensie kan onderverdeeld worden in drie subcategorieën van zekerheid (mate van betrouwbaarheid), zoals opgelijst in onderstaande tabel 5 (OGC, 2007). Tabel 5: Niveaus van zekerheid omtrent gebruikte datasystemen Volledige zekerheid Substantiële zekerheid Gedeeltelijke zekerheid Interne controlemechanismen zijn aanwezig en hun werking wordt regelmatig gecheckt. Een systeem van data risicomanagement is actief en alle significante risico s worden aangepakt. Interne controlemechanismen zijn in elementaire vorm aanwezig maar vertonen nog zwaktes of niet-naleving ervan is vastgesteld. Een systeem van data risicomanagement is in elementaire vorm aanwezig maar sommige risico s blijven ongedekt. Een volledig audittraject is beschikbaar. Verantwoording voor de kwaliteit van de data is duidelijk op alle niveaus. Een entiteit die het overzicht houdt, beoordeelt de opzet en werking van de datasystemen Interne controlemechanismen zijn beschikbaar maar zijn nog niet getest of significante niveaus van niet-naleving ervan zijn vastgesteld. Er bestaan significante risico s omtrent de datakwaliteit. Verantwoordingsplichten worden gecommuniceerd. Een governancestructuur wordt ontwikkeld. Een volledig audittraject wordt ingevoerd. Opdat een departement een efficiëntiewinst als finaal kan categoriseren, is het dus noodzakelijk dat aan volgende voorwaarden (tabel 6) voldaan wordt (OGC, 2007): 74

77 Tabel 6: Noodzakelijke voorwaarden voor een finale efficiëntiewinst Er is een (door het Efficiency Team) goedgekeurde meetmethodologie. De data om de efficiëntiewinst vast te stellen (te meten en te kwantificeren) zal niet meer wijzigen in termen van datamaturiteit. De methode om de kwaliteit van de dienstverlening (output) te beoordelen, inclusief een nulmeting (basislijn) voor deze outputkwaliteit, is goedgekeurd (door het Efficiency Team). Er is bewijs aanwezig dat de kwaliteit van de output op peil gehouden wordt (of verbeterd), en geleverd wordt door een gepast en betrouwbaar proces. Dat efficiëntiewinsten slechts als finale winsten geclassificeerd kunnen worden door de departementen, en als dusdanig door het Efficiency Team (van het OGC binnen de Treasury) gevalideerd worden, wanneer aangetoond is dat de kwaliteit van de output niet negatief beïnvloed wordt door het realiseren van de efficiëntiewinst, is een cruciaal aspect in het verhaal van publieke sector efficiëntiewinsten. Het is immers belangrijk om een efficiëntiewinst te onderscheiden van een bezuiniging in de dienstverlening ( service cut ). Om na te gaan of hervormingsprojecten niet ten koste gaan van de publieke dienstverlening, of om na te gaan of projecten een verbeterde kwaliteit van de output realiseren zonder een proportioneel grotere stijging van de inputs, was het voor departementen dus noodzakelijk om maatstaven te ontwikkelen voor de outputkwaliteit (NAO, 2006), zodat een vergelijking kan gemaakt worden tussen de outputkwaliteit voor en na een efficiëntieproject (NAO, 2007). Doorgaans werd voor zulke quality crosschecks door de departementen een relevante set van indicatoren naar voren geschoven voor elk van de verschillende diensten. Dit bleek geen gemakkelijke oefening. Indicatoren bleken niet altijd voldoende om alle aspecten van de outputkwaliteit vast te stellen. Voor wat betreft de kwantiteit van de dienstverlening (aantal outputs) konden de departementen meestal wel relatief gemakkelijk indicatoren ontwerpen, maar het vinden van bruikbare indicatoren voor het meten van de outputkwaliteit vormde een grotere uitdaging. Omdat deze oefening echter als essentieel beschouwd wordt, ontwikkelde de Treasury ook hiervoor enkele richtlijnen (Delbeke et al., 2008). 75

78 Afhankelijk van de aard van de gebruikte efficiëntiemaatstaf hebben de departementen dus ook een maatstaf nodig die hen in staat stelt de kwaliteitsniveaus van de dienstverlening op te sporen. Deze metingen worden gebalanceerde kwaliteitsmetingen ( balancing quality measures ) genoemd (HM Treasury, 2007). Gebalanceerde kwaliteitsmetingen moeten gerelateerd zijn aan het domein van dienstverlening binnen dewelke efficiëntiewinsten geclaimd worden, en moeten de meerderheid van de inputs omvatten die gemeten worden in de berekening van de efficiëntie. De kosten voor het ontwikkelen en het gebruiken van gebalanceerde kwaliteitsmetingen moeten eveneens in rekening gebracht worden. Zo kan het niet de bedoeling zijn om voor kleine efficiëntieprojecten gesofisticeerde kwaliteitsmetingen te gaan uitvoeren. In de richtlijnen worden een aantal mogelijke bronnen van informatie voor outputkwaliteitsmetingen opgesomd die, afhankelijk van de bestaande departementale managementinformatie, gebruikt kunnen worden. Deze bronnen omvatten onder meer geschikte prestatie-indicatoren (KPI s), bestaande onderzoeken over klantentevredenheid of perceptie, en Public Service Agreement (PSA)-doelstellingen. Echter, niet alle outputkwaliteit kan vertaald worden in een numerieke waarde (om zo na te gaan of de kwaliteit minstens behouden blijft). In die gevallen kunnen de departementen een narratieve kwaliteitstest inroepen, waarbij een onafhankelijke waarnemer op basis van gegeven informatie en argumenten zal oordelen of de outputkwaliteit gehandhaafd blijft (HM Treasury, 2007). Hoewel het rapporteringsproces voor efficiëntiewinsten, dat door de OGC aan de departementen werd opgelegd, een stijgende focus legde op de noodzaak voor kwaliteitsmetingen, wees het National Audit Office in een analyse op het feit dat sommige aangewende kwaliteitsmaatstaven te highlevel of niet voldoende representatief waren om de actuele outputkwaliteit te toetsen. Het NAO benadrukte dat, om aan te tonen dat een efficiëntieproject geen ongunstig effect heeft op de kwaliteit van de dienstverlening, de metingen niet enkel gerelateerd moeten zijn aan doorgevoerde veranderingen, maar ook vergelijkbaar dienen te zijn met een periode van nulmeting (NAO, 2007). Hierbij is het aangewezen de kwaliteitsmeting uit te voeren elke keer de waarde van de efficiëntiemaatstaf wordt opgemeten. Uit het bovenstaande komt duidelijk naar voren dat het meten van de kwaliteit van de output van groot belang is om zich ervan te verzekeren dat 76

79 veranderingen met het oog op het bereiken van efficiëntiewinsten geen nadelig effect hebben op de kwaliteit van de geleverde prestaties. Echter, efficiëntiewinsten kunnen ook net op basis van deze kwaliteit gerealiseerd worden. Immers, in paragraaf 2.2 hebben we aangegeven dat een efficiëntiewinst niet alleen plaatsvindt bij een hogere hoeveelheid van outputs bij constante of proportioneel minder sterk stijgende inputs, maar eveneens bereikt wordt wanneer de kwaliteit van de prestaties toeneemt bij gelijkblijvende of minder sterk stijgende kosten (inputs). Voor dit soort efficiëntiewinsten is een kwaliteitsmeting uiteraard ook onontbeerlijk, en is er nood aan het omzichtig beschouwen van hoe de kwaliteitsverbetering gewaardeerd en vastgesteld kan worden. Het OGC (2007) illustreert dit met een eenvoudig voorbeeld en effectieve meetbenadering, zijnde een kosteneffectiviteitsindex. Dit is een indicator voor een dienstverbetering die deze stijging uitdrukt als een percentage ten opzichte van de voorgaande dienstverlening. Deze methode kan gebaseerd zijn op de assumptie dat de output minstens gelijk is aan de input die ervoor nodig is. Dit laat toe een waarde te hechten aan de verbetering. Op zich is dit een indirecte maatstaf van de waarde van de outputs, maar ze komt voort uit een directe beoordeling van een verbetering van de outputkwaliteit. Met andere woorden, wanneer de kostprijs van een dienstverlening in het basisjaar is, en de dienst -gemeten door een indicator- verbetert 6% (bij gelijkblijvende inputkosten), dan is deze verbetering waard in basisjaartermen. > 4.4. Auditeren van het efficiëntieprogramma Binnen het Gershon Efficiency Programme werd veel belang gehecht aan het beschikbaar zijn van een audittraject voor de voortgangscontrole van het programma, en vooral voor het valideren van de door de departementen geclaimde efficiëntiewinsten. Hierbij werden niet enkel de winsten (en personeelsreducties) zelf beoordeeld (op hun juistheid en ten opzichte van de vooraf vastgelegde doelstellingen), eveneens werden de methoden van meten en rapporteren van deze winsten en van de kwaliteit van gebruikte datasystemen door de auditactoren onder de loep genomen. Binnen dit audittraject kunnen we bovendien een onderscheid maken tussen intern (binnen de overheid zelf) en extern (door onafhankelijke actoren) uitgevoerde audit. In deze case studie gaan we voornamelijk in op de externe audit van het efficiëntieprogramma door het National Audit Office. 77

80 > Interne audit De interne audit van het gehele efficiëntieprogramma kan, zoals uit de bovenstaande paragrafen duidelijk naar voren is gekomen, voornamelijk beschouwd worden als een taak van de Treasury, het hierin opererende Office of Government Commerce (OGC) en het SR04 Efficiency Team binnen het OGC. Deze actoren stonden immers in voor het controleren van de algemene voortgang van het programma, en voor het opvolgen en beoordelen van de efficiëntiewinsten zoals die door de departementen werden gerapporteerd. Ook de robuustheid van de meetsystemen en risico s voor de projecten werden door het Efficiency Team vastgesteld. Bovendien beschikken de centrale overheidsdepartementen in het Verenigd Koninkrijk over een eigen interne auditdienst, die ook zelf een validering van de departementaal bereikte efficiëntiewinsten uitvoerden, net als een controle van de metingen betreffende het behoud van kwaliteit. > Externe audit Binnen de Britse overheid kunnen we twee actoren onderscheiden die als externe auditor betrokken zijn bij het opvolgen en evalueren van overheidsbrede hervormingsprogramma s (zoals het Gershon-programma). Enerzijds is er het National Audit Office (NAO), die een centrale schakel vormt in het proces voor evaluatie en het afleggen van verantwoording in het Verenigd Koninkrijk. Het NAO is totaal onafhankelijk van de overheid en maakt deel uit van de wetgevende macht. De activiteiten van het NAO bestaan hoofdzakelijk uit het uitvoeren van financiële audits en prestatiemetingen, maar ook het uitvoeren van studiewerk omtrent grote hervormingsinitiatieven in de publieke sector maakt deel uit van haar taken (Stroobants & Bouckaert, 2010). Anderzijds is er de Audit Commission, die specifiek optreedt als onafhankelijke, externe auditor voor het lokale overheidsniveau. Aangezien het Gershon-programma een overheidsbreed efficiëntieprogramma was, met ook doelstellingen en verplichtingen voor het lokale niveau, is de rol van Audit Commission eveneens relevant. In wat volgt gaan we dieper in op de rol en functies van deze twee externe auditactoren binnen het SR04 Efficiency Programme, en de wijze waarop ze hun ondernomen acties hebben uitgevoerd. 78

81 > National Audit Office Naast het monitoren en evalueren van het geïmplementeerde Gershon Efficiency Programme door de verantwoordelijken van het programma zelf, met name het Office of Government Commerce (Efficiency Team), heeft ook het National Audit Office (NAO) als externe (en dus onafhankelijke) auditor het efficiëntieprogramma geëvalueerd. Meer specifiek heeft het NAO twee rapporten uitgebracht waarin de voortgang en de succesgraad van het Gershon-programma werden beschreven, en verdere bevindingen en aanbevelingen werden geformuleerd. Deze rapporten, getiteld Progress in Improving Government Efficiency (NAO, 2006) en The Efficiency Programme: A Second Review of Progress (NAO, 2007), presenteerden elk een tussentijdse, externe evaluatie van de (reeds) behaalde efficiëntiewinsten, van het functioneren van de centrale aansturing en monitoring van het programma, en van de moeilijkheden en aandachtspunten bij het meten van efficiëntiewinsten. In deze paragraaf gaan we niet uitgebreid in op de inhoud van de twee gepubliceerde rapporten van het NAO over het Gershon Efficiency Programme. Voor een zulke bespreking verwijzen we naar een eerder uitgebracht SBOV-rapport (Delbeke et al., 2008: ). Wel bespreken we hier de opgenomen rol en acties van het NAO in verband met de door haar uitgevoerde externe audit van het efficiëntieprogramma. i) Rapport Progress in improving government efficiency In de samenvatting van haar eerste evaluatierapport van februari 2006 omschrijft het NAO haar rol in het lopende efficiëntieprogramma als volgt: als zijnde de externe auditor van overheidsdepartementen en het Office of Government Commerce is mijn rol betreffende het Efficiency Programme om te rapporteren aan het parlement over de voortgang 7 en dit rapport zal het eerste zijn in hele reeks over dit onderwerp. Wat verder in het NAOrapport wordt uitgebreider aangegeven: als de externe auditor van de centrale overheid bestaat de rol van het National Audit Office uit het rapporteren aan het parlement over de voortgang, inclusief de mate waarin efficiëntiewinsten betrouwbaar werden berekend, en het aanbevelen hoe 7 Meer specifiek stelt het NAO in het eerste rapport de voortgang vast inzake het realiseren van lopende efficiëntiewinsten -door de centrale departementen en de bredere publieke sector- van ongeveer 21,5 miljard per jaar. 79

82 verdere verbeteringen in efficiëntie gerealiseerd kunnen worden. (NAO, 2006). Het NAO beschouwt haar formele, externe rol van auditor bovendien als complementair met die van interne audit. Terwijl de departementale interne auditdiensten geen formele rol hebben, wordt in de praktijk door sommige departementen interne audit gebruikt om aspecten van het berekeningssysteem voor efficiëntiewinsten te controleren. Om deze rol uit te voeren, heeft het NAO in haar eerste auditrapport omtrent het Gershon-programma onderzocht hoe de voornaamste departementen het meten van hun efficiëntie plannen, en heeft ze steekproefsgewijs een gedetailleerde inspectie uitgevoerd van 20 efficiëntieprojecten uit zes departementen. De beoordeling werd gemaakt op basis van goede praktijken inzake efficiëntiemeting, en door te kijken naar hoe efficiëntieverbeteringen elders gerealiseerd werden (het NAO wil haar rapporten constructief en vooruitziend laten zijn). Hiervoor identificeerde het NAO voorbeeldgevallen van succesvolle efficiëntieinitiatieven, met projecten uit de publieke, private en vrijwillige sector, zowel uit het Verenigd Koninkrijk als daarbuiten. Met deze voorbeelden wilde het NAO illustreren hoe de overheid meer kan doen om zijn capaciteit te versterken in het realiseren van de lopende efficiëntiewinsten, zonder daarbij de kwaliteit van de dienstverlening te ondermijnen (NAO, 2006). Concreet was dit eerste evaluatierapport van het NAO gebaseerd op volgende methoden van onderzoek: - een inspectie van een steekproef van 20 efficiëntieprojecten uit zes departementen; - interviews met het OGC Efficiency Team (programmabureau) en een analyse van programmadocumentatie; - focusgroepen van projectmanagers; - een beoordeling van de departementale technische efficiëntienota s (Efficiency Technical Notes); visitaties met een panel van experts; - case studies van succesvolle efficiëntie-initiatieven. Op basis van de steekproef van 20 efficiëntieprojecten binnen het Gershonprogramma becommentarieerde het NAO de robuustheid van de door de departementen gerapporteerde voortgang, en gaf ze aan wat ze als een goede praktijk beschouwde voor het meten van efficiëntiewinsten (en dus in welke mate het programma geschikt was voor het meten van toekomstige 80

83 efficiëntiewinsten). Hiervoor testte het NAO de gekozen efficiëntieprojecten tegenover drie sleutelprincipes die departementen zouden moeten hanteren om hun efficiëntiewinsten aannemelijk te laten zijn. We zetten de drie sleutelprincipes voor het meten van efficiëntiewinsten, zoals geformuleerd door het NAO, nog even op een rij (NAO, 2006; OGC, 2007): (1) Vroeg akkoord omtrent duidelijke basislijnen (nulmetingen) - efficiëntiewinsten dienen gemeten te worden tegenover duidelijke nulmetingen voor inputs, outputs en kwaliteit van de dienst. Idealiter zouden nulmetingen de werkelijke niveaus van de voorgaande prestaties moeten aangeven. Hypothetische wat-als - basislijnen, ontworpen om te schatten wat er zou gebeurd zijn wanneer een efficiëntie-initiatief niet zou geïmplementeerd zijn geworden, bevat onvermijdelijke onzekerheden en mag enkel gebruikt worden indien ze duidelijk gedefinieerd kunnen worden. (2) Begrijpbare berekeningsmethoden die efficiëntiewinsten helpen in stand te houden - de methodologieën dienen alle componenten van efficiëntie in rekening te brengen, zowel veranderingen in inputs en outputs als de kwaliteit van de dienstverlening. Ze zouden ontworpen moeten zijn om dubbeltellingen en kostenverschuivingen tussen activiteiten te vermijden, en moeten deel uitmaken van processen van prestatiemanagement om te verzekeren dat winsten volgehouden worden. (3) Duidelijke en betrouwbare audittrajecten - efficiëntiewinsten dienen gebaseerd te zijn op gegevens uit systemen die het onderwerp zijn van regelmatige controleprocessen en waarbij duidelijke audittrajecten beschikbaar zijn, i.e. een reeks van gekoppelde registraties die auditors (of andere derden) in staat stellen om de berekening van efficiëntiewinsten te reconstrueren en na te kijken (vanaf het proces van ruwe dataverzameling en de onderliggende gemaakte assumpties, over de verwerking en analyse van de informatie, tot de rapporteringsfase). Een auditspoor hoeft niet per definitie werkelijk geauditeerd te zijn, maar het moet auditeerbaar zijn. Op basis van deze drie principes van goede praktijken bij efficiëntiemeting heeft het NAO het risiconiveau van de meetmethoden, die bij de projecten 81

84 in de steekproef werden gebruikt, beoordeeld aan de hand van een roodoranje-groen -status. Met andere woorden werd voor elk van de 20 projecten een statuskleur gegeven aan elk van de drie criteria (basislijnen, berekeningsmethodologie en databetrouwbaarheid) om daarmee het risico aan te duiden dat de geclaimde winsten niet de werkelijke efficiëntie weergeven. Een rode (resp. oranje; groene) statuskleur staat daarbij vanzelfsprekend voor een hoog (resp. middelmatig; laag) risico dat een gerapporteerde winst niet de werkelijke efficiëntieverhoging weerspiegelt. Naast een controle van enkele efficiëntieprojecten binnen de verscheidene departementen heeft het NAO eveneens een inspectie uitgevoerd van alle departementale technische efficiëntienota s (Efficiency Technical Notes - ETN). Het doel hiervan was wederom te oordelen over de mogelijke risico s dat efficiëntiewinsten niet nauwkeurig gemeten zouden zijn. Hiervoor controleerde het NAO elk document ten opzichte van drie sleutelvragen (NAO, 2006): - Zijn de gebruikte meetmethoden duidelijk en geschikt voor efficiëntiewinstmeting? - Is er voldoende zekerheid omtrent het behoud van kwaliteit van de dienstverlening? Met andere woorden, meten de departementen ook wijzigingen in kwaliteit en zijn ze in staat om ongunstige effecten van efficiëntieprojecten op de kwaliteit te identificeren en aan te pakken? - Is het duidelijk hoe de kwaliteit van de gebruikte data verzekerd wordt? Immers, om efficiëntiewinsten geloofwaardig te laten zijn is het cruciaal dat aangetoond kan worden dat de gebruikte cijfers correct zijn. Door de gepubliceerde ETN s tegen het licht van deze drie sleutelvragen te houden, heeft het NAO het niveau van meetrisico van de departementale efficiëntieprogramma s trachten vast te stellen. Het NAO oordeelde of er weinig, enige of significante meetrisico s waren, daarbij gebruik makend van een basisweging om te verzekeren dat goede prestaties in grote initiatieven niet overschaduwd werden door zwaktes in kleinere projecten. De bovenvermelde criteria betreffende het meten van efficiëntiewinsten (de drie sleutelprincipes voor goede praktijken en de principes om meetrisico s te beperken) die door het NAO gebruikt werden om de efficiëntiewinsten te beoordelen op credibiliteit, zijn door het OGC als 82

85 inspiratiebasis gebruikt bij het ontwerp van een meet- en classificatiesysteem (OGC, 2007) en bij hun richtlijnen aan de departementen omtrent het meten en rapporteren van hun efficiëntiewinsten, zoals we reeds hebben aangegeven en besproken in paragraaf 4.3 (cfr. blz. 71 en volgende). Door middel van de beoordeling van de steekproef van efficiëntieprojecten (gebruik makend van de drie sleutelcriteria), door te schatten hoe deze steekproefprojecten bijdroegen aan de volledige departementale efficiëntiedoelstellingen en na de controle van de departementale ETN s, heeft het NAO in haar eerste opvolgingsrapport uit 2006 een voorspelling gedaan over hoeveel efficiëntiewinsten tegen 2008 door deze 20 projecten behaald zouden worden, met als conclusie dat men voorlag op schema 8. Bovendien maakte het NAO ook een opdeling van de bijdrage per departement en per sleuteldomein (cfr. 4.2) aan de totaal te behalen efficiëntiewinsten. En ook de gerapporteerde schattingen omtrent de reductie van het aantal ambtenaren werden door het NAO onderzocht op hun robuustheid. Naast de vaststellingen omtrent de voortgang van het Gershon-programma ten opzichte van de targets voor het realiseren van efficiëntiewinsten, en de beoordelingen en aanbevelingen omtrent hoe deze efficiëntiewinsten gemeten worden, heeft het NAO in het eerste evaluatierapport ook gekeken naar het management van de efficiëntieprojecten binnen de departementen en de prestaties van het OGC Efficiency Team in het coördineren van het gehele programma. Op basis daarvan formuleerde het NAO een reeks van aanbevelingen in dewelke ze aangaf hoe het programmamanagement versterkt kon worden. Het laatste deel van het eerste voortgangsrapport van de nationale externe auditor bestond uit een uitgebreide analyse over hoe de capaciteit van de centrale overheid en de ruime publieke sector in het realiseren van verdere efficiëntiewinsten verbeterd kon worden. Op basis van onderzoek van goede 8 Hoewel het NAO de tot dan toe gerapporteerde winsten door de departementen enkel als voorlopig kon beschouwen, omdat er nog steeds significante risico s bestonden dat de efficiëntiewinsten niet accuraat gemeten waren, en de departementen in veel gevallen onvoldoende konden garanderen dat de kwaliteit van de diensten niet verslechterd zou worden als gevolg van de efficiëntiegerelateerde hervormingen. 83

86 en succesvolle praktijken uit zowel de publieke als de private en de vrijwillige sector, in het Verenigd Koninkrijk en daarbuiten, werd ingegaan op verschillende aspecten die deze hervormingscapaciteit konden vergroten. ii) Rapport The Efficiency Programme: A Second Review of Progress In februari 2007, een jaar na haar eerste evaluatie, publiceerde het NAO een tweede opvolgingsrapport. De rol en acties die voor deze voortgangsevaluatie door het NAO werden ondernomen, zijn gelijkaardig aan de hierboven beschreven eerste NAO-beoordeling over de voortgang het Gershon-programma. Het NAO (2007) omschrijft de voornaamste doelstelling van het tweede auditrapport als: het beoordelen van de betrouwbaarheid van de tot op heden gerapporteerde efficiëntiewinsten en personeelsreducties. Dit rapport onderzoekt eveneens hoe het Office of Government Commerce het gehele programma coördineert en wat nog meer kan gedaan worden om efficiëntie integraal deel te laten uitmaken van het overheidsmanagement. Meer specifiek werd het tweede evaluatierapport van het NAO uitgeschreven op basis van: - een beoordeling van de efficiëntiewinsten gerapporteerd door een steekproef van 25 efficiëntieprojecten uit 14 departementen; - een nazicht van de gerapporteerde personeelsreductie en -herallocatie binnen het Departement for Work and Pensions en HM Revenue & Customs; - interviews met het OGC Efficiency Team (programmabureau) en een analyse van programmadocumentatie; - interviews met financiële directeurs van de 14 departementen met projecten in de steekproef; - visitaties bij ruime publieke sector entiteiten; - focusgroepen; - opiniestukken van academici, consultants, e.d. over publieke sector efficiëntie. De voornaamste activiteit in dit tweede voortgangsrapport van de Britse externe auditor omvat opnieuw, net zoals in de eerste evaluatie, een doorlichting van een steekproef van efficiëntieprojecten binnen de verschillende departementen. De steekproef van 25 beoordeelde projecten vertegenwoordigde 36% van de gerapporteerde efficiëntiewinsten. De beoordeling van de projecten werd gemaakt op basis van een standaard- 84

87 vragenlijst, dewelke opgenomen is in bijlage 3, omtrent best practice - criteria voor het meten van efficiëntie. Gebruik makend van deze vragenlijst controleerde het NAO enerzijds de betrouwbaarheid van de gerapporteerde efficiëntiewinsten (met name de geclaimde financiële voordelen 9 ) binnen de verschillende projecten, en anderzijds ging het NAO ook na of de projecten er zich van verzekerden dat ze geen negatief effect hadden op de kwaliteit van de dienstverlening (cfr. bijlage 3) (NAO, 2007). Beide elementen worden door het NAO als essentieel beschouwd, aangezien een financiële vooruitgang geen legitieme efficiëntie is wanneer de kwaliteit van de dienstverlening is gedaald. Net zozeer is een verbetering van de dienstverleningskwaliteit geen efficiëntiewinst indien deze dienstverlening geleverd wordt tegen disproportioneel hogere kosten. Naast dit tweeluik van vragen omtrent de meetmethodologie, namelijk het financiële voordeel en het verzekeren van behoud van kwaliteit, bevatte de door het NAO opgestelde vragenlijst ook vragen omtrent de kwaliteit van de gebruikte data. Beide aspecten zijn immers belangrijk. Een robuuste meetmethodologie volstaat niet wanneer de kwaliteit van de gebruikte data zwak is, en een goede informatiekwaliteit alleen maakt de meetmethodologie niet robuust (NAO, 2007). Nogmaals verwijzen we naar bijlage 3 voor een overzicht van de volledige vragenlijst. De efficiëntieprojecten in de steekproef werden door het NAO op basis van hun score op bovenstaande vragen geclassificeerd in drie categorieën. De gebruikte groen-oranje-rood -classificatie gaf het risico aan dat de gerapporteerde (financiële) cijfergegevens niet werkelijk de gemaakte verbeteringen van de efficiëntie weerspiegelden. Groen betekende dat de gerapporteerde cijfers een terechte voorstelling waren van de bereikte efficiëntiewinsten. Een classificatie oranje gaf aan dat de gerapporteerde cijfers wel de efficiëntiewinsten weergaven, maar dat ze bepaalde meetkwesties en -onzekerheden met zich meedroegen. Rood tenslotte betekende dat er mogelijk efficiëntiewinsten hadden plaatsgevonden, maar 9 De criteria van het NAO houden ook in dat de bijkomende kosten die voortkomen uit de efficiëntie-initiatieven in mindering dienen te worden gebracht van de door het initiatief gerealiseerde efficiëntiewinsten. De Gershon Review daarentegen had de departementale doelstellingen gebaseerd op efficiëntiewinsten die bruto gerapporteerd konden worden. 85

88 dat de gebruikte metingen ofwel de winsten niet konden aantonen, ofwel dat de gerapporteerde winsten substantieel onjuist konden zijn. Naast de hierboven beschreven beoordeling van de voortgang van het Gershon-programma voor wat betreft de efficiëntiewinsten (i.e. welke evolutie er is gemaakt ten opzichte van de finale doelstelling van 21,5 miljard aan totale publieke sector efficiëntiewinsten tegen 2008) en vooral de bemerkingen en verdere aanbevelingen omtrent het meten ervan, heeft het NAO in deze twee voortgangsevaluatie -in vergelijking met het eerste rapport- een meer uitdrukkelijk nazicht uitgevoerd omtrent de voortgang van het programma op gebied van de doelstellingen in verband met personeelsaantallen, en beoordeelde ze de betrouwbaarheid van de gerapporteerde cijfers. Het onderzoek bestond uit een grondige analyse van de meegedeelde cijfers omtrent personeelsreductie en -reallocatie binnen de departementen HM Revenu & Customs (HMRC) en Department for Work and Pensions (DWP) (NAO, 2007; Delbeke et al., 2008). Ook hier werd door het NAO ruim aandacht besteed aan de vraag of de departementen bij het uitvoeren van activiteiten voor het behalen van de personeelsreductiedoelstellingen voldoende zekerheid inbouwden omtrent het behoud van de kwaliteit van de dienstverlening. Tot slot van haar tweede voortgangsrapport heeft het NAO opnieuw een beoordeling gegeven van hoe goed het OGC het Efficiency Programme coördineerde, en hoe de transparantie van het programma verbeterd kon worden. Aanvullend op de in het eerste rapport geïdentificeerde voorbeelden over wat de overheid als geheel zou moeten doen om de efficiëntie te verbeteren, heeft het NAO in dit rapport een tweede studie uitgevoerd, waarbij meer voorbeelden geïdentificeerd werden over wat individuele organisaties kunnen doen om efficiëntie ingebed te krijgen in hun organisatiecultuur (NAO, 2007). Daartoe heeft het NAO een Efficiency Toolkit (cfr. bijlage 4) ontwikkeld, dewelke departementen en overheidsentiteiten kunnen gebruiken om zichzelf te beoordelen tegenover de verscheidene aspecten van efficiëntie. De toolkit, die gebaseerd is op een raamwerk van verschillende factoren die de efficiëntie van een organisatie beïnvloeden, maakt een duidelijke link tussen inputs enerzijds en output en effecten anderzijds, en draagt bij aan een goed begrip van hoe goed een organisatie haar middelen gebruikt in algemene termen. Op die manier helpt de toolkit opportuniteiten voor 86

89 verbetering te identificeren (daarbij focussend op individuele componenten/domeinen van de organisatie) en actiegerichte aanbevelingen te ontwikkelen (NAO, 2007). iii) Ex post audit Enigszins verrassend -en in tegenstelling tot het NAO s eigen verklaring in het eerste rapport dat er een hele reeks voortgangscontroles zouden gepubliceerd worden- bleef het aantal rapporten van het NAO over het efficiëntieprogramma beperkt tot twee en kwam er geen finale externe doorlichting van het programma door het NAO na het beëindigen ervan in Dit werd door de Britse regering sterk betreurd, wat blijkt uit haar antwoord op het in juli 2009 gepubliceerde interne evaluatierapport Evaluating the Efficiency Programme van het Treasury Select Committee: we zijn bezorgd dat het NAO de finale Gershon-efficiëntiewinsten niet heeft geauditeerd. Dit heeft geleid tot een gebrek aan vertrouwen van de kant van sommige organisaties over de gerapporteerde winsten. We hebben van de minister van Financiën vernomen dat het inzetten van middelen om de Gershon-winsten te controleren niet efficiënt zou zijn, maar we geloven dat het belangrijk is om na te gaan dat efficiëntiewinsten werkelijk gerealiseerd werden. In een tijd waar de publieke sector onder druk staat om nog meer efficiënt te worden, is het van vitaal belang dat alle gemaakte winsten degelijk erkend en gekwantificeerd worden. We willen dan ook dat de overheid verder werkt met het NAO om te verzekeren dat toekomstige efficiëntiewinsten nauwkeurig gemeten zullen worden. (HM Treasury, 2009). Het mag duidelijk zijn dat een externe audit van efficiëntieprogramma s voor de Britse regering (en voor eender welke regering die zulke overheidsbrede hervormingsprogramma s implementeren) van groot belang is, alleen al om onafhankelijk te laten vaststellen of de gerapporteerde efficiëntiewinsten ook daadwerkelijk gerealiseerd werden. Om diezelfde reden benadrukte de Britse regering in 2009 dat ze ook voor toekomstige hervormingsprogramma s, bijvoorbeeld het op het Efficiency Programme volgende Value for Money (VfM)-Programme, sterk wou inzetten op externe audit en de rol die het NAO hierin te spelen heeft. Zo geeft de regering aan: we verwelkomen de rol van het NAO in het auditeren van het werk onder het VfM-programma. [ ] De regering erkent dat nauwkeurige meting en externe doorlichting belangrijk zijn en heeft dit principe gevolgd voor zowel Gershon als voor CSR 07. Het National Audit 87

90 Office zal publieke audits van departementen uitvoeren doorheen de VfMperiode. (HM Treasury, 2009). > Audit Commission Het Gershon Efficiency Programme kende niet alleen een uitwerking op het centrale overheidsniveau, ook lokale overheden dienden hun steentje bij te dragen. Om de ambitie voor een verbeterde publieke dienstverlening te ondersteunen, is het realiseren van een verhoogde efficiëntie doorheen de hele publieke sector essentieel. Lokale overheden hebben een sleutelrol te spelen in deze ambitieuze agenda. En hoewel vele Britse lokale autoriteiten volgens Gershon (2004) voorheen reeds efficiëntiewinsten hadden geboekt door investeringen in technologie en rationalisatie van back office- en aanbestedingsfuncties, voorzag het efficiëntieprogramma toch dat minstens 30% 10 van de totale -tegen 2008 te realiseren- efficiëntiewinsten vanuit de lokale overheden dienden te komen. De gerapporteerde efficiëntiewinsten vormden bovendien een bron van aanwijzing voor een bredere beoordeling omtrent value for money binnen elke lokale autoriteit. Omwille van de noodzakelijke bijdrage van de lokale overheden aan het efficiëntieprogramma kwam, naast het National Audit Office als externe auditor van het gehele programma, ook de Audit Commission als speler op het veld voor externe audit van het Gershon-programma. Zo heeft de Audit Commission (in ) de processen beoordeeld die door lokale overheden gebruikt werden om hun jaarlijkse efficiëntievaststellingen (Efficiency Statements) voor te bereiden. Aangezien dit proces van externe inspectie meer formeel van aard werd gemaakt, was het mogelijk dat het risico van het onnauwkeurig meten van efficiëntiewinsten verkleind werd (NAO, 2006). Dit wil dus zeggen dat de Audit Commission -om administratieve overlast voor de lokale autoriteiten te vermijden- de lokale efficiëntiewinsten niet formeel heeft gevalideerd, maar wel de basis voor 10 Lokale overheden werden verantwoordelijk gehouden voor het bereiken van 2,5% efficiëntiewinsten per jaar. Dit kwam overeen met het realiseren van meer dan 6,45 miljard van de totale ( 21,5 miljard) efficiëntiewinsten tegen Ongeveer 40% van deze winsten werden verwacht vanuit de scholen geleverd te worden, 10% door politie- en brandweerdiensten en 35% via aanbestedingsefficiëntie in andere diensten (bijvoorbeeld sociale huisvesting, ouderenzorg, kinderverzorging, afvalbeheer en wegenonderhoud) (NAO, 2006; Gershon, 2004). 88

91 de winsten heeft geëvalueerd (vanuit het perspectief van de kennis van de auditor over de operaties van de lokale overheid) (NAO, 2007). Zo was een lokale overheid verplicht om, wanneer een auditor van de Audit Commission rapporteerde dat een efficiëntievaststelling van deze overheid niet voldeed, zijn aangifte te herschrijven, waarbij het proces geobserveerd werd door onafhankelijke consultants die aangeduid werden door het Departement for Communities and Local Government. Wanneer het eindresultaat van dat werk daarna nog steeds als onvoldoende werd beschouwd, dan werd voor deze lokale autoriteit een efficiëntiewinst van nul opgenomen. > 4.5. Conclusie In navolging op de Gershon Efficiency Review werd in 2004 een overheidsbreed efficiëntieprogramma geïmplementeerd binnen de Britse publieke sector: het Gershon Efficiency Programme. De drie kerndoelen van het programma waren (1) het realiseren van 21,5 miljard aan jaarlijkse efficiëntiewinsten tussen ; (2) het reduceren van het aantal ambtenaren met zo n ; en (3) een herlocalisatie van minstens functies. Deze drie doelstellingen moesten helpen om middelen vrij te maken die de overheid vervolgens kon herinvesteren in frontlijn dienstverlening die tegemoet komt aan de hoogste publieke noden (zoals onderwijs en gezondheidszorg). Dit efficiëntieprogramma bestond uit een driehonderdtal individuele projecten, verspreid over de ganse Britse publieke sector (zowel centrale als lokale overheden). Deze projecten werden geclassificeerd binnen vijf sleuteldomeinen die kunnen gelden als bronnen voor het realiseren van efficiëntiewinsten: (1) back office functies; (2) overheidsopdrachten; (3) transactionele diensten; (4) productiviteit; en (5) beleid, financiering en regulering voor zowel de private als de publieke sector. Bij het implementeren van het Gershon Efficiency Programme werden vanuit de Treasury (en meer specifiek vanuit het Office of Government Commerce en het hierbinnen ressorterende Efficiency Team) aan de departementen en andere overheidsentiteiten duidelijke richtlijnen opgelegd voor het meten, registreren en rapporteren van efficiëntiewinsten. Daarenboven speelde ook het National Audit Office als externe 89

92 auditor een belangrijke rol bij het efficiëntieprogramma. Door een tweevoudige tussentijdse opvolging en evaluatie van het programma, in 2006 en 2007, identificeerde het NAO de risico s en moeilijkheden die overheidsorganisaties ondervonden bij het meten en rapporteren van de efficiëntiewinsten, en formuleerde ze concrete aanbevelingen om de richtlijnen verder uit te werken. Zo werd het belang benadrukt van kwaliteitsmetingen om te verzekeren dat efficiëntieprojecten geen negatief effect zouden hebben op de kwaliteit van de dienstverlening, en werd een stijgende focus gelegd op nauwkeurigheid van de meetmethoden en op de kwaliteit van de gebruikte data. Het is bijgevolg omwille van deze in het Verenigd Koninkrijk opgebouwde kennis en ervaringen met betrekking tot het doorvoeren van programma s voor het realiseren van efficiëntiewinsten, en de hiermee gepaard gaande documenten en richtlijnen over het meten, rapporteren en auditeren van efficiëntiewinsten, dat we deze case studie hebben uitgevoerd. Dit stelde ons in staat best practices te identificeren en te bestuderen die waardevol bleken voor het formuleren van aanbevelingen aan de Vlaamse overheid met betrekking tot het meten en auditeren van efficiëntiewinsten in het kader van het huidig lopende meerjarenprogramma Slagkrachtige Overheid. 90

93 Besluit Kaderend binnen de Vlaanderen in Actie (ViA) Pact 2020 doelstellingen, om Vlaanderen tegen 2020 naar de top vijf van Europese regio s te loodsen, is het essentieel om de publieke sector in Vlaanderen verder te versterken en om van de Vlaamse overheid een slagkrachtige overheid te maken. Dit betekent onder meer dat de Vlaamse overheid op een meer efficiënte en effectieve wijze garant dient te staan voor een performant, klantvriendelijk, betrouwbaar en betaalbaar beleid. In haar streven naar een slagkrachtige overheid heeft de Vlaamse Regering aan het College van Ambtenaren-Generaal (CAG) de opdracht gegeven om een voorstel uit te werken van een meerjarenprogramma dat voorziet in de nodige efficiëntieen effectiviteitswinsten. Om dit meerjarenprogramma Slagkrachtige Overheid wetenschappelijk te ondersteunen, is binnen het Steunpunt Bestuurlijke Organisatie Vlaanderen (SBOV) een gelijknamig project uitgevoerd, met als doel ondersteunend en complementair te werken ten aanzien van bestaande initiatieven. In dit rapport hebben we de tweede onderzoeksmodule van het project Slagkrachtige Overheid gepresenteerd, waarbij we ons specifiek hebben gericht op initiatieven voor het realiseren van efficiëntiewinsten in de publieke sector (zoals het genoemde meerjarenprogramma er één is voor wat betreft Vlaanderen). Naast een inleidende bespreking van een theoretisch begrippenkader en de situering van het efficiëntiebegrip binnen de ruimere context van het publieke sector productieproces, zijn we dieper ingegaan op het concept van efficiëntiewinsten. Vervolgens hebben we ons in dit rapport gefocust op het proces van het meten en auditeren van zulke efficiëntiewinsten. Overheidsefficiëntie binnen een ruimere context Om de performantie van een overheid te beoordelen, is niet enkel (kwalitatieve en kwantitatieve) informatie nodig over de verschillende elementen van het publieke sector productieproces, zijnde de aangewende middelen (input), de activiteiten, de prestaties (output) en de effecten van het overheidsoptreden. Eveneens van groot belang zijn de relaties tussen deze verschillende elementen van het transformatieproces, met name zuinigheid, efficiëntie en (kosten)effectiviteit. 91

94 Deze relaties dienen evenmin los van elkaar bekeken worden. Het debat over het functioneren van de overheid moet in de ruime context gevoerd worden, en mag niet vernauwd worden tot een verhaal van louter zuinigheid of efficiëntie. Efficiëntie ( de dingen juist doen ) combineren met effectiviteit ( de juiste dingen doen ) is een plicht voor elke overheid. In het huidige decennium zal daarom de meest dringende beleidsvraag zijn: hoe kan de overheid meer bereiken met minder, en dus voorzien in diensten die tegemoet komen aan de noden van de mensen (effectiviteit), tegen lagere kosten (zuinigheid en efficiëntie)? We erkennen dat snijden in de overheidsuitgaven in het huidige financiële en economische klimaat onontbeerlijk is. Om het Vlaamse budget voor 2011 opnieuw in evenwicht te brengen (zoals door de Vlaamse Regering is vooropgesteld), dienen voor 376,6 miljoen euro besparingen doorgevoerd te worden (Vlaamse Regering, 2010). De vraag die zich stelt, is dan: waar en hoe zal er gesnoeid worden in de overheidsuitgaven en op welke basis zullen deze besparingen bereikt worden? De natuurlijke tendens voor de overheid is veelal om voort te zetten wat ze al doen, enkel op een goedkopere wijze: door de eenheidskosten van aanbestedingen te doen dalen, door investeringen voor lange termijn hervormingen te beperken, het aantal ambtenaren ongenuanceerd te gaan reduceren, of -erger nog- door het toepassen van de kaasschaafmethode om zo algemeen enkele percentages van de departementale budgetten te knippen. Deze strategieën kunnen initiële besparingen verzekeren, en binnen de huidige financiële context op korte termijn nuttig zijn, maar kunnen de dingen op lange termijn duurder maken. We verwijzen hierbij naar het fenomeen waarbij het aantal VTE binnen een overheidsorganisatie teruggeschroefd wordt, maar activiteiten nadien extern uitbesteed dienen te worden aan veel duurdere consultants. Naast directe besparingsinitiatieven staat vandaag de dag ook het streven naar efficiëntiewinsten hoog op de politieke agenda, zowel in Vlaanderen als in de ons omringende landen. Deze aandacht voor het realiseren van efficiëntiewinsten moet echter in een ruimer kader bekeken worden. Ongeacht hoe efficiënt een publieke dienst gemaakt wordt in monetaire termen, wanneer het niet het probleem oplost dat het dient op te lossen, of niet de gewenste effecten met zich meebrengt, dan is het een slecht gebruik van overheidsgeld. Nog belangrijker, het zal de dingen enkel meer 92

95 doen kosten, ofwel omwille van ontevreden burgers die -omdat ze niet krijgen wat ze verwachten- herhalend vragen naar de dienst, ofwel omdat de kosten simpelweg elders zullen doorgerekend zullen worden (Bartlett, 2009). Besparingen in de publieke sector worden dus niet enkel bereikt door een zuinig en/of efficiënt optreden, maar ook door te zorgen dat ze effectief werkt. De efficiëntie-uitdaging moet dus noodzakelijk gekaderd worden in een grondig en breed debat over het performantieniveau van de overheid, waarbij ook de aspecten van kwaliteit en effectiviteit mee in rekening gebracht worden. Gedreven door de noden van de mensen dient de overheid de oorzaken van de problemen aan te pakken (eerder dan de gevolgen). Dienstverlening die door deze logica aangestuurd wordt, resulteert in een beter effect voor burgers en organisaties, een betere kwaliteit van diensten, en tevreden personeel. Door op een effectievere wijze actie te ondernemen, worden overheidsuitgaven ook efficiënt ingezet. Efficiëntiewinsten in de publieke sector Gegeven de bredere context, zijn er verschillende redenen waarom een analyse van de overheidsefficiëntie van belang is. Aangezien de middelen in de publieke sector voornamelijk gegenereerd worden via belastingen, eisen burgers, bedrijven en organisaties dat ze waar krijgen voor hun geld. Input linken aan prestaties (i.e. efficiëntie) komt dus hoog op de agenda te staan. Bovendien wordt de overheid dezer dagen geconfronteerd met een toenemende budgettaire druk, waardoor -kwalitatief en kwantitatiefbetere prestaties dienen geleverd te worden met minder beschikbare middelen. Dit brengt ons bij de kern van het efficiëntiebegrip. Het verhogen van de efficiëntie (i.e. efficiëntiewinsten) van een organisatie kan op vijf mogelijke manieren gerealiseerd worden. Langs de inputzijde kan de overheid met minder input dezelfde output voortbrengen (E1), of iets minder output produceren met substantieel minder input (E4). Langs de outputzijde kan meer of betere output voortgebracht worden met dezelfde input (E2) of proportioneel meer of betere output in vergelijking met de stijging van de input (E5). Tenslotte is een vijfde wijze de combinatie van meer of betere output met minder input (E3). 93

96 Er is dus een grote mate van differentiatie mogelijk tussen processen om efficiëntiewinsten te bereiken. Bovendien is het waardevol te benadrukken dat efficiëntiewinsten zelfs kunnen plaatsvinden bij stijgende uitgaven (E5). Indien gemotiveerd en onderbouwd kan worden dat de output aanzienlijk meer zal toenemen dan de stijging van de inputkosten (waardoor de eenheidskosten dalen), dan mag ook deze vorm van efficiëntiewinsten niet genegeerd worden. Eveneens beklemtonen we dat een toename van de output zowel een verhoogde kwantiteit kan betekenen, als een verbeterde kwaliteit van de geleverde prestaties. Efficiëntiewinsten beperken zich dus niet tot een verhaal van minder kosten of een hoger aantal outputs. In ieder geval mogen initiatieven voor het realiseren van efficiëntiewinsten binnen de overheid niet ten koste mogen gaan van de kwaliteit van de dienstverlening. Dit benadrukt opnieuw het feit dat de efficiëntie-agenda steeds in relatie moet staan tot effectiviteit en kwaliteit, waarbij de overheid een optimale balans dient na te streven tussen succesvolle effecten, hoge productiviteit en efficiëntie, en relatief lage kosten. Voorwaarden voor efficiëntiewinsten De afgelopen jaren zijn in de ons omringende landen (o.m. in het Verenigd Koninkrijk en in Nederland) overheidsbrede programma s uitgewerkt met als doel het realiseren van efficiëntiewinsten binnen de publieke sector. Ook de Vlaamse overheid werkt momenteel een meerjarenprogramma uit om permanente efficiëntiewinsten te bereiken. Dit programma bevat een kern van sleutelprojecten, plus een groot aantal initiatieven binnen de verschillende horizontale en verticale niveaus van de overheid, die de globale efficiëntiedoelstelling onderbouwen. Zoals de Vlaamse Regering in haar regeerakkoord heeft aangegeven, moeten de beoogde efficiëntiewinsten reëel, vergelijkbaar, meetbaar en auditeerbaar zijn. Deze twee laatste criteria komen verder nog aan bod. Met reële efficiëntiewinsten wordt voornamelijk bedoeld dat de kosten voor efficiëntieprojecten de winsten niet mogen overstijgen, en dat efficiëntie op de ene plaats niet ten koste mag gaan van efficiëntie op een ander domein. In het streven naar een slagkrachtige Vlaamse overheid die tot de top 5 van Europa behoort, moeten de efficiëntiewinsten eveneens vergelijkbaar zijn. We benadrukken dat hiervoor uiteraard wel zorgvuldig de juiste en vergelijkbare indicatoren geselecteerd moeten worden. Bench- 94

97 marking voor Vlaanderen betekent immers vergelijken op het niveau regio s, niet op het niveau van landen. De Governance at a Glance -indicatoren die vanuit de OESO worden voorgesteld, kunnen een waardevol vertrekpunt zijn om verdere regionale informatie te gaan verzamelen. Daarenboven stellen we voor om minstens twee criteria toe te voegen aan deze lijst van voorwaarden. Ten eerste is het ook van belang dat efficiëntiewinsten duurzaam zijn, en dus op lange termijn aangehouden kunnen worden. Hiervoor is het aanbevolen dat de efficiëntie-agenda deel uitmaakt van de strategische en operationele meerjarenplanning en -begroting, en past binnen een algemeen prestatiemanagement-perspectief. Ten tweede dienen efficiëntieprogramma s, eveneens als langetermijndoelstelling, te streven naar het incorporeren van efficiëntie in de heersende cultuur van de overheid. Efficiëntie moet immers meer zijn dan een apart programma naast de eigenlijke activiteiten, maar moet een wijze zijn waarop de dienstverlening geleverd wordt en verbeteringen in de kwaliteit van de diensten verzekerd wordt. Een bijkomende, maar niet minder cruciale, voorwaarde om het Vlaamse meerjarenprogramma voor het realiseren van efficiëntiewinsten tot een succesvol initiatief te maken, is het voorzien van een koppeling tussen financiële en niet-financiële informatie. Financiële gegevens over de ingezette middelen linken aan informatie over de prestaties die met deze middelen bereikt worden, is immers essentieel om efficiëntie te kunnen beoordelen en evalueren. Het opmaken van een prestatiebegroting, waarbij de beleids- en beheerscyclus geïntegreerd wordt met de financiële cyclus, is dus van groot belang. We beschouwen het daarom als essentieel om deze integratie van financiële en niet-financiële informatie duidelijk vast te leggen in het Comptabiliteitsdecreet (Rekendecreet). Het meetproces van efficiëntiewinsten Om na te gaan of efficiëntieprogramma s (met onderliggende projecten, veranderingen en/of innovaties) werkelijk tot de beoogde efficiëntiewinsten leiden, en om deze winsten te kunnen rapporteren, vergelijken en auditeren, is het uiteraard ook noodzakelijk dat efficiëntiewinsten meetbaar zijn. Om deze voorwaarde van meetbaarheid te ondersteunen, kan een stapsgewijze benadering nuttig zijn. Hierbij hebben we vijf stappen onderscheiden in het proces van het meten van efficiëntiewinsten. 95

98 Stap 1: Identificeren en expliciteren van efficiëntiewinsten In een eerste fase dient, voor de verschillende projecten en initiatieven, aangegeven te worden welke efficiëntiewinsten beoogd worden (cfr. vijf mogelijke wijzen), hoe deze winst bereikt kan worden en hoeveel dit kan opleveren. De identificatie en de omschrijving van nagestreefde efficiëntiewinsten voor de verschillende projecten, vindt best plaats aan de hand van gestandaardiseerde projectfiches. Deze identificatie kent noodzakelijkerwijze een kwalitatief (tekstueel) en een kwantitatief (numeriek) luik. Binnen het informatieve deel wordt het efficiëntieproject beschreven, wordt aangegeven hoe de winsten gemeten en gerapporteerd worden, wie verantwoording aflegt, welke risico s aan het project verbonden zijn, etc. Het cijfermatige luik laat toe om taakstellingen en targets voor organisaties (bv. beleidsdomein, departement, agentschap) of voor projecten voorop te stellen, en zorgt eveneens voor een overzicht van hoeveel besparingen beoogd worden en waar deze zullen realiseren. Aangezien efficiëntiewinsten ook op het vlak van kwaliteit kunnen behaald worden, en kwaliteitsgaranties in ieder geval geboden moeten worden, vereist kwantificering van efficiëntiedoelstellingen dat financiële en nietfinanciële informatie aan elkaar moeten kunnen gekoppeld worden. Het eventueel inbedden van efficiëntieprogramma s in de cyclus van budgettaire planning en controle (zoals in het Verenigd Koninkrijk) zal het doorvoeren ervan ook vergemakkelijken. Stap 2: Selecteer indicatoren De volgende stap in het meetproces van een efficiëntiewinst(project) omvat het selecteren van de meetmethodologie. In deze context staat het bepalen van de meetmethode doorgaans gelijk aan het selecteren en ontwikkelen van geschikte indicatoren. Goede indicatoren voldoen aan een zeker aantal karakteristieken (o.m. relevantie, eenvoudigheid, objectiviteit, nauwkeurigheid, aanvaardbaarheid), en zijn vergelijkbaar (cfr. hoger) en auditeerbaar. Indicatoren zijn doorgaans kwantitatief van aard, hoewel ze ook kwalitatief kunnen zijn. Zo moeten in het kader van efficiëntiewinsten niet enkel indicatoren voor het meten van de kwantiteit van inputs en outputs ontwikkeld worden. Eveneens dient de kwaliteit van de dienstverlening gemeten te worden, enerzijds omdat een stijging in de kwaliteit van de output ook een vorm van efficiëntiewinst kan zijn, anderzijds om de 96

99 voorwaarde van behoud van kwaliteit de dienstverlening te valideren. Om de standaardisatie, opvolging en auditeerbaarheid van de efficiëntiewinstmetingen te faciliteren, is het aanbevolen om fiches voor de verschillende indicatoren op te maken, met daarin toelichting over de gebruikte terminologie, dimensies, aggregatieniveaus, verantwoordelijke dienst/ persoon, meetfrequentie, etc. Stap 3: Verzamel data Wanneer bepaald is hoe een efficiëntiewinst gemeten zal worden (i.e. de indicatoren zijn ontwikkeld) kan de dataverzameling aanvangen, in de eerste plaats voor het uitvoeren van de nulmetingen en later opnieuw voor de vervolgmetingen. Opnieuw vermelden we dat hierbij zowel financiële als niet-financiële informatie van belang is. Deze gegevensverzameling dient te gebeuren voor elke indicator, rekening houdend met een minimum aan bijkomende administratieve lasten voor de betrokken organisatie(s). Zoals ook in de het huidige Vlaamse meerjarenprogramma het geval is, is het belangrijk om duidelijk aan te geven in de project- en/of indicatorenfiches welke de bronnen van de nodige statistieken zijn en wie verantwoordelijk is voor de gegevensverzameling. Ook een toelichting over de kwaliteit van de verzamelde data is belangrijk, om op die manier de risico s op foutieve of onbetrouwbare meting en rapportering te reduceren. Stap 4: Verwerk data Na het verzamelen van de data volgt de analyse ervan. De analyse van data heeft tot doel gegevens om te zetten in informatie. Om te kunnen beoordelen of bepaalde projecten, nieuwe processen of innovaties leiden tot een verhoging van de efficiëntie, is het uiteraard noodzakelijk om eerst basislijnen (nulmetingen) vast te stellen. Het gaat daarbij onder meer om het verwerken van referentiegegevens over de besteding van middelen (financiële data over bijvoorbeeld kosten van een huidig proces) en het huidige prestatieniveau (het aantal outputs en de kwaliteit van deze output). Na deze nulmeting kan de organisatie vervolgens het efficiëntieproject doorvoeren. In een latere fase zal de organisatie dan opnieuw identieke metingen uitvoeren voor de inputzijde en outputzijde. Op basis van de rapportering van deze informatie kan, via de input/outputratio, vastgesteld worden of de transformatie van het dienstverleningsproces ook daadwerkelijk tot de gewenste efficiëntiewinst heeft geleid. 97

100 Stap 5: Rapporteren Opdat de verantwoordelijken van efficiëntieprogramma s en -projecten op een heldere en eenduidige wijze verantwoording kunnen afleggen over de gerealiseerde efficiëntiewinsten, om de auditeerbaarheid ervan mogelijk te maken, en om ambtelijk en politieke opvolging omtrent de voortgang van de projecten en het koersbehoud van het gehele efficiëntieprogramma te verzekeren, is het noodzakelijk dat de winsten op een duidelijke, consistente en transparante wijze gerapporteerd worden. Dit betekent dat een frequente (afhankelijk van de looptijd van het programma en de projecten, en afhankelijk van gemaakte afspraken) rapportering via gestandaardiseerde voortgangsfiches essentieel is. Rapportage heeft eerst en vooral tot doel om de geboekte voortgang (of de finale winsten) voor de verschillende projecten te beschrijven, alsook om de koers van het algehele programma aan te geven. Net zoals bij het opmaken van de efficiëntiedoelstellingen (stap 1) is het ook bij de rapportering noodzakelijk om de winsten niet enkel kwalitatief maar ook kwantitatief te beschrijven. Op een eenduidige en robuuste wijze dient, zowel tekstueel als numeriek, aangegeven te worden hoe de tussentijdse stand van zaken zich verhoudt tot de finaal beoogde doelstellingen. De kwantificering van de initiatieven laat daarnaast toe de kosten die gemaakt worden voor een bepaald project uit te zetten tegenover de behaalde (en kwantitatieve weergegeven) efficiëntie-opbrengsten, om zo de reële nettowinsten te kunnen rapporteren. Bovendien dient bij het rapporteren van efficiëntiewinsten ook het aspect van (minstens) het behoud van kwaliteit van de dienstverlening in kaart te brengen. Deze cross-check voor kwaliteit moet verzekeren dat er werkelijk een efficiëntiewinst heeft plaatsgevonden, eerder dan een zuivere besparing in de dienstverlening. In sommige gevallen kan de verbetering van de kwaliteit van de output zelfs de bron van de efficiëntiewinst zijn. Tot slot dient de rapportering aandacht te besteden aan de huidige en mogelijk toekomstige risico s die een impact kunnen hebben op het behalen van de doelstelling, en daarbij ook in te gaan op de genomen of te nemen maatregelen om deze risico s te beperken of te voorkomen. 98

101 Audit Het is cruciaal dat het hierboven beschreven proces van het meten en rapporteren van efficiëntiewinsten, ondersteund kan worden door een traject van audit en evaluatie. Audit van het gevolgde traject richting het realiseren van de efficiëntiedoelstellingen, alsook controle en validering van de gerapporteerde (tussentijdse en finale) efficiëntiewinsten, is belangrijk om te verzekeren dat het brede publiek vertrouwen kan hebben in de door de verantwoordelijken verkondigde efficiëntieresultaten. Voor wat betreft het Vlaamse meerjarenprogramma Slagkrachtige Overheid lijkt hierin een rol weggelegd voor het IAVA (interne audit) en/of voor het Rekenhof (externe audit). Inzake programma s voor het realiseren van efficiëntiewinsten kan het auditeren plaatsvinden zowel op het niveau van het gehele programma als op het niveau van de onderliggende projecten. Voor wat betreft dit laatste gaat het dan onder meer over beoordeling omtrent de meetmethode (de gebruikte indicatoren) en de betrouwbaarheid van de data, validering van de nulmetingen en evaluatie van het kwaliteitsaspect. Op niveau van het programma kan audit, naast een algemene voortgangscontrole, ook waardevol zijn wanneer het gaat om beschouwingen over samenhang van het programma, en om de aansturings- en coördinatiemechanismen te beoordelen. In het streven naar het verbeteren van de efficiëntie moeten audits de overheidsorganisaties eveneens bijstaan in het niet uit het oog verliezen van andere belangrijke managementverantwoordelijkheden zoals onder meer het verzekeren van de kwaliteit, effectiviteit en tijdigheid van de dienstverlening, het realiseren van strategische doelstellingen, en klantentevredenheid. Audit van efficiëntie dient met andere woorden te kaderen in bredere en algemene prestatie-audits waarbij de globale managementverantwoordelijkheden opgevolgd en benadrukt worden, via rapporten over de uitvoering van de beheers- en managementovereenkomsten, en waarbij efficiëntiewinsten geconsolideerd worden op het niveau van beleidsdomeinen en in relatie gebracht met de beleidseffectenrapportages. Efficiëntie in relatie brengen met andere organisationele verantwoordelijkheden (zoals kwaliteit en effectiviteit) is een complementaire, geen tegenstrijdige, doelstelling. Wat ons meteen terug bij de start van dit besluit brengt. 99

102

103 Bijlage 1: Outputvereisten bij efficiëntiemeting De mate waarin efficiëntie nauwkeurig kan gemeten worden, hangt af van het selecteren van de eigenlijke output van een activiteit of proces, en van het koppelen van deze output met de gepaste of gewenste inputs. Raaum en Morgan (2001) identificeren volgende vereisten waaraan outputs dienen te voldoen opdat de efficiëntie (waarmee de output geproduceerd wordt) accuraat gemeten kan worden: - Telbaar. De output moet iets tastbaar zijn, dat duidelijk gedefinieerd, geïdentificeerd en gekwantificeerd kan worden; - Geldige indicator van het geleverde werk. De indicator moet een representatie zijn van het primaire doel van de activiteit (zo zal bv. het aantal meter parkwegen die heraangelegd zijn geen geldige maatstaf vormen voor wat betreft parkonderhoud, terwijl het aantal vierkante meter gras dat gemaaid dient te worden waarschijnlijk wel een goede maat zal zijn); - Wederzijds uitsluitend. Een output mag niet bestaan uit vele verschillende outputs die als één geheel geteld worden. Wanneer de activiteit bestaat uit het verwerken van aanvragen voor nieuwe en hernieuwde rijbewijzen, dan kan men niet simpelweg het aantal verwerkte aanvragen gaan tellen en hierbij beide types samenvoegen. Immers, de uitgifte van rijbewijzen voor nieuwe chauffeurs vereist meer taken en tijd, en kan daardoor niet beschouwd worden als een equivalente output voor hernieuwde rijbewijzen; - Uniform doorheen de tijd. Er mag geen substantiële verandering in de output zijn, die de complexiteit en de inspanning die nodig is voor de productie ervan verhoogt of verlaagt. Wanneer de output wijzigt, dan dient een aanpassing van de berekening van de maatstaf te gebeuren. Bovenop het voldoen aan bovenstaande vereisten, namelijk definieerbaar zijn en vergelijkbaar doorheen de tijd, moeten outputs eveneens voldoen aan een bijkomende randvoorwaarde met betrekking tot het aantal verschillende outputs om efficiëntiemetingen mogelijk te maken: 101

104 - Het aantal verschillende outputs dient gematigd te zijn (niet uitgebreid), wat meestal het geval zal zijn. Voorbeeldactiviteiten met een bescheiden aantal van verschillende outputs zijn vuilnisophaling, autoregistratie en het verwerken van verzekeringsclaims; - Het aantal verschillende outputs is uitgebreid, maar er zijn standaarden gezet voor de tijd die het afwerken van elke output in beslag mag nemen. Een voorbeeld is een onderhoudsorganisatie, waar standaarden gezet worden voor de tijd die nodig geacht wordt om een bepaalde onderhoudstaak uit te voeren; - Het aantal verschillende outputs is uitgebreid, maar kan omvat worden door een proxy indicator. Zo kunnen bijvoorbeeld het aantal mensen op een loonlijst een proxy indicator zijn voor al de verschillende outputs die voortgebracht worden door de dienst salarisadministratie. Efficiëntiemetingen kunnen praktisch niet haalbaar zijn wanneer de outputs moeilijk te definiëren zijn, en waar ze talrijk en niet vergelijkbaar zijn. Dit is bijvoorbeeld het geval voor performantie-audits, onderzoekswerk bij de politie en academisch onderzoek. Bron: Raaum en Morgan (2001: ) 102

105 Bijlage 2: Criteria voor goede prestatieindicatoren Op basis van de nationale en internationale literatuur (o.a. Hatry 1999, Kumar 1999) 11 werd door Christiaens et al. (2009) onderstaande lijst van 16 criteria samengesteld waaraan prestatie-indictoren dienen te beantwoorden. Het is belangrijk om te benadrukken dat dit een soort ideaalbeeld is en er in de praktijk weinig indicatoren zullen zijn die aan alle criteria zullen voldoen. Uiteindelijk is het de bedoeling om indicatoren te ontwikkelen die zou nauw mogelijk aansluiten bij dit ideaalbeeld. Criterium 1: Heeft de indicator een logisch verband met de doelstellingen en vragen die de organisatie zich stelt (= face validity)? Criterium 2: Criterium 3: Criterium 4: Criterium 5: Dekt de indicator een bepaald aspect van een te meten doelstelling of van de te meten organisatie-onderdelen af (= content validity)? Zijn de resultaten van de indicator vergelijkbaar met eventuele andere indicatoren die hetzelfde zouden moeten meten (= concurrent validity)? Kan de indicator voorspellen wat de werkelijkheid is? Komen de geobserveerde data overeen met de feiten die zich in een later stadium voltrekken (= predictive validity)? Zijn er voldoende garanties dat de indicator nauwkeurig en objectief kan gemeten worden (kunnen we te weten komen wat we nu denken te weten) of m.a.w. is de indicator betrouwbaar? Indicatoren die in hoge mate manipuleerbaar zijn, moeten vermeden worden. 11 Hatry, H. P. (1999) Performance Measurement: Getting Results. Washington, DC: Urban Institute Press; Kumar, R. (1999) Research Methodology. London: Sage Publication. 103

106 Criterium 6: Criterium 7: Criterium 8: Criterium 9: Criterium 10: Criterium 11: Criterium 12: Criterium 13: Criterium 14: Criterium 15: Criterium 16: Geeft de indicator een antwoord op een managementprobleem? Kan de indicator tijdig beschikbaar zijn? Bestaat er een beleid rond de indicator of wil men er een beleid rond voeren (is er een norm die moet gehaald worden)? Is de indicator allesomvattend? Brengt de indicator ook neveneffecten en mogelijke niet-bedoelde effecten in kaart? Kan voldoende worden vermeden dat de organisatie enkel de indicator als doelstelling gaat vooropzetten in plaats van wat de indicator meet? Heeft de organisatie een impact op de indicator? Hebben we iets nuttig aan de indicator? Is de indicator uniek (indien er reeds een andere indicator hetzelfde meet, nadert de toegevoegde waarde van een extra indicator nul)? Is een redelijk valide dataverzameling haalbaar? Wegen de kosten van de datacollectie op tegen de baten ervan? Meet de indicator een belangrijk aspect van de nagestreefde output en niet enkel wat gemakkelijk kan gemeten worden? Kan voldoende worden vermeden dat naast niet-bedoelde effecten (criterium 9) het gebruik van de indicator averechtse effecten creëert (= effecten die uitmonden in net het omgekeerde van wat ze bedoelen)? Bron: Christiaens et al. (2009: 9-10) 104

107 Bijlage 3: Vragen om efficiëntiemeting te beoordelen Hieronder worden de vragen opgelijst die het National Audit Office (NAO) hanteerde voor het beoordelen van de gerapporteerde efficiëntiewinsten bij projecten in de evaluatiesteekproef van Deze vragen kunnen beschouwd worden als een effectieve checklist voor departementen om de robuustheid van gerapporteerde efficiëntiewinsten af te wegen. Voor elk vraag is een karakteristiek van goede praktijk bijgevoegd (cursief gedrukt). De vragen zijn onderverdeeld in twee secties, meetmethodologie en datakwaliteit, met twee subsecties omtrent meetmethodologie. 1) Meetmethodologie a. Vragen over het financieel gekwantificeerde voordeel Vragen Omvat de maatstaf nauwkeurig de gewenste efficiëntie? Er is een duidelijke, causale link tussen het project en de maatstaf. Is het gekwantificeerde voordeel een duurzame verbetering? Het voordeel wordt aannemelijk verwacht plaats te vinden in elk volgend jaar. Is de basislijn (nulmeting) representatief? Het neemt bestaande trends en seizoensgevoeligheid in rekening; het heeft een gepaste figuur of cijfer geselecteerd. Subvragen Wat is de gewenste efficiëntie? Wat is de gebruikte maatstaf? Hoe toont het departement aan dat het project verantwoordelijk is voor de efficiëntieverbetering, eerder dan externe factoren? Fluctueerden de periodieke geclaimde winsten? Hoe verzekert het departement dat deze winsten elk jaar kunnen behaald worden? Welke periode is gebruikt voor de nulmeting? Waarom werd deze periode gebruikt? Gebaseerd op historische trends, weerspiegelt deze periode in hoge mate de voorgaande prestaties? 105

108 Bestaat de mogelijkheid tot dubbeltelling? Een controle doorheen andere projectberekeningen heeft plaatsgevonden. Bestaat de mogelijkheid dat kosten of negatieve effecten verschoven zijn naar een andere stakeholder of deel van de organisatie? De risico s zijn geïdentificeerd en worden aangepakt. Wordt verantwoording afgelegd over bijkomende gebruikskosten resulterend uit het project? Bijkomende operationele kosten zijn geïdentificeerd en van de winst afgetrokken. Gebruiken andere departementale projecten dezelfde data? Streven andere projecten naar dezelfde input, output of effecten? Wat doet het departement om te verzekeren dat er geen dubbeltelling plaatsvindt? Wie zijn de andere stakeholders in dit project? Welke kosten of effecten kunnen verschuiven? Hoe weet het departement dat dit niet is gebeurd? Welke bijkomende activiteiten hebben plaatsgevonden om de efficiëntiewinst te bereiken? Zijn er bepaalde lopende kosten voor deze activiteiten? Zijn zulke kosten in mindering gebracht bij de geclaimde efficiëntie? b. Vragen over maatstaven voor kwaliteit van de dienst Vragen Zijn de indicatoren een robuuste maatstaf van dienstverleningskwaliteit? Ze geven nauwkeurig en tijdig veranderingen weer in het niveau van dienstverlening. Subvragen Welke maatstaven voor kwaliteit van diensten worden gebruikt? Hoe worden de maatstaven gebruikt, i.e. als ondersteuning voor een gekwantificeerd voordeel of als efficiëntie op zichzelf? Meten ze wat belangrijk is voor de klant? Registreren ze wijzigingen gedurende de beschouwde periode, of is er een oorzaak-effect tijdsfactor? 106

109 Dekken de indicatoren alle essentiële elementen van dienstverleningskwaliteit dewelke beïnvloed kunnen worden door het project? Indien een project verschillende aspecten van dienstkwaliteit beïnvloedt, dan zijn er indicatoren om dit te meten. Zijn de indicatoren voldoende specifiek voor de activiteit die de efficiëntiewinst voortbrengt? Er is een causaal verband tussen de projectactiviteit en de maatstaf voor dienstverleningskwaliteit. Kan een vergelijking gemaakt worden tussen de dienstverleningskwaliteit voor en na het project? Er is ofwel een nulmeting van de indicator voor dienstkwaliteit, of er is een nieuwe kwaliteitsmaatstaf die een oordeel toelaat omtrent het al dan niet behoud van het dienstverleningsniveau. Welke aspecten van dienstverleningskwaliteit worden bedreigd door het project? Hebben alle kritische aspecten indicatoren? Welke indicatoren bestaan niet, en hoe verzekert het departement dat de kwaliteit van diensten niet in gevaar is? Welke andere factoren -buiten het project- kunnen de maatstaf van dienstkwaliteit beïnvloeden? Zijn de maatstaven van dienstkwaliteit gevoelig voor veranderingen die voortgebracht worden door het project? Is er een krachtige nulmeting van dienstverleningskwaliteit? Als de maatstaf nieuw is, geeft deze dan aan dat de dienstkwaliteit op een aanvaardbaar niveau is na het project? 2) Datakwaliteit Vragen Zijn er stevige procedures voor validatie in werking? Er vindt gestructureerde validatie plaats; er is een audittraject aanwezig; er is duidelijke verantwoordelijkheid voor validatie. Subvragen Wat zijn de valideringsprocedures die gebruikt worden door het departement? Zijn deze procedures gedocumenteerd en is elke validatie controleerbaar? Wie is verantwoordelijk voor de 107

110 validering? Hoe wordt het topmanagement betrokken bij de validatie? Zijn de gegevensbronnen en dataverzameling robuust? Er zijn kwaliteitscontroles in voege om te verzekeren dat de data robuust en controleerbaar is; elke afwijking wordt op gepaste wijze gecorrigeerd; kruiscontroles worden uitgevoerd. Is de dataverwerking en -analyse door het departement betrouwbaar? Er zijn kwaliteitscontroles in voege om te verzekeren dat de data robuust en controleerbaar is; elke afwijking wordt op gepaste wijze gecorrigeerd; kruiscontroles worden uitgevoerd. Welke databronnen en informatiesystemen worden gebruikt? Is het duidelijk wie verantwoordelijk is voor de datakwaliteit en operationele controles? Zijn er effectieve procedures voor het identificeren en beoordelen van betrouwbaarheidsrisico s van data? Is er gedocumenteerd bewijs van de uitvoering van de controles? Welke stappen worden ondernomen om te verzekeren dat de bronnen nauwkeurig zijn? Welke dataverwerking en analyse wordt ondernomen? Welke stappen worden genomen om de gegevens die het systeem binnen komen te controleren (bv. controles op geloofwaardigheid en interne consistentie)? Wanneer de verwerking sterk ITafhankelijk is, is een IT-audit specialist betrokken geweest bij de validering? Wat is hun beoordeling? Wanneer de analyse afhankelijk is van een oordeel (voor kwalitatieve systemen), zijn er duidelijke criteria en transparante procedures aanwezig om dit proces te beheren? Bron: National Audit Office (2007: 35-37) 108

111 Bijlage 4: Efficiëntietoolkit Hieronder wordt (het raamwerk van) de Efficiency Toolkit van het National Audit Office (NAO) weergegeven, dewelke door overheidsentiteiten kan gebruikt worden voor het identificeren van opportuniteiten voor verbetering en het ontwikkelen van uitvoerbare aanbevelingen op het vlak van efficiëntie binnen alle domeinen en aspecten van de organisatie. Bron: Website NAO (gearchiveerd) 109