Jana VAN BOUWEL FACULTEIT DER LETTEREN EN WIJSBEGEERTE Studiegebied Archivistiek: Erfgoedbeheer en Hedendaags Documentbeheer.

Transcriptie

1 VRIJE UNIVERSITEIT BRUSSEL Jana VAN BOUWEL FACULTEIT DER LETTEREN EN WIJSBEGEERTE Studiegebied Archivistiek: Erfgoedbeheer en Hedendaags Documentbeheer Meten om te weten Het opzetten van een monitoringbeleid voor zorgdragers in Vlaanderen Proeve ingediend voor het behalen van de graad van Master na Master in de Archivistiek: Erfgoedbeheer en Hedendaags Documentbeheer Promotor: Prof. Dr. Bart BALLAUX Academiejaar

2 Mijn dank gaat uit naar - prof. dr. Bart Ballaux, mijn promotor die me steeds heeft bijgestaan met zijn scherpzinnige opmerkingen en advies; - de medewerkers van de Coördinerende Archiefdienst en heel in het bijzonder naar Els Michielsen, voor de hartelijke ontvangst, vele raadgevingen en fijne samenwerking; - vriendinnen en bibgenoten voor hun relativeringsvermogen, koffie en sociale controle; - mijn ouders voor hun steun en het geduldig aanhoren van geweeklaag; - Steven Mestdagh voor veel meer dan zomaar in een dankwoord past. 2

3 INHOUDSTAFEL 3 BEKNOPTE SAMENVATTING 6 ABSTRACT 8 VERKLARING IN VERBAND MET PLAGIAAT 9 LIJST MET GEBRUIKTE AFKORTINGEN 10 LIJST MET TABELLEN 11 LIJST MET FIGUREN 12 LIJST MET BIJLAGEN 12 INLEIDING OP DE PROBLEMATIEK 13 DEEL I THEORETISCH KADER WAAROM KIEZEN VOOR INDICATOREN EN MONITORING? New Public Management en het belang van monitoring en beleidsevaluatie Kwaliteitsvolle regelgeving binnen de Vlaamse overheid: RIA en RIE Wat voor indicatoren willen we? WETTELIJKE CONTEXT: VOORLOPIGE STAND VAN ZAKEN Het Archiefdecreet als vertrekpunt Het toepassingsveld en de bevoegdheidsverdeling METHODOLOGIE VAN HET ONDERZOEK Afbakening van het onderzoeksveld Opzet en aanpak van de studie LITERATUURSTUDIE Voor- en nadelen van indicatoren en monitoring Voordelen Nadelen en eventuele perverse effecten Bevraging van de zorgdragers in het verleden KPI s in de (Vlaamse) archiefsector BUITENLANDSE VOORBEELDEN EN HET VLAAMSE BIBLIOTHEEKWEZEN ALS INSPIRATIE- BRONNEN Australië en de VS: performance measures gekoppeld aan strategische doelen Nederland: archiefinspectie en horizontaal toezicht als centrale thema s Bios2: de openbare bibliotheekstatistieken 64 3

4 DEEL II FORMULERING VAN KPI S IN DE PRAKTIJK METHODOLOGIE VOOR HET OPMAKEN VAN KPI S Algemene doelstellingen en doelindicatoren Vanuit één doelstelling naar geschikte indicatoren De interventielogica Theoretische en praktische criteria om mogelijke indicatoren te beoordelen Enkele aandachtspunten bij de verdere uitwerking DEFINIËRING VAN DE SUBDOELSTELLINGEN EN SUGGESTIES VOOR DE INDICATOREN Subdoelstellingen en voorstellen voor KPI s Vastlegging van de bestuurlijke verantwoordelijkheden (archiefzorg) De regeling voor de archiefzorg bij opheffing of samenvoeging van zorgdragers wordt nageleefd Deskundigheid van archiefbeheerders Naleving van een deontologische code Er zijn procedures voor het archiefbeheer De goede, geordende en toegankelijke staat van archiefdocumenten Mogelijke invulling voor de indicatorenfiches REKENING HOUDEN MET DE ZORGDRAGERS Potentiële meerwaarde van beleidsmonitoring voor de zorgdragers Noden van de zorgdragers Feedback van de zorgdragers op de eerste versie van de KPI s Doelstelling over bestuurlijke verantwoordelijkheden (archiefzorg) Doelstelling over de regeling van de archiefzorg bij opheffing of samenvoeging van zorgdragers Doelstelling over deskundigheid Doelstelling over de naleving van een deontologische code Doelstelling over de procedures voor het archiefbeheer Doelstelling over de goede, geordende en toegankelijke staat van archiefdocumenten DE HAALBAARHEID EN RANDVOORWAARDEN VAN DE MONITORING ONDERZOCHT Toetsing van de indicatorenset aan reeds bestaande initiatieven Aanbevelingen in verband met de concrete verzameling van de gegevens 166 4

5 De implementatie van het meetsysteem en het verzamelen van de nodige data Het analyseren van de data Communicatie van de analyse Streefcijfers en normbepalingen Herevaluatie van de indicatorenset Opvolgingsmogelijkheden via audits Aandachtspunten die zowel gelden voor monitoring als voor de archiefaudit De impact van audits en auditrapporten 202 EINDBESCHOUWINGEN 206 BIBLIOGRAFIE 210 BIJLAGEN 217 5

6 BEKNOPTE SAMENVATTING De komende jaren wil de Coördinerende Archiefdienst, een beleidscel binnen de Vlaamse overheid, een actief informatiebeleid voeren voor zorgdragers in Vlaanderen. Het is onder meer de bedoeling om de zorgdragende organisaties te ondersteunen met instrumenten en kennis om hun informatiehuishouding op orde te krijgen. Ook de opvolging van het Archiefdecreet behoort tot de taken van de Coördinerende Archiefdienst en deze verhandeling sluit hierbij aan. Voor de invulling van dit decreet is bewust gekozen voor een doelstellingsgerichte regelgeving, waarbij de zorgdragers een grote operationele vrijheid krijgen. Het archiefbeheer moet dus met andere woorden aan een aantal doelstellingen voldoen, maar de manier waarop zorgdragers dit realiseren wordt behoorlijk vrij gelaten. Om de mate waarin de zorgdragers hierin slagen en de impact van het gevoerde beleid op te volgen, wil de Coördinerende Archiefdienst gebruikmaken van een monitor. De bedoeling van de stageopdracht was om een analyse te maken van welke indicatoren er moeten worden gemonitord. Het is daarbij nooit de bedoeling om zoveel mogelijk zaken te meten; integendeel willen we dat de metingen beperkt blijven tot de KPI s. 1 In overleg met de Coördinerende Archiefdienst hebben we ons toegelegd op de doelstelling die een kwaliteitsverhoging van het archiefbeheer nastreeft. Een tweede deel van de opdracht bestond eruit om na te denken over de prioriteiten en over de manier waarop de verzameling van de benodigde data in de praktijk kan gebeuren. Bij de uitwerking van deze onderzoeksvragen zagen we ons genoodzaakt om rekening te houden met een aantal aspecten. Eerst en vooral is er het brede toepassingsveld van het Archiefdecreet, waarin enorme verschillen inzake maturiteit merkbaar zijn. Sommige zorgdragers hebben reeds inspanningen gedaan om de kwaliteit van hun archiefbeheer te verhogen, in andere organisaties is er daarentegen zelfs geen verantwoordelijke voor het archief aangeduid. Daarenboven lopen ook de omvang van de administraties en hun financiële middelen sterk uiteen. Ten tweede bleek, onder meer uit de literatuurstudie en de analyse van de buitenlandse voorbeelden, dat de archiefsector globaal genomen nog maar weinig vertrouwd is met het werken met KPI s. Waar deze toch al voorkomen, hebben we vastgesteld dat ze hoofdzakelijk 1 Kritische prestatie-indicatoren zijn de meest cruciale indicatoren als hierop goede resultaten worden behaald, mogen we aannemen dat de zorgdragers goed op weg zijn om de doelstelling te behalen. 6

7 blijft. 2 Een ander facet betrof het organiseren van de bevraging van enkele zorgdragers. Gezien worden gebruikt in een managementperspectief dat binnen de organisatiegrenzen gericht hun (over het algemeen) geringe vertrouwdheid met monitoring, is het belangrijk om hen ervan te overtuigen dat dit geen controlesysteem is. Omdat in het huidige scenario ervan uitgegaan wordt dat de lokale besturen zelf het merendeel van de te verzamelen gegevens zullen aanleveren, is het belangrijk om ons van hun medewerking te verzekeren. Het systeem draait immers grotendeels op vertrouwen en sluit misbruiken niet uit. Waar mogelijk hebben we dan ook gezocht naar potentiële voordelen van monitoring en een terugkoppeling naar de noden van de betrokkenen gemaakt. Over de nood aan eenduidigheid op het gebied van terminologie was er bijvoorbeeld al snel consensus, terwijl over de mogelijkheid om te benchmarken met andere organisaties geen eensgezindheid bestond. Daarnaast bleken sommige subdoelstellingen makkelijker kwantificeerbaar en meetbaar dan andere. Niettemin hebben we aangenomen dat het nog altijd beter is om te beschikken over een indirect meetpunt, dan de evoluties helemaal niet op te volgen. We hebben daarbij ook in het bijzonder aandacht gehad voor audits als een bijkomende opvolgingsmogelijkheid, maar deze hebben eveneens hun gebreken en tekortkomingen. Ten slotte hebben we in de verhandeling vooral enige aandachtspunten voor het beleid geformuleerd en nog geen definitieve beslissingen naar voren willen schuiven. In dit stadium is het nog niet wenselijk om bijvoorbeeld alle normen en streefcijfers voor de geselecteerde indicatoren al vast te leggen, daar hier best eerst nog een nulmeting aan voorafgaat. Trefwoorden monitoring Vlaamse overheid indicatoren KPI s dataverzameling archiefbeheer 2 De Vlaamse overheid wil de KPI s daarentegen gebruiken om aan beleidsopvolging te doen dit speelt zich juist erg nadrukkelijk buiten de grenzen van de organisatie af. 7

8 ABSTRACT To measure is to know. Establishing a monitoring project within the context of the Flemish Decree on Archives. The performance-oriented regulation imposed by the Flemish Decree on Archives is highly suitable for evaluation by a monitoring project. This thesis sheds light on different aspects policy-makers may encounter while setting up a monitoring system to observe a wide and heterogeneous application domain. Suggestions are made for KPI s appropriate for measuring to what extent the selected goal, i.e. increasing the quality of recordkeeping, has been attained by the local governments. Furthermore, priorities and data collection are analyzed. As within the actual monitoring scenario most of the data are supposed to be supplied by the participating organizations, they may also wish to use that data to their own benefit. Finally, an overview of the current use of indicators within the international archival sector is presented. Subjects monitoring Flemish government indicators KPI s data collection recordkeeping 8

9 VERKLARING IN VERBAND MET PLAGIAAT Ik verklaar plechtig dat ik de masterproef, Meten om te weten. Het opzetten van een monitoringbeleid voor zorgdragers in Vlaanderen, zelf heb geschreven. Ik ben op de hoogte van de regels i.v.m. plagiaat en heb erop toegezien om deze toe te passen in deze masterproef. 11 juli 2014 Jana Van Bouwel 9

10 LIJST MET GEBRUIKTE AFKORTINGEN ABB BBC Bios2 BRAIN CEST ICA ISAAR(CPF) ISAD(G) ISDIAH KPI KVAN NARA OCMW PwC RIA RIE SARC SMART VLABEST VOLC VTE VUB VVBAD VVP VVSG WAP WLOA Agentschap voor Binnenlands Bestuur Beleids- en beheersyclus Bibliotheek informatie- en opvolgingssysteem (tweede versie) Branchevereniging Archiefinstellingen Nederland Cultureel Erfgoed Standaarden Toolbox International Council on Archives International Standard Archival Authority Record (Corporate Bodies, Persons and Families) International Standard Archival Description (General) International Standard for Describing Institutions with Archival Holdings Kritische prestatie-indicator Koninklijke Vereniging van Archivarissen in Nederland National Archives and Records Administration Openbaar Centrum voor Maatschappelijk Welzijn PricewaterhouseCoopers Reguleringsimpactanalyse Reguleringsimpactevaluatie Strategische Adviesraad voor Cultuur, Jeugd, Sport en Media Specifiek, meetbaar, aanvaardbaar, realistisch, tijdsgebonden Vlaamse Adviesraad voor Bestuurszaken Afdeling Volksontwikkeling en Lokaal Cultuurbeleid Voltijds equivalent van een werknemer Vrije Universiteit Brussel Vlaamse Vereniging voor Bibliotheek, Archief & Documentatie Vlaamse Vereniging voor Provincies Vlaamse Vereniging voor Steden en Gemeenten West-Vlaams ArchievenPlatform Werkgroep Lokaal Overheidsarchief (binnen de VVBAD) 10

11 LIJST MET TABELLEN Tabel 1 Tabel 2 Tabel 3 Tabel 4 Tabel 5 Tabel 6 Tabel 7 Tabel 8 Tabel 9 Tabel 10 Tabel 11 Tabel 12 Tabel 13 Tabel 14 Tabel 15 Tabel 16 Tabel 17 De tien thema s die aan bod komen in de Handreiking van de VNG Aspecten van een top down veranderingsaanpak Kenmerken van doelstellingen Actoren en hun verschillende redenen om archiefdiensten te bevragen Enkele voorstellen voor KPI s met betrekking tot output, resultaat en impact bij de subdoelstelling over de naleving van de archiefzorg Enkele voorstellen voor KPI s met betrekking tot output, resultaat en impact bij de subdoelstelling over de naleving van regelingen voor archiefzorg naar aanleiding van opheffing, splitsing of samenvoeging van zorgdragers Enkele voorstellen voor KPI s met betrekking tot output, resultaat en impact bij de subdoelstelling over de deskundigheid van de archiefbeheerders Enkele voorstellen voor KPI s met betrekking tot output, resultaat en impact bij de subdoelstelling over de naleving van eendeontologische code Enkele voorstellen voor KPI s met betrekking tot output, resultaat en impact bij de subdoelstelling over de procedures voor het archiefbeheer Enkele voorstellen voor KPI s met betrekking tot output, resultaat en impact bij de subdoelstelling over de goede, geordende en toegankelijke staat Blauwdruk voor de indicatorenfiche Blauwdruk voor indicatorenfiches bij de subdoelstelling over de bestuurlijke verantwoordelijkheden Blauwdruk voor indicatorenfiches bij de subdoelstelling over de opheffing, splitsing of samenvoeging van zorgdragers Blauwdruk voor een indicatorenfiche bij de subdoelstelling over de deskundigheid van de archiefbeheerder(s) Blauwdruk voor een indicatorenfiche bij de subdoelstelling over de naleving van een deontologische code Blauwdruk voor indicatorenfiches bij de subdoelstelling over de procedures voor het archiefbeheer Voor- en nadelen van de openbaarheid van gegevens uit de archiefmonitor 11

12 LIJST MET FIGUREN Figuur 1 Figuur 2 Figuur 3 Figuur 4 Figuur 5 Figuur 6 Figuur 7 Reguleringsimpactanalyse als een proces De verhouding tussen beleidsevaluatie, wetsevaluatie, RIE en RIA Voorstelling van de interventielogica Doelstellingenboom, toegepast op de context van het Archiefdecreet Mogelijke structuur voor de concrete bevraging van de zorgdragers Mogelijke structuur voor de concrete bevraging van de zorgdragers Voorbeeld van een results-map, toegepast op (een gedeelte van) het Archiefdecreet LIJST MET BIJLAGEN BIJLAGE 1 BIJLAGE 2 BIJLAGE 3 BIJLAGE 4 BIJLAGE 5 BIJLAGE 6 BIJLAGE 7 Archief-KPI s van de VNG in Nederland De drie soorten vragen van Wouter Van den Berghe en results-mapping als alternatieve hulpmiddelen om indicatoren te formuleren Tabel om indicatoren te testen op hun praktische haalbaarheid Mogelijke operationele uitwerking van de KPI over de toegankelijke staat van archiefdocumenten Lijst met geïnterviewde personen en deelnemers expertisemeeting De stellingen die via het webformulier bevraagd zijn Maturiteitsniveaus op het vlak van interne controle 12

13 INLEIDING OP DE PROBLEMATIEK De Coördinerende Archiefdienst is een beleidscel die het informatiemanagement van de Vlaamse overheid voorbereidt, ontwikkelt en ondersteunt. Haar activiteiten omvatten onder andere advisering aan de entiteiten inzake analoge als digitale overheidsinformatie, ondersteuning bij de archiefvorming alsook het beheer van het analoge semistatische archief van de Vlaamse overheid. Ook de uitwerking en uitvoering van het Archiefdecreet van 9 juli 2010 behoort tot haar taken. De komende jaren wil de Coördinerende Archiefdienst een actief informatiebeleid voeren voor zorgdragers in Vlaanderen. Daarbij is het onder meer de bedoeling om de zorgdragende organisaties te ondersteunen met instrumenten en kennis om hun informatiehuishouding op orde te krijgen. Om het beleid op vlak van archiefbeheer en de daaruit voortvloeiende maatregelen te ontwikkelen, dienen volgende vragen te worden beantwoord: Hoe actief zijn overheden op dit moment al bezig met hun informatiehuishouding? Welke acties hebben ze al ondernomen? Hoe performant is hun informatie-, document- en archiefbeheer? Welke problemen en knelpunten kunnen worden gedetecteerd? Wat is de impact van het gevoerde beleid en op welke manier kan het beleid of de ondersteuning bijgestuurd worden om tegemoet te komen aan de vastgestelde noden? De bedoeling van de stageopdracht is om een analyse maken van welke indicatoren er door de Vlaamse overheid moeten worden gemonitord. Er wordt tevens nagegaan op welke wijze de gegevens kunnen verzameld worden en wat de prioriteiten zijn. Ook vergelijkingen met een aantal buitenlandse voorbeelden wat betreft aanpak en mogelijke valkuilen brengen ons ongetwijfeld waardevolle inzichten bij. Het uiteindelijke streefdoel van deze verhandeling is het uittekenen van de krijtlijnen voor een monitoringproject dat toelaat om de verwezenlijking van de beleidslijnen die in het Archiefdecreet worden uitgezet op regelmatige basis op te volgen. Op die manier kan de Coördinerende Archiefdienst daarover rapporteren aan de beleidsmakers en andere geïnteresseerden. Voor het opstellen van de indicatoren wordt dus vertrokken vanuit de zes doelstellingen die geformuleerd worden in het Archiefdecreet van 9 juli Bij de uitwerking van deze indicatoren worden de noden van de zorgdragers hieraan gekoppeld. Per doelstelling wordt 3 Zie infra, Deel I 2. Wettelijke context: voorlopige stand van zaken,

14 aangegeven welke indicatoren een zicht kunnen geven op de realisatie ervan en de manier waarop dit bij de zorgdragers in kaart kan worden gebracht. Voor één doelstelling, het realiseren van een transparante selectie, is dit reeds gebeurd. In overleg met de Coördinerende Archiefdienst wordt ervoor gekozen om in deze studie de focus te leggen op het verhogen van de kwaliteit van het archiefbeheer. 4 Enkele zorgdragers zullen bevraagd worden om te achterhalen aan welke indicatoren zij vooral nood hebben. Daarna trachten we de verwachtingen van beide partijen op elkaar af te stemmen. Een tweede luik van de scriptie bestaat erin om na te denken over de prioritering en de concrete dataverzameling. De implementatie van het meetsysteem, de gegevensverzameling an sich, het analyseren van de data, de communicatie en rapportering van deze analyse en de nood aan normen en/of streefcijfers komen hierbij onder meer aan bod. De uitdagingen die we verwachten bij de uitwerking van ons onderzoek, situeren zich op diverse vlakken. Ten eerste nemen we aan dat het brede toepassingsgebied van het Archiefdecreet de formulering van algemeen inzetbare indicatoren zal bemoeilijken. Bovendien moeten er, naar onze mening, om de realisatie van de doelstelling over kwaliteitsverhoging op te volgen, niet alleen indicatoren worden opgenomen die focussen op het archiefbeheer, maar ook indicatoren die de archiefzorg in beeld brengen. In het Archiefdecreet wordt namelijk het verschil aangebracht tussen zorgdragers en archiefbeheerders. 5 Een ander aandachtspunt bij de uitwerking is het (niet zo eenvoudig te maken) onderscheid tussen de bestuurlijkadministratieve en culturele archiefwerking van de organisaties die onder het toepassingsgebied vallen. 6 Omdat het opzetten van een monitoringproject in de praktijk enkele jaren tijd vraagt, is het niet wenselijk om nu reeds alle beslissingen te nemen. Bijgevolg formuleren we vooral beleidaanbevelingen, waardoor dit werkstuk soms wat algemeen blijft. We lichten hierna in grote lijnen de opbouw van onze verhandeling toe. In Deel I van dit werkstuk schetsen we eerst en dit vooral vanuit een overwegend theoretische invalshoek de bredere context. Het eerste en tweede hoofdstuk van dit gedeelte zijn expliciet opgevat als een weergave van de ruimere achtergrond waartegen het eigenlijke 4 Zie infra, Deel I 3.1. Afbakening van het onderzoeksveld, 32 voor de motivering van deze keuze. 5 Severi, Archiefdecreet, 40. Met archiefzorg wordt gedoeld op de bestuurlijke verantwoordelijkheid van de overheidsorganenn voor het archiefbeheer. In de context van het Archiefdecreet betekent archiefbeheer het organiseren en uitvoeren van de archiefvorming, het ontsluiten, het toegankelijk maken, het selecteren, het vernietigen of bewaren en het beschikbaar stellen van de archiefdocumenten. 6 Het Archiefdecreet is evenwel enkele toegespitst op het bestuurlijk-administratieve archiefbeheer. 14

15 onderzoek zich afspeelt. In het gedeelte over de methodologie (hoofdstuk 3) bakenen we het onderzoeksgebied af en zetten uiteen hoe we, met name voor de formulering van suggesties voor indicatoren, tewerk zullen gaan. Het eerste gedeelte van de literatuurstudie (hoofdstuk 4) vormt een kleine uiteenzetting over algemene voor- en nadelen van monitoring en enkele aandachtspunten. De overige paragrafen zijn toegespitst op de stand van zaken wat betreft de gegevensverzameling en het werken met indicatoren in de Vlaamse en internationale archiefsector. Het vijfde hoofdstuk sluit in zekere zin aan bij deze thema s, maar tegelijkertijd zorgen de casussen uit het buitenland en uit de bibliotheeksector voor een verruiming van onze blik. Deel II van de verhandeling is meer georiënteerd op de formulering van KPI s in de praktijk in de ruime zin. Door de focus op de methodologie is het eerste hoofdstuk evenwel nog vrij theoretisch van opzet. In het tweede hoofdstuk gaan we over tot voorstellen voor indicatoren volgens de in het vorige onderdeel uiteengezette methodiek. Vervolgens staan we stil bij de noden en potentiële voordelen die de zorgdragers mogelijk ervaren bij het monitoringproject dat de Vlaamse overheid beoogt. Ook is er in dit hoofdstuk ruimte voorzien voor de feedback van enkele zorgdragers op de eerste versie van de indicatoren. Ten slotte is het laatste hoofdstuk gewijd aan aanbevelingen voor de beleidsmakers in verband met de dataverzameling en de verdere beleidsopvolging via audits. 15

16 DEEL I THEORETISCH KADER 1. WAAROM KIEZEN VOOR INDICATOREN EN MONITORING? Het doel van dit inleidende hoofdstuk is om toe te lichten hoe een monitoringproject past binnen een hedendaagse overheidscontext. Eerst werpen we daarvoor een blik op de New Public Management-stroming en de bredere tendensen die er spelen. Gezien de inhoudelijke focus van deze verhandeling, leggen we daarbij een bijzondere nadruk op de samenhang tussen monitoring en beleidsevaluatie. Vervolgens gaan we, aan de hand van een casus over de totstandkoming van nieuwe regelgeving, na hoe de Vlaamse overheid voorgaande evoluties heeft vertaald naar haar eigen reguleringsvoorbereiding en -evaluatie. Ten slotte staan we stil bij de bouwstenen van een monitor, namelijk de indicatoren zelf. We zetten bondig uiteen welke indicatoren we graag willen gebruiken voor de opvolging van het Archiefdecreet en waar we op moeten letten bij de ontwikkeling hiervan. Een kleine bemerking vooraf op het vlak van terminologie is hier gepast. Het viel ons op dat door de verschillende auteurs een heel scala aan termen wordt gehanteerd, die min of meer hetzelfde betekenen, zoals performance management, prestatiemeting, monitoring, etc. In de literatuur wordt de term prestatiemeting aangewend in een managementcontext, terwijl monitoring overwegend gebruikt wordt in een beleidscontext. Daarom kiezen we in deze verhandeling consequent voor deze laatste term New Public Management en het belang van monitoring en beleidsevaluatie Al ruim twee decennia vormt het New Public Management-gedachtegoed een van de meest wijdverspreide internationale trends in het openbaar bestuur. 8 Dit denken gaat uit van een overheid die gebruikmaakt van opvattingen uit de private sector weliswaar steeds rekening houdend met de specifieke karakteristieken van overheden. 9 Enkele aspecten staan centraal in dit New Public Management-denken: 7 De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, 9. 8 van Geest, van der Zwan en Visser, Beter publiek prestatiemanagement, 4. 9 L Ortye en van der Tempel, Benchmark: instrument voor efficiëntie bij gemeenten?,

17 De omarming van opvattingen uit strategisch management: er is een kentering merkbaar van een bureaucratische overheid naar een meer resultaatgerichte aanpak. 10 De grootste nadruk ligt op de doelstellingen die de overheid wil bereiken. Strategisch management bestudeert hoe organisaties door middel van het bepalen en implementeren van een strategie, doelen op lange termijn kunnen realiseren. Deze strategie die een organisatie concretiseert in haar visie en doelstellingen moet gepland, georganiseerd en gecontroleerd worden. Centraal daarbij staan de beslissingen en acties die bepalend zijn voor de prestaties van een organisatie op lange termijn. 11 Ook wordt er binnen overheden een steeds grotere rol weggelegd voor een echte evaluatiecultuur. Het is immers niet voldoende om enkele doelstellingen te bepalen. De organisatie, of in dit geval de overheid, moet ook aangeven hoe ze gaat meten of die doelstellingen gehaald zijn en wanneer het vooropgestelde doel precies bereikt is. 12 Tevens is er een beweging merkbaar van een onpersoonlijke administratie naar een organisatie die actief inspeelt op de verwachtingen en de behoeften van de burgers. 13 Geert Bouckaert en Nick Thijs merken terecht op dat de regelende overheid is getransformeerd in een cliëntgerichte overheid. 14 Dit impliceert een tendens naar een meer structurele verankering van een kwaliteitsdenken binnen overheden. De kern van deze resultaatsgerichte manier van werken is dat overheden trachten om een eenduidige koppeling te creëren tussen hun beleid, de beoogde prestaties en de in te zetten middelen. 15 In deze omkadering heeft tevens ook de welbekende plan-do-check-actkwaliteitscirkel van Deming zijn ingang gevonden. De beleidscyclus wordt tegenwoordig beschouwd als een continu en systematisch proces, waarbij: 16 strategische keuzes worden gemaakt voor de toekomst, i.e. opstellen van strategische en operationele doelstellingen (= beleidsplanning); 10 Bouckaert en Thijs, Kwaliteit in de overheid, 61. Resultaatgerichtheid enerzijds op het gebied van outputs (wat is er geproduceerd), maar anderzijds ook op het vlak van de effecten (wat is er gerealiseerd). De focus is dusn iet langer enkel op de input-zijde gericht. We lichten dit dadelijk verder toe. 11 Michielsen, Archiefbeleid in de praktijk, Michielsen, Archiefbeleid in de praktijk, Bouckaert en Thijs, Kwaliteit in de overheid, Bouckaert en Thijs, Kwaliteit in de overheid, van t Hoog en Keune, Resultaatgericht sturen, 35. van t Hoog en Keune, Resultaatgericht sturen, 35. De mate waarin er echt resultaatgericht wordt gestuurd, is voorlopig echter nog altijd beperkt. Dit is vooral te wijten aan het ontbreken van een resultaatsgerichte cultuur, maar daarnaast blijkt - althans volgens van Bas t Hoog en Agnes Keune ook het instrumentarium vaak nog ontoereikend. 16 Bonner, Het opzetten van een performantiemanagementsysteem,

18 werkwijze en middelen vastgelegd worden om deze toekomst te realiseren, i.e. uitvoeren van de doelstellingen (= beleidsuitvoering); wordt vastgelegd hoe de realisatie wordt gemeten, i.e. opvolgen in welke mate de doelstellingen al dan niet gerealiseerd zijn (= beleidsevaluatie); wordt vastgelegd hoe er bijgestuurd moet worden, i.e. acties formuleren om bij te sturen (= beleidsbijsturing). Aan deze vier aspecten (beleidsplanning, -uitvoering, -evaluatie en -bijsturing) hechten we uiteraard evenveel belang. Gezien de focus van deze verhandeling, gaan we hierna echter hoofdzakelijk dieper in op het aspect van beleidsevaluatie. Toch zal indirect ook beleidsplanning hierbij aan bod komen, daar het algemene uitgangspunt is dat reeds bij de voorbereiding van nieuwe beleidsmaatregelen moet nagedacht worden over de manieren waarop deze uiteindelijk geëvalueerd zullen worden. 17 In eender welke (overheids)organisatie is er nood aan het maken van afspraken over de beoordeling van de geleverde prestatie. 18 In de praktijk gaat het om een viertal types instrumenten, die elk een bijdrage kunnen leveren aan het meten van de outputs en prestaties, en bij uitbreiding ook van de totale kwaliteit, die een organisatie aflevert. Het gaat onder andere om inspecties, audtis, reviews en monitoring door middel van indicatoren. Om misverstanden te vermijden, lichten we bondig toe wat we verstaan onder monitoring : 19 Monitoring is het verzamelen van informatie in de context van beleid en beheer, over geselecteerde aspecten en ontwikkelingen die in het openbaar bestuur beleidsrelevant worden geacht. 20 Monitoring moet ons in staat stellen om de werkelijkheid op te volgen en veranderingen in kaart te brengen. Dit proces gebeurt doorlopend aan de hand van periodieke metingen, die plaatsvinden op vaste momenten. 21 Door het permanente karakter ervan kan een monitoringsysteem worden opgezet. Dit is een geheel van procedures en kanalen om gegevens te verzamelen, op te slaan, te verwerken en te rapporteren. 22 Indicatoren en de databank(en) waarin de gegevens worden verzameld, zijn de bouwstenen van een dergelijk systeem. 17 HM Treasury, The Magenta Book, Kerklaan e.a., De cockpit van de organisatie, De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, De Kool, Monitoring in de publieke sector, De Kool, Monitoring in de publieke sector, 129. Hierdoor is het mogelijk om vergelijkingen te maken tussen verschillende momenten in de tijd. 22 De Peuter e.a., Handleiding beleidsevaluatie. Deel 2,

19 Het wordt gekoppeld aan doelstellingen, die betrekking hebben op processen en/of resultaten. Dit is wat ook de Vlaamse overheid beoogt voor de opvolging van het Archiefdecreet. Monitoring kan één van de mogelijke informatiebronnen zijn voor een beleidsevaluatie. In zekere zin zijn het complementaire methoden. 23 Monitoring resulteert in een beschrijving en dient met name voor het beantwoorden van vragen over wat er gebeurt en/of wat zich heeft voorgedaan. 24 Evaluatie is daarentegen functioneel voor het beantwoorden van hoe - en waarom -vragen. 25 Deze vragen gaan dus verder en zoeken naar verbanden en verklaringen, verbeterpunten. 26 Terwijl monitoring registreert wat er gebeurde, tracht beleidsevaluatie een antwoord te geven op de vraag of het beleid daarbij een verschil heeft gemaakt. 27 Een beleid kan immers mislukken, en dit falen kan een gevolg zijn van uiteenlopende oorzaken. 28 Als er niet geëvalueerd wordt, bestaat dus het risico dat ineffectieve beleidsmaatregelen worden voortgezet of dat kansen om het beleid te verbeteren onopgemerkt blijven. 29 Bart De Peuter en anderen geven terecht aan dat er pas sprake is van een integrale capaciteit voor monitoring en evaluatie als de organisatie in kwestie wil bijleren. 30 Zowel monitoring als evaluatie zijn per definitie bedoeld om de werking van een (overheids)organisatie te verbeteren. 31 Dit brengt een aantal randvoorwaarden met zich mee. Zo dienen de centrale actoren ervan overtuigd te worden dat overheidsmonitoring gericht is op het observeren van het beleidsveld, eerder dan op het controleren ervan. 32 Ook dient de koppeling tussen verbeterinspanningen en indicatoren als vanzelfsprekend te worden beschouwd. 33 Nu introduceren overheden de bestaande monitoringprojecten echter vaak nog vanuit een puur 23 De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, 20. Bongers en Verlet, Indicatoren en beleid, De Kool, Monitoring in de publieke sector, 129. De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, Bongers en Verlet, Indicatoren en beleid, De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, 21. Bijvoorbeeld: onduidelijke doelstellingen of het niet identificeren van andere mogelijke (neven)effecten, verkeerde implementatieprocessen, onderfinanciering, het juiste beleid in de verkeerde setting omwille van unieke omstandigheden, te vroeg meten van effecten, etc. 29 HM Treasury, The Magenta Book, De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, De lerende organisatie heeft een dubbele leercirkel. In een eerste cyclus leert zij immers in welke mate zij haar vooropgestelde doelstellingen haalt (cf. beschrijvende monitoring). In een tweede cyclus leert zij echter waarom en hoe de vooropgestelde doelstellingen worden behaald (cf. verklarende evaluatie). 31 Colpaert, Colpaert en Scheipers, Indicatoren voor bibliotheken en cultuurcentra, Stroobandt, Meire en Storm, De culturele sector aan de monitor, 67. Colpaert, Colpaert en Scheipers, Indicatoren voor bibliotheken en cultuurcentra, Anders is het moeilijk om hiervoor een breed draagvlak te bekomen. 33 Jurgens en De Bondt, Kwaliteitsmanagement in de documentaire informatie,

20 managementperspectief, namelijk om de resultaten op te volgen. 34 Een belangrijkere uitdaging ligt, volgens onder andere Bart De Peuter, in het erkennen van beleidsleren als evaluatiemotief, waar geen sanctionering aan verbonden is. Beleidsleren impliceert dat beleidsmakers verantwoordelijk worden gesteld voor de manier waarop ze gebruik maken van feedback en evaluatieresultaten ter verbetering van het actuele beleid. 35 Toch valt er een belangrijke kanttekening te maken bij beleidsevaluaties. Er gaat immers de veronderstelling achter schuil dat de omgeving van overheidsorganisaties stabiel is. 36 De omgeving is echter dynamisch, niet statisch. Eenmaal geformuleerd, worden indicatoren echter vrijwel altijd beïnvloed door andere factoren, buiten het beleid van de bestuurder om. Het is haast onmogelijk om een indicator op te stellen die één-op-één het gevolg is van het gevoerde beleid. 37 Het is dus een methodologische uitdaging om de bijdrage van het beleid aan maatschappelijke veranderingen te isoleren van andere invloedsfactoren. 38 Een manier waarop dit kan is door het betrekken van the counterfactual, i. e. wat er gebeurd zou zijn zonder de beleidsuitvoering. 39 Dit is niet evident, omdat dit per definitie niet kan worden waargenomen. Gebruikmaken van controlegroepen kan hier niettemin zorgen voor enige opheldering. Zo verloopt de introductie van nieuwe beleidsinterventies bijvoorbeeld vaak via een pilootproject. 40 Andere methoden gaan uit van random selectiemethoden waarbij de beleidsmaatregel op volledig willekeurig gekozen deelnemers wordt toegepast, een gefaseerde invoering waarbij de participanten op verschillende tijdstippen aan het beleid onderworpen worden, etc Kwaliteitsvolle regelgeving binnen de Vlaamse overheid: RIA en RIE In 2011 deden de complementaire concepten RIE (reguleringsimpactevaluatie) en RIA (reguleringsimpactanalyse) hun intrede binnen de procedure voor regelgevingopmaak van de 34 De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, 38. Dit sluit tevens nauw aan bij motieven die betrekking hebben op implementatieopvolging, verantwoording en eventueel ook ondersteuning van de (beleids)planning. 35 De Peuter e.a., Handleiding beleidsevaluatie. Deel 2, de Bruijn, Prestatiemeting in de publieke sector, Heukelom, Wat is een goede indicator?, Bongers en Verlet, Indicatoren en beleid, HM Treasury, The Magenta Book, 19, 24. Deels hangt dit ook af van de sterkte van het verband tussen de interventie en het beoogde resultaat, de betekenis van de potentiële resultaten in termen van hun bijdrage tot de algemene doelstellingen van het beleid, de manier waarop de beleidsinterventie wordt geïmplementeerd, etc. 40 HM Treasury, The Magenta Book, HM Treasury, The Magenta Book, 27. Voor meer uitleg over random selectiemethodieken, zie Gelter e.a., Impact Evaluation in Practice, 49 e.v. 20