Indicatoren voor beheer en beleid: tussen hamer en aambeeld? Josée Lemaître Dries Verlet
Overzicht Inleidende beschouwingen ivm indicatoren Door middel van kennis gebaseerd beleid naar bruikbare indicatoren Stappenplan om te komen tot bruikbare indicatoren binnen DKB Monitoren van beheer en beleid: een voortschrijdend proces Slotbeschouwingen
Inleidende beschouwingen ivm indicatoren
Indicatoren bij overheden: een situering Grotere zichtbaarheid van indicatoren: cf. plaats in monitoring en evaluatie Monitoring staat niet op zich: belangrijk te weten voor wie, voor wat, met wie? Monitoring kan meerdere doelen dienen Indicatoren kunnen bijdrage leveren in een breder verhaal: opvolging regeerakkoord en kerntaken, discussies over rol overheid, Opstap naar beleidsevaluatie: van wat naar hoe en waarom Ter opvolging dan wel sturing? 4
Indicatoren bij overheden: een situering Gebruik van indicatoren voor beleid stelt hoge kwaliteitseisen: Definitie (standaard?), juiste meet- en rekenmethode Bewust zijn van verschillende belangen (wetenschappers, politici, andere stakeholders) bij keuze van indicatoren, interpretatie, een evenwicht tussen technische versus politieke /maatschappelijke eisen en verwachtingen Blijft een proxy 5
Indicatoren: blijft een topje van de ijsberg Feiten Figuren Kwaliteit Tevredenheid Perceptie Vertrouwen Visie (Downes, 2008) 6
(Brennin, 2007)
Door middel van kennis gebaseerd beleid naar bruikbare indicatoren
Welke kennis speelt een rol? Kennis voor onderzoekers Kennis voor beleidsmakers Wetenschappelijk (los van de context) Empirisch getoetst. Vanuit theoretische noden Voldoende tijd nodig Genuanceerde boodschap Contextueel. Getoetst aan wat redelijk/aannemelijk lijkt Beleidsrelevantie Snel Duidelijke boodschap
Enkele beschouwingen bij het streven naar kennisgebaseerd beleid Er zijn vele types van kennis en onderzoek die een rol spelen in het beleidsproces Constante aandacht voor de kwaliteit van onderzoek en data is een absolute must, cf. de aandacht voor kennisverzameling en -deling In het beleidsproces spelen tal van andere overwegingen eveneens een belangrijke rol Kennis gebaseerd beleid, gaat over het gebruik van onderzoek Gebruik van indicatoren, niet los te zien van het type indicatoren
Organisatieniveau Doelstellingen Beleidsniveau Types indicatoren Maatschappelijke problemen en noden Omgevingsfactoren Beleid input Structuren, institutionele en management Activiteiten en processen Prestaties Effecten op korte en ml termijn Effecten op langere termijn input Context
Een classificatie over het (al dan niet) politiek gebruik van indicatoren (Cousins, 2004)
Stappenplan om te komen tot bruikbare indicatoren, cf. aanpak in de werkgroep indicatoren voor het ondernemingsplan DKB
Stappenplan Motieven van prestatiemeting vooraf verduidelijken Doelstellingen helder zetten Constructie van indicatoren Streefnormen scherp stellen Meten en opzetten van registratiesystemen Rapporteren Evalueren
Motieven van prestatiemeting Met welk doel volgen we op? Leren, communicatie, verantwoording, Aan wie rapporteren we? Enkel intern voor management of ook extern voor politiek, stakeholders? Motief en doelgroep is bepalend voor graad van detail, complexiteit,.. Ingeval van strategische doelstellingen: Goed beeld geven van kernopdrachten van het domein Opvolging via managementorganen en verantwoording aan het politieke niveau
Doelstellingen helder stellen Wat willen we echt bereiken in de maatschappij? Wat willen we veranderen tegenover nu? Wat zijn de verwachtingen van de doelgroep? Tot hoever reikt onze verantwoordelijkheid? Waarop hebben we zelf impact? Deze uitklaring is essentieel vooraleer te beginnen aan indicering. Als de doelstellingen niet SMART zijn geformuleerd, moeten de beoogde resultaten, effecten worden afgetoetst met de opdrachtgever Afspraken maken bij beleidsbrief Duidelijkheid scheppen tot waar de verantwoordelijkheid van het DKB reikt
Constructie van indicatoren Maak een keuze in type indicatoren: Input, proces, prestaties, effect, efficiëntie, effectiviteit, Objectief of subjectief (percepties) Enkelvoudig of samengesteld Indicator moet precies weergeven wat strategische dan wel operationele doelstelling beoogt Hij moet de veranderingen, evolutie kunnen capteren Hij moet meetbaar zijn Hij moet begrijpelijk en ondubbelzinnig interpreteerbaar zijn Keuze van type indicator is afhankelijk van motieven van prestatiemeting, aard van doelstellingen,... Documenteer uw indicatoren
Streefnormen Maak de concrete streefwaarde, ontwikkelingsrichting, duidelijk. Als er geen specifieke streefnorm in doelstelling zit, geef dan aan hoe u de resultaten zal interpreteren: Vergelijking in tijd (evolutie); met andere organisaties, sectoren of regio s; met wetenschappelijke standaarden; met internationale streefwaarden; politieke normen, Keuze van norm is afhankelijk van de doelstelling of van onderhandeling met opdrachtgever. Streefnormen opnemen in metadata van doelstelling en indicator (cf. TRAJECT)
Meten en prestatiemeetsystemen Over opzetten van een prestatiemeetsysteem vooraf goed nadenken: Meetobject: wat zullen we meten? Bruikbaarheid van meetsysteem voor meerdere doelen Verantwoordelijken voor meetsysteem en rapportering van meetwaarden aanduiden Middelen: kosten/baten Hergebruik maximaal wat al beschikbaar is. Zorg dat systemen kunnen worden gekoppeld en verrijkt: aandacht voor onderzoekseenheden/sleutels bij koppeling van bronnen Belang van prestatiebegroting: koppeling doelstellingen aan middelen en prestaties
Rapporteren Denk vooraf na over: aard van rapportering in functie van motief van prestatiemanagement (leren, verantwoording,...) doelgroep (aan wie?) tijdstip van rapportering en communicatie hierover, Betrek experten, dossierbehandelaars bij de interpretatie Rapportering moet accuraat zijn, tijdig (niet teveel tijd tussen registratie en communicatie hierover), in begrijpelijke taal TRAJECT als tool voor rapportering
Evalueren Evalueer regelmatig: Constructie van indicator Proces van het meten/prestatieregistratiesysteem Proces van rapporteren Draagvlak voor indicatoren en tevredenheid van doelgroepen/opdrachtgever over indicering. Evenwicht tussen continuïteit van het meten en de kwaliteit bewaken Prestatiemeting is een leerproces! Evalueer jaarlijks naar aanleiding van beleidsbrief en/of ondernemingsplan
Monitoren van beheer en beleid: een voortschrijdend proces
Een voortschrijdend proces in vier bedrijven 1.Meten: registreren van resultaten voor vastgestelde set van indicatoren Kengetal: aantallen 2. Beschrijven: meten plus toelichting geven over onderliggende details, omgevingselementen, Kengetal met inhoudelijke toelichting 3. Beoordelen: meten en beschrijven plus resultaat toetsen aan vooraf opgestelde norm, streefdoel, benchmark, Kengetal met inhoudelijke beschrijving en vergelijking met referentiecijfer 4. Onderhandelen: vorige info gebruiken in groter geheel en onderhandelen met stakeholders over te trekken conclusies en op te zetten acties Informatie voor onderhandelingen Evaluatie van indicatoren zelf: aanvaard, nuttig, betrouwbaar, tijdig,..
Slotbeschouwingen
Enkele lessen uit de praktijk Cijfers op zich zijn nog geen goede indicatoren, bruikbare indicatoren vereisen een duidelijke conceptuele basis Exhaustief (trachten te) zijn is een rem op de bruikbaarheid Symbolische waarde van een indicator, kan het wezenlijk belang ervan overschaduwen Indicator maatschappelijke realiteit Het meten op zich indiceert nog niet de geschikte actie Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht en indicatoren kunnen ons bewustzijn en focus op specifieke thema s beïnvloeden
Dataverzameling Start bij de bron met het goed opzetten van registraties en enquêtes Constructie van prestatiemeetsystemen die organisatiedoelstellingen koppelen aan middelen, prestaties en effecten Harmonisatie van definities Systematiek brengen in het registreren Maar niet een louter technisch-methodologische oefening, daarnaast ook een gezonde portie politiek-bestuurlijke draagvlak en moed voor nodig
Nodig om te komen tot een waarachtige meting van de opvolging van het ondernemingsplan: Instrumentarium gericht op het meten van dienstverlening en effecten ervan Aandacht voor effectiviteit: waar maken we als overheid het verschil? Ruim overleg onder betrokken actoren Politieke en ambtelijke gedragenheid Doe meer met ongeveer Uitdaging: van beschrijving naar analyse en evaluatie