DE IMPACT VAN DE PERFORMANCE AUDITS VAN HET REKENHOF

Transcriptie

1 KU LEUVEN FACULTEIT SOCIALE WETENSCHAPPEN MASTER OF SCIENCE IN HET OVERHEIDSMANAGEMENT EN -BELEID DE IMPACT VAN DE PERFORMANCE AUDITS VAN HET REKENHOF Survey bij ambtenaren van de federale overheid Promotor : Prof. Dr. M. BRANS Verslaggever : Prof. Dr. G. BOUCKAERT MASTERPROEF aangeboden tot het verkrijgen van de graad van Master of Science in het Overheidsmanagement en -beleid door Ella DESMEDT Academiejaar

2

3 KU LEUVEN FACULTEIT SOCIALE WETENSCHAPPEN MASTER OF SCIENCE IN HET OVERHEIDSMANAGEMENT EN -BELEID DE IMPACT VAN DE PERFORMANCE AUDITS VAN HET REKENHOF Survey bij ambtenaren van de federale overheid Promotor : Prof. Dr. M. BRANS Verslaggever : Prof. Dr. G. BOUCKAERT MASTERPROEF aangeboden tot het verkrijgen van de graad van Master of Science in het Overheidsmanagement en -beleid door Ella DESMEDT Academiejaar

4 Samenvatting Sinds 1998 is het Belgische Rekenhof, net zoals bijna alle rekenkamers in de OESO, bevoegd om naast financiële en wettigheids- en regelmatigheidsaudits, ook performance audits uit te voeren. Daarbij gaan rekenkamers na of de uitvoering van het overheidsbeleid voldoet aan de criteria zuinigheid, doeltreffendheid en doelmatigheid. Ze willen hiermee impact hebben op het overheidsfunctioneren, door bij te dragen aan de verbetering ervan. Er bestaat vooralsnog weinig empirisch onderzoek over de impact van performance auditing. Over de impact van de audits van het Belgische Rekenhof bestaat geen onderzoek. Ook over de factoren die bijdragen tot impact bestaat nog veel onzekerheid. Dit onderzoek probeert daarom volgende vragen te beantwoorden: 1. Welke impact hebben de performance audits van het Rekenhof? 2. Welke factoren dragen bij tot de impact van de performance audits van het Rekenhof? Een websurvey werd uitgevoerd op basis van een bestaande vragenlijst (Morin, 2004, 2008). Het is een instrument dat toelaat de impact van performance audits en de beïnvloedende factoren te onderzoeken vanuit het standpunt van de geauditeerden. Het onderzoek werd uitgevoerd bij ambtenaren van de Belgische federale overheid die tussen 2005 en 2010 betrokken zijn geweest bij één of meerdere audits van het Rekenhof. Dit resulteerde in 46 volledig ingevulde vragenlijsten, over 24 verschillende audits, uit 18 verschillende overheidsorganisaties. Hieruit bleek dat de performance audits van het Rekenhof een beperkte impact hebben gehad op de geauditeerde organisaties. De conceptuele impact was groter dan de instrumentele: de grootste bijdrage was het creëren van inzicht, pas in latere instantie het aanzetten tot actie. De performance audits van het Rekenhof bleken geen onbedoelde neveneffecten te hebben gehad op de onderzochte organisaties. Deelnemen aan een audit leek voor de geauditeerden I

5 zelfs eerder een positieve dan een negatieve ervaring te zijn. Er lijkt ook een beperkt preventief, ontradend effect uit te gaan van performance audits. Wat de beïnvloedende factoren betreft, bleken alle factoren die in het overzichtsartikel van Van Loocke & Put (2010) werden geïdentificeerd, een klein tot merkbaar effect te hebben op de globale impact van de performance audits: een goede relatie auditorgeauditeerden, kwaliteit van de aanbevelingen, een bereidheid aan de basis van de geauditeerden organisatie en lopende hervormingen binnen de geauditeerde organisatie, media-aandacht en acties van parlementsleden. Het Rekenhof werd gemiddeld positief beoordeeld op de twee hoger vermelde eerste punten. Een opmerkelijke vaststelling was dat een confronterende houding van het Rekenhof blijkbaar soms ook de impact bevordert. En bij de omgevingsfactoren werd vastgesteld dat niet enkel bereidheid aan de basis van belang is, maar dat ook de andere machtscentra i.v.m. de aanbevelingen van de auditeurs - het management en de politiek op dezelfde lijn moeten zitten. En een goede timing, dat speelt ook een rol. II

6 Voorwoord Dit stukje is meestal het meest melige deel van een masterproef. Maar het is wel noodzakelijk om een hele reeks mensen te bedanken. Op de eerste plaats alle ambtenaren die hebben meegewerkt aan dit onderzoek: de leidinggevenden die ingestemd hebben met de deelname van hun organisatie, de tussenpersonen die lijsten van contactgegevens voor me hebben bijeen gezocht, en uiteraard de respondenten die mijn vragenlijst hebben ingevuld. Of dit niet deden, maar me wel spontaan op de hoogte brachten van de redenen daarvoor. Op de tweede plaats mijn werkgever, om me de tijd en de ruimte te geven deze opleiding en deze masterproef te kunnen voltooien. Voor de ambtenaren die deelnamen aan dit onderzoek en die nu deze tekst lezen, zal dit waarschijnlijk als een verrassing komen, maar mijn werkgever, is het Rekenhof. Dit onderzoek was echter uitdrukkelijk geen onderzoek vàn het Rekenhof, louter van een student die op het Rekenhof als performance auditor werkt, en daarom uiteraard zeer sterk geïnteresseerd is in de materie. Ik had de persoonlijke steun van voorzitter Ignace Desomer waarvoor ik hem ten zeerste wil bedanken - maar verder ging de betrokkenheid van het Rekenhof niet. Voorts had ik het voordeel om de mensen die me inhoudelijk inspireerden, persoonlijk te kennen. Dus Eddy Van Loocke en Vital Put: bedankt om met jullie literatuurstudie het pad voor me te effenen. Professor Danielle Morin heb ik leren kennen als een enthousiaste en sympathieke dame: na één keer over en weer mailen naar Montréal was onze samenwerking geregeld. Zonder haar bereidheid om haar vragenlijst ter beschikking te stellen, was dit onderzoek onmogelijk geweest. Ik hoop dat deze masterproef kan bijdragen aan verder internationaal vergelijkend onderzoek over het thema. Valérie Pattyn was mijn assessor: haar wil ik bedanken voor de leuke samenwerking en de constructieve - en snélle - feedback die ik van III

7 haar kreeg, zelfs in tijden waarin ze zelf haar doctoraat moest afwerken en verdedigen. Mijn promotor, professor Marleen Brans, keek en zag dat het goed was: maar haar korte, ondersteunende berichtjes vanop de ipad gaven telkens net dat extra beetje energie om voort te doen. Praktische hulp kreeg ik van Line, bij het nalezen van de vertaalde vragenlijst, van de websurveydienst van de KULeuven, als ik vragen had over Limesurvey, en van Nicole, toen mijn printer het begaf: bedankt daarvoor. En dan tot slot, wordt het toch nog een beetje melig: bedankt Hannah (een kleuter/prinses in huis maakt al de rest bijzaak!), Rik (zéker nu de volgende weekendjes weg geboekt zijn ), grootmoeders en vaders (voor het vele babysitten), collega s, en alle vrienden en vriendinnen die met hun feestjes, uitstapjes, baby s en andere eigenaardigheden zorgden voor de nodige afwisseling in mijn auditeurs-/studentenleven IV

8 Inhoud Lijst met tabellen Lijst met figuren 1. Probleemstelling 1 2. Theoretisch kader Performance audit versus beleidsevaluatie De term impact Het begrip impact : modellen van impact 7 Het traditioneel perspectief 7 Het model van Kirkhart 9 Een model voor de impact van performance audits Factoren die impact bevorderen Methodologie Impact meten 16 Percentage geïmplementeerde aanbevelingen 16 De vragenlijst van Morin Informatie over de factoren die impact bevorderen Onderzoeksopzet 25 Dataverzamelingsmethode 25 Populatie en steekproef 26 Websurvey 28 V

9 Data-analyse Resultaten Responsgraad 31 Analyse op niveau van de audits 31 Analyse op niveau van de organisaties 32 Analyse op niveau van de respondenten Ervaringen met performance audits Impact 41 Bijdrage van performance audit(s) 41 Betrouwbaarheidskeurmerk 43 Preventief effect 43 Invloed op managementpraktijken 44 Relaties met belangengroepen 46 Bruikbaarheid van het auditrapport 47 Concrete acties naar aanleiding van de performance audit(s) 49 Gevolgen voor de organisatie 50 Persoonlijke consequenties 51 Impact op het management 52 Globale effect van de performance audit Factoren die impact bevorderen 53 Relevantie van de aanbevelingen 53 VI

10 Omgevingsfactoren 55 Relatie met de auditeurs 58 Relatie met de auditeurs: bronnen van ontevredenheid 60 Acties van parlementsleden 62 Effect van media-aandacht Conclusie en discussie Impact Factoren die impact bevorderen Generaliseerbaarheid van de bevindingen Discussie Bronnen 74 Bijlage 1 Vragenlijst Bijlage 2 Lijst van audits VII

11 Lijst met tabellen Tabel 1 Tabel 2 Tabel 3 Tabel 4 Tabel 5 Tabel 6 Tabel 7 Tabel 8 Tabel 9 Tabel 10 Tabel 11 Tabel 12 Tabel 13 Tabel 14 Tabel 15 Tabel 16 Tabel 17 Tabel 18 Tabel 19 Tabel 20 Tabel 21 Tabel 22 Tabel 23 Tabel 24 Tabel 25 Tabel 26 Tabel 27 Tabel 28 Tabel 29 Factoren die impact kunnen faciliteren Operationalisering impact door de vragenlijst van Morin Factoren die aan bod komen in de vragenlijst Responsgraad Respons per organisatie Redenen om de vragenlijst niet of niet volledig in te vullen Aard van de organisatie Professionele categorie Hoogste opleidingsniveau Aantal jaar in huidige functie Aantal jaar in huidige organisatie Aantal jaar in huidige functie * aantal jaar in huidige organisatie (volledig ingevuld, n = 46) Taal Aantal performance audits meegemaakt Rol tijdens de performance audit(s) in uw organisatie Niveau van de auditeurs met wie u contact hebt gehad tijdens de performance audit(s) Bijdrage van performance audit(s) Betrouwbaarheidskeurmerk Preventief effect Invloed op managementpraktijken Relaties met belangengroepen Bruikbaarheid van het auditrapport Concrete acties naar aanleiding van de performance audit Gevolgen voor de organisatie Persoonlijke consequenties Impact op het management Relevantie van de aanbevelingen Omgevingsfactoren Relatie met de auditeurs VIII

12 Tabel 30 Tabel 31 Tabel 32 Tabel 33 Relatie met de auditeurs: bronnen van ontevredenheid Acties van parlementsleden Effect van media-aandacht Overzichtstabel voor de conclusie over de aard van de impact IX

13 Lijst met figuren Figuur 1. Het model van Kirkhart (2000, p. 8) Figuur 2. Meest plausibele causale relaties factoren impact (Van Loocke & Put, 2010, p. 212) Figuur 3. Spreiding van de (non-)respons over de organisaties X

14 1. Probleemstelling Sinds 1998 is het Belgische Rekenhof bevoegd om naast financiële controle en wettigheids- en regelmatigheidscontrole, ook controle uit te oefenen op de goede besteding van de overheidsgelden. Het Rekenhof gaat daarbij na of de uitvoering van het overheidsbeleid voldoet aan de principes van goed beheer, volgens de criteria van zuinigheid, doeltreffendheid en doelmatigheid (Desomer & Van Loocke, 2010; Rekenhof, n.d.). Vandaag hebben bijna alle rekenkamers in de OESO-landen de bevoegdheid om dit soort controles uit te voeren. Deze worden aangeduid met termen als doelmatigheidsonderzoek, contrôle de la bonne gestion, value-for-money audit of performance audit (Van Loocke & Put, 2010). Performance audit is de meest gangbare term. Aansluitend bij deze uitbreiding van bevoegdheden, werd ook de missie van veel rekenkamers de laatste decennia gewijzigd. De traditionele opdracht van rekenkamers was hun parlement bij te staan in het toezicht op de regering: de rekenkamer als waakhond. Nu willen steeds meer rekenkamers ook bijdragen aan het beter functioneren van de overheid: de rekenkamer als raadgever (Sterck, 2007; Van Loocke & Put, 2010). Ook het Belgische Rekenhof heeft deze dubbele missie: Het staat de parlementaire vergaderingen en provincieraden bij in de uitoefening van toezicht op de inning en aanwending van overheidsgelden.... en Het Rekenhof streeft naar een verbetering van de functionering van overheden. (Rekenhof, 2004, p. 1). Impact hebben is dus een inherent streven van elke rekenkamer: ze willen invloed hebben op het functioneren van de geauditeerde overheden, ze willen dat hun aanbevelingen worden opgevolgd. Deze ambitie bepaalt hoe ze hun werk organiseren in alle fasen van het auditproces: bij de selectie van mogelijke auditthema s, bij het plannen van hun werk, bij het uitwerken van de rapporten, enzovoort 1

15 (Lonsdale, 1999). Dit blijkt ook duidelijk uit de internationale standaarden die de rekenkamers zichzelf opleggen (INTOSAI, 2013): - The main objective of performance auditing is constructively to promote economical, effective and efficient governance (p.3) - The topic selection process should aim to maximise the expected impact of the audit while taking account of audit capacities (p.13) - The report should explain why and how problems noted in the findings hamper performance in order to encourage the audited entity or report user to initiate corrective action (p.16) Er zijn echter ook auteurs die erop wijzen dat de potentiële impact van audits vaak overschat wordt (Morin, 2001; Power, 1997). Rekenkamers zouden impliciet een te naïeve en mechanistische feedback theorie hanteren. De realiteit is complexer en onvoorspelbaarder dan het volgende scenario: - als blijkt dat de standaarden of doelen niet worden bereikt, geeft de auditeur feedback aan de geauditeerde; - de geauditeerde luistert naar deze feedback; - vervolgens onderneemt hij actie; - dit zal leiden tot de realisatie van de formele doelstellingen; - dit zal niet leiden tot onbedoelde of ongewenste neveneffecten. (Leeuw, 1996; Lonsdale, 1999; Morin, 2001). Bovendien verwachten heel wat auteurs dat de neveneffecten die bekend zijn uit het onderzoek naar de effecten van prestatiemeting, ook potentiële risico s zijn bij performance auditing. Het gaat onder meer om: - ossificatie: organisationele verlamming, of het stilvallen van innovatie door een te rigide meet- of controlesysteem ; - tunnel visie: focus op wat gekwantificeerd kan worden, ten koste van ongekwantificeerde aspecten; - myopie: enkel aandacht voor de korte termijn ten koste van de lange termijn; 2

16 - gaming: gemakkelijk te bereiken doelen formuleren om betere resultaten te behalen; - ritual compliance : enkel veranderingen aanbrengen op papier, omdat auditeurs hoofdzakelijk daar aandacht voor hebben; - verlies aan ambitie door defensieve strategieën (Leeuw, 1996; Sterck, 2007; Van Loocke & Put, 2010, 2011). Er bestaat vooralsnog weinig empirisch onderzoek over de impact en de eventuele neveneffecten van performance auditing. Van Loocke & Put (2010, 2011) vonden 14 empirische impactstudies, die sterk verschilden qua opzet, begrippenkader, enzovoort. In het kader van dit onderzoek werden er geen recentere gevonden. Vijf van de 14 gebruikten het percentage geïmplementeerde aanbevelingen als indicator, twee zochten verbanden tussen institutionele kenmerken van rekenkamers en macro-economische impact en in één onderzoek ging het enkel over het effect van audits van prestatie-informatie. Er waren zeven studies waarin impact breed werd gedefinieerd: vijf ervan waren kwalitatief van opzet en kleinschalig, twee waren grootschalig survey-onderzoek. Er bestaat tot op heden nog geen onderzoek over de impact van de performance audits van het Belgische Rekenhof. De conclusie van Van Loocke & Put (2010) was voorzichtig positief: Performance audit is geen zinloos tijdverdrijf. Performance audits hebben dikwijls impact. Dikwijls is deze impact slow and subtle (naar Morin, 2008, p.717), maar soms ook snel en expliciet. Maar soms, ook dat moet worden erkend, is er nauwelijks impact (p. 211). Van Loocke & Put (2010, 2011) stelden voorts vast dat er nog veel onzekerheid bestaat over de factoren die bijdragen tot impact. Het doel van dit onderzoek is om deze leemten in de wetenschappelijke literatuur in te vullen, door volgende vragen te beantwoorden: 1. Welke impact hebben de performance audits van het Rekenhof? 3

17 2. Welke factoren dragen bij tot de impact van de performance audits van het Rekenhof? Het beantwoorden van deze vragen is ook relevant voor de auditpraktijk van het Rekenhof zelf. De standaarden van INTOSAI verplichten rekenkamers om de uitvoering van hun aanbevelingen op te volgen (INTOSAI, 2013). De manier waarop het Belgische Rekenhof haar impact meet, is echter eerder summier. In haar jaarverslagen staat enkel anekdotische informatie over de impact van de audits: niet alle audits komen systematisch aan bod. In het kader van de interne opvolging is er vooral aandacht voor de tijdigheid van de uitvoering en het aantal arbeidsdagen; impact wordt enkel kwalitatief beoordeeld, op basis van media-aandacht en een inschatting door de auditeurs zelf (Van Loocke, 2013). Daarnaast draagt impact hebben en het opvolgen ervan, bij tot de legitimiteit van de auditor (Lonsdale, 1999, Van Loocke, 2013). En die komt wel eens in het gedrang, als we de krantenkop Niemand luistert naar het Rekenhof (Van den Broeck, 2013, p. 6) mogen geloven Of zoals Morin (2001) haar scepticisme verwoordde: Time is up for certain public institutions which have been considered sacred cows, above attack and unimpeachable in their effectiveness. The Auditors General offices should not be above the questions which have been aimed at most of the other public institutions (p ). In deel 2 van dit verslag wordt het theoretisch kader voor dit onderzoek opgebouwd. Deel 3 gaat over de gehanteerde methodologie. In deel 4 worden de resultaten beschreven, en deel 5 besluit met conclusies, discussie en aanbevelingen voor verder onderzoek. 2. Theoretisch kader Het theoretisch kader van deze studie is gebaseerd op de literatuur over beleidsevaluatie enerzijds omdat er heel wat gelijkenissen zijn tussen beide activiteiten - en die over performance auditing anderzijds. 4

18 In paragraaf 2.1 worden de gelijkenissen en verschillen tussen beleidsevaluatie en performance auditing geduid. Paragraaf 2.2 en 2.3 verduidelijken het concept impact : eerst gaat het over de terminologische discussie die vooral in de evaluatieliteratuur woedt, daarna wordt dieper ingegaan op de complexiteit van het begrip aan de hand van verschillende theoretische modellen. In 2.4 worden mogelijke neveneffecten van performance auditing opgesomd. In paragraaf 2.5 tot slot, gaat het over de factoren die impact kunnen bevorderen. 2.1 Performance auditing versus beleidsevaluatie Van Loocke & Put (2010) leggen duidelijk uit wat de gelijkenissen en verschillen zijn tussen performance auditing en beleidsevaluatie. Net zoals performance auditing draagt beleidsevaluatie bij aan het afleggen van verantwoording over het gevoerde beleid en aan het verbeteren van beleid en de uitvoering ervan. Er worden ook vaak dezelfde methoden van gegevensverzameling en analyse gebruikt (surveys, interviews, ). Maar, zo verklaren ze: Toch zijn performance auditing en beleidsevaluatie geen synoniemen: - Performance auditing is ex post, waar beleidsevaluatie ook ex ante kan zijn (beleidsvoorbereidend onderzoek); - Performance auditing stelt de beleidsdoelstellingen of de opportuniteit van het beleid niet in vraag, waar beleidsevaluatie dat wel kan. Performance auditing door rekenkamers vertoont een aantal specifieke kenmerken, die niet of in mindere mate voorkomen bij andere vormen van beleidsevaluatie en die eigen zijn aan de institutionele inbedding van de rekenkamers: - Performance audits worden gerapporteerd aan het parlement dat (formeel) de enige klant van de rekenkamer is; - Rekenkamers voeren meestal audits uit op eigen initiatief, zonder opdrachtgever. Rekenkamers moeten een inspanning leveren om audits te selecteren en om bij de geauditeerde een draagvlak voor de audits te creëren; 5

19 - Rekenkamers beschikken over wettelijk geregelde bevoegdheden (bijvoorbeeld recht op informatie) en passen sterk geformaliseerde procedures toe (bijvoorbeeld een formele schriftelijke communicatie met geauditeerde administratie en minister) (p. 189). 2.2 De term impact Volgens het Van Dale woordenboek betekent impact : uitwerking, invloed, effect (Van Dale, 2014). In de literatuur over performance auditing wordt deze term courant gebruikt en eigenlijk nergens in vraag gesteld. Dit is in de evaluatieliteratuur echter anders. In dit vakgebied werd de symboliek van taal al meerdere malen bevraagd, en wordt er al decennia gezocht naar een accurate terminologie om te discussiëren over de impact van evaluatie (Kirkhart, 2000). Kirkhart citeert Weiss, die in de jaren 80 argumenteerde dat het tot dan toe gebruikte utilization ongeschikt was om de diffuse manieren waarop kennis uit onderzoek het beleid beïnvloedt, aan te duiden. De term zou te zeer een ondertoon van gereedschap en praktisch gebruik hebben. Weiss stelde use voor als alternatief. Beiden betekenen gebruik in het Nederlands, dus de nuance is subtiel en taalgebonden Kirkhart vindt beide termen ongeschikt, omdat ze te instrumenteel en episodisch 1 zijn en volgens haar enkel verwijzen naar intentionele, eenzijdige beïnvloeding. Zelf stelt ze voor om het woord influence (in het Nederlands: invloed ) te gebruiken, dat volgens haar ook de niet-instrumentele, incrementele, onbedoelde en multidirectionele aspecten van de relatie onderzoek beleid vat. In de Nederlandstalige evaluatieliteratuur gebruikt men doorgaans het woord doorwerking als vertaling voor influence (Bekkers, Fenger, Homburg & Putters, 2004; Fobé & Brans, 2012, 2012a). 1 Episodic is moeilijk te vertalen: het verwijst naar een duidelijk af te bakenen, specifieke gebeurtenis. Het is het spiegelbeeld van incrementeel, wat langzaam groeiend betekent. 6

20 Omdat deze masterproef eerder aansluit bij de literatuur over performance auditing, werd ervoor gekozen het woord impact te blijven gebruiken. En vermits dit in het Nederlands een synoniem is van invloed, vat het even goed de complexiteit die ermee gepaard gaat. 2.3 Het begrip impact : modellen van impact Het is niet omdat in de literatuur over performance auditing de term impact niet in vraag wordt gesteld, dat men de complexiteit van het begrip niet inziet. Lonsdale (1999), bijvoorbeeld, definieert de impact van performance auditing als volgt: By impact we mean primarily the direct and indirect effect or influence that an SAI can have on the practices, performance, and culture of the audited entity as a result of its performance audit work. Impact may arise from recommendations made by the SAI which result in the strengthening of weak administrative procedures and practices or lead to financial savings. Alternatively, it may involve influencing or, in some cases, instigating debate on a particular subject. And, lest we assume that SAIs can have impact only when they bring about change, we should not also forget the reinforcement value of positive assurance provided by performance auditors where they find good practice (p. 171). Er bestaan meerdere theoretische modellen die deze complexiteit in beeld brengen. Ze vinden hun oorsprong in de evaluatieliteratuur. In onderstaande tekst wordt telkens voor impact de term gebruikt die in het betreffende theoretische model gangbaar is. Het traditioneel perspectief Eind jaren 80 was men het er in de evaluatieliteratuur over eens dat het gebruik van evaluatie meerdere facetten had, met minstens drie types: instrumenteel gebruik, conceptueel gebruik en strategisch gebruik (Cummings, 2002). Instrumenteel gebruik is het gebruik van evaluaties om beleidsbeslissingen te nemen of om doelgericht problemen op te 7

21 lossen. Het leidt tot directe, zichtbare acties op basis van de resultaten (Cummings, 2002; Kirkhart, 2000; Widmer & Neuenschwander, 2004). Onderzoek leidt tot kennis en kennis tot beleid, is het klassieke, rechtlijnige idee dat erachter zit. Dit is ook het perspectief van de rekenkamers: de focus in hun missie op het verbeteren van het functioneren van de overheid, draagt bij tot een instrumentele benadering van impact (Van Loocke & Put, 2010, 2011). Conceptueel gebruik verwijst naar het gebruik van evaluaties om een bepaalde beleidsmaatregel of eraan gerelateerde zaken beter te begrijpen (Cummings, 2002), naar het genereren van nieuwe inzichten, die niet meteen in actie worden omgezet (Widmer & Neuenschwander, 2004). Het gaat hier om een cognitieve impact, die niet noodzakelijk leidt tot verandering in gedrag (Kirkhart, 2000). Het wordt ook wel de verlichtingsfunctie van evaluaties genoemd (Weiss, 1977). Strategisch gebruik gaat om het gebruik van evaluatieresultaten om andere te overtuigen in argumentatie of in politiek debat (Cummings, 2002; Kirkhart, 2000). Persuasief of symbolisch gebruik zijn synoniemen hiervan (Leviton & Hughes, 1981). Sommigen (Van Loocke & Put, 2010, 2011; Widmer & Neuenschwander, 2004) onderscheiden verder nog interactief gebruik (procedureel gebruik door verschillende betrokkenen in het politiek systeem), (politiek-)legitimerend gebruik (om beslissingen die op andere gronden zijn genomen ex post te legitimeren), en tactisch gebruik (om tijd te winnen of zijn verantwoordelijkheid te ontlopen), maar dit lijken eerder subvormen van strategisch gebruik, die in de praktijk moeilijk van elkaar te onderscheiden zijn. De verschillende vormen van gebruik kunnen samen voorkomen, waarbij conceptueel gebruik meestal de andere vormen vooraf gaat (Cummings, 2002). 8

22 Het model van Kirkhart Kirkhart (2000) beargumenteert dat de invloed die kan uitgaan van evaluaties, nog veel complexer is dan het traditioneel perspectief kan vatten. Ze ontwikkelde een geïntegreerde theorie, waarin ze drie dimensies van invloed onderscheidt, met name: bron, intentie en tijd (zie Figuur 1). Figuur 1. Het model van Kirkhart (2000, p. 8) De eerste dimensie, de bron van invloed, verwijst naar het onderscheid tussen resultaat-gebaseerde en proces-gebaseerde invloed. Het traditioneel perspectief is volgens Kirkhart resultaat-gebaseerd. Het heeft enkel aandacht voor het gebruik van evaluatieresultaten: alle informatie die als outcome van een evaluatie verkregen wordt (data, interpretaties, aanbevelingen, ). Het hoger beschreven onderscheid tussen instrumenteel, conceptueel en strategisch gebruik, 9

23 is dus een verdere verfijning van de rechterkant van Figuur 1. De aandacht voor proces-gebaseerde invloed dateert uit de jaren 90 en heeft zijn oorsprong in de literatuur over actie-onderzoek en de evaluator als change agent. Waar invloed tijdens het proces aanvankelijk slechts werd gezien als manier om resultaat-gebaseerd gebruik te faciliteren, werd later erkend dat betrokkenheid in het evaluatieproces ook nuttig kan zijn, los van de bevindingen waartoe dit proces kan leiden (Patton, 1998). De invloed kan cognitief zijn, als tijdens het evaluatieproces verandering in begrip optreedt door discussie en reflectie; affectief, als het evaluatieproces leidt tot individuele en collectieve gevoelens van waarde; of politiek, indien het evaluatieproces wordt gebruikt om machtsrelaties te beïnvloeden. De tweede dimensie, de intentie, gaat over de mate waarin de invloed van een evaluatie doelgericht aangestuurd, bewust erkend en planmatig geanticipeerd wordt. Dit is voor de performance audits van rekenkamers sterk het geval. Intentionele invloed kan zowel uitgaan van de evaluatieresultaten als van het evaluatieproces. Onbedoelde invloed gaat over de onvoorziene effecten van een evaluatie, vaak ook via een onverwachte weg. Aandacht hiervoor erkent de kracht van rimpeleffecten en van het menselijk onvermogen om te anticiperen op alle gevolgen van hun werk. De onbedoelde effecten kunnen positief of negatief zijn (de hoger vermelde neveneffecten vallen in deze laatste categorie), en kunnen zelfs sterker zijn dan de intentionele effecten. De tijdsdimensie tot slot, verwijst naar het moment van invloed. In de evaluatieliteratuur was er eerst aandacht voor gebruik op korte termijn, pas daarna breidde de aandacht zich uit naar gebruik op langere termijn. Vaak werd instrumenteel gebruik automatisch gekoppeld aan de korte termijn en conceptueel gebruik aan de lange termijn, maar volgens Kirkhart moet de tijdsdimensie los van de aard van de invloed worden gezien. 10

24 Onmiddellijke invloed vindt plaats tijdens het plannen en uitvoeren van de evaluatie. Pollitt (2006) maakt dit op een heldere manier concreet: It could be argued that the regular production of these various reports is more important than their regular consumption by end users the need to report keeps public servants honest (p. 49). End-of-cycle beïnvloeding gebeurt bij het afsluiten van een evaluatie: ze vloeit voort uit de producten van de evaluatie of uit het proces van de disseminatie ervan. Lange termijn invloed verwijst naar gebruik in de toekomst, na enige tijd. Een model voor de impact van performance audits Bovenstaande modellen van gebruik en invloed uit de evaluatieliteratuur, worden ook in de literatuur over de impact van performance auditing toegepast om de complexiteit ervan te duiden (Pollitt, 2006; Van Loocke & Put, 2010, 2011; Weets, 2011). In deze paragraaf komen nog enkele elementen aan bod die specifiek zijn voor performance auditing. Sterck (2007) wijst erop dat rekenkamers vanuit hun dubbele missie als waakhond en raadgever twee types impact willen hebben. Het eerste type, blaming, gaat om het verbeteren van de verantwoording van de regering ten aanzien van het parlement: performance audits zouden parlementsleden informatie moeten bezorgen waarmee ze de regering beter kunnen controleren. Sterck (2007) onderscheidt hierin meerdere niveaus: van louter parlementaire interesse in performance auditing, over kennis van auditbevindingen en aanbevelingen, tot effectief gebruik ervan in het commissiewerk. Het tweede type, learning, gaat om het verbeteren van het overheidsfunctioneren: rekenkamers willen via hun performance audits bijdragen tot de effectiviteit, efficiëntie en zuinigheid ervan. Deze verschillende types van impact hangen samen met verschillende manieren om naar performance auditing te kijken. Vanuit het blaming -perspectief is audit een proces van kenniscreatie en gebruik: performance audits zijn een bron van informatie voor beleidsmakers, naast vele andere bronnen. Vanuit het learning -perspectief is audit ook een proces van sociale 11

25 beïnvloeding: auditeurs willen geauditeerden beïnvloeden opdat ze hun aanbevelingen zouden uitvoeren. Lonsdale (1999) tot slot, stelde vast dat rekenkamers menen dat ze, naast alle andere vormen van impact, ook een algemeen ontradend effect hebben. Hun bestaan op zich, waardoor ze in alle geledingen van de overheidsadministratie performance audits kúnnen uitvoeren, zou al slechte praktijken afremmen. Dit zou op de tijdsdimensie preventieve invloed kunnen genoemd worden. Van Loocke & Put (2010) achten dit plausibel voor de jaarlijks terugkerende financiële audits, maar vragen zich af of deze verwachting ook opgaat voor de performance audits, omdat de kans hierop onvoorspelbaar en al bij al vrij klein is. 2.4 Factoren die impact bevorderen Op basis van recente overzichtsliteratuur over de benutting van wetenschappelijke kennis, ontwikkelden Van Loocke & Put (2010, 2011) een theoretisch model met factoren die kunnen bijdragen tot de impact van performance audits van rekenkamers. Tabel 1 Factoren die impact kunnen faciliteren MICRONIVEAU Factoren eigen aan de audit Rapport Toegankelijk voor de actoren voor wie het is bestemd Samenvatting met aanbevelingen Proces Planning van de audit houdt rekening met de maatschappelijke en administratieve context waarin de audit wordt uitgevoerd Goede communicatie tijdens het proces: van voorbereiding inzicht krijgen in de mental models van geauditeerde tot redactie Persoonlijk contact tussen auditeurs en geauditeerde Goede methodologie 12

26 Objectief Betrouwbare bronnen van bevindingen Kwaliteitscontrole (peer review, klankbord, ) Verspreiding en communicatie Auditresultaten (bevindingen, conclusies en aanbevelingen) Reactie van derde actoren Benutten van een gamma aan communicatiemiddelen zoals persberichten, presentaties, workshops, briefings, face to face contacten, Verspreiding en communicatie van resultaten niet alleen naar geauditeerde maar ook naar alle andere betrokken actoren (de derde gemeenschap) Communicatie op maat van de bestemmeling Zijn eensluidend met andere kennis de nieuwe kennis is aannemelijk voor de geauditeerde Toename hoeveelheid eenduidige kennis werkt als booster Verminderen onzekerheden van de geauditeerde en testen de assumpties bij geauditeerde over thema Resultaten passen in de globale context Tijdig om beslissing uit te lokken of te beïnvloeden Relevant voor beleid en beheer Kennis sluit aan bij huidige zorgen en bezigheden van geauditeerde Duidelijke, bruikbare en haalbare aanbevelingen Aanwezigheid van advocacy coalitions (onder meer rol van het parlement als klant van de rekenkamer ) MESONIVEAU Factoren eigen aan de rekenkamer en de geauditeerde Rekenkamer Geniet vertrouwen van geauditeerde Reputatie rekenkamer Selecteert relevante thema s 13

27 Publicatiebeleid ontwikkelen van verspreidingskanalen en communicatiemethoden Bevoegdheid en institutionele inbedding rekenkamer Geauditeerde Structurele inbedding van gebruik wetenschappelijke kennis (procedures, kennismanagement, ) Aard van het beleidsdomein (vertrouwdheid met evaluatie en audit, technisch karakter van beleidsdomein, autonomie geauditeerde, ) Houding tegenover kennis, auditminded of niet MACRONIVEAU Factoren eigen aan de publieke sector Politiekinstitutioneel (bijvoorbeeld algemene regels met betrekking tot Institutionele inbedding van evaluatie stelsel onderbouwing nieuwe rechtsregels, verplichting beleid regelmatig te evalueren, ) Kenmerken van het politieke systeem (opstelling parlement tegenover regering, partijdiscipline, mate van complexiteit in compromisvinding in besluitvormingsproces, ) Waarden op Houding tegenover kennis, de evaluatiecultuur vlak van bestuur en beleid Bron: Van Loocke & Put, 2010, pp Vervolgens bekeken ze welke factoren vaker terugkeren in bestaande empirische studies naar de impact van performance auditing, en waaraan meerdere auteurs een groot gewicht toekenden. In onderstaand schema geven ze de tot nu toe bekende en meest plausibele causale relaties weer. Dit zijn allemaal factoren op microen mesoniveau. 14

28 Figuur 2. Meest plausibele causale relaties factoren impact (Van Loocke & Put, 2010, p. 212) Van Loocke & Put (2010) stelden echter ook vast dat deze studies een aantal belangrijke blinde vlekken vertonen. Zo was er in de onderzochte impactstudies geen aandacht voor de kwaliteit van het rapport en de verspreiding van de resultaten, terwijl de literatuur over doorwerking van beleidsevaluatie hier wel veel belang aan hecht. Wanneer Van Loocke & Put deze faciliterende factoren bespreken, maken ze geen onderscheid tussen de mogelijke verschillende types van impact. Sterck (2007) wijst er echter op dat de manier waarop naar performance audits en hun impact wordt gekeken, ook de visie op de factoren die impact bevorderen, beïnvloedt. Als impact vanuit het blaming -perspectief wordt gedefinieerd als kennis van en gebruik door het parlement, spelen volgens haar vooral volgende factoren een rol: geloofwaardigheid en reputatie van de rekenkamer, kwaliteit van het auditrapport, relatie met het parlement en 15

29 contextuele factoren zoals media-aandacht en timing. Het is pas wanneer het learning -perspectief wordt ingenomen, dat ook de kenmerken van het auditproces en de kenmerken van de omgeving waarbinnen de audit plaatsvindt, belangrijk worden. 3. Methodologie In deel wordt eerst bekeken hoe men in het bestaande onderzoek impact meet (3.1). Daaruit blijkt dat er reeds een vragenlijst ontwikkeld werd om de impact van performance audits te onderzoeken (Morin, 2004, 2008). Verder in deze paragraaf zal blijken dat deze geschikt is om de complexiteit van het begrip impact en de beïnvloedende factoren op een bevredigende manier te operationaliseren. In 3.3 wordt de onderzoeksopzet beschreven die voortvloeit uit de beslissing om deze bestaande vragenlijst te gebruiken. 3.1 Impact meten Percentage geïmplementeerde aanbevelingen De meest gehanteerde indicator voor impact is het percentage geïmplementeerde aanbevelingen. Dit geldt zowel voor het onderzoek naar de impact van performance audits al dan niet uitgevoerd door rekenkamers zelf - (Lonsdale, 1999; Morin, 2001; Sterck, 2007; Van Loocke & Put, 2010, 2011) als voor dat naar het gebruik van beleidsevaluaties (Widmer & Neuenschwander, 2004). Deze indicator kent heel wat beperkingen (Lonsdale, 1999; Morin, 2001; Van Loocke & Put, 2010, 2011): - Hij brengt enkel instrumentele impact in beeld, terwijl duidelijk is dat dit begrip veel complexer is (zie hoger); - Hij houdt geen rekening met het relatieve belang (financieel of maatschappelijk) van de aanbevelingen of met hoe moeilijk implementatie is; - Sommige verbeteringen worden al doorgevoerd tijdens de audit: er worden dan geen aanbevelingen over geformuleerd, terwijl er wel impact was; 16

30 - Het toepassen van een aanbeveling hoeft niet noodzakelijk tot een verbetering te leiden en het niet toepassen van aanbevelingen is niet noodzakelijk slecht; - De indicator zegt weinig over de echte invloed die men heeft gehad op de gang van zaken in de geauditeerde instelling. De vragenlijst van Morin Morin (2001, 2004, 2008) onderzoekt de impact van performance audits op een manier die tegemoet tracht te komen aan de hoger geschetste beperkingen. Ze bekijkt audit als een proces van sociale beïnvloeding tussen de auditeur en de geauditeerde, en ze onderzoekt de impact ervan op het management van de geauditeerde organisaties vanuit het standpunt van die laatste. Ze probeert op die manier de complexiteit van impact beter in beeld te brengen. Het werk van Morin situeert zich duidelijk binnen het learning -perspectief op impact (Sterck, 2007). Op basis van kwalitatief onderzoek naar de impact van zes audits van de rekenkamers van Québec en Canada (2001) ontwikkelde Morin een vragenlijst, die ze reeds toepaste in Québec en de andere Canadese provincies, Frankrijk en Australië (D. Morin, persoonlijke communicatie, 8 januari 2014). Deze vragenlijst wordt ook in dit onderzoek gebruikt, omdat het de enige bestaande vragenlijst is om impact van performance audits te meten, die bovendien goed empirisch onderbouwd is. Ook Etverk (2002) en Weets (2011) baseerden zich op het werk van Morin: ze deden echter kwalitatief onderzoek op basis van haar operationalisering van impact. Hieronder wordt nagegaan in welke mate de hoger geschetste complexiteit van het begrip impact kan worden geoperationaliseerd met de vragenlijst. Morin operationaliseert impact via 12 thema s ( elements of measurement ), die telkens bestaan uit minimaal 1 en maximaal 17 items. De items kunnen geclusterd worden rond onderliggende factoren (2008). Tabel 2 toont welke aspecten van het complexe begrip impact via de thema s, factoren en - waar relevant - 17

31 items geoperationaliseerd worden. Een vraagteken betekent dat het betreffende onderscheid niet expliciet blijkt uit de vraagstelling. De Nederlandse vertaling van de vragenlijst werd opgenomen in Bijlage 1. 18

32 Tabel 2 Operationalisering impact door de vragenlijst van Morin Thema Bron: resultaat-/ Factoren proces-gebaseerd? Item 1. Bijdrage van performance audit(s) Actie: geauditeerden aanzetten tot actie Klokkenluider: de aandacht van de autoriteiten wekken voor specifieke problemen O.a. item: Een nieuw licht werpen op de situatie? Instrumenteel Strategisch Conceptueel Bedoeld? Tijd? Ja? 2. Relevantie van de aanbevelingen Nvt eerder factor die impact beïnvloedt (zie verder) 3. Betrouwbaarheidskeurmerk: vertrouwen in organisatie beïnvloed?? Conceptueel Ja? 4. Preventief effect Cf. algemeen ontradend effect (Lonsdale,1999) 5. Invloed op managementpraktijken? Ja? 19

33 6. Relaties met belangengroepen: verbetering/verslechtering 7. Bruikbaarheid van het auditrapport Instrument van verandering Referentie-instrument Onderhandelingsinstrument 8. Concrete acties naar aanleiding van de performance audit 9. Gevolgen voor de organisatie (negatieve, o.a. organisationele verlamming ) 10. Persoonlijke consequenties (positieve en negatieve) 11. Impact op het management Verbetering Instrumenteel? Nee? Resultaat-gebaseerd Instrumenteel Conceptueel Strategisch Ja End-of-cycle en LT? Instrumenteel Ja End-of-cycle en LT? Instrumenteel Nee?? Procesgebaseerd:affectief Nee?? Ja? 20

34 Verslechtering Nee 12. Globale effect van de performance audit? Ja? 21

35 Wat de bron-dimensie van impact betreft, is er één thema dat expliciet peilt naar het gebruik van de resultaten van de audit, nl. 7: bruikbaarheid van het auditrapport, met een duidelijk onderscheid tussen instrumenteel, conceptueel en strategisch gebruik. De andere thema s peilen allemaal naar de bijdrage, invloed, gevolgen, impact of het effect van de audit, zonder te specifiëren of dit zou moeten uitgaan van het resultaat of het proces. De respondent is dus vrij om ofwel het proces, ofwel het resultaat, ofwel het geheel in overweging nemen. Vier van deze thema s peilen naar een instrumentele vorm van impact: 1 (factor actie ), 5, en 8. Thema 3, over de invloed op het vertrouwen in de organisatie, is een vorm van cognitieve of conceptuele impact. Dit geldt ook voor één specifiek item in thema 1: een nieuw licht werpen op de situatie verwijst zelfs expliciet naar de verlichtingsfunctie van Weiss (1977). De factor klokkenluider van thema 1 peilt naar de strategische vorm van impact. De thema s 11 en 12 daarentegen, zijn zo algemeen geformuleerd dat het onderscheid instrumenteel conceptueel strategisch niet gemaakt kan worden: het hangt af van de interpretatie van de respondent. Thema 10 tot slot, doet eerder denken aan een affectieve invloed van het auditproces. Op de intentie-dimensie van impact, peilt de vragenlijst vooral naar bedoelde effecten, wat evident is gezien de doelgerichtheid van audits. Ook enkele onbedoelde effecten komen aan bod. Thema 6 gaat over de relaties met belangengroepen. Thema 9 peilt naar negatieve gevolgen voor de organisatie, met items over de neveneffecten ossificatie, myopie en verlies van ambitie. In thema 10 komen persoonlijke consequenties positieve en negatieve aan bod. De tijdsdimensie tot slot, is slechts zelden geëxpliciteerd. Enkel bij de thema s 7 en 8 is het duidelijk dat het enkel end-of-cycle of lange termijn kan zijn. Concluderend kan gesteld worden dat de vragenlijst van Morin geschikt is om de complexiteit van het begrip impact volgens het 22

36 traditionele perspectief te operationaliseren. Hij lijkt genoeg informatie te bieden om het onderscheid tussen instrumentele, conceptuele en strategische impact op een inhoudsgeldige (Billiet & Waege, 2003) manier te kunnen maken. Ook enkele belangrijke neveneffecten kunnen ermee in beeld worden gebracht. Het instrument is niet geschikt om het onderscheid te maken tussen proces of product als bron van impact. Ook de tijdsdimensie blijft impliciet. De volledige complexiteit van Kirkhart s model (2000) kan er dus niet mee gevat worden. In verband met de hoger vermelde elementen die specifiek zijn voor performance auditing, is het duidelijk dat thema 4 peilt naar het algemeen ontradend effect dat Lonsdale (1999) identificeerde. De vragenlijst kent twee grote beperkingen. Het eerste nadeel werd ook expliciet erkend door Morin (2008): het gaat om een zelfrapporteringsvragenlijst, waarin enkel het standpunt van de geauditeerde aan bod komt, zonder toetsing aan andere bronnen. Er is dus geen sprake van objectiviteit. Een tweede beperking is dat de vragenlijst peilt naar de impact van de performance audit(s), zonder te specifiëren van welke precies. Voor respondenten die slechts één performance audit hebben meegemaakt, is dit duidelijk, maar aan de respondenten die er meerdere hebben meegemaakt, wordt op deze manier een algemene indruk gevraagd. En dit terwijl performance audits een zeer heterogeen product zijn, zelfs binnen één rekenkamer (Van Loocke & Put, 2010, p. 206). Hoewel een analyse op auditniveau dus interessant zou zijn, is dit op basis van de vragenlijst van Morin onmogelijk. 3.2 Informatie over de factoren die impact bevorderen De vragenlijst van Morin peilt ook naar een heleboel factoren die de impact van audits zouden kunnen beïnvloeden. Relevantie van de aanbevelingen beschouwt ze zelf als een thema binnen impact, maar in dit onderzoek wordt het in navolging van Van Loocke & Put (2010) - als mogelijk beïnvloedende factor gezien. Tabel 3 geeft een overzicht van de factoren die worden bevraagd. De vragenlijst peilt telkens of de factoren in kwestie de impact versterken of 23

37 verzwakken. De factoren waarvan Van Loocke & Put (2010) een causale invloed plausibel achten (zie Figuur 2), staan gemarkeerd. Tabel 3 Factoren die aan bod komen in de vragenlijst Omgevingsfactoren Plaats van de aanbevelingen binnen de prioriteiten van het management Bereidheid van de medewerkers van de geauditeerde organisatie Politieke wil Bereidheid van belangrijke overheden Timing van de performance audit Een grote reorganisatie Het vertrek van sleutelfiguren Hervormingen op overheidsniveau Relatie met de auditeurs Geloofwaardigheid Legitimiteit van de interventie van de auditeurs Leiderschapsstijl Communicatie Openheid Relatie met de auditeurs: bronnen van ontevredenheid Respons van parlementsleden Media-aandacht Terugkoppelend naar het schema van Van Loocke & Put (2010) kan gesteld worden dat enkel druk vanuit belangengroepen niet geoperationaliseerd wordt door de vragenlijst van Morin. De toevallige gebeurtenissen worden gevat in de open antwoordmogelijkheid andere die de vragenlijst voorziet onder omgevingsfactoren. 24

38 De blinde vlekken die Van Loocke & Put (2010) vaststelden in de bestaande studies, m.n. geen aandacht voor de kwaliteit van het rapport en de verspreiding van de resultaten, worden door deze vragenlijst ook niet ingevuld. Anderzijds kan wel worden verwacht dat er binnen het Rekenhof op deze punten voor alle verslagen over performance audits dezelfde minimumstandaarden en richtlijnen worden gehanteerd. In het onderdeel over de respons van parlementsleden wordt volgende vraag gesteld: Heeft/hebben de performance audit(s) geleid tot parlementaire vragen of hoorzittingen in een parlementaire commissie? De antwoorden op deze vraag zeggen iets over de parlementaire interesse voor de audits, waardoor dus ook impact vanuit het blaming -perpectief op indicatieve wijze wordt geoperationaliseerd. 3.3 Onderzoeksopzet Dataverzamelingsmethode In deze studie werd gekozen voor een survey-onderzoek, om meerdere redenen (Billiet & Waege, 2003). Ten eerste is de theorievorming rond de onderzochte concepten al voldoende ontwikkeld. Ten tweede: de bestaande studies naar de impact van performance audits die het begrip op een brede manier invullen, zijn Morin (2004) en (2008) uitgezonderd - allemaal kwalitatief van aard. De ambitie van deze masterproef is om te kunnen komen tot uitspraken met een grotere externe geldigheid. En tot slot: zoals hoger aangetoond, is er een bestaande vragenlijst waarmee de concepten die nodig zijn om de onderzoeksvragen te kunnen beantwoorden, op een bevredigende manier kunnen worden geoperationaliseerd. Er werd toelating verkregen van de auteur om de vragenlijst te gebruiken en te vertalen. De voorwaarden waren dat er niets aan zou worden veranderd en dat de geanonimiseerde data door de auteur zouden mogen worden gebruikt voor internationaal vergelijkend 25

39 onderzoek. Dit impliceerde ook dat het onderzoeksopzet vergelijkbaar diende te zijn met Morin (2004) en (2008). Omwille van de beperkte tijd werd de vragenlijst niet aangevuld met informatie uit andere bronnen waarmee een vollediger en objectiever beeld zou kunnen geschetst worden van de verschillende aspecten van impact en de manier waarop verschillende factoren deze kunnen beïnvloeden (vb. interviews, parlementaire stukken, krantenartikels, informatie van het Rekenhof, ). Populatie en steekproef De onderzoekseenheden in deze studie zijn ambtenaren van overheidsorganisaties die een of meerdere performance audits van het Rekenhof hebben ondergaan in een welbepaalde periode, en die zelf interactie hebben gehad met de auditeurs. Het onderzoek werd beperkt tot organisaties binnen de Belgische federale overheid. Op deze manier werden de factoren op macroniveau die mogelijk een invloed zouden kunnen hebben op de impact van de performance audits (zie 2.5) constant gehouden, waardoor het onderzoek gefocust kon worden op de factoren op micro- en mesoniveau die Van Loocke & Put (2010, 2011) identificeerden. De onderzochte periode was Net zoals in de meeste studies die Van Loocke & Put (2010, 2011) inventariseerden, werd gekeken naar audits die 4 jaar of langer geleden werden gepubliceerd, om voldoende rekening te kunnen houden met de soms lange doorlooptijd tussen de bekendmaking van de resultaten van een audit en de veranderingen die bij de geauditeerden optreden. De periode werd beperkt tot 5 jaar (waar Morin 7 jaar hanteerde) om ervoor te zorgen dat de oudste audits in het onderzoek niet te ver in het verleden zouden liggen. Uit de auditrapporten bleek immers dat het veldwerk vaak één tot soms zelfs twee jaar voor de publicatiedatum gebeurde. 26

40 Als basis voor de selectie van audits, werd de lijst van auditrapporten gebruikt die het Rekenhof zelf hanteerde als basis voor haar Synthese van normen uit doelmatigheidsonderzoek ( ) (2011). Dit garandeert dat het gaat om audits die het Rekenhof zelf beschouwt als performance audits. Alle 49 audits gepubliceerd tussen 2005 en 2010 werden opgenomen in het onderzoek (zie lijst in Bijlage 2). In de auditverslagen werd nagegaan welke overheidsorganisaties hierbij betrokken waren: het aantal varieerde tussen 1 en 15 organisaties per audit. In totaal ging het om 44 verschillende organisaties. Het aantal audits per organisaties varieerde tussen 1 en 12. De ambtenaren van deze overheidsorganisaties die zelf interactie hebben gehad met de auditeurs in het kader van deze audits, vormden de empirische of operationele populatie voor dit onderzoek (Billiet & Waege, 2003; Swanborn, 1987). Net zoals in de studies van Morin, werd er geen medewerking gevraagd aan het Rekenhof. Er kon dus niet aan de auditeurs gevraagd worden welke ambtenaren precies betrokken waren bij de audits. Via werd aan de leidend ambtenaren van de organisaties gevraagd of ze bereid waren om deel te nemen aan het onderzoek, en, zo ja, of ze dan een lijst van adressen konden bezorgen van medewerkers die betrokken waren geweest bij de performance audit(s) in hun organisatie. De tekst van de werd gebaseerd op de uitnodiging die ook door Morin werd gebruikt. Het logo van de KULeuven en de gegevens van de promotor werden toegevoegd om de kans op respons te verhogen. Het feit dat de onderzoeker zelf op het Rekenhof werkt, werd niet vermeld, omdat het uitdrukkelijk niet om een onderzoek van het Rekenhof ging en om eventueel sociaal wenselijke antwoorden te vermijden. Na twee herinneringen leverde dit 24 positieve antwoorden op. Later, na het versturen van de vragenlijst naar de leidend ambtenaren, kwamen er nog 2 bij. 9 organisaties lieten expliciet weten niet te willen deelnemen: - 3 organisaties gaven personeelstekort en/of andere prioriteiten aan als reden; - 1 organisatie gaf geen reden op; 27

41 - 5 organisaties allemaal openbare instellingen van sociale zekerheid - waren volgens het auditverslag allemaal betrokken bij eenzelfde audit (nr 14), maar waren naar eigen zeggen nooit rechtstreeks bevraagd door de auditeurs omdat alle contacten gecentraliseerd verliepen. Meerdere leidinggevenden van deze instellingen lieten weten dat er in overleg was beslist dat er ook voor deze studie een gecentraliseerd antwoord zou komen. Van 9 organisaties werd geen antwoord ontvangen. Uiteindelijk konden er zo 148 adressen worden verzameld. De leidend ambtenaren die niet expliciet hadden aangegeven dat ze het invullen van de vragenlijst zouden delegeren, werden ook in deze steekproef opgenomen. Indien in het proces van dataverzameling een respondent aangaf dat hij of zij niet de meest geschikte persoon was om te bevragen, werd doorgevraagd naar eventueel geschiktere respondenten. Ook deze adressen zitten in de steekproef van 148. Deze manier van werken kan beschouwd worden als een vorm van sneeuwbalsteekproeftrekking. Dit maakt dat het onderzoek niet gebaseerd is op een toevalssteekproef, waardoor strikt genomen geen statistische veralgemening toegelaten is (Billiet & Waege, 2003). Websurvey De vragenlijst van Morin bestond al in het Engels en in het Frans. Hij werd vertaald in het Nederlands. Het eerste deel, over de achtergrondgegevens van de respondent (o.a. type organisatie, functie, opleidingsniveau, ), werd aangepast aan de Belgische context. Deze aanpassingen gebeurden ook in de Franse versie van de vragenlijst. In deel twee, over de impact en de beïnvloedende factoren, werd zoals met de auteur afgesproken, niets gewijzigd of toegevoegd. Dit geldt zowel voor de vorm als de inhoud. Daardoor was het ook weinig zinvol de vragenlijst uitvoerig te testen. De vertaling werd wel nagelezen en gecorrigeerd door een professionele redacteur-vertaler. 28

42 Deel één van de vragenlijst bestond uit 9 meerkeuzevragen. In 5 gevallen met de open antwoordmogelijkheid andere. Deel twee bestond uit 17 vragen van het array -type. Telkens moesten er 1 tot 16 items gescoord worden op een 7-punts Likert schaal. Er werd aan de respondenten gevraagd om het antwoord aan te duiden dat het best overeenstemt met hun perceptie. De scores 1, 3, 5 en 7 waren voorzien van een label, aangepast aan de uitspraak. Een voorbeeld van deze labels is: 1 = helemaal niet, 3 = beperkt beïnvloed, 5 = in enige mate beïnvloed en 7= zeer sterk beïnvloed. Er was een neutraal middelpunt en ook de optie geen mening of weet het niet was beschikbaar. Vermits het om een geïnformeerde opinie ging over een concreet onderwerp, is dit volgens Billiet & Waege (2003) verantwoord. Ook de andere kenmerken van de schaal waren in overeenstemming met hun richtlijnen. Voorts kreeg de respondent na elke vraag de mogelijkheid om andere aan te vullen. De vragenlijst besloot met een open vraag waar de respondent aspecten die nog niet aan bod kwamen, kon meegeven. Er werd gebruik gemaakt van de websurveydienst van de KULeuven. Deze gebruikt Limesurvey als software. De vragenlijst en de bijbehorende uitnodigings- en herinneringsmails werden opgemaakt in het Nederlands en in het Frans, om de respondenten in hun eigen taal te kunnen motiveren en bevragen. De respondenten kregen een persoonlijk token om de vragenlijst in te vullen. Hiermee konden ze later ook worden geïdentificeerd. Ondanks het feit dat hun gegevens werden doorgegeven door hun leidinggevenden, werd er de nadruk op gelegd dat deelname vrijwillig was. Op 24 maart 2014 werd een eerste groep van 80 respondenten uitgenodigd om deel te nemen. Op 31 maart 2014 volgde een volgende groep van 45 respondenten. De anderen werden uitgenodigd van zodra hun gegevens werden verkregen. Wekelijks op maandag kregen diegenen die de vragenlijst nog niet hadden ingevuld of niet hadden laten weten niet te zullen deelnemen, een herinneringsmail. 30% van de respondenten kreeg één herinneringsmail, 40% twee en 13% drie. De dataverzameling werd na 4 weken afgesloten op 20 april

43 Data-analyse Het uiteindelijke gegevensbestand werd volledig geanonimiseerd. De analyse gebeurde met SPSS. De kenmerken van de respons en non-respons werden geanalyseerd aan de hand van beschrijvende statistieken. De kenmerken van de respondenten die de vragenlijst al dan niet volledig invulden, werden bekeken via frequentie- en kruistabellen. Om na te gaan of eventuele verschillen tussen beide groepen significant waren, werd de chikwadraat toets voor onafhankelijkheid waar zinvol uitgevoerd, maar deze was uiteindelijk nergens interpreteerbaar omdat er te veel cellen waren met verwachte frequentie < 5 (Pallant, 2005). Voor de analyse van de impact werd de werkwijze gehanteerd uit Morin (2004). Per item uit de vragenlijst werd de gemiddelde score berekend en deze resultaten werden vervolgens beschreven. De scores geen mening of weet het niet werden als missing values beschouwd. Om factoranalyses uit te voeren en factorscores te berekenen zoals in Morin (2008), was zoals zal blijken in 4.1 de steekproef te klein. Voor factoranalyse zijn er immers minstens 5 respondenten per item nodig (Pallant, 2005), en dit was in deze studie niet het geval. Ook voor de analyse van de factoren die impact bevorderen werd vertrokken van de werkwijze uit Morin (2004). Per item uit de vragenlijst werd de gemiddelde score berekend en deze resultaten werden vervolgens beschreven. De scores geen mening OF weet het niet werden als missing values beschouwd. Bijkomend werd echter ook telkens het verband onderzocht tussen de verschillende itemscores en het oordeel van de respondenten over het globale effect van de performance audit op hun organisatie (vraag 12 uit de vragenlijst). Hiervoor werd de non-parametrische Spearman s rangcorrelatiecoëfficient gebruikt ( ): enerzijds omwille van de kleine steekproef en anderzijds omdat de individuele itemscores op een 7-puntsschaal geen continue variabelen zijn, maar eerder variabelen van ordinaal niveau (Pallant, 2005). 30

44 Aanvullend werden de beschikbare antwoorden op de open vragen andere geanalyseerd, om na te gaan of ze konden bijdragen aan de interpretatie van de kwantitatieve gegevens. 4. Resultaten In dit deel worden de resultaten van het survey-onderzoek beschreven. Vooraleer in de paragrafen 4.2 en 4.3 de resultaten worden voorgesteld die moeten toelaten een antwoord te formuleren op de twee onderzoeksvragen, wordt paragraaf 4.1 volledig gewijd aan een grondige analyse van de (non-)respons. 4.1 Responsgraad De websurvey resulteerde in 46 volledig ingevulde vragenlijsten. Dit is een respons van 31%. Bij Morin (2004, 2008) was dit 53%. Daarnaast werden 31 vragenlijsten (21%) gedeeltelijk ingevuld. Er was een non-respons van 48%. Tabel 4 Responsgraad Aantal Procent % Respons: volledig ingevulde vragenlijst Gedeeltelijke non-respons: niet % volledig ingevulde vragenlijst Non-respons: geen antwoord % Totaal % Morin (2004, 2008) besteedt in haar publicaties geen aandacht aan de non-respons, terwijl een analyse ervan belangrijk is om na te gaan in welke mate de non-respons afwijkingen veroorzaakt t.o.v. de populatie (Billiet & Waege, 2003; Swanborn, 1987). Analyse op niveau van de audits De 46 volledig ingevulde enquêtes komen van respondenten die betrokken waren bij 24 verschillende audits. Dit is 49% van alle performance audits gepubliceerd tussen 2005 en In Bijlage 2 31

45 werden de nummers van de audits waarover geen informatie werd verkregen, doorstreept. Analyse op niveau van de organisaties De 46 volledig ingevulde enquêtes komen uit 18 verschillende organisaties. Dit is 41% van de organisaties betrokken bij de performance audits gepubliceerd tussen 2005 en Tabel 5 toont dat organisatie O alleen instaat voor 34,8% van de respons. Deze antwoorden hebben betrekking op 8 verschillende audits (32% van de respons op auditniveau). Belangrijk om weten is dat organisatie O de grootste overheidsdienst is binnen de federale overheid (Hondeghem, 2011). De organisaties O, G, N en P samen, staan in voor meer dan 50% van de respons. Tabel 5 Respons per organisatie Organisatie Respons Percentage v/d respons (cumulatief) O 16 34,8% G 3 41,3% N 3 47,8% P 3 54,3% Onderstaande grafiek toont de spreiding van de gedeeltelijke nonrespons (Volledige enquête = nee), de respons (Volledige enquête = ja) en de volledige non-respons over de verschillende organisaties. De organisaties met slechts één respondent doorgaans de leidend ambtenaar werden samengevoegd in de categorie XX. 32

46 Figuur 3. Spreiding van de (non-)respons over de organisaties Figuur 3 toont dat er 6 organisaties waren waar, hoewel er bereidheid was om mee te werken en er meer dan één respondent was doorgegeven, toch niemand de vragenlijst (volledig) invulde (AE, AG, AI, AK, T en Y). Analyse op niveau van de respondenten Op basis van de reacties van respondenten - waarvan sommigen spontaan mailden om uit te leggen waarom ze zelf of hun collega s niet deelnamen of de vragenlijst niet volledig invulden - werd volgende informatie verzameld over de redenen voor de (gedeeltelijke) non-respons. 33