Rapport 2006 D2006/10106/005

Transcriptie

1 Spoor financieel management en prestatiemeting De praktijk van performance audit: een drielandenstudie Miekatrien STERCK Veerle CONINGS Dr. Vital PUT Prof. Dr. Geert BOUCKAERT Rapport 2006 D2006/10106/005 Algemeen secretariaat - Steunpunt Beleidsrelevant onderzoek BESTUURLIJKE ORGANISATIE VLAANDEREN E. VAN EVENSTRAAT 2 C - B-3000 LEUVEN BELGIE

2 2

3 Inhoudstafel Inhoudstafel HOOFDSTUK 1. Inleiding Probleemstelling Types van externe audit Definitie van performance audit Het proces van performance audit Literatuur over performance audit Onderzoeksdesign HOOFDSTUK 2. Performance audit in de Nederlandse Algemene Rekenkamer Wettelijk mandaat Organisatie Proces van performance audit Auditproducten Methoden en technieken Impact van performance audit HOOFDSTUK 3. Performance audit in het National Audit Office van het Verenigd Koninkrijk Wettelijk mandaat Organisatie Proces van performance audit Auditproducten Methoden en technieken Impact van performance audit HOOFDSTUK 4. Performance audit in de Canadese rekenkamer Wettelijk mandaat Organisatie Proces van performance audit Auditproducten Impact van performance audit HOOFDSTUK 5. Conclusie Vergelijking van praktijken in performance audit, in internationaal perspectief Evoluties in performance audit Agenda voor de toekomst Referenties Steekproef performance audit rapporten documentenanalyse Lijst met figuren Lijst met tabellen Over de auteurs Overzicht publicaties

4

5 Hoofdstuk 1: Inleiding HOOFDSTUK 1. Inleiding 1.1. Probleemstelling 1. Heeft beleid effect? Bereiken we het effect op een efficiëntie manier? Er is een internationale tendens naar 'evidence-based policy' of beleid gebaseerd op resultaten. Daarenboven worden overheden steeds meer genoodzaakt aandacht te besteden aan de kosten en de budgettaire impact van beleidskeuzes. Er is dus nood aan informatie om na te gaan of overheidsmaatregelen daadwerkelijk het beoogde doel bereiken, of dit op een efficiënte wijze gebeurt en of men hierover transparant communiceert. 2. Waar audit traditioneel focuste op de wettigheid van de uitgaven en de overeenstemming van de rekeningen met de rapporteringsvereisten, is er sinds de jaren 70 een brede internationale trend om ook de zuinigheid, de efficiëntie en de effectiviteit van de overheidsuitgaven te onderzoeken. Dit noemt men performance audit of value-for-money audit. 3. Rekenkamers hebben een dubbele missie. Enerzijds, spelen ze de rol van parlementaire waakhond en ondersteunen ze de wetgevende macht in haar controle op de uitvoerende macht. Anderzijds, spelen rekenkamers een verbeterrol: de audits moeten leiden tot een beter werkende overheid. 4. Hiertoe verrichten ze drie types van audit (zie Tabel 1-1): - Financiële audit: geeft de overheid juiste en volledige financiële informatie aan het Parlement? - Rechtmatigheidsaudit 1 : zijn de overheidsuitgaven en inkomsten in overeenstemming met de wet? - Performance audit: bereikt de overheid haar doelstellingen op een efficiëntie en zuinige wijze en legt ze hierover correct verantwoording af aan het parlement? 5. Zowel in de versterking van de parlementaire controle als in het verbeteren van de werking van de overheid kunnen performance audits een belangrijke rol spelen. 1 Synoniemen zijn wettigheidsaudit en compliance audit 5

6 De praktijk van performance audit: een drielandenstudie Financiële audit Rechtmatigheidsaudit Performance audit Doel Onderzoeken of de rekeningen een getrouw beeld geven van de financiële werkelijkheid Beoordelen van de kwaliteit van de interne controlesystemen Nagaan of de handelingen van de overheid wettig zijn Frequentie Jaarlijks Jaarlijks Bij uitgaven (Vb. visum) Ad hoc Beoordeling van de drie E s : economy of zuinigheid, efficiëntie en effectiviteit Trend naar 4 de E: environment of milieubewustzijn Niet periodiek; kadert meestal in een bepaalde programmering Invalshoek Organisatie die rekening aflegt Overheid als geheel Verschillende invalshoeken mogelijk: instrument, organisatie, een uitgave, Verschillende invalshoeken mogelijk: een organisatie, een instrument, een project, een maatschappelijk probleem Onderzoeksobject Het boekhoudsysteem Overheidshandelingen die geregeld zijn door rechtsregels (aankopen, subsidiëren, innen van belastingen, personeel aanwerven, ) De organisatie De resultaten Het prestatiemeet-systeem Kennisbasis Boekhouden Recht Bestuurskunde, organisatieleer, sociologie, Tabel 1-1 Kenmerken van financiële audit, rechtmatigheidsaudit en performance audit. 5. Een aantal landen speelden een pioniersrol op het vlak van performance audit. In de late jaren 50 besteedde de Canadese Rekenkamer al aandacht aan performantie. In de jaren 60 volgden de Amerikaanse en de Zweedse rekenkamers. De Nederlandse Algemene Rekenkamer kreeg in 1976 het wettelijke mandaat om de drie E s te beoordelen, maar verrichtte hier voorheen al onderzoek naar (Dolmans, 1989; Stevers, 1979, Van der Doelen & Leeuw, 1991). Het National Audit Office kreeg pas in 1983 het wettelijke mandaat om performance audits uit te voeren. Dit was echter de wettelijke bevestiging van een bestaande praktijk (Dewar, 1997: ; White & Hollingsworth, 1999: 41). 6. Pollitt en Bouckaert beschreven de internationale evoluties in audit als volgt (2004: 73). In een eerste stadium focussen rekenkamers op de traditionele financiële audit en rechtmatigheidsaudit. In een tweede stadium worden daaraan elementen van performance audit en evaluatie toegevoegd. In een derde stadium, tenslotte, is de performance audit geïnstitutionaliseerd als een volwaardige auditactiviteit. De meerderheid van de rekenkamers in Europa (vb. Frankrijk, Duitsland, Nederland, Denemarken, Zweden, Noorwegen, Finland ) en de Angelsaksische landen (vb. Australië, Verenigde Staten, Verenigd Koninkrijk, ) hebben echter naast het auditen van de rekeningen ook 6

7 Hoofdstuk 1: Inleiding het wettelijke mandaat om performantie te toetsen. Ook in Zuid-Europa (vb. Italië, Portugal, Spanje, ) en Centraal- en Oost-Europa (vb. Bulgarije, Estland, Tsjechië, Hongarije, ) zijn er verschillende landen waar rekenkamers het wettelijke mandaat hebben om performance audits uit te voeren. Ook in Aziatische landen zoals Japan, India en Zuid-Korea hebben rekenkamers een value-for-money audit mandaat. Met uitzondering van Zuid-Afrika, komt performance audit in Afrika nog nauwelijks voor. Dit geldt ook voor het Midden-Oosten Types van externe audit 1. Men onderscheidt drie modellen om de externe audit te organiseren: het Westminster model, het Napoleontisch model en het collegemodel. De vraag rijst wat de impact is van de verschillende types op de praktijk van performance audit. 2. Het Westminster model is gekenmerkt door een sterke focus op de financiële verantwoording ten aanzien van het Parlement en de efficiëntie waarmee de administratie deze middelen gebruikt heeft, centralisatie van de macht in handen van de Auditor-General, sterke voorwaarden voor onafhankelijkheid en een belangrijke rol voor de Public Accounts Committee. Het Westminster model komt voor in het Verenigd Koninkrijk en de andere Commonwealth landen en in Denemarken en Ierland. 3. Het Napoleontische model focust op de rechterlijke functie. Landen als België, Frankrijk en Italië hebben een rekenhof. In dit systeem worden ambtenaren immers persoonlijk aansprakelijk gesteld indien er niet-geautoriseerde betalingen gebeuren. Naast de rechterlijke functie, heeft het hof ook een sterke controlefunctie op de uitgaven. Sommige van de rekenhoven oefenen namelijk ook een ex ante controle uit, bijvoorbeeld Portugal en Italië. Het Napoleontisch model werd traditioneel gekenmerkt door een focus op de wettigheid van de uitgaven. Dit is echter in evolutie. Rekenkamers kunnen het mandaat krijgen om performance audits uit te voeren, zoals gebeurd is in België en Frankrijk en de exante controles kunnen worden afgebouwd. 4. In het collegemodel wordt de rekenkamer geleid door een bestuur dat collectief beslissingen neemt. Aan het hoofd van het college staat een voorzitter. Dit type vinden we terug in Nederland, Duitsland, Japan en Zweden. Er is geen rechterlijke bevoegdheid. De rekenkamer rapporteert aan de Commissie Financiën in het parlement. Op dit vlak zijn er sterke gelijkenissen met het Westminster type. De focus van de audits varieert van financiële audit tot performance audit. Hiermee samenhangend zijn er ook verschillen in de professionele achtergrond van de auditors. 7

8 De praktijk van performance audit: een drielandenstudie 1.3. Definitie van performance audit 1. INTOSAI 2 definieert performance audit als volgt: performance audit betreft de audit van de zuinigheid, de efficiëntie en de effectiviteit en behelst de audit van - de zuinigheid waarmee de administratie gevoerd wordt en de toepassing van de principes en praktijken van goed beheer, - de efficiëntie waarmee de personele, financiële en andere middelen worden gebruikt. Dit omvat ook de beoordeling van informatiesystemen, prestatie-indicatoren en monitoringsystemen en - procedures die de geauditeerde entiteit ontwikkelt om de geïdentificeerde onvolkomenheden te verhelpen, en - de effectiviteit van de prestaties, het verband met de realisatie van de doelstellingen van de geauditeerde entiteit en de vergelijking van de actuele impact met de bedoelde impact (vertaling, INTOSAI, 1998, ). 2. Put (2005: 35) definieerde performance audits als: - empirische onderzoeken, - die plaatsvinden nadat beleidsbeslissingen zijn genomen (ex-post, retrospectief), - die gesteund zijn op een professionele methodologie, - waarbij een beoordeling wordt gegeven van - de resultaten van het overheidsbeleid in de samenleving (de prestaties van de overheid en de effecten daarvan), - de voorwaarden binnen de overheid om deze resultaten te realiseren (een goed management en een goed beleid), - de verantwoordingsinformatie over de resultaten van beleid door ministers aan het parlement; - die uitgevoerd worden door onafhankelijke en onpartijdige auditors die bijzondere bevoegdheden hebben om hun taak te kunnen uitoefenen; - en waarbij de onderzoeksresultaten leiden naar een publieke rapportering die bestemd is voor het parlement en die deel uitmaakt van de democratische parlementaire controle op de regering. 3. Een synoniem voor performance audit is value-for-money audit. In Nederland maakt men een onderscheid tussen doelmatigheidsonderzoeken, die gericht zijn op efficiëntie en doeltreffendheidonderzoeken die vooral kijken naar effectiviteit. In België spreekt men van de controle op de goede besteding van de rijksgelden. Het Belgische Rekenhof gebruikt het begrip doelmatigheidscontrole als koepelbegrip voor onderzoeken naar zuinigheid, efficiëntie en effectiviteit (Rekenhof, 2005). Operationele audit betreft de audit van interne controle systemen en heeft dus een beperktere betekenis. De term operationele audit is dan ook meer gangbaar in het domein van interne audit. 2 International Organization of Supreme Audit Institutions 8

9 Hoofdstuk 1: Inleiding 1.4. Het proces van performance audit 1. Het performance audit proces bestaat uit de volgende stappen (zie Figuur 1-1): - Auditplanning - Onderzoeksvoorstel - Uitwerken van de audit - Rapportering - Nazorg 1. Planning 2. Voorstel 3. Uitvoering 4. Rapport 5. Nazorg Figuur 1-1 De fasen in het performance audit proces 2. In de fase van de auditplanning worden de onderwerpen van de audits geselecteerd. De rekenkamer kan in principe onafhankelijk beslissen welke onderwerpen zij wenst te onderzoeken. In een aantal landen heeft het parlement echter ook de mogelijkheid om verzoekonderzoeken aan te vragen. Zo bijvoorbeeld zijn 90% van de onderzoeken van het Amerikaanse Government Accountabilty Office uitgevoerd op vraag van het Congres (GAO, 2003). In sommige landen kan ook de regering de rekenkamer om een onderzoek vragen. Bij de auditplanning kunnen externe actoren geconsulteerd worden zoals het parlement en de geauditeerde organisaties. De planning kan echter ook volledig intern verlopen zonder consultatie van externen. De auditplanning wordt dan ook niet in alle gevallen publiek kenbaar gemaakt. 3. Om de auditplanning te kunnen opstellen is het noodzakelijk zicht te krijgen op de evoluties en risico s in verschillende beleidsdomeinen. Hiertoe worden verschillende informatiebronnen, bijvoorbeeld beleidsnota s, strategische plannen, mediaberichten en statistieken systematisch opgevolgd. Dit noemt men het monitoringproces. 4. Vervolgens worden op basis van een aantal selectiecriteria de auditonderwerpen gekozen. Hierbij kan men verschillende selectiecriteria hanteren, zoals: - aanwijzingen van problemen ( bijvoorbeeld indicaties van inefficiëntie, ineffectiviteit, zwak management), - het financiële belang (hoe belangrijk is het domein op budgettair gebied? hoeveel besparingen zijn mogelijk?), - de toegevoegde waarde (is er al onderzoek naar dit onderwerp uitgevoerd?), - de interesse van het parlement (is het onderwerp relevant voor parlementsleden?), en 9

10 De praktijk van performance audit: een drielandenstudie - de haalbaarheid (zijn er voldoende middelen, expertise en informatie beschikbaar?). De selectie van de onderwerpen kan ook aangestuurd worden vanuit een meerjarig strategisch plan waarin prioriteiten worden geformuleerd betreffende beleidsdomeinen en types van audit. 5. De tweede fase van het performance audit proces bestaat uit het uitwerken van het onderzoeksvoorstel. Het onderzoeksvoorstel dient enerzijds als kwaliteitswaarborg en autorisatieinstrument binnen de rekenkamer. Anderzijds gebruikt men het als communicatie-instrument naar de geauditeerde. Een onderzoeksvoorstel kan uit de volgende elementen bestaan: - de afbakening van het onderzoek, - de formulering van de onderzoeksvragen, - de bepaling van de methoden en technieken van dataverzameling en analyse, - de normen waaraan de feiten getoetst zullen worden, - de organisatie, de planning en de kostprijs van het onderzoek, - de publicatiestrategie, en - de te verwachten effecten. 6. Na de selectie van het onderwerp en het uitschrijven van het onderzoeksvoorstel, kan de uitvoering van de audit beginnen. Het onderzoeksproces bestaat uit het uitwerken van de instrumenten voor gegevensverzameling, de daadwerkelijke gegevensverzameling, de kwantitatieve en/of kwalitatieve analyses van de data, de toetsing van de feiten aan de normen en het formuleren van aanbevelingen. De performance audits worden meestal uitgevoerd door teams, waarin ook externen kunnen betrokken worden. Bij de uitvoering van het onderzoek is de interactie met de geauditeerde cruciaal. Er moeten immers praktische afspraken gemaakt worden over de toegang tot informatie, er moeten inspanningen geleverd worden om een goede werkrelatie op te bouwen en om eventuele weerstanden weg te werken. 7. De rapportage van de performance audits kan op verschillende wijzen gebeuren. Meestal worden de resultaten van de performance audits in afzonderlijke rapporten gepubliceerd. Soms worden een aantal performance audits gebundeld in één gezamenlijk rapport. De performance audit rapporten hebben meestal de volgende structuur: - samenvatting van het rapport, - achtergrondinformatie over het thema, - informatie over de audit, - bevindingen, conclusies en aanbevelingen, en - reactie van de geauditeerde. 8. De rapporteringsprocedure verschilt van systeem tot systeem. In het Napoleontische model bespreekt de rekenkamer het draftrapport met de geauditeerde administratie om zeker te zijn van de juistheid en de volledigheid van de feiten. De bevoegde minister krijgt de kans om te reageren op de conclusies en aanbevelingen. De rekenkamer stuurt het rapport naar het parlement, meestal meer specifiek de commissie bevoegd voor financiën. In het Angelsaksische model, streeft men naar een consensus met de geauditeerde organisatie, zowel over de feiten als over de presentatie van de feiten. Dit noemt men de clearance procedure. Vervolgens wordt het rapport overgemaakt aan de 10

11 Hoofdstuk 1: Inleiding Public Accounts Committee (PAC) van het Parlement en wordt gepubliceerd. Na de hoorzittingen over het rapport, publiceert het PAC een eigen rapport met aanbevelingen. Hierop formuleert de regering dan een antwoord. 9. De nazorg is de laatste stap in het performance audit proces. Wanneer het rapport is gepubliceerd, is het proces nog niet afgelopen. Het kan besproken worden in de Commissie Financiën, maar soms ook in de vakcommissies. Soms is er ook media-aandacht voor de rapporten, al dan niet gezocht door de rekenkamer. Er wordt steeds meer aandacht besteed aan de opvolging van de aanbevelingen. Er worden ook interne en externe evaluaties van het audit proces gemaakt om lessen te trekken naar de toekomst. De performance audits kunnen ook resulteren in nevenproducten zoals best practice guides, de organisatie van conferenties of het publiceren van artikelen. Dit alles om de resultaten verder te verspreiden Literatuur over performance audit 1. Het wetenschappelijk onderzoek naar performance audit focust zich in eerste instantie op het beschrijven en exploreren van de praktijk van performance audits. Een eerste type van literatuur beschrijft het mandaat en de rollen van rekenkamers, wat zowel in single casestudies (English, 2003; Gunvaldsen & Karlsen, 1999; Leeuw, 1999), als in multiple case studies (Barzelay, 1997; Pollitt, 1999; Gray, Jenkins & Segsworth, 2002; Azuma, 2003; Schwartz, 1991). Een tweede type van literatuur beschrijft de verschilpunten en gelijkenissen tussen performance audit en beleidsevaluatie (Pollitt & Summa, 1997a). De institutionele omgeving blijkt een van de meest essentiële verschilpunten te zijn tussen audit en evaluatie, wat een impact heeft op de doelstellingen, de rapportering en de onderzoeksprogrammering. De vraag rijst in welke mate de verschillen tussen audit en evaluatie aan het vervagen zijn. Barzelay stelde bijvoorbeeld dat de meeste vormen van performance audit eigenlijk types van evaluatie zijn (Barzelay, 1997). 2. In tweede instantie is er de wetenschappelijke literatuur die audithervormingen poogt te verklaren. Een aantal auteurs bestudeerden de implementatie van managementhervormingen binnen rekenkamers als gevolg van New Public Management (English, 2003; Wilkins, 1995; Pollitt en Summa, 1997b; Funnel, 2003) en de hiermee gepaard gaande conflicten (Pallot, 2003; Funnel, 1997; Funnel, 2003) Onderzoeksdesign Onderzoeksvragen 1. De doelstelling van dit rapport is de praktijk van performance audit in drie rekenkamers in kaart te brengen en te vergelijken. Pollitt en anderen ontwikkelden een model om de praktijk van performance audit in kaart te brengen (Figuur 1-2) (1999). Dit model illustreert de verschillende stappen in het 11

12 De praktijk van performance audit: een drielandenstudie proces van performance audit van de programmering tot de rapportering (box 4 tot en met box 10). Daarnaast brengt het model ook een aantal factoren in kaart die een impact hebben op het proces van performance audit: - de grondwettelijke positie en het mandaat van de rekenkamer (box 2), - de competenties van het personeel (box 3), - algemene standaarden van performance audit (box 5), - de interactie tussen de rekenkamer en de geauditeerde en andere stakeholders (box 7), - de impact van de rekenkamer op de omgeving (regering, administratie, parlement, media, publieke opinie, ) (box 11), - de impact van de omgeving (regering, administratie, parlement, media, publieke opinie, ) op de rekenkamer (box 12) 2. Statutory powers 5. Performance audit methods standards criteria 1. SAI 4. Performance audit programme (selection of topics) 6. Performance audit studies in the field 8. Clearance process 9. Approval within SAI at top level 10. Performance audit 'products' (reports, etc.) 12. Impacts and influence of governments, parliaments, media (etc.) on SAI's 3. Staff skills 7. Specific interactions with audited bodies and other stakeholders 11. Impacts and influence of reports: on governments on parliaments on media and public opinion Figuur 1-2 Proces van performance audit (Pollitt et. al., 1999: 8) 2. Het Britse Department of International Development ontwikkelde een checklist om rekenkamers te evalueren (2005). In dit model worden factoren voor excellentie geformuleerd in 8 domeinen: de wettelijke positie, het leiderschap en de strategie, governance, de personele middelen, de nietpersonele middelen, de audit methodologie en het bereiken van de resultaten (zie Tabel 1-2). 12

13 Hoofdstuk 1: Inleiding Kerngebieden Factoren voor excellentie Organisatie Wettelijk mandaat - Onafhankelijkheid - Audit opdracht - Toegangsbevoegdheid - Rapportage Leiderschap en strategie - Visie - Strategie - Prioritisering - Interne communicatie Management Governance - Verantwoording - Behoorlijk bestuur Middelen Personele middelen - Rekrutering en behoud - Kwalificaties en vorming Niet-personele middelen - Financiën - Gebouwen - Voorzieningen en materiaal - Informatica - Kennis Processen Audit methoden - Gestandaardiseerde aanpak - Relaties met andere auditors - Kwaliteitsgaranties Externe relaties - Communictaiebleid - Reputatie - Samenwerking met geauditeerden - Samenwerking met parlement Outcomes Resultaten - Tijdigheid - Monitoring en nazorg Tabel 1-2 Checklist voor de evaluatie van rekenkamers (Department for International Development, 2005: 28) 3. De checklist die we in dit onderzoek gebruiken richt zich specifiek op het proces en de inbedding van performance audit en bestaat uit de volgende basisonderzoeksvragen: - Hoe is performance audit ingebed in het wettelijke mandaat? - Hoe is de organisatie afgestemd op de performance audit? - Hoe verloopt het proces van performance audit? - Welke auditproducten levert de rekenkamer af? - Welke methoden en technieken gebruikt de rekenkamer in de performance audits? - Wat is de impact van performance audits? 13

14 De praktijk van performance audit: een drielandenstudie Wettelijk mandaat 1. Ondanks het feit dat rekenkamers over de hele wereld performance audits kunnen uitvoeren, zijn er toch verschillen in het wettelijke mandaat tussen landen. Hoe ver reikt het wettelijke mandaat van rekenkamers om performance audits uit te voeren? Hoe is de reden van bestaan gedefinieerd in de wet? Ten eerste bekijken we het institutionele mandaat. Welke organisaties kan de rekenkamer auditen (departementen, openbare instellingen, overheidsbedrijven)? Kan zij enkel de administraties auditen of heeft ze ook de bevoegdheid om ministers de auditen? 2. Ten tweede onderzoeken we het materiële mandaat van rekenkamers. Hebben ze het mandaat om de kwaliteit van niet-financiële informatie te beoordelen? Kunnen ze zowel zuinigheid, efficiëntie als effectiviteit beoordelen? Het mandaat om effectiviteit te toetsen houdt echter niet in dat men de beleidskeuzes die op politiek niveau genomen zijn in vraag kan stellen. Het is dus cruciaal om de grenzen van het materieel mandaat af te toetsen. Acht de auditorganisatie zich bijvoorbeeld bevoegd om uitspraken te doen over de kwaliteit van regelgeving of over de verdeling van bevoegdheden tussen verschillende bestuursniveaus? Kan de rekenkamer oordelen over de keuze van beleidsinstrumenten (gegeven de doelstellingen) of over de adequaatheid van beleidsdoelstellingen (in vergelijking met de maatschappelijke problematiek waarop het beleid betrekking heeft)? 3. Ten derde bekijken we de toegangsbevoegdheid van de rekenkamer. Kan de rekenkamer op afdwingbare wijze informatie opvragen en zo ja, bij welke organisaties? Om haar taak te kunnen uitoefenen, heeft een rekenkamer in principe toegangsbevoegdheid tot alle nodige documenten. Soms kan het nodig zijn dat de rekenkamer informatie opvraagt bij gesubsidieerde private organisaties of private contractanten in geval van outsourcing. Het is echter ook mogelijk dat de rekenkamer geen toegang heeft tot bepaalde gegevens, bijvoorbeeld om redenen van nationale veiligheid. Wettelijk mandaat - Welke overheidsregulering bestaat er over externe audit? - Hoe is de reden van bestaan gedefinieerd in het mandaat van de auditorganisatie: wat is haar wettelijke opdracht? - Welke bevoegdheden heeft de rekenkamer: organiek / institutioneel? Wie kan / mag zij auditeren (departementen, openbare instellingen, overheidsbedrijven, )? Is er een follow-the-money mandaat? - Hoe ziet het materiële mandaat eruit? Welke aspecten mag zij beoordelen? Kan zij toetsen aan de 3 E's (economy, efficiëntie en effectiviteit)? Indien de auditorganisatie niet bevoegd is om effectiviteit rechtstreeks te beoordelen: hoe komt dit? - Welke onderzoeksbevoegdheden heeft de instelling? Van wie mag zij welke informatie opvragen? Zijn er overheidsgegevens waartoe zij geen toegang heeft? Box 1-1 Onderzoeksvragen over het wettelijke mandaat van rekenkamers. 14

15 Hoofdstuk 1: Inleiding Organisatie 1. Hoe organiseren rekenkamers zich om performance audits uit te voeren? In welke mate leidt een wijziging in het mandaat van rekenkamers ook tot een verandering in de organisatiestructuur? In het tweede deel van de onderzoekschecklist gaan we in op de organisatiestructuur, het personeelsbeleid, de prestatiemeetsystemen en de kwaliteitscontrole. Box 1-2 geeft een overzicht van de onderzoeksvragen over de organisatie van performance audit. Organisatie - Hoe is de rekenkamer georganiseerd? Op basis van welke principes is de auditinstelling gestructureerd: volgens producten (types audit), volgens beleidsdomeinen, matrixorganisatie? Op welke manier is performance audit organisatorisch ingebed: zijn er aparte afdelingen voor performance audit? ) - Wie doet performance audit? Welke vooropleiding hebben performance auditors (juridisch, accountancy, sociaal-wetenschappelijk,.)? - Welke opleidingen zijn voorzien (intern / extern)? - in welke mate wordt beroep gedaan op outsourcing? - Bestaan er binnen de rekenkamer systemen om de performantie te meten? - Hoe wordt de kwaliteit van de audits gewaarborgd? Box 1-2 Onderzoeksvragen over de organisatie van performance audit. Het proces van doelmatigheid 1. Hoe verloopt het proces van performance audit in de praktijk? Welke verschillen zijn er tussen rekenkamers in de indeling van het auditproces? Het derde deel van de onderzoekschecklist beslaat de verschillende stappen in het proces van performance audit, van de planning tot de nazorg (zie Box 1-3). Het proces van performance audit Auditplanning: - Worden er ook onderzoeken uitgevoerd op verzoek van parlement? - Op welke wijze worden onderwerpen geselecteerd? Wordt de selectie van onderwerpen aangestuurd via een expliciet strategisch kader? Wat is de inhoud van deze strategie? - Is er een systematische monitoring van de te controleren domeinen? Hoe is de monitoring georganiseerd? - Welke selectiecriteria worden gehanteerd 15

16 De praktijk van performance audit: een drielandenstudie - Wie stelt de onderwerpen voor? Is er voorafgaandelijk overleg met de opdrachtgever over het onderzoeksprogramma (met het parlement voor externe audit)? Is er voorafgaandelijk overleg met de te auditeren organisaties? - Wordt de onderzoeksplanning al dan niet kenbaar gemaakt buiten de auditorganisatie? - Wordt de effectiviteit van de selectie geëvalueerd? Onderzoeksvoorstel - Uit welke elementen bestaat het onderzoeksvoorstel? - Wordt het onderzoeksvoorstel gecommuniceerd aan de geauditeerde? - Worden externen betrokken bij het uitwerken van onderzoeksvoorstellen? Uitvoering van de audit - Hoe is de uitvoering van de audit georganiseerd? Hoe worden auditteams samengesteld? - Worden externen betrokken bij de uitvoering: is er een begeleidingscomité met externen, worden sommige activiteiten uitbesteed? Rapportering - Welke procedures bestaan er in verband met rapportering? Is er een tegensprekelijke procedure met de geauditeerde administratie en/of met de regering? - Op welke manier worden rapporten gepubliceerd: al of niet aparte publicaties per onderzoek, vormgeving, publiek toegankelijk...? Nazorg - Welke nazorg wordt geboden aan de geauditeerde? (bijv. adviesverlening bij de implementatie van aanbevelingen) - Hoe worden de auditresultaten gecommuniceerd naar de media? - Is er een bespreking in het parlement en zo ja, in welke parlementaire commissie? - Wordt een onderzoek na afloop geëvalueerd? - Worden aanbevelingen systematisch opgevolgd? Box 1-3 Onderzoeksvragen over het proces van performance audit. Auditproducten 1. Verschillende rekenkamers hebben het mandaat om performance audits uit te voeren, maar het type en het volume van performance audits kan wel verschillen tussen landen. In het vierde deel van de onderzoekschecklist gaan we na hoe belangrijk het aandeel is van performance audit in de totale auditactiviteit. Box 1-4 geeft een overzicht van de onderzoeksvragen over de auditproducten. 16

17 Hoofdstuk 1: Inleiding Auditproducten - Welke types audit worden uitgevoerd? (performance audit, wettigheidsonderzoek, financiële audit) Tot welke producten leidt dit? - Wat is het aandeel van performance audit in de totale auditactiviteit (aantal rapporten / jaar, % financiële middelen, % personeel, )? - Op welke aspecten van performantie zijn de auditrapporten gefocust: beleid beheer prestaties effecten verantwoording? Box 1-4 Onderzoeksvragen over de auditproducten Aan de hand van een analyse van 15 recente performance auditrapporten van de drie rekenkamers beschrijven we het verschil in focus van de performance audits. Vellen de rapporten een oordeel over de geleverde prestaties en de bereikte effecten of beoordelen ze enkel de achterliggende voorwaarden op het vlak van beheer en beleid die nodig zijn om de prestaties en effecten te realiseren? Performance audits kunnen ook de verantwoording aan het parlement beoordelen. In welke mate komt dit voor? Tabel 1-3 geeft schematisch het analysekader voor categorisering van de focus van de normering in performance auditrapporten. We lichten de begripsdefiniëring hierna toe. Beheer Management Primair proces Organisatiestructuur Middelenmanagement Personeel Marketing Reguleringsmanagement Samenwerking Beleid Beleidskader Reglementair kader: wet- en regelgeving Institutioneel kader: taakverdeling Budgettair kader Prestaties Effecten Verantwoording Tabel 1-3 Analysekader voor de inhoud van performance auditrapporten 17

18 De praktijk van performance audit: een drielandenstudie 3. De categorie beheer heeft betrekking op het gedrag van de overheidsmanager. Wat speelt zich op managementvlak af binnen de organisatie? De categorie beheer bestaat uit verschillende subcategorieën: het management in algemene zin 3, het primaire proces 4, het middelenmanagement 5, de organisatiestructuur 6, het personeelsbeheer 7, de marketing 8, het reguleringsmanagement 9 en de samenwerking De begripscategorie beleid heeft betrekking op de normen over de omkadering voor het functioneren van de organisatie. We denken onder meer aan reglementen, budgetten en beleidsdoelstellingen. We stippen hierbij uitdrukkelijk aan dat het gaat om het normeren van het gedrag van politici. De aanbeveling tot gedragswijziging duidt dan op de verantwoordelijkheid van politici in het bepalen, wijzigen of bijstellen van onder meer de beleidsdoelstellingen, de beleidsinstrumenten en de financiële middelen. De diagnose gaat uit van de context waarbinnen de politici hun rol moeten spelen. Hierbij stippen we aan dat het onderscheid tussen beleid en beheer niet als een absoluut duaal gegeven moet geïnterpreteerd worden. Het spreekt voor zich dat het opdelen van verantwoordelijkheden voor politici, dan wel ambtenaren de mogelijkheid tot interferenties niet uitsluit. Het beleidsniveau wordt verder opgedeeld in volgende subcategorieën: het beleidskader 11, het reglementaire kader 12, het institutioneel kader 13 en het budgettaire kader Management heeft betrekking op het aansturen en opvolgen van primaire processen en het middelenmanagement. Normeringen die verwijzen naar het strategische plan, prestatiemeetsystemen, monitoring en voortgangsbewaking zijn voorbeelden van normeringen over het management. 4 Primair proces slaat op het voortbrengen van de prestatie (product of dienst) die naar buiten gaat. Primaire processen duiden in essentie op de kerntaken van de overheidsorganisatie. 5 Normen over middelenmanagement zijn gericht op het ondersteunen van het primaire proces en het management en kunnen aangeduid worden met het acroniem PIOFHA (personeel, informatie, organisatie, financiën, huisvesting, automatisering). Deze definitie breiden wij uit met aspecten van middeleninfrastructuur. We onttrekken ervan echter de aanbevelingen over het personeelsproces. 6 Organisatiestructuur slaat op de verdeling van taken en de coördinatie van deze taken binnen de organisatie. 7 Aanbevelingen over personeel hebben zowel betrekking op het personele proces (ter ondersteuning van het primaire proces en het management) als op de personele structuur (personeelsbestand met een bepaalde omvang, deskundigheid, cultuur, ). 8 Marketing slaat op het voorlichtingsbeleid dat de organisatie voort ten aanzien van haar klanten. 9 Reguleringsmanagement is een element van het reglementaire kader, en gaat in op de manier waarop de organisatie het kunnen uitvoeren van de wet- en regelgeving in de praktijk mogelijk maakt. 10 Samenwerking gaat over de relaties tussen de actoren, betrokken in het ten uitvoering brengen van het beleid. 11 De normering over het beleidskader gaat in op de beleidstheorie en de informatie die het beleid onderbouwt (ex ante) of evalueert (ex post). Het beleid is maar effectief als er een causaal verband bestaat tussen beleidsdoelstellingen, beleidsinstrumenten en beleidseffecten; kortom, als het beleid steunt op een juiste beleidstheorie. Ook normen over de kwaliteit van de beleidsinformatie vallen onder deze subcategorie. Is er een goed uitgebouwde diagnose van de problematiek, is de keuze van het beleidsinstrument gemotiveerd? Het zijn deze vragen die de auditor tracht te normeren. 12 Normen over het reglementaire kader gaan in op het wettelijke kader en de reglementaire bepalingen waarbinnen overheidsorganisaties handelen. De reglementaire bepalingen kunnen gaan over beheersmatige aspecten zoals begrotingsrecht, overheidsopdrachten, ambtenarenrecht en statutaire regelgeving, of over aspecten van inhoudelijke aard. 13 Het institutionele kader gaat over de wijze waarop taken zijn verdeeld tussen overheidsorganisaties en/of private organisaties, en de wijze waarop wordt samengewerkt (overlapping, hiaten, onsamenhangendheid, verkokering), de taakverdeling tussen het ambtelijke en het politieke niveau (bijvoorbeeld bij beleidsvoorbereiding en aansturing van en toezicht op administraties). 14 Vaststellingen over het budgettaire kader beoordelen hoeveel geld er beschikbaar is voor het beleid vanuit de begroting en het vermogen. Ze normeren het budgettaire systeem: gaat het om een één- of meerjarenfinanciering, is er afstemming tussen de financiële cyclus en de beheerscyclus, is er sprake van een kasboekhouding of een bedrijfseconomische boekhouding? 18

19 Hoofdstuk 1: Inleiding 9. Normen over prestaties hebben betrekking op de samenleving. Overheid en samenleving worden met elkaar verbonden vanuit de overheidsprestaties. Prestaties, zoals toegekende subsidies of uitgevoerde inspecties, zijn geen doel op zich. Ze worden ingezet om maatschappelijke doelstellingen (zoals het verminderen van de jeugdwerkloosheid, of het aanbieden van betaalbare gezondheidszorg voor iedereen) te bereiken. Prestaties bekijken we vanuit de invalshoeken: omvang, bereik, doorlooptijd, kwaliteit en kostprijs. 10. Normen over effecten verwijzen naar de functionaliteit van het gevoerde beleid voor de samenleving. Effectiviteit slaat op het bereiken van de doelstellingen van het beleid (doelbereiking), dankzij het beleid (doeltreffendheid). De bereikte effecten kunnen in de audit gekoppeld worden aan de kostprijs (kosteneffectiviteit). Ook kunnen de neveneffecten onderzocht worden. Deze normen hebben betrekking op de samenleving. 11. Normen over verantwoordingsinformatie verwijzen naar de informatie over het presteren van de overheid. Het gaat bij verantwoordingsinformatie om informatie die het parlement ontvangt van de regering. Methoden en technieken 1. De invoering van performance audits heeft geleid tot een uitbreiding van de methoden en technieken die auditors gebruiken. In het vijfde deel van de onderzoekschecklist brengen we dit in kaart (zie Box 1-5). Onderzoeksvragen over methoden en technieken - Welke handleidingen, procedures bestaan in verband met performance audit en waarop hebben deze betrekking? - Wordt ondersteuning geboden via intranet? Welke informatie is beschikbaar (informatie uit vorige onderzoeken, normendatabank.)? - Wordt enkel informatie verzameld bij de overheid of ook bij particulieren? - Wat zijn de belangrijkste bronnen van normen? - Welke types van onderzoeksdesign worden gebuikt? - Welke methoden worden gebruikt om data te verzamelen? - Welke methoden worden gebruikt om data te analyseren? Box 1-5 Onderzoeksvragen over methoden en technieken van performance audit. 2. We onderzoeken de methodologische ondersteuning die auditors krijgen, maar ook het daadwerkelijke gebruik van verschillende onderzoeksdesigns, dataverzamelingsmethoden en technieken van data-analyse. Hiertoe analyseren we een recente steekproef van 15 audit rapporten per rekenkamer. 19

20 De praktijk van performance audit: een drielandenstudie 3. Bij het ontwikkelen van het onderzoeksdesign moet men in de eerste plaats afbakenen op welke periode de audit betrekking heeft. Men kan nagaan wat de veranderingen zijn tussen de situatie voor en na een bepaalde beleidsmaatregel. Dit noemt men een voor- en nameting. Men kan ook enkel na gaan welke wijzigingen er zijn opgetreden na de beleidsmaatregel. Dat noemen we een nameting. Op de tweede plaats moet men beslissen of er gewerkt wordt met een controlegroep. Dit betekent dat men een groep die blootgesteld is aan een beleidsmaatregel gaat vergelijken met een groep waarop de beleidsmaatregel geen betrekking had, de controlegroep. Op de derde plaats moet men beslissen of men vergelijkingen gaat maken, met andere organisaties of in de tijd. 4. Als methoden van dataverzameling onderscheiden we de documentenanalyse 15, het interview 16, de survey 17, de observatie 18 en de expert opinie 19 (zie Tabel 1-4). Documentenanalyse en data-analyse Interview Primaire data Secundaire data Individueel Focus groep Observatie Participerende observatie Mystery shopping Survey Expert opinie Tabel 1-4 Methoden van dataverzameling in performance audits. 15 In de analyse van documenten onderscheiden we primaire data en secundaire data. Onder secundaire data verstaan we documenten die binnen de organisatie gebruikt worden en die niet ontwikkeld zijn voor onderzoeksdoeleinden. Dit omvat wet- en regelgeving, jaarverslagen, begrotingen, strategische plannen, databanken van de geauditeerde organisatie, dossiers van de geauditeerde organisatie, Het kan interessant zijn om op basis van statistieken aanwezig in de geauditeerde organisaties nieuwe analyses te ondernemen (NAO & Audit Scotland, X). Onder secundaire data begrijpen we gegevens over de organisatie of over het thema die verzameld zijn voor onderzoeksdoeleinden, zowel door de organisatie zelf als door andere actoren. Voorbeelden hiervan zijn officiële statistieken, vakliteratuur, audits en evaluatieonderzoeken en onderzoeksrapporten. 16 Interviews kunnen zowel individueel als in groep verlopen. Een groepsinterview noemt men ook wel een focusgroep. Indien in de performance audit rapporten interviews vermeld werden, maar niet expliciet gesteld werd dat er groepsinterviews uitgevoerd werden, dan hebben we deze gecodeerd als individuele interviews. Men kan zowel gestructureerde, semi-gestructureerde als open interviews houden. 17 De survey of vragenlijst wordt hoofdzakelijk gebruikt om speciefieke en gedetailleerde informatie te verzamelen bij een groep mensen of organisaties (Office of the Auditor General of Canada, 1994: 29). Het kan zowel gaan om postenquêtes, telefonische enquêtes, face-to-face surveys of vragenlijsten die per of op het Internet ingevuld worden. De surveys worden meestal afgenomen bij de geauditeerde organisaties, maar kunnen ook een ruimere populatie betreffen. 18 Observatie kan de auditor een genuanceerder inzicht verschaffen in de actuele situatie en kan de bevindingen geloofwaardiger maken (Office of the Auditor General of Canada, 1994). Men kan een veldbezoek uitbrengen en aan participerende observatie doen. Een andere techniek van observatie is mystery shopping. Mystery Shopping beoogt de daadwerkelijke dienstverlening vanuit het oogpunt van de klant of bezoeker te beoordelen. De Mystery Shopper of Guest doet zich voor als klant en observeert het volledige dienstverleningsproces, of een gedeelte daarvan. Dit kan zowel door ter plaatse te gaan of door contact op te nemen met de betrokken dienst via telefoon, , 19 Wanneer in een performance audit conclusies getoetst worden door externe deskundigen, spreken we van het gebruik van de expert opinie. Deskundigen worden geselecteerd op basis van hun professionele kwalificaties en ervaring in het veld. Expert opinies vomren een belangrijke bron van informatie bij de beoordeling van zaken die zeer moeilijk objectief te kwantificeren zijn (Office of the Auditor General of Canada, 1994). 20