Normen in performance audit Het Belgisch Rekenhof

Transcriptie

1 Normen in performance audit Het Belgisch Rekenhof Eddy Van Loocke eerste- auditeur- revisor Rekenhof De praktijk van performance audit - 18 mei

2 Indeling presentatie performance audit in het Rekenhof normen en audit aard auditthema s en normen bronnen van normen omgaan met normen De praktijk van performance audit - 18 mei

3 Performance audit in het Rekenhof Rekenhof is sinds 1998 bevoegd performance audit uit te voeren (artikel 5 van de organieke wet Het Rekenhof controleert a posteriori de goede besteding van de rijksgelden: het vergewist zich ervan dat de beginselen van zuinigheid, doeltreffendheid en doelmatigheid in acht worden genomen Rekenhof gebruikt het begrip doelmatigheidsonderzoek Bevoegd voor federale overheid, gemeenschappen, gewesten, provincies en hun openbare instellingen Sinds 2000 maakt performance audit ongeveer 5% tot 10% van de jaarlijkse auditactiviteiten uit Tussen 1999 en 2005 werden een 50-tal performance audits (of 7-8 per jaar) gepubliceerd; verslag is gericht aan parlement en is publiek ( Op korte termijn wellicht een kleine toename van het aandeel performance audit in de auditactiviteiten te verwachten (10-12 verslagen per jaar) De praktijk van performance audit - 18 mei

4 Normen en audit:het auditmodel Missie Rekenhof: Bijdragen tot een beter functionerende overheid door middel van audit ondermeer PA toestand as is Een audit is normatief normenkader toestand to be auditbevindingen verklaringen conclusies en aanbevelingen soms geen verklaring gezocht (blind vertrouwen in normen/ geen begrip voor afwijkingen) of niet gerapporteerd (geen hard bewijs) De praktijk van performance audit - 18 mei

5 Normen en audit: plaats van normen in het auditontwerp: geen rechtlijnig proces afgebakend auditthema De afstemming van het zorgaanbod op de Vlaamse beleidsdoelstellingen onderzoeksvragen: (impliciete hoofdnormen) toetsbare normen onderzoeksmethoden Wat is de technische kwaliteit van de doelstellingen? (impliciete hoofdnorm: doelstellingen zijn rationeel tot stand gekomen) Doelstellingen zijn onderbouwd: behoeften en zorgvraag zijn onderzocht, de budgettaire impact is gekend, interviews, documentenanalyse Auditthema bepaalt normenkader: in de praktijk wordt thema soms bepaald door mogelijkheid toetsbare normen te formuleren (geen audit van afstemming aanbod op doelstellingen als aanbod of doelstellingen niet gekend zijn) De praktijk van performance audit - 18 mei

6 Aard auditthema en normen (vereenvoudigde voorstelling) thema s (geel) en hoofdnormen (groen) in PA Rekenhof beleidsniveau minister doelstellingen instrumenten verantwoording beleidsniveau parlement verantwoording beheersniveau administratie middelen activiteiten prestaties effecten zuinigheid efficiëntie effectiviteit doelbereik voorwaarden In de praktijk vooral onderzoek naar voorwaarden voor zuinigheid, efficiëntie en effectiviteit en naar verantwoording De praktijk van performance audit - 18 mei

7 Aard auditthema en normen: voorwaardenonderzoek Directe meting van efficiëntie en effectiviteit/ doelbereik (de E s) is vaak niet mogelijk door: Ontbreken van kostenallocatie, meetbare doelstellingen, : Rekenhof is afhankelijk van het bestaan van goede beleid- en managementpraktijken Methodologische problemen: kwaliteit benchmarks, uitzuiveren externe factoren, Ontbrekende expertise op het Rekenhof (weinig externe inbreng) Ontbrekende bevoegdheid: geen bevoegdheid voor vzw s, Voorwaardenonderzoek is onderzoek van goede beleid- en managementpraktijken overheid Beleid: beleidstheorie, toetsbare doelstellingen, instrumentenkeuze, Management: prestatiemeetsystemen, projectmanagement, Toetsen van efficiëntie en effectiviteit steeds gecombineerd met voorwaarden: voorbeelden: (1) wachtlijsten gehandicaptenzorg nemen toe (falen doelbereik) wegens onderschatten zorgvraag (falen in beleidstheorie = voorwaardennorm); (2) investeringen in infrastructuur voor de jeugdzorg blijven uit (falen doelbereik) wegens ongeschikte regelgeving (falen beleidsinstrument = voorwaardennorm), Niet bereiken doelstellingen is dan toegeschreven aan gebreken beleid- en managementpraktijken. De praktijk van performance audit - 18 mei

8 aard normenkaders: overzicht Voorwaarden voor goed beheer in quasi elke audit: normen voor primaire processen (vb. subsidiebeheer), managementprocessen (vb. strategisch management) en ondersteunende processen (vb. personeelsbeleid) - gericht op de activiteiten van administraties en instellingen Voorwaarden voor goed beleid in ongeveer 1/3 de van de audits: beleidsevaluatie, technische kwaliteit doelstellingen (toetsbaar, onderbouwd), kwaliteit en onderbouwing instrumenten (bv regelgeving, convenants), middelenallocatie in functie van doelstellingen, coördinatie beleid gericht op activiteiten ministers (en medewerkers) Verantwoording (accountability) komt vrij vaak voor, maar niet als afzonderlijk auditthema: instelling, administratie naar minister en minister naar parlement (Rekenhof werkt voor parlement!) Kwantiteit en kwaliteit prestaties komt in ongeveer 1/5 van de audits voor (tijdigheid slachtofferhulp, controlegraad inspecties, ) meestal gelinkt aan voorwaarden voor goed beheer. Efficiëntie, doelbereik en effectiviteit als hoofdnormen zijn nog zeldzaam: efficiëntie: 1 audit - doelbereik: 4 audits - effectiviteit: 1 audit De praktijk van performance audit - 18 mei

9 Aard normenkaders: overzicht Komen zelden of nooit aan bod: De organisatiecultuur en het persoonlijk functioneren van ambtenaren voorwaarde voor succesvol ondernemen - oorzaak:welke normen, toetsbare normen, delicaat want publiek verslag? De doelmatigheid van de institutionele context/ de staatshervorming (Rekenhof pleit, waar nodig, voor coördinatie van beleid en beheer) Gewenste evolutie: meer audits gericht op resultaten: prestaties, doelbereik en effectiviteit Het Rekenhof hanteert in hoofdzaak normen voor goed beheer. Daarbij is er zeer veel aandacht voor een resultaatgerichte en planmatige aanpak. Het Rekenhof heeft een voorkeur voor duidelijk beschreven taken en processen. In mindere mate zijn de normen gericht op beleidsprocessen waarbij wordt uitgegaan van het rationele beleidsvormingsmodel. Het Rekenhof verwacht dat de administratie verantwoording aflegt aan de minister en de minister aan het parlement. Doelmatigheid en doeltreffendheid vindt het Rekenhof belangrijk, maar directe meting ervan komt nog weinig voor. De praktijk van performance audit - 18 mei

10 Bronnen van de normenkaders Uitgangspunt: toetsbaar, onbetwist, normenkader Daarom voorkeur voor formele normen van de overheid zelf, in het bijzonder de geauditeerde entiteit: beleidsnota s (doelstellingen), beheersplannen en - overeenkomsten, regelgeving, toelichting bij begroting, Aandachtspunten: wat is de kwaliteit van de normen (zoals norm tijdigheid). Is de overheid efficiënt en effectief als eigen normen zijn nageleefd? Ook literatuur over bestuurskunde en management. Het Rekenhof sluit zich aan bij het NPM Aandachtspunten: hoe aanvaard is een specifiek model, is het geen modegril, aanpassen aan context auditthema, mogelijke neveneffecten? Eerder uitgevoerde audits Rekenhof, andere rekenkamers, consultants, Aandachtspunten: aanpassen aan specifieke Belgische context en het auditthema; zelfde kwaliteitszorg als twee voorgaande types Intranet: links naar websites en naar overzicht eerder gebruikte normen De praktijk van performance audit - 18 mei

11 Omgaan met normen tijdens het auditproces Voorbereiding van audit Ontwikkelen van een normenkader = model Aandachtspunten: onderzoeksvragen afgedekt, normen onderbouwd, normen toetsbaar, normen eerder succesvol toegepast, rekening houden met beperkingen model (bv er wordt slechts een stuk van de complexe realiteit onderzocht, een model is een vereenvoudigde realiteit), potentiële neveneffecten (model kan tot bureaucratisering leiden, tunnelvisie veroorzaken) en hoe kunnen we die opvangen, Overleg met geauditeerde entiteit over normenkader Uitvoering van de audit Toetsen van de normen Eventueel bijsturen van normen (praktische redenen, bv toch niet toetsbaar of conceptuele aanpassing aan normenkader): overleg met geauditeerde Verslaggeving Normen vermeld in verslag Kloof realiteit met model leidt tot aanbevelingen; aanbevelingen wijzen de richting om de kloof te dichten Aandachtspunten: relevantie aanbeveling in functie van oorzaak kloof, kostprijs aanbeveling, eventuele neveneffecten (zie ook voorbereiden audit), Formeel overleg met geauditeerde en minister ( tegensprekelijke procedure ) Evaluatie van uitgevoerde audit Wat kan het Rekenhof leren over het toegepast normenkader De praktijk van performance audit - 18 mei

12 Normen in performance audit Het Belgisch Rekenhof De praktijk van performance audit - 18 mei