Auditmethode. De kwaliteit van operational auditing beheerst

Transcriptie

1 Auditmethode De kwaliteit van operational auditing beheerst Drs. P.A. Hartog en drs. J.H.M. Otten Werkzaam bij & Consulting Services in Driebergen 1 ; Jan Otten is managing partner en docent aan de Erasmus Universiteit Rotterdam, Peter Hartog is senior consultant Dit artikel behandelt de wijze waarop de auditor de kwaliteit van zijn audits waarborgt, waarbij met name wordt gelet op het waarborgen van de relevantie, de aansluiting van de audit bij de behoeften van het management. Zoals zal blijken, kan de auditor hierbij niet meer zonder een expliciete inbreng van het opdrachtgevende management, dat daarbij goed ondersteund kan worden door zijn controller. 1. Inleiding Operational auditing, de beoordeling van de beheersing van de organisatie, mag zich verheugen in een brede belangstelling. Tegelijkertijd is het een nog relatief jong vakgebied. Veelal zijn onderzoeksaanpakken toevalligerwijs ontwikkeld of ontleend aan andere, verder ontwikkelde auditvormen, zoals de financial audit. Ook worden vaak standaardmodellen gebruikt. De praktijk wijst echter uit dat dit steeds vaker tekort schiet. De complexiteit en diversiteit van operational audits zijn te groot voor standaardmodellen, zeker nu de variatie in auditopdrachten steeds verder toeneemt. De complexiteit en diversiteit van operational audits zijn te groot voor standaardmodellen Bovenstaande wordt nog belangrijker gezien de grote aandacht voor internal control -systemen. Sarbanes-Oxley vraagt van op Wall Street genoteerde ondernemingen een expliciete beoordeling van en verklaring over de kwaliteit van het (financiële) controlsysteem, de Code Tabaksblat vertelt de Raad van Bestuur aan de Raad van Commissarissen te rapporteren over het interne risicobeheersings- en controlesysteem. Ook voeren steeds meer organisaties een vorm van Control (Risk) Self Assessment in. De concrete betekenis en gewenste organisatiespecifieke invulling van deze ontwikkelingen vereist nauwe afstemming tussen de auditor, het management en de controller. De controller is immers veelal nauw betrokken bij het inrichten en monitoren van de interne beheersing. In dit artikel wordt een belangrijk aspect hiervan verder uitgewerkt, te weten de wijze waarop de auditor de kwaliteit van zijn audits waarborgt. Kwaliteit van de audit, ofwel relevantie, deugdelijkheid én efficiency, vraagt in de hiervoor beschreven setting om een methode die voor elke audit een gerichte aanpak ontwikkelt, afgestemd op de specifieke kennisbehoefte van het management. Volstaan met een standaard aanpak schiet dan te vaak tekort. Gezien de beperkte scope van dit artikel zal in de beschrijving van de Auditmethode 2 de aandacht met name worden gericht op het waarborgen van de relevantie, de aansluiting van de audit bij de behoeften van het management (de opdrachtgever). Met name op dat punt dient de afstemming tussen auditor, manager en controller plaats te vinden. 2. De Auditmethode De realisatie van de genoemde kwaliteitseisen wordt in belangrijke mate al in de voorbereiding bepaald. Een goed plan van aanpak bestaat uit een conceptueel en een technisch auditontwerp (zie figuur 1). Het conceptueel ont- 1 Zie 2 De Auditmethode is onder meer gebaseerd op Verschuren, P. & H. Doorewaard (1988): Het ontwerpen van een onderzoek. Lemna, Utrecht. Figuur 1. Stappen in het ontwerpen van de audit. 18

2 MCA Tijdschrift voor Organisaties in Control 2004 werp bepaalt wat er waarom wordt onderzocht. Het technisch ontwerp bepaalt hoe, waar en wanneer er wordt onderzocht. Deze stappen, die in de praktijk iteratief worden toegepast, worden hierna beschreven Auditcontext en doelstelling De voorbereiding van de audit start met een analyse van de auditcontext. Hiertoe wordt een zogenaamde kennisbehoefte-analyse alsmede een inhoudelijke en technische verkenning uitgevoerd. De kennisbehoefte-analyse stelt vast wat precies de vraag van het management is; aan welke informatie heeft hij behoefte? Dit wordt vastgesteld middels het interventieniveau ofwel het punt in de interventiecyclus waarop het (mogelijke) probleem zich bevindt. Achtereenvolgens worden daarbij onderscheiden: de probleemsignalering; de diagnose (het bepalen van de oorzaken van het probleem); en het ontwerp van de oplossing voor het probleem. De fase van de interventiecyclus is direct bepalend voor de doelstelling van de audit. De doelstelling van een probleemsignalerende audit (toets of er een probleem is) verschilt immers van een diagnostische audit (toets of het probleem wordt veroorzaakt door...). De audit dient aan te sluiten bij het niveau waarop het probleem zich bevindt ofwel bij de concrete kennisbehoefte van het management op dat moment. De audit zou een stap verder moeten gaan dan het reeds aanwezige kennisniveau van de opdrachtgever. In de praktijk gaat het hier vaak mis (zie ook kader 1). In veel gevallen zien we dat probleemsignalerende audits worden uitgevoerd, terwijl het management eigelijk het probleem al wist en dus meer gebaat zou zijn bij een diagnostische audit. Omgekeerd zien we ook te vaak dat een puur probleemsignalerende audit wordt beëindigd met het geven van concrete adviezen hoe het probleem op te lossen. Dit terwijl niet gekeken is naar de oorzaken van de betreffende problematiek en dus een groot risico bestaat dat de voorgestelde oplossing niet de werkelijke oorzaken weg zal nemen. Hiermee hangt samen dat de auditor ook niet heeft gekeken (en gezien de scope en beperkte middelen ook niet heeft kunnen en hoeven kijken) naar de totale context waarin de problematiek zich afspeelt; Kader 1. Problemen met de kwaliteit van de audit. Het management kende de conclusies eigenlijk al. Het management had toch iets anders bedoeld en verwacht. De auditors hebben onbedoeld naar verschillende zaken gekeken. Er is binnen het team veel discussie over de interpretatie van de bevindingen, waardoor de rapportage lang duurt ( Wat moeten we hier nu mee? ). Aanbevelingen worden niet opgevolgd. de manager zal de geschetste problematiek echter wel plaatsen in de context van zijn totale verantwoordelijkheidsgebied en aldus veel meer factoren betrekken bij de afweging of en hoe het probleem op te lossen. Zo kan een op zich juiste conclusie dat de taakverdeling niet optimaal is, worden geaccepteerd omdat het belangrijk is de rust in de organisatie te handhaven. Het geven van adviezen als vaste afsluiting van de (probleemsignalerende) audit, achten wij zodoende niet gewenst. De adviesfunctie hoort ons inziens meer aan de voorkant van de audit, door de opdrachtgever in de voorbereiding te adviseren over het type audit en het te hanteren auditmodel, dat in de volgende paragraaf wordt uitgewerkt. In de inhoudelijke verkenning wordt nader gekeken naar de problemen die spelen, de achtergronden daarvan en naar de bijdrage die de audit moet leveren aan de oplossing daarvan. De technische verkenning heeft tot doel om risico s bij de uitvoering van de audit te analyseren en deze vervolgens waar nodig weg te nemen. Zo wordt bijvoorbeeld gekeken naar de haalbaarheid, de kosten/ baten-verhouding, de mede- of tegenwerking en mogelijke organisatie-politieke aspecten waarmee rekening moet worden gehouden. Op basis van de afbakening van het auditkader kan de doelstelling van de audit worden geformuleerd Auditmodel De adviesfunctie hoort meer aan de voorkant van de audit In de volgende stap wordt nader aangegeven hoe het doel zal worden bereikt. De volgende vragen worden beantwoord. Waar geven we precies een oordeel over; wat is het auditobject? Wat zijn de criteria op basis waarvan het onderzoeksobject wordt beoordeeld? Met andere woorden: wat is de bril (de optiek) die we moeten opzetten om het onderzoeksobject te bekijken? Hoe komen we aan deze criteria; wat zijn geschikte referentiemodellen ( ingrediënten )? Voor een goed inzicht is het raadzaam dit te visualiseren in een auditmodel. Het auditmodel beschrijft globaal de stappen van de audit en laat zien welke zaken met elkaar worden geconfronteerd teneinde bepaalde conclusies te trekken: op basis van een of meerdere theorieën en modellen (de ingrediënten) worden de auditvariabelen en beoordelingscriteria (de auditoptiek) vastgesteld; 19

3 het auditobject, de ist-situatie, wordt vervolgens vergeleken met deze optiek; door de verschillen te analyseren wordt antwoord gegeven op de onderzoeksvraag en het doel van de audit gerealiseerd. Figuur 2 laat een voorbeeld zien van een auditmodel van een probleemsignalerende audit op een proces dat in diverse vestigingen wordt uitgevoerd. Voor de relevantie van de audit is de keuze van de optiek essentieel. Deze optiek wordt uitgewerkt in de vorm van auditvariabelen (zie figuur 3), de aspecten waarop de beoordeling plaats vindt, die op hun beurt zullen worden geconcretiseerd in beoordelingscriteria. Juist in de optiek kunnen zich interpretatieverschillen manifesteren tussen opdrachtgever en auditor of tussen auditors onderling. Immers dezelfde begrippen of verschijnselen worden door verschillende mensen op verschillende manieren gezien en geïnterpreteerd. Men hanteert andere referentiemodellen. Het begrip organisatie heeft voor een bedrijfskundige waarschijnlijk een andere betekenis dan voor een socioloog. Zeker voor het vakgebied van de operational auditor, management control, geldt dat dit begrip voor velerlei uitleg vatbaar is. Daarom is het belangrijk te expliciteren wat precies wordt verstaan onder het begrip control van het betreffende auditobject: welke elementen worden onderscheiden en welke eisen worden daaraan gesteld? Zoals aangegeven heeft de auditor hierbij een belangrijke adviesrol. Hij zal de opdrachtgever, vanuit zijn kennis van management control, kunnen adviseren wat wel en niet mee te nemen in de audit. Daarbij wordt opgemerkt dat de optiek niet alleen moet aansluiten bij de beleving van de opdrachtgever en bij de aard van het object en de problematiek, maar ook bij het interventieniveau. Voor een probleemsignalerend onderzoek kan gebruik worden gemaakt van een procedurele optiek ofwel van een lijst met normen. Voor een diagnostisch onderzoek zullen de gebruikte modellen zo rijk moeten zijn dat het mogelijk is verklaringen te geven voor gesignaleerde problemen ( als-dan -relaties). We noemen dit een causale optiek. Hier blijkt dat de bepaling van het interventieniveau niet alleen belangrijk is voor het doel van de audit, maar ook leidt tot een ander onderzoeksontwerp Onderzoeksvragen en begripsbepaling Figuur 2. Voorbeeld auditmodel van een probleemsignalerende audit op een proces dat in diverse vestigingen wordt uitgevoerd. Object Onderdeel beheerssysteem Beheerselementen (auditvariabelen) Beheersing Beheerskader Organisatie 1. Strategische uitgangspunten 2. Planning & Control (c.q. bewaking realisatie) + 3. Leiderschap/besturingsconcept 4. Inrichting/structuur Beheerskader Vestiging 5. Personeelsmanagement 6. Middelenmanagement Operationele bedrijfsvoering 1. Doelen proces (procesbeheersing) 2. Procesinrichting 3. Procesmanagement 4. Taakverdeling Figuur 3. Voorbeeld uitwerking auditoptiek in auditvariabelen. Op basis van het auditmodel worden de centrale onderzoeksvragen geformuleerd, die vervolgens (volgens de in de auditoptiek onderscheiden auditvariabelen) worden uitgewerkt in deelvragen en uiteindelijk in concrete beoordelingscriteria (normen). Deze criteria zijn in feite de hypothesen die in de uitvoering zullen worden getoetst. Zij zijn voldoende geconcretiseerd als op de vraag of aan de norm wordt voldaan, alleen ja of nee kan worden geantwoord. Deels reeds parallel aan het opstellen van het auditmodel en het bepalen van de onderzoeksvragen, start de begripsbepaling en operationalisatie. Zeker voor complexe en abstracte begrippen in de vraagstellingen is het raadzaam deze verder te verduidelijken, zodat interpretatieverschillen en daarmee mogelijke verschillen tussen auditors in de verzameling van gegevens en het komen tot conclusies worden voorkomen. Handige hulpmiddelen bij het nader definiëren van de begrippen zijn het gebruik van zogenaamde stipulatieve definities ( in deze audit verstaan wij onder... ) en boomstructuren. Een ander belangrijk punt tijdens de operationalisatie is de waarneembaarheid van een begrip. Het gaat erom te bepalen met welke indicator(en) een begrip (efficiënt) 20

4 MCA Tijdschrift voor Organisaties in Control 2004 kan worden gemeten. Zo kun je voor het begrip commitment van de top bijvoorbeeld kijken naar de vermelding van zaken op de agenda of naar de deelname van de top aan belangrijke besprekingen en beslissingen. Naast de representativiteit van de indicator speelt daarbij de vraag of de betreffende indicator wel betrouwbaar is te meten. Zo kan een vraag naar het inkomen of de reputatie van mensen leiden tot al dan niet bewuste fouten in de beantwoording. Zeker voor auditors is dit een belangrijk aandachtspunt, gezien de vaak aanwezige angst voor een negatief oordeel van de auditors Onderzoeksstrategie en -materiaal Met de operationalisatie is het conceptueel ontwerp van de audit afgerond. Nu start het technisch ontwerp. Om te beginnen moet er worden nagedacht over het onderzoeksmateriaal. Het gaat hierbij om de volgende vragen: Wat zijn de objecten van onderzoek, waarover we informatie willen hebben? Welke bronnen kunnen worden gebruikt om de informatie over het object te verzamelen (personen, documenten, de werkelijkheid, )? Hoe kunnen deze bronnen worden ontsloten ofwel hoe verkrijgen we de betreffende informatie (interview, enquête, observatie, inhoudsanalyse, )? Het is belangrijk voor elke onderzoeksvraag meerdere (soorten) bronnen te gebruiken Uit oogpunt van betrouwbaarheid is het belangrijk voor elke onderzoeksvraag meerdere (soorten) bronnen te gebruiken (brontriangulatie). Een praktisch hulpmiddel om de bronnen in kaart te brengen is het zogenaamde bronnenoverzicht. Per rij wordt geëvalueerd of er voor de betreffende onderzoeksvraag voldoende (verschillende) bronnen zijn. Per kolom wordt, met name voor interviews, gekeken of niet teveel onderzoeksvragen aan de orde moeten worden gesteld in het betreffende interview (zie figuur 4). Het vraagstuk van het auditmateriaal is eigenlijk niet goed los te zien van de keuze voor een bepaalde auditstrategie. De auditstrategie is de aanpak van de uitvoering van het onderzoek. De keuze voor een strategie wordt sterk bepaald door de gewenste diepgang en mate van betrouwbaarheid van het onderzoek. In het kader van operational auditing wordt met name gebruikgemaakt van surveys en gevalstudies. Een survey is een breedte-onderzoek, waarin, op basis van een aselecte steekproef, een groot aantal aspecten wordt onderzocht. Een survey is met name geschikt voor een probleemsignalerend onderzoek. Het leidt tot conclusies als in het algemeen, overwegend kan worden gesteld dat of de meeste. Een passende ontsluitingsmethode hierbij is de enquête. De gevalstudie is een kwalitatieve benadering, meer diepgaand van aard. Centraal daarbij staat het begrijpen van bepaalde verschijnselen. Typische conclusies uit dergelijke onderzoeken zijn wordt veroorzaakt door. De gevalstudie is aldus een passende strategie voor diagnostische onderzoeken. Typische ontsluitingstechnieken voor dergelijke onderzoeken zijn interviews en observaties. Vanwege het feit dat veel operational audits probleemsignalerend zijn, zou je verwachten dat de survey een veelgebruikte auditstrategie is. Dit is echter niet het geval, ten dele door de onbekendheid van de auditors met diverse onderzoeksmethoden. Operational auditors worden echter ook regelmatig geconfronteerd met de beschikbaarheid van slechts een klein aantal respondenten. Een survey is dan niet mogelijk. Operational auditors kiezen dientengevolge, al dan niet bewust, meestal voor de gevalstudie. Voor de betrouwbaarheid is het juist dan van groot belang dat alle betrokkenen auditors dezelfde betekenis toekennen aan de kernbegrippen. Daarbij wordt in de literatuur nog wel eens getwijfeld aan de betrouwbaarheid van de gevalstudie vanwege het ontbreken van vergelijkingsmateriaal. Het verdient daarom de voorkeur, indien mogelijk, een aantal subgevallen te beschrijven en deze onderling te vergelijken. Een voorbeeld kan dit wellicht toelichten: Een subsidieproces in een gemeentelijke dienst wordt uitgevoerd door vijf verschillende vakafdelingen. Het auditteam kiest voor een gevalstudie, waarin bij de selectie van de te interviewen personen een afgewogen mix van functionarissen van verschillende afdelingen wordt gemaakt om een mooi totaalinzicht te verkrijgen. Een ontwerp dat daarentegen uitgaat van vijf verschillende subgevallen (per afdeling) vergroot echter het inzicht en de betrouwbaarheid van de gevalstudie. Figuur 4. Bronnenoverzicht. 21

5 2.5. Gegevensverwerking en rapportage De volgende stap is het bepalen van de wijze van gegevensverwerking en rapportage. Het gaat hier om de wijze van oordeelsvorming oftewel de vertaling van bevindingen naar conclusies. Vanwege het grote belang van deze stap en het feit dat hiervoor de basis wordt gelegd in de uitvoering van de audit (het veldwerk), wordt aanbevolen dat de auditor reeds bij het maken van een auditontwerp aangeeft hoe deze gegevensverwerking op hoofdlijnen zal gaan plaatsvinden. In essentie komt het proces van gegevensverwerking neer op het classificeren, coderen en analyseren van gegevens, zodanig dat uit de berg gegevens op de relevante vragen conclusies kunnen worden getrokken. Classificeren betreft het bepalen van de antwoordmogelijkheden, terwijl coderen het scoren van de antwoorden betreft. Naast het maken van afspraken over hoe te scoren (wanneer geven we een plus, wanneer een min; wanneer vinden we het goed, wanneer niet), dient daarbij nog te worden afgesproken hoe de resultaten van verschillende bronnen per onderzoeksvraag worden opgeteld en tot een eindconclusie wordt gekomen. 3 In het geval van kwantitatief onderzoek is de verwerking van de gegevens betrekkelijk eenvoudig omdat vanwege het gebruik van antwoordcategorieën het materiaal al geclassificeerd en gecodeerd is. Bij een kwalitatieve gevalstudie op basis van interviews is de gegevensverwerking veel lastiger. De interview- en documentstudieverslagen zullen op één of andere manier geclassificeerd en gecodeerd moeten worden. Wij pleiten er zoals gezegd voor om de afspraken in het auditteam hierover te maken bij de start van het onderzoek of anders, uiterlijk, bij de start van de rapportagefase. Een handig hulpmiddel bij de verwerking van de gegevens is de datamatrix (figuur 5). Overeenkomstig het bronnenoverzicht worden in deze matrix in de rijen de onderzoeksvragen (de beoordelingscriteria) geplaatst (ontleend aan het conceptueel ontwerp) en in de kolommen de bronnen (ontleend aan het technisch ontwerp). In de cellen worden de resultaten vermeld. Deze resultaten betreffen de geclassificeerde en gecodeerde scores. De onderbouwing van de score kan worden teruggevonden Figuur 5. Datamatrix. in de achterliggende interview- of documentstudieverslagen, die bij voorkeur ook zijn ingedeeld volgens de gehanteerde onderzoeksvragen. De datamatrix biedt niet alleen structuur bij de gegevensverwerking en de oordeelsvorming. Het is tevens een instrument waarmee de auditor makkelijk aan de opdrachtgever en geauditeerde kan aangeven hoe hij tot een bepaald oordeel is gekomen. Zeker als de opzet van de datamatrix al in de voorbereiding van de audit is toegelicht Planning en organisatie Als laatste stap in het ontwerpen van de audit wordt bepaald door wie de audit zal worden uitgevoerd en wat de planning zal zijn. Onderzoekstechnisch spelen er bij deze stap in de voorbereiding minder risico s. Wel wordt opgemerkt dat de resultaten van de technische verkenning juist ook hier van invloed kunnen zijn op de bijvoorbeeld de samenstelling van het team en de beoogde doorlooptijd. 3. Afsluiting In de praktijk wordt vaak slechts een gering gedeelte van de gehele doorlooptijd van een audit besteed aan het auditontwerp. Veelal wordt dit beschouwd als niet-effectieve tijd en wil men snel aan de gang. Indien alle stappen van de Auditmethode voor de aanvang van de audit Meer tijd besteden aan het auditontwerp levert tijdwinst op bij de uitvoering en rapportage worden doorlopen, verandert het tijdsbeslag; er zal meer tijd moeten worden besteed aan het ontwerp. Het voordeel is echter dat de belangrijke keuzen in het onderzoek vooraf zijn gemaakt, hetgeen tijdwinst oplevert bij de uitvoering en rapportage. Nog belangrijker is echter dat mogelijk verkeerde verwachtingen bij het management alsmede mogelijke interpretatieverschillen tussen de auditteamleden worden voorkomen en problemen over de betekenis van gegevens en oordeelsvorming worden ondervangen. Dat zijn immers voorwaarden voor de deugdelijkheid en relevantie van de audits. MCA 3 En wanneer de auditor moet zeggen dat, omdat de antwoorden per bron teveel verschillen, geen conclusie kan worden getrokken. 22