door middel van een uitstapje via methodologie en een potentiële valkuil

Transcriptie

1 Wiskundige steekproeven en IT-audit EEen IT-auditor kan een oordeel geven over de Technieken toewijzingen van rechten aan gebruikers. Hij zal dan beoordelen of er procedures voor zijn, of die procedures hebben bestaan en vooral ook of die procedures hebben gewerkt. Idealiter zou de auditor over een schouder willen meekijken (en dat voldoende frequent). Hij zal meestal vaststellen dat een bestand met gelogde toewijzingen van rechten het dichtst komt bij dat over de schouder meekijken. Dergelijke bestanden zijn omvangrijk. Heel omvangrijk. Alle records bekijken, levert wel erg veel werk op. Welke technieken zijn dan beschikbaar om tot een oordeel te komen? Een kritische deelwaarneming? Data-analyse? Steekproeven? HEIN KLOOSTERMAN als kritische deelwaarnemingen en data-analyse werken het best bij het zo snel mogelijk lokaliseren van fouten. Wat de auditor echter wil (of liever: zou moeten willen), is zo snel mogelijk de populatie het bestand met gelogde gegevens in casu goedkeuren. Wiskundige steekproeven bieden hem het gereedschap om de toereikendheid van zijn onderzoek te expliciteren. Dat wil zeggen: zijn subjectiviteit te objectiveren. Mijn voorbeeld gaat weliswaar over het werk van de IT-auditor, het kan evengoed over de compliance tests van een compliance officer, een internal auditor of een financial auditor gaan. Om te komen tot zo n beschouwing exerceert dit artikel in het hoofdstuk Basiszaken Steekproeven door een deel van de steekproeftheorie. De zaken met betrekking tot de jaarrekeningcontrole (financial audit) zijn beknopt vertolkt, omdat Arjan Hassing 1 eerder al een uiteenzetting over geldsteekproeven heeft gegeven. In Steekproef bij een ITaudit wordt gezocht naar theoretische steun bij compliancetests uit de jaarrekeningcontrole en komen we door middel van een uitstapje via methodologie en een potentiële valkuil terecht bij de relatie tussen ITauditbudget, hoeveelheid werk en tolerantie. Het artikel sluit af met een samenvatting. BASISZAKEN STEEKPROEVEN In dit artikel wordt onder een steekproef een mathematische steekproef verstaan. Steekproeftechnieken, gebaseerd op wiskunde dus, kunnen worden gebruikt om schattingen te maken en om te toetsen. In beide gevallen is een aselecte trekking van steekproefelementen nodig. Alle elementen uit zo n populatie moeten een gelijke trekkingskans (gehad) hebben. Een onderzoek, zoals het voorbeeld in de inleiding, is op goedkeuring gericht. Dat houdt in dat zo n onderzoek a priori een toetsingsonderzoek is. Wat houdt nu zo n toetsing met behulp van een steekproef in en welke voetangels en klemmen kent zo n steekproef? Steekproeven en toetsen De methodologie van een toetsingsonderzoek is als volgt: men formuleert een nulhypothese en een alternatieve hypothese. De de IT-Auditor nummer

2 nulhypothese luidt: Goedkeuring is (nog) niet mogelijk. De onderzoeker gaat proberen bewijs te vinden om de alternatieve hypothese te kunnen stellen: Goedkeuring is mogelijk. Het resultaat in controletermen luidt dan: Er is een toereikende controle uitgevoerd om (ongeclausuleerd) te kunnen goedkeuren. Kan men niet tot die alternatieve hypothese komen, 2 dan dient de populatie te worden gezuiverd. Na zuivering kan de populatie opnieuw ter controle worden aangeboden en kan men opnieuw het onderzoek gaan uitvoeren. Randvoorwaarden en begrippen Meetbaarheid Het toepassen van steekproeven vereist meerdere voor de hand liggende zaken. In de eerste plaats moet ieder te meten element ook gemeten kunnen worden. 3 Aanwijsbaarheid Om met behulp van statistiek te kunnen schatten of toetsen, is het verder nodig dat de elementen (voldoende) aselect kunnen worden aangewezen. Toetsbaarheid Bij het toetsen is het verder nodig dat bij ieder getrokken element, ook de norm waaraan getoetst wordt, kan worden vastgesteld. Dit element van toetsbaarheid is elementair. 4 Let wel: de toetsbaarheidseis geldt niet alleen voor toetsingsonderzoeken met behulp van steekproeven, maar voor ieder toetsingsonderzoek. Uiteraard ook voor onderzoeken die integraal 5 worden uitgevoerd. In literatuur over steekproeven wordt vaak gesproken over foutdefinitie. Methodologisch zou goeddefinitie eerder in aanmerking komen als term, omdat de evidence die per te onderzoeken item verzameld gaat worden, duidelijk moet maken dat dat item goed is. Er wordt dus bewijs gezocht om de alternatieve hypothese te ondersteunen. Steekproefparameter betrouwbaarheid Van groot belang is de statistische betrouwbaarheid waarmee men bereid is te werken. In het auditvak is de term betrouwbaarheid een homoniem. 6 Bij het toepassen van statistiek is betrouwbaarheid een kansbegrip. Met dat begrip samen met het begrip onnauwkeurigheid wordt de onzekerheid in de uitkomsten van het onderzoek aangeduid. Steekproefparameter onnauwkeurigheid De onnauwkeurigheid van een (goedkeuringssteekproef ) is een aanduiding van de slechtste populatie die met een kans betrouwbaarheid nog net wordt goedgekeurd. Dit kan ook wel een worst case scenario worden genoemd. 7 Trekkingselementen Als element van schatting of toetsing kan men de afzonderlijke records nemen, alsook de geldeenheden waaruit die records bestaan. Financiële controle: a priori geldsteekproeven In de accountantscontrole wil men doorgaans de uitkomsten uitdrukken in geld. Het ligt dan voor de hand te kiezen voor het selectie-element geldeenheid. De kritische grens, zoals bijvoorbeeld materialiteit 8, kan men dan ook in geld vaststellen. Wat kan leiden tot een overzichtelijke 9 aanpak. Samengevatte eisen Samengevat is de belangrijkste eis die aan auditing kan worden gesteld de eis van controleerbaarheid, dus de eis van het in beginsel kunnen vergelijken van alle paren Ist- en Soll-posities. Wil de audit gebruikmaken van steekproeven, dan gelden aanvullend de eisen dat er een norm voor onbetrouwbaarheid (complement van betrouwbaarheid) wordt vastgesteld en een norm voor onnauwkeurigheid. 10 Bij het toepassen van geldsteekproeven gebruiken accountants voor die onbetrouwbaarheid de term steekproefrisico en voor onnauwkeurigheid de termen controletolerantie en materialiteit. Geldsteekproeven Het toepassen van geldsteekproeven 11 neemt als uitgangspunt dat de te beoordelen elementen geldeenheden zijn. Dat betekent dat de trekking wordt verricht op een (virtuele) populatie geldeenheden. Na de trekking vindt de beoordeling van de geselecteerde posten 12 plaats. De beoordeling van een post is er (in de context van de controle van een jaarrekening) op gericht om vast te stellen dat die post goed is. Het doel is dat er uiteindelijk voldoende goede elementen zijn vastgesteld om de nulhypothese te kunnen verwerpen en de alternatieve hypothese kan worden aanvaard. Dit betekent dat de financiële verantwoording goedgekeurd kan worden. Postensteekproeven Een postensteekproef bestaat uit aselect aangewezen elementen van de te beoordelen populatie. Als er sprake is van een (elektronisch) bestand, dan zijn de records ervan de te selecteren elementen. De technische hulpmiddelen spreken daarom van record sampling. Ieder element of record dient in beginsel een gelijke 13 kans te hebben om getrokken te worden. Deze trekkingmethode heet random selectie. Een elektronisch bestand, zoals het bestand met gelogde gegevens uit de inleiding, kan worden benaderd met een audit tool zoals bijvoorbeeld IDEA of ACL. Dit gereedschap voorziet in de trekkingsmethode random selectie. De meeste theorieën over steekproeven gaan ervan uit dat de steekproefparameters, zoals de statistische onbetrouwbaarheid en een maximaal aanvaardbare onnauwkeurigheid (zeg: een materialiteit in posten of in records), bekend zijn. Uit die parameters pleegt 30 de IT-Auditor nummer

3 dan vervolgens de steekproefomvang te worden afgeleid. Het vaststellen van een (goedkeurings-)norm is geen sinecure. De vraag is ook of die parameter niet eigenlijk een gevolg is van de hoeveelheid werk (de steekproefomvang). STEEKPROEF BIJ EEN IT-AUDIT De casus In het voorbeeld van de inleiding ging het om het beoordelen van de toewijzing van rechten aan de verschillende gebruikers. Het toewijzen van rechten tot het toevoegen, het wijzigen, het verwijderen en het raadplegen van records wordt doorgaans niet voor iedere afzonderlijke gebruiker vastgesteld, maar voor groepen gebruikers. Iedere gebruikersgroep wordt wel rol genoemd. De rechten per rol plegen zo te worden ingericht dat raadplegen wordt beperkt door middel van een need to know-uitgangspunt, idealiter het muteren en het verwijderen van records niet dan in uitzonderingsgevallen wordt toegestaan en het toevoegen van records overeen moet komen met de betreffende rol. De toewijzing van rollen, gevoegd bij de reeds uitgegeven rollen, kan worden gecontroleerd als per gebruiker de beginsituatie is vastgesteld en per wijziging wordt beoordeeld of de gebruiker niet te veel of te weinig rechten krijgt vergeleken met de functie die hij op dat moment bekleedt. Hoeveel van die wijzigingen moet de auditor beoordelen? Wat is het audit risk met betrekking tot de IT-auditor? Wat is de onnauwkeurigheid die is toegestaan bij zo n onderzoek? Kortom, wat zijn de audit- en dus de steekproefparameters? De betekenis van de vast te stellen parameters Betrouwbaarheid De literatuur over controle hanteert niet een eenduidig begrip risico. 14 De begrippen betrouwbaarheid en onnauwkeurigheid dreigen daardoor min of meer als synoniem te worden gebruikt. Onbetrouwbaarheid 15 is, zoals gesteld, een kans (op ten onrechte goedkeuren van een foute populatie). Voor de onbetrouwbaarheid hanteert men de term risk. 16 Onnauwkeurigheid Onnauwkeurigheid is (in accountantscontrole) de foutomvang van de worst case. 17 Ter vergelijking: in het geval van geldsteekproeven hanteert men het begrip materialiteit (of een daarvan afgeleide grootheid: controletolerantie) voor de onnauwkeurigheid. IT-auditrichtlijnen en steekproeven ISACA heeft in een van de guidelines 18 onderkend dat IT-auditors steekproeven kunnen toepassen. Deze standaard is (mijns inziens te) letterlijk overgeschreven van de accountantsstandaarden en beschrijft daarom zowel financiële als nietfinanciële steekproeven bij het uitvoeren van IT-audits. In het voorbeeld van het onderzoek naar de rolverdeling helpt deze richtlijn ons niet verder. De richtlijnen voor de accountantscontrole geven wel algemene bewoordingen voor onderzoeken met behulp van steekproeven, maar geven geen recept of een model waarmee het aantal te verrichten compliance tests helder wordt gemaakt. De praktijk van de financiële controle kan ons wellicht wel verder helpen. Zo zien we in de praktijk van de controle compliance tests van 25, 30, 37, 45 of 60 waarnemingen. Het door middel van een steekproef doorploegen van een logbestand is immers te kwalificeren als een compliance test. In de literatuur heb ik geen beslissingsmodel kunnen vinden dat dergelijke aantallen verklaart. Voldoende omvang van een steekproef (audit sufficiency) De IT-auditor is net als de financial auditor bij het definiëren van zijn onderzoek gehouden (expliciet) te definiëren wat hij sufficient evidence vindt. Het gaat in het geval steekproeven worden gebruikt, zo zagen wij, om twee parameters. Te weten betrouwbaarheid en (on)nauwkeurigheid. Betrouwbaarheid Sluit de IT-auditor zich aan bij de 95 procent (statistische) betrouwbaarheid zoals zijn collega s in de financiële audit hanteren? Het lijkt mij een bevredigend uitgangspunt. Onnauwkeurigheid; tolerantie Wat neemt een IT-auditor als uitgangspunt voor de onnauwkeurigheid? 19 Welk aanknopingspunt moet hij hanteren? 20 De meeste tests op het goed werken van de organisatie gaan er (impliciet) vanuit dat de organisatie in voortduring goed heeft gewerkt: die werking moet alleen nog in voldoende mate worden vastgesteld. Die voldoende mate is abstract. In [HEER74] en [BLOK93] wordt gesproken over het afwegen van nut en kosten van een (steekproef ) onderzoek. Beide bronnen geven geen maat voor het vaststellen van de onnauwkeurigheid of de tolerantie. Wellicht bieden de uitgangspunten die voor wetenschappelijke toetsingsonderzoeken zijn bedacht 21 mogelijkheden. In de auditconsiderans zal de verwachting toetsbaar zijn gedefinieerd. Men zal aangeven hoeveel effort men ervoor over heeft om te proberen de te bewijzen stelling te valideren. 22 De te bewijzen stelling is dan de populatie is goed genoeg en dat wordt aangetoond met voldoende paren Ist- en Sollposities die overeenstemmen. Die hoeveelheid effort is subjectief, net als een onnauwkeurigheid dat is. De winst is echter dat die voldoende effort de maatschappelijke kosten van de audit representeert. De subjectieve kwalificatie onnauwkeurigheid wordt zo geobjectiveerd door de vertaling naar de kosten van de audit. Dat de IT-Auditor nummer

4 betekent dat naarmate de vaststelling van de overeenkomst tussen Soll en Ist moeilijker is vast te stellen het gerechtvaardigd lijkt minder van dergelijke vaststellingen te doen. Nog steeds kan de effort of de onnauwkeurigheid niet objectief worden afgeleid uit grootheden van de te controleren organisatie, maar de beroepsgroep 23 heeft een handvat om de inspanning als aanvaardbaar te duiden: de hoeveelheid te verrichten onderzoek wordt transparant gemaakt. Het forum [GROOT81] NOREA zou binnen de beroepsgroep kunnen waarnemen dat ITauditors zich vertrouwd voelen als zij een betrouwbaarheid van 95 procent (is gelijk aan een auditrisico van 5 procent) hanteren. Verder zou NOREA kunnen waarnemen dat IT-auditors de omvang van de hoeveelheid werk laten afhangen van de omstandigheden bij de gecontroleerde. Uitgaande van verschillende omstandigheden bij verschillende audits komt mij een onnauwkeurigheid in een range van pakweg 10 procent tot 1 procent in eerste instantie als redelijk voor. Het onnauwkeurigheidspercentage kan dan afhankelijk worden gemaakt van de effort per onderzochte vraag of set vragen. Het lijkt mij de moeite waard onderzoek onder IT-auditors te doen naar de omvang van hun detailonderzoeken in relatie tot de betreffende populaties. Valkuil? In de praktijk wordt vaak een maximale foutfractie als onnauwkeurigheid vastgesteld. Het formuleren van een onnauwkeurigheid door middel van een maximale foutfractie (of -percentage) blijkt echter een valkuil te herbergen. Als er sprake is van meerdere deelonderzoeken, bestaat de neiging om een eenmaal bepaalde fractie op al die delen toe te passen. Daardoor dreigt het uitgangspunt te worden verlaten dat de effort die voor goedkeuren nodig is, achteraf groter is dan wat vooraf is begroot. De te hanteren statistische betrouwbaarheid is vastgesteld op 95 procent. Stel, men heeft een onderzoek gepland en in het budget steekproef van samen 120 te controleren elementen begroot. Dit aantal was gebaseerd op het uitgangspunt dat de populatie waaruit de compliance tests moesten worden getrokken, bestond uit één (super)populatie die weer uit twee (deel)populaties bestaat. Elke deelpopulatie had een tolerantie (maximale foutfractie) van 5 procent. 24 Dat levert per deelpopulatie 60 waarnemingen en dus in totaal 2 * 60 = 120 waarnemingen. Als er opeens vijf (deel)populaties van dezelfde (super)populatie blijken te zijn, moeten er dan 5 * 60 = 300, dus weer 60 per deelpopulatie, waarnemingen worden genomen? 25 Dit zou schrijnend zijn, nu de omvang van de totale te beoordelen (super) populatie niet groter is dan die twee vooraf verwachte (deel)populaties. We kunnen dus concluderen dat het vaststellen van een tolerantie ter grootte van een percentage per deelpopulatie leidt tot een ongewenst effect: het uit de hand lopen van het controlebudget. Als men op basis van het budget had gesteld dat de tolerantie 2,5 procent van de (super)populatie was, dan was daarmee de gewenste controleinspanning van deze IT-auditor vastgelegd. Dit lijkt mij een redelijke wijze van werken. Mocht het blijken dat er sprake is van een serie deelpopulaties dan zouden die daar naar evenredigheid uit de totale steekproef kunnen putten. 26 Welke vragen blijven? Als de IT-auditor een deelwaarneming wil verrichten, ligt het toepassen van mathematische steekproeven voor de hand. De IT-auditor moet zich nog wel buigen over de parameters die hij gaat toepassen. Mag hij bijvoorbeeld de 95 procent betrouwbaarheid overnemen van de financial auditors? En mag hij het gedeelte van zijn IT-auditbudget dat bestemd is voor detailonderzoeken vertalen naar een tolerantie, een onnauwkeurigheid (in de audit)? De eerste vraag lijkt bevestigend te kunnen worden beantwoord. Ik vind het evident dat ook de tweede vraag bevestigend wordt beantwoord. Vinden mijn collega s dat ook? SAMENVATTING Net als in financial auditing is in ITauditing het toepassen van steekproeven geen gemeengoed. Dat is de reden voor de twee inleidende paragrafen over steekproeven. Omdat veel IT-audits detailcontroles kennen en die controles vaak het karakter van compliance tests hebben, lenen die detailcontroles zich, net als andere compliance tests, voor postensteekproeven. Postensteekproeven zouden moeten worden ingericht als mathematische steekproeven. De omvang van de steekproeven lijkt te volgen uit het auditbudget. Het toepassen van steekproeven zal het concretiseren van gedachten over sufficiency van IT-audits stimuleren. IT-auditors zullen hun inzichten en ervaringen moeten delen. Hein (H.H.W.) Kloosterman RE RA is betrokken bij de accountantsopleiding van de Business Universiteit Nyenrode. Daarnaast is hij de Erasmus Universiteit (ESAA) en de EDP-auditopleiding van de VU. Verder is hij ondermeer lid van de redactieraad van Handboek EDPaudit en werkt hij als zelfstandig adviseur op het gebied van IT-audit en Statistical Audit. 32 de IT-Auditor nummer

5 Noten 1. [HASS07] en [HASS08]. 2. Dat wil zeggen de nulhypothese blijft gelden. En die luidt: de verantwoording kan niet goedgekeurd worden. In de accountantspraktijk kan men daarvoor lezen: de verantwoording kan zonder verbetering niet goedgekeurd worden. 3. De elementen moeten met andere woorden toetsbaar zijn, vergeleken kunnen worden met een norm. De waarde van de Ist-positie moet dus kunnen worden vastgesteld. 4. De eis van toetsbaarheid heeft dus twee pijlers: meetbaarheid en een maatstaf waaraan de gemeten waarde kan worden geconfronteerd; ofwel: vaststellen Ist-positie en vaststellen Soll-positie. 5. Met andere woorden: de hele populatie, de hele massa, of het hele universum. 6. Homoniem = één woord dat meerdere betekenissen heeft 7. Als een populatie wordt gekeurd met een betrouwbaarheid van 95% en een onnauwkeurigheid van 1%, dan betekent dit dat een steekproef van 300 elementen uit een populatie die 1% onjuiste elementen bevat, er 5% kans is dat al die 300 elementen als goed kunnen worden gekwalificeerd. 8. Materialiteit is een vertaling die accountants van het begrip onnauwkeurigheid hebben gemaakt. 9. Transparant zowel als repeteerbaar. 10. De eisen met betrekking tot betrouwbaarheid en onnauwkeurigheid moeten tesamen redelijke zekerheid uitbeelden. 11. In de artikelen van Hassing zijn geldsteekproeven aan de orde geweest. 12. Bij deze techniek zijn de posten de records waarin zich de getrokken geldeenheden bevinden. 13. Hier is geabstraheerd van steekproeven zonder teruglegging. Daardoor kan ik afzien van de behandeling van de hypergeometrische verdeling. Dat is aanvaardbaar omdat de steekproeven waarover het in dit artikel gaat veel en veel kleiner zijn dan de populatieomvang. 14. Men gebruikt risico tenminste in de betekenis: kwade kans, effect van een kwade kans, oorzaak van een ongewenst effect. Daarnaast worden die begrippen nog toegepast op het bedrijfsgebeuren, het vastleggen van het bedrijfsgebeuren en het controleren van de vastleggingen van het bedrijfsgebeuren. 15. In kansen betrouwbaarheid = 1 onbetrouwbaarheid; onbetrouwbaarheid is de kans op ten onrechte goedkeuren. 16. Men gebruikt meerdere begrippen: audit risk, sampling risk, et cetera. Dit artikel laat risico-analyse volgens het audit risk model of audit assurance model buiten beschouwing. 17. De slechtste populatie die een dergelijk steekproefresultaat kan laten zien. 18. IS Guideline G10: Audit Sampling. 19. Een geldsteekproef is bij een compliance test of andere detailtests die bij een IT-audit kunnen worden toegepast niet aan de orde. Een geldbedrag als materialiteit dus ook niet. 20. In een IT-audit is er sprake van tests of controls, of tests of control effectiveness, of termen van die orde. Dus niet of de financiële waarde van een geselecteerd element juist is! 21. De redenering in [POP75] en [GROOT81] komt erop neer dat de onderzoeker zijn best moet doen de geponeerde stelling te ontkrachten. Als dat niet lukt, blijft de geponeerde stelling gelden. 22. Dit lijkt op de essentie van de verdedigingsgronden van de onderzoekstechniek case study: Een enkele beoordeling is zodanig omvangrijk dat het geoorloofd is het aantal pogingen tot falsificatie van de stelling te beperken tot een behapbaar geheel. 23. [GROOT81] noemt het forum als referentiegroep. Daarmee introduceert hij in plaats van een individuele subjectiviteit, de subjectiviteit van een groep. In casu zou er sprake kunnen zijn van een beroepsgroep. 24. Enig rekenwerk levert dat uitgaande van 95% betrouwbaarheid, 5% onnauwkeurigheid, Poissonverdeling en nul fouten in de steekproef, er tenminste 3/0,05 = 60 elementen per deelpopulatie gecontroleerd moeten worden. Zie onder meer [TOUW07], hoofdstuk 6 en [GUY98], hoofdstuk Dit is een situatie waarin menig (financial) auditor verstrikt raakt. De wijze van werken is na te lezen in een aantal controleprotocollen van ministeries. 26. Deze techniek lijkt op het niet toedelen van controletoleranties zoals beschreven in [BLOK96]. De techniek komt neer op naar evenredigheid toerekenen van de controle-inspanning aan de subpopulaties. De onnauwkeurigheid voor het geheel (in financial audits de materialiteit voor de jaarrekening als geheel) wordt afgeleid uit de toegestane workload voor dat geheel. Literatuur [BLOK93] Blokdijk, J.H. (1993), Afweging van kosten en nut bij steekproeven in de accountantscontrole, Maandblad voor Accountancy en Bedrijfseconomie, september, pp [BLOK96] Blokdijk, J.H. (1996), Het toedelen van controletolerantie, Maandblad voor Accountancy en Bedrijfseconomie, juli/augustus, pp [GROOT81] Groot, A.D. de, Methodologie, Grondslagen van onderzoek en denken in de gedragswetenschappen, Uitgeverij Mouton, Den Haag. [GUY98] Guy, D.M., D.R. Carmichael, O.R. Whittington (1998), Audit Sampling; an introduction; John Wiley and Sons, Inc., New York. [HASS07] Hassing, A.J.A. (2007), De statistische steekproef; uitdaging voor de EDP-auditor deel 1, De EDPauditor, nr. 4, pp [HASS08] Hassing, A.J.A. (2008), De statistische steekproef; uitdaging voor de EDP-auditor deel 2, De EDPauditor, nr. 1, pp [HEER74] Heerden, A. van (1974), Steekproeven als middel van accountantscontrole, Vijftig jaar MAB, pp (oorspronkelijke publicatie MAB december 1961), Muusses, Purmerend. [POP79] Popper, Karl R. (1979), The Growth of Scientific Knowledge, Klostermann Texte Philosophie, Frankfurt am Main. [TOUW07] Touw, P., L. Hoogduin, Statistiek voor Audit en Controlling, SDU Uitgevers b.v., Den Haag. de IT-Auditor nummer