Van: H.H.W. Kloosterman Aan: NBA Over: Concept NBA-handreiking 1141 Data-analyse bij de controle Datum: 29 augustus 2018 De NBA heeft de mogelijkheid geboden voor consultatie ten aanzien van bovengenoemd document. Ik maak graag gebruik van deze gelegenheid. Inleiding De werkgroep heeft ervoor gekozen de controlestandaarden als Leitmotiv voor het document te gebruiken. Deze invalshoek lijkt mij, in dit tijdperk waarin de nadruk sterk op regulering ligt, onvermijdelijk. Vanuit deze invalshoek is de handreiking een duidelijk document op een enkele uitzondering na. Die heeft te maken met de wijze van zoeken naar bewijs: bewijs dat het goed zit, of bewijs dat het fout zit. De gehanteerde voorbeelden zijn heel illustratief. Omdat deze invalshoek niet de enig mogelijke is, en bijvoorbeeld ook een analyse van dataanalyse in verschillende soorten technieken met een verschillende blik op bewijsvoering had kunnen worden gehanteerd, had ik verwacht dat het concept verschillende mogelijke invalshoeken had opgesomd, waarna de keuze was toegelicht en de uitwerking bijvoorbeeld zoals die voorligt volgt. Het is goed dat de gehanteerde definitie van data-analyse aansluit bij de reeds verschenen literatuur. Daarnaast bestaan er andere definities waarvan de kern steeds dezelfde is. Ook hier vind ik dat het noemen van de grote lijnen van de verschillende (soorten) definities een aanvulling op de huidige tekst zou betekenen. Het zou het niet-eenduidig zijn van het begrip hebben geïllustreerd en de magie rond het begrip gereduceerd hebben. In de praktische sfeer van de data-collectie is de handreiking heel duidelijk en concreet. Het is goed dat de handreiking laat zien dat het werk dat al in NOREA-verband is verricht niet over wordt gedaan, maar wordt geïncorporeerd. Ik ga hierna in op een aantal betekenissen van de term data-analyse en op een aantal definities van data-analyse. Ik sluit af met een aantal opmerkingen omtrent de methodologie van de (financiële) controle. Aantal soorten data-analyse; een opsomming (1) Men kan de term data-analyse bekijken vanuit meer dan een achtergrond. De term is een homoniem. De term data-analyse wordt onder meer gebruikt in statistiek, informatietechnologie, audit automation, interne beheersing en financial audit. Per categorie geef ik een paar voorbeelden. - Statistiek: - een veelheid aan modellen kan worden losgelaten op beschikbare data 1
- Informatietechnologie: - normaliseren van gegevens - matchen informatiebehoefte met beschikbare gegevens - informatiebehoefte gebruiken om gewenste beschikbare gegevens vast te stellen - Audit automation - extracties - file interrogation - combineren van sets data - Interne beheersing - Business intelligence - toepassen waardenkringloopmodel op de beschikbare data - process mining - data visualisatie - Financial auditing - alle mogelijkheden die genoemd zijn bij audit automation en interne beheersing; een aantal mogelijke modellen m.b.t. statistiek - regressieanalyse ten behoeve van substantive tests - trekken van steekproeven ten behoeve van substantive tests - trekken van steekproeven uit de events in de real world Uit de opsomming blijkt dat er sprake is van enige mate van herhaling van soorten technieken. Paar definities van data-analyse (2) De concepthandreiking hanteert de volgende definitie: Data-analyse is het ontdekken van patronen, afwijkingen, inconsistenties, en het onttrekken van andere nuttige informatie over het object van het onderzoek door middel van analyse, modellering en visualisatie met het oog op de planning of het uitvoeren van de opdracht. Deze definitie is een vertaling van de AICPA-definitie (waarnaar door de IAASB is verwezen): Data analytics, when used to obtain audit evidence in a financial statement audit, is the science and art of discovering and analyzing patterns, deviations and inconsistencies, and extracting other useful information in the data underlying or related to the subject matter of an audit through analysis, modeling and visualization for the purpose of planning or performing the audit. De OESO gebruikt de volgende definitie: Data analysis is the process of transforming raw data into usable information, often presented in the form of a published analytical article, in order to add value to the statistical output. Deze definitie, of omschrijving, licht vooral het gebruik van statistiek toe in wetenschappelijke artikelen. Op Investorwords.com is een definitie verwoord die iets meer omvattend is: The process of extracting, compiling, and modeling raw data for purposes of obtaining constructive information that can be applied to formulating conclusions, predicting outcomes or supporting decisions in business, scientific and social science settings. 2
Mij spreekt deze laatste definitie het meest aan. Daar zijn meerdere redenen voor. Zo is onder meer de oorspronkelijke betekenis van data en van informatie gehanteerd. Ook het gebruiken van modellen, naast selectie en samenvoegen van data, is als kerneigenschap van technieken van data-analyse in de definitie omsloten. Geen van de hier genoemde definities noemt dat er bij data-analyse niet sprake is van een (en slechts een) proces, maar dat dataanalyse een verzamelnaam is voor een veelheid van mogelijke processen. Voor auditing is zowel de mogelijkheid van voorspellen (van een verwachting) als van beslissingsondersteuning van belang. De toevoegingen scientific en social science settings ondersteunen het methodologisch (zo) zuiver (mogelijk) werken dat in auditing vereist is. Als we de beschikbare technieken (1) en de definities (2) combineren komt een omschrijving van data-analyse voor de accountantscontrole neer op: Een verzameling technieken voor het extraheren en compileren van ruwe gegevens met als doel concrete controle-informatie te genereren, dan wel daaraan een bijdrage te leveren en ook het ondersteunen van de te nemen controlebeslissingen. Methodologie financiële controle (3) De methodologie sec In paragraaf 6.2 en paragraaf 6.3 van de concept-handreiking geven aan dat financiële controle het zoeken naar bevestigende controle-informatie (6.2) en het zoeken naar ontkennende controle-informatie (6.3; het zoeken naar fouten staat daar) behelst. Naar mijn mening is dat onderscheid niet zorgvuldig genoeg weergegeven. De activiteiten die moeten leiden tot goedkeuring gaan via de weg van het zoeken naar niet-bevestigende controle-informatie. Een actie dus om te proberen om de te bewijzen stelling te falsifiëren. Daarbij is het nodig dat de Soll-positie, dat is de juiste presentatie, leidend is. Wanneer er voldoende effort in de actie is gestoken en het niet gelukt om te stelling te falsifiëren, alle onderzochte elementen voldoen aan die Soll-positie, dan neemt de onderzoeker genoegen met goedkeuring. Het kwantificeren van voldoende is het best te illustreren met parameters van statistical audit: audit risk en materialiteit. Bij fraudeonderzoek kan men dezelfde insteek kiezen. De diepgang bij het onderzoek om in beginsel te kunnen goedkeuren is dan anders. Net als bij gewone controle geldt dat als van geen enkele onderzochte Ist-positie kan worden vastgesteld dat er sprake is van fraude aangenomen mag worden dat er geen sprake is van fouten en dus ook niet van fraude zodat de onderzochte financiële verantwoording kan worden goedgekeurd. Het verschil in diepgang kan tot uiting komen in het audit risk en de nauwkeurigheid van het onderzoek. Het audit risk is dan kleiner dan bij normale controle en de nauwkeurigheid groter (de onnauwkeurigheid dus kleiner). Het onderzoek is dan met andere woorden fijnmaziger. Daarnaast speelt bij fraudeonderzoek dat als er sprake is van een fout, er ook nog opzettelijk handelen en voordeel voor degene die handelde moet worden aangetoond. Mocht dat niet bewezen kunnen worden dan blijft de gepresenteerde waarde fout, maar krijgt niet het etiket fraude. In beide gevallen moet de onderzoeker dus zoeken naar fouten en moet hij weten wat de goede presentatie is. 3
Ingeval van fraudeonderzoek kan er sprake zijn van het vóórkomen van onderzochte elementen die het stempel fraude kunnen dragen. Als er sprake is of wordt van een fraudeonderzoek zal men de ernst van de fraude ook willen duiden. Dat kan met het kwantificeren van een worst case, het kwantificeren van een best case en het kwantificeren van een most likely case. Hoe een en ander zou moeten worden ingevuld hangt van de besluitvorming van de beslisser af, in het geval van fraude zou bijvoorbeeld het openbaar ministerie de beslissingsparameters kunnen aanreiken. Wanneer er sprake is van een volstrekt vervuilde populatie kan de zoekrichting anders zijn dan normaal het geval is. Men kan dan het onderzoek zo definiëren dat men op zoek gaat naar fraude-ontkennende informatie. Als het onderzoek geen ontkennende elementen laat zien mag men aannemen dat de hele populatie vuil is. Dat wil zeggen gegeven de (statistische) betrouwbaarheid van het onderzoek en de onnauwkeurigheid ervan. Dit onderzoek is met andere woorden een volkomen spiegelbeeld van het normale onderzoek, het goedkeuringsonderzoek. Bij zo n onderzoek geldt dan dat van iedere presentatie moet vaststaan wat fout en frauduleus is. De methodologische insteek verandert niet met het veranderen van de toegepaste techniek. Dat betekent dat de specifieke techniek van data-analyse geen enkele invloed zou mogen hebben op het zoekgedrag en de wijze van beoordeling van de onderzoeker. Methodologie in relatie tot data-analyse Misschien is in de paragrafen 6.2 en 6.3 enkel bedoeld dat veel technieken van data-analyse geschikt zijn om op voorhand foute deelpopulaties op te zoeken en die dan integraal te gaan bekijken. Dit type zoeken is wel aangeduid met geautomatiseerd zoeken naar mogelijke fouten; GEAUZOMOFO (column Statistical Audit 45; Paul van Batenburg). Het is uiteraard geoorloofd om de uiteindelijk te onderzoeken deelpopulaties op voorhand te ontdoen van mogelijke fouten. Zo n werkwijze leidt er immers ook toe dat van de overige deelpopulaties verwacht zou mogen worden dat die vrijwel schoon zijn en daardoor met een gereduceerde steekproef (of equivalente techniek) gecontroleerd zouden kunnen worden. Uit de tekst van de handreiking blijkt naar mijn mening in onvoldoende mate waar de verschillende technieken van data-analyse informatie over zouden kunnen geven. Is dat over de substance van de te verrichten tests? Is dat indirecte informatie over de kwaliteit van de organisatie (interne beheersing)? Is dat informatie over het concretiseren van Soll-posities? Of geeft het toepassen van de technieken algemene informatie over de te controleren entiteit? De (concept-)handreiking veegt alle technieken en alle gebieden waarover informatie wordt gegeven min of meer op een hoop, de hoop van de standaarden. Wellicht is het stadium van de handreiking nog te pril om te verwachten dat er een matrix van de technieken, de informatiebehoefte waarin zij voldoen en de standaarden die ermee te maken hebben gegeven zou worden. Classificatie van technieken van data-analyse In column 36 van de serie Statistical Auditing hebben Ferry Geertman en ik het volgende onderscheid gemaakt in technieken voor data-analyse. 4
Die technieken dienen voor: - consistentiecontroles - onderzoek naar uitzonderingen op een verwachte samenhang - het genereren van vermoedens uit data. Later hebben wij aan die opsomming nog een aantal technieken voor discriminantanalyse toegevoegd. Het merendeel daarvan behoort tot de laatste categorie. Onder vermoedens moeten ook prognoses worden begrepen. Bij de consistentiecontroles horen bijvoorbeeld technieken als verbandscontroles en process mining. Deze technieken gaan doorgaans over de aard en de kwaliteit van de interne beheersing en niet rechtstreeks over de substance (inhoud) van de verantwoorde bedragen en hun etiket. Hetzelfde geldt voor onderzoek naar een verwachte samenhang. De laatste categorie, het creëren van vermoedens (prognoses daaronder begrepen), is vooral van belang bij een vakgebied als marketing en kan ook behulpzaam zijn om de waarde van een Soll-positie te voorspellen. Mijn (bijna retorische) vraag (met antwoord: Ja. ) is dan of een classificatie van technieken van data-analyse de handreiking zou verrijken. Tot slot Mijn voorstel is om de handreiking data-analyse een rijkere definitie van data-analyse te geven. Als voorbeeld heb ik de volgende tekst gegeven. Data-analyse voor de accountantscontrole komt neer op: Een verzameling technieken voor het extraheren en compileren van ruwe gegevens met als doel concrete controle-informatie te genereren, dan wel daaraan een bijdrage te leveren en ook voor het ondersteunen van de te nemen controlebeslissingen. Mijn voorstel omtrent de methodologie is om de paragrafen 6.2 en 6.3 te heroverwegen en beide zo te schrijven dat auditing om goed te keuren altijd uitgaat van het zoeken naar fouten met behulp van een omschrijving wat goed is. Daar zit de kracht van de auditor. Bij normale controle is er sprake van een andere nauwkeurigheid en mogelijk ook een ander auditrisico naast een andere context van de Soll-positie, dan bij fraudeonderzoek. Wellicht kan een voorbeeldopsomming van mogelijke technieken van data-analyse de handreiking verrijken. Waarbij dan tevens de aard van de geleverde controle-informatie aangeduid wordt. Hein Kloosterman. 5