Geweldige handreiking lat wordt direct hoog gelegd

Transcriptie

1 Reactie op Consultatie Handreiking 1141 CONCEPT NBA-handreiking Data-analyse bij de controle: uitdagingen en vooral kansen Namens bestuur Coney Assurance BV Als Coney hebben we als gespecialiseerd data driven advies- en accountantskantoor met heel veel belangstelling Handreiking 1141 gelezen en besproken in ons team. Sinds 2005 hebben we dataanalyse (2011: process mining) en visualisatie (2014) geïntegreerd in onze auditaanpak. We hebben de afgelopen jaren ook een groot aantal auditors getraind in het toepassen van deze technologie. Hiernaast hebben we in de afgelopen vijf jaar ruim twintig collega accountantskantoren getraind in het daadwerkelijk toepassen van (3.0) data-driven mindset in de praktijk. Coney Solutions verkoopt audit analyse tools als ACL, Lavastorm, Minit Process Mining en Perceptive Process Mining aan auditors in Nederland. Geweldige handreiking lat wordt direct hoog gelegd Wij zijn van mening dat we een goed beeld hebben bij de mate waarin data-analyse en process mining daadwerkelijk wordt toegepast in de audit in Nederland. Hoewel de handreiking de illusie wekt dat heel Audit Nederland met data-analyse aan de slag is, is dat natuurlijk niet zo. We zeggen niet dat de lat TE hoog wordt gelegd. Net als bij andere type controlewerkzaamheden, is het controleteam verantwoordelijk om data-analyse op een hoog niveau uit te oefenen. Wij denken dat deze handreiking kan aantonen dat data-analyse niet simpel is en om gedegen training vraagt. Hiernaast is het aan het maatschappelijk verkeer niet te verkopen om moderne technieken NIET in te zetten. De toepassing van data-analyse is geen OPTIE maar een MUST is om als beroepsgroep onze geloofwaardigheid te behouden. En daar zit gelijk de uitdaging t.o.v. van deze geweldige handreiking; deze handreiking is geschreven door een team met heel veel passie en ervaring. Na het lezen van deze handreiking maken wij ons echter wel zorgen of de intensiteit van dit stuk een groot deel van de auditors die nu bewegen van 1.0 naar 3.0, niet gaat afschrikken. Hoewel wellicht terecht, is het aantal genoemde c.q. benadrukte aantal documentatievereisten (eg hoofdstuk 8 uit handreiking) en betrouwbaarheid validatie aanwijzingen, zeer omvangrijk. Het is een handreiking, maar leest al als een volwaardige roadmap voor een ervaren, integrated audit/data-analyse team. Natuurlijk zal het zo zijn dat een ervaren team van auditors en dataanalisten, dat jaren intensief met elkaar samenwerkt, kan acteren (denken, handelen, vastleggen, interpreteren ect) conform deze handreiking, maar praktijk is weerbarstiger. Wij vrezen derhalve dat deze handreiking door de toetsers straks wordt gezien als de norm en dat auditteams die minder ervaren zijn, nog minder op elkaar zijn ingespeeld (zie ook ons punt inzake teamsamenstelling) straks worden afgerekend tijdens toetsing omdat ze (nog) niet aan deze norm hebben voldaan.

2 Suggestie Coney: Voeg een hoofdstuk toe dat een reëler beeld geeft van de status van de toepassing van data-analyse en process mining op dit moment. Zo wordt process mining nog in minder dan 2% van de audits in Nederland toegepast en is het percentage data-analyse (niet zijnde Excel) dat het gehele auditproces ondersteund nog relatief beperkt. Beschrijf in dit hoofdstuk ook dat de integratie van deze technologie niet een proces is wat vanaf Dag 1 zomaar staat. Dat is simpelweg niet het geval. Benadruk dat deze handreiking echt een handreiking is en dat teams die positief met deze mindset aan de slag willen, tijdens toetsingen niet moeten worden afgerekend omdat o.b.v. de bekende cherry picking niet aan alle elementen van deze handreiking wordt voldaan. Waar is de meerwaarde propositie? In het maatschappelijk verkeer is heel veel aandacht voor de meerwaarde van de rol van auditor. Dit ligt in een goede audit (en risk en governance), in een robuuste rol (zie de actuele discussie) rondom fraude, maar ook in het leveren van inzichten die voor ondernemingen (ondernemers) waardevol zijn vanuit perspectief van ondernemerschap. In dit stuk wordt logischerwijs ingezoomd op de audit (risk) overwegingen (via de risico-inschatting) en de rol van data-analyse in de verschillende fasen van de audit. Echter, we zien het uitbrengen van een definitieve handreiking ook als ideaal moment op de meerwaarde propositie van ons mooie beroep uit te lichten rondom het aspect inzichten rondom ondernemersvraagstukken. De technieken die in deze handreiking worden besproken zijn grotendeels gelijk (behoudens process mining) aan de technieken die we reeds in 90 en 00 tot onze beschikking hadden. In de fase mid 90, tot 2002, 2003 waaide er een frisse wind door ons mooie beroep met ook heel veel ruimte om de meerwaarde vanuit onze audit helder te maken. Naast Audit Assertions was er ruimte voor focus op Business Risks. In de fase van Audit Innovation werd data-analyse mede gepositioneerd om vanuit Understand the Business de link te maken naar de Audit Assertion doelstellingen. Concreet, er was heel veel ruimte om data-analyse in te zetten op meer ondernemersvraagstukken. De mindset hierbij was (en is nog steeds de mindset van Coney): beheerst de onderneming zijn business, dan is dat een fundament onder het bredere interne beheersingsraamwerk, waar ook de financiële transacties onderdeel van zijn. Naast de Volledigheid assertion, was er ruimte voor vragen als; Welke diensten/ klanten zijn winstgevend, dan wel verliesgevend? Wat zijn succesvolle producten in termen van relatieve marge en omloopsnelheden? Hoe loopt het retourproces? Hoe ziet de verkooppijplijn eruit? Wat is de kwaliteit van het klachtenproces? Vanuit deze insteek kan soms ook weer een relatie naar posten in de jaarrekening worden gelegd. Soms ook geheel niet en dat is naar onze mening ook geen probleem. Het denken in termen van Understand the Business is onder druk van de SOX beweging begin 2000 en druk van kwaliteitreviews op audit dossiers, door aangescherpt toezicht (vanaf 2010), langzaam naar achteren geschoven. Natuurlijk beschrijven we nog het begrip van de business, maar er wordt zeer beperkt budget vrijgemaakt om data-analyse technieken in te zetten om deze understanding daadwerkelijk handen en voeten te geven en om te zetten in inzichten in de meer ondernemersvraagstukken van de ondernemer of onderneming.

3 De focus op kwaliteit van auditdossiers, de zwaardere stem van vaktechniek in de uitvoering van de audit, is in onze beleving ook één van de redenen dat veel kantoren hun ambities rondom dataanalyse en inzet van process mining in de praktijk helemaal niet waar kunnen maken. Anno 2018 zien we eerder een teruggang in bijvoorbeeld daadwerkelijke toepassing van process mining dan een versnelling. Dit komt mede omdat praktijk blijft hangen in de auditfocus en niet de stap durft te maken naar ook focus op business risks. Deze handreiking leest daarom wat gedateerd (er had zomaar het jaargetal 1997 op kunnen staan) hetgeen verder geen afbreuk doet aan het feit dat het een geweldige handreiking is. Feit is dat in deze handreiking alleen aandacht is voor het audit vraagstuk en het fraude vraagstuk, terwijl we met dezelfde technieken en grotendeels dezelfde data, tevens invulling kunnen geven aan de bredere meerwaarde propositie van ons audit vak door focus op business risks. Suggestie Coney: Neem in de handreiking een hoofdstuk op dat de vooral kansen ook beschrijft vanuit het perspectief van de ondernemer/onderneming, door te wijzen op de kansen om met dataanalyse, process mining, data visualisatie, ook aandacht te organiseren rondom de business risk vraagstukken van de audit cliënten. Dit is een invulling van onze natuurlijke adviesfunctie anno nu. Onze focus ligt uiteraard op de Audit Risks. Waarbij we, in het belang van de maatschappij, altijd moeten kiezen voor die controlewerkzaamheden die naast de voor jaarrekeningcontrole benodigde controle-informatie de meeste aanvullende toegevoegde waarde leveren. We mogen geen kansen laten liggen om management van nuttige informatie te voorzien, zolang dit niet ten koste gaat van onze primaire doelstelling om de betrouwbaarheid van de jaarrekening vast te stellen.

4 Living document Het is goed dat er is gekozen voor de opzet van een living document, daar de ontwikkelingen heel snel gaan. Dit geeft ruimte om in deze handreiking onderwerpen uit te werken die net zo relevant zijn als de vragen: In welke auditfase? Welke controle informatie? Etc. We hebben hieronder een aantal onderwerpen benoemd waarvan wij ons kunnen voorstellen dat deze worden uitgewerkt in een volgende versie van de handreiking: Teamsamenstelling Het gebruik van data-analyse gaat niet succesvol vliegen zonder een team dat bestaat uit op elkaar ingespeelde auditors en data-analisten. Het zou een geweldige kans zijn om in de volgende versie aandacht te vragen voor dit belangrijke aspect. Denk hierbij aan vragen als: hoe teams samenwerken, welke kenniservaring in team geborgd moet zijn, hoe écht samengewerkt kan worden, bestpractises van technische memo s, data-uitvraag documenten etc. Lerend vermogen optimaliseren Het lerend vermogen optimaliseren is een belangrijk onderdeel van het succesvol maken en behouden van inzet van data-analyse in de audit. Het optimaliseren van het lerend vermogen moet worden georganiseerd. Dit kan door het opstellen en delen van valkuilenlijstjes, kennisuitwisseling tussen teams organiseren, review van data-scripts door meerdere teams etc. Stap naar Continuous Auditing In de handreiking wordt de herhaalbaarheid als kans van data-analyse reeds genoemd. We kunnen ons voorstellen dat in een volgende versie de stap van ad hoc naar periodiek naar continuous auditing steviger wordt uitgewerkt. Het begrip Continuous Auditing komt immers al uit de begin jaren 80. Als beroep hebben we echter geen omgeving kunnen creëren met onze audit cliënten om deze mindset daadwerkelijk toe te passen. Omdat steeds meer ondernemingen wel de stap maken naar Continuous Monitoring zullen we als beroep dit onderwerp toch moeten gaan uitwerken en deze mindset verder gaan uitwerken in acties (opleiding, evangelie, mindset). De technologische beperkingen (van data-ontsluiting, naar validatie en interpretatie) zijn eigenlijk geen beperking meer. Van data-analyse (IST) naar Machine Learning naar Kunstmatige Intelligentie. Nogmaals, geweldige handreiking. Het voelt alleen wat vreemd dat we in 2018 nog heel veel nadruk (moeten) leggen op het analyseren van IST-data (zowel data-analyse als process mining), terwijl we op Linkedin, Accountant.nl en andere fora alleen maar lezen over de inzet van machine-learning en kunstmatige intelligentie in het bredere Risk, Audit en Financedomein. Laten we hopen dat dit living document een zelflerende karakter krijgt en we in volgende versies meer aandacht kunnen geven aan de integratie van machine learning/ kunstmatige intelligentie voorbeelden en toepassingen. Vooral kansen.

5 Specifieke vragen voor aanscherping, verduidelijking: Pagina 4: Data-analyse is het ontdekken van patronen, afwijkingen, inconsistenties, en het onttrekken van andere nuttige informatie over het object van het onderzoek door middel van analyse, modellering en visualisatie met het oog op de planning of het uitvoeren van de opdracht. Wat wordt bedoeld met het Object van onderzoek, is dat de dataset of de verantwoording waarbij de controleverklaring wordt afgegeven? Pagina 4: Want of de accountant nu data-analyse toepast of niet, de doelstellingen van een controle wijzigen niet wezenlijk Dit wekt de suggestie dat de doelstelling kan wijzingen door inzet van data-analyse; hoe dan? Pagina 4: Wel kan het zo zijn dat de combinatie van controlewerkzaamheden (controlemix) wijzigt door de toepassing van data-analyse, omdat de accountant daardoor mogelijk efficiënter kan controleren. Waaruit kan deze efficiëntie volgens jullie volgen? Door snellere (ondersteund door automatisering) uitvoering van bijv. detailcontroles door data-analyse, of doordat dataanalyse andere type werkzaamheden vervangt? Er zijn toch ook andere belangrijke redenen om die controlemix aan te passen en data-analyse toe te passen; meer inzicht in de klant, meer toegevoegde waarde.

6 Hoofdstuk 3: Hoe kan de accountant data-analyse toepassen in de planningsfase, bij de risicoinschattingswerkzaamheden, het testen van interne beheersingsmaatregelen en bij gegevensgerichte werkzaamheden? Dit is gewoon een geweldig inspirerend hoofdstuk. Als we dit toch ook allemaal zo zouden doen, dan is dat toch fantastisch! Van Fraude naar Trendanalyses en alles daar tussenin. We kunnen inderdaad heel veel en gedurende het gehele audit proces. Van start to finish! Werking interne beheersingsmaatregel met process mining Wat we in dit hoofdstuk missen is de expliciete discussie over de mogelijkheid om de uitkomsten van process mining te gebruiken in de formulering van conclusies inzake Werking van maatregelen van interne beheersing. Op verschillende plekken, o.a. in de voorbeelden, wordt wel gerefereerd aan Opzet en Bestaan. Suggestie Coney: Kan er een paragraaf worden opgenomen waarin we expliciet uitwerken onder welke voorwaarden en verwijzende naar de relevante COS process mining uitkomsten kunnen gebruiken om toereikende conclusies (positief) te kunnen formuleren inzake Werking (Zie Standaard 500, Par. A29)? Dit betekent dat we in de toekomst een volwaardig (gegevensgericht) alternatief hebben voor de nog steeds gebruikte systeemgerichte aanpak (lijncontrole, proceduretesten) rondom evalueren Opzet, Bestaan en Werking. Daarbij kan het niet zo zijn dat we een papieren proces wel op de klassieke manier met deelwaarnemingen kunnen toetsen op werking en een volledig state of the art digitaal proces niet met moderne controle technieken, als process mining, kunnen toetsen op werking. We worstelen toch wel met paragraaf 3.3 Daarnaast is het van belang te realiseren dat bij een dergelijke 100%-controle (waarbij de accountant de hele populatie analyseert) de constatering van een afwijking kan duiden op een niet goed functionerende interne beheersingsmaatregel. Echter, het ontbreken van afwijkingen hoeft niet te betekenen dat een interne beheersingsmaatregel heeft gewerkt zoals bedoeld: de situatie waarop de interne beheersingsmaatregel van toepassing is, heeft zich misschien niet voorgedaan. Daarnaast geldt dat het feit dat (op geautomatiseerde wijze) een paraaf is gezet, niet garandeert dat een maatregel goed is uitgevoerd. Waarom blijven we toch hangen in deze mindset? Wat is het audit alternatief? Welk alternatief is beter? Het feit dat een afwijking zich NIET heeft voorgedaan, en dat 100% vastgesteld, is een geweldig resultaat en zal door elke onderneming positief worden gezien. Door deze teksten te blijven zenden blijft er een sceptische wolk hangen boven de inzet van data-analyse. We hebben de discussie al zo vaak gevoerd, voorbij zien komen, o.a. op Accountant.nl Suggestie Coney: prima om het belang te benoemen dat we ons moeten realiseren, maar benoem tegelijkertijd dat een integrale, gegevensgerichte controle op IST data, meerwaarde heeft dan een willekeurige deelwaarneming (hoe groot deze ook is). Bijvoorbeeld het feit dat feitelijk wordt vastgesteld dat Application Controls hebben gewerkt (eg 3 way matching of geen creditfacturen > EUR ect) is zeer waardevol.

7 Specifieke vragen voor aanscherping, verduidelijking: Pagina 6: De accountant moet alert zijn op de mate waarin data-analyse de controledoelstelling afdekt en in hoeverre aanvullende controlewerkzaamheden nodig zijn op basis van de verwachte uitkomsten en op basis van de werkelijke uitkomsten. Dit wekt de suggestie dat data-analyse een specifiek type controlewerkzaamheden is en een andere type controlewerkzaamheden aanvullend nodig kan zijn. Maar data-analyse is toch meer een techniek/methode/onderdeel van de verschillende controlewerkzaamheden zoals cijferanalyse/proceduretest/detailcontrole uit te voeren? Zou die aanvullende controlewerkzaamheden ook weer data-analyse betreffen? Pagina 8: Daarnaast is het van belang te realiseren dat bij een dergelijke 100%-controle (waarbij de accountant de hele populatie analyseert) de constatering van een afwijking kan duiden op een niet goed functionerende interne beheersingsmaatregel. Echter, het ontbreken van afwijkingen hoeft niet te betekenen dat een interne beheersingsmaatregel heeft gewerkt zoals bedoeld: de situatie waarop de interne beheersingsmaatregel van toepassing is, heeft zich misschien niet voorgedaan Bedoelen jullie (zie ook eerdere opmerking hierboven) dat op basis van deze 100%-controle nooit, of niet altijd kan worden geconcludeerd dat een IB-maatregel heeft gewerkt zoals bedoeld? We kunnen toch wel (achteraf, voor het gehele jaar) concluderen dat (autorisatie)procedures zijn nageleefd? Mogelijk met de kanttekening dat naleving niet is afgedwongen of gemonitord en dat onvoldoende is gewaarborgd dat procedures in de toekomst ook worden nageleefd. Pagina 8: Daarnaast geldt dat het feit dat (op geautomatiseerde wijze) een paraaf is gezet, niet garandeert dat een maatregel goed is uitgevoerd. Dit is niet anders bij toepassing data-analyse dan bij proceduretest op klassieke wijze. Toch?

8 Hoofdstuk 4: Hoe kan de accountant data-analyse toepassen bij het onderkennen van fraude en fraude risico s? Wat hier staat klopt allemaal. Echter, de werkelijkheid kan veel complexer zijn. Hiernaast loopt er een uitgebreide discussie op FD.nl, Accountant.nl en andere fora rondom de rol van de accountant in het detecteren van fraude. Frauderisico s (1) aan de voorkant van het audit benoemen versus fraudesignalen in de audit signaleren (2) op basis van werkstappen expliciet gekoppeld aan (1), dan wel signalen o.b.v. andere data-analyse werkstappen adequaat oppikken (3), zijn drie verschillende zaken. In deze handreiking wordt beschreven dat data-analyse op al deze 3 terreinen een rol kan spelen (paragraaf 4.2 versus 4.3 versus andere werkstappen benoemd in de handreiking). De controlewerkzaamheden in 4.3 volgen op paragraaf 4.2. Echter, data-analyse vanuit andere controlewerkzaamheden kunnen ook fraudesignalen geven, maar die kunnen ook niet worden gedetecteerd omdat niet alle signalen juist/tijdig worden opgepakt door een auditteam. We waarderen de afsluitende zin in 4.3 rondom voorbeeld en mogelijke hulpmiddelen, maar maken ons zorgen dat deze voorbeelden worden verheven tot norm, iets wat auditteams die met data-analyse aan de slag gaan altijd moeten doen. Dit geldt uiteraard niet voor opbrengstverantwoording paragraaf. Suggestie Coney: We missen een expliciete paragraaf waarin de link tussen Frauderisico s en Koppeling naar datadriven controlemaatregelen wordt benadrukt. Je vult 4.3 expliciet in op basis van hetgeen je aan Frauderisico s vooraf hebt gedefinieerd en als reële frauderisico s hebt gedefinieerd. We missen tevens een beschouwing (zie ook de maatschappelijk discussie over Fraude? Welke Fraude?) dat fraudesignalen bij uitvoering van andere data-driven controlewerkzaamheden niet juist of tijdig door auditteam kunnen worden opgepakt. Dit heeft te maken dat Fraudes zijn ingezet met de intentie NIET ontdekt te worden. We missen enige terughoudendheid rondom data-analyse en fraude detectie. We maken ons zorgen of de verwachtingen niet te hoog worden neergezet. Wellicht dat dit wordt gevoed vanuit de vernieuwingsagenda, maar we willen toch pleiten voor een bredere beschouwing.

9 Hoofdstuk 5: Hoe stelt de accountant de betrouwbaarheid van de verkregen data ten behoeve van data-analyse vast? Data is ook audit object Dit is een belangrijk hoofdstuk. Garbage in, Garbage Out. Relevantie en betrouwbaarheid zijn de juiste termen. Tegelijkertijd moeten we ons ook realiseren dat de data die wordt geanalyseerd het object is. Data worden getoetst aan normen, verwachtingen, trends. Ofwel, de mate van onvolledigheid, onjuistheid, wordt gedurende het auditproces vastgesteld. Dat is realiteit. Je kan niet van elk dataveld (veld, kolom, variabel, samen data) vooraf exact toetsen of het geheel betrouwbaar is. Uiteraard ontwerp je werkstappen (zie ook paragraaf 5.2 uit handreiking) om de data op betrouwbaarheid te toetsen (deelwaarneming op basis van onderliggende brondata, of deelwaarneming om vast te stellen dat inputcontroles, IB, bestaat). We moeten accepteren dat er altijd een mate van onbetrouwbaarheid is in de data. Suggestie Coney: Op grond van Standaard 500, Par. 7 dient de accountant te overwegen in welke mate de informatie die als controle-informatie wordt gebruikt relevant en betrouwbaar is. We stellen voor deze paragraaf 5.2 verder uit te werken waarin we aangeven dat er altijd enige mate van onbetrouwbaarheid in data bestaat en dat dit in het licht van feit dat deze data onderwerp van controle is ook niet persé een probleem hoeft te zijn. Het is pas een probleem als de data niet wordt gecontroleerd door mix van toetsen aan normen, verwachtingen, trends en dat afwijkingen (rekening houdend met uitvoeringsmaterialiteit en vooraf gedefinieerde verwachtingen) niet juist door auditteam worden opgevolgd. Belang van ITGC wordt overbelicht We zijn het fundamenteel oneens dat betrouwbaarheid van data wordt gekoppeld aan ITGC (opzet, bestaan, werking). Deze korte bijzin is al jarenlang onderwerp van discussie. In bijna geen enkel Midden, Groot, Nationaal /Internationaal bedrijf is de ITGC omgeving zo georganiseerd dat opzet, bestaan en werking voldoen aan de daartoe gestelde eisen (volgende op de ITGC codes). Dit moet JUIST GEEN belemmering zijn om met data-analyse aan de slag te gaan. We controleren immers de feiten. De dooddoeners rondom: maar zonder werking ITGC weten we bijvoorbeeld niet WIE, WELKE transactie heeft uitgevoerd, zijn echt achterhaald. Met data-analyse controleren we de WAT vraag (wat we zien), vervolgens toetsen we de WAT aan normen, verwachtingen, trends en (geld) verbanden binnen en buiten de organisatie. De WIE heeft WAT gedaan komt dan eventueel vanzelf bovendrijven vanuit deze bottom-up benadering. Suggestie Coney: Het is hoog tijd dat we definitief afstand durven te nemen van deze eeuwige ITGC discussie. Natuurlijk is het relevant dat er enige mate van basis hygiëne is rondom de totstandkoming van data, dat geldt voor het gehele audit proces. Maar stellen dat Opzet, Bestaan en Werking een randvoorwaarde is voor het vaststellen van de betrouwbaarheid van data is niet zo. Er zijn alternatieve controlewerkstappen die die betrouwbaarheid evengoed, en nog beter, kunnen challengen.

10 Dit betekent ook dat voorbeeld uit paragraaf 5.2 aangepast moet worden. Zie bijvoorbeeld: Voor de data-extractie wordt gebruik gemaakt van een datawarehouse. De accountant stelt vast dat de general IT controls van de datawarehouse-omgeving evenals de interfaces naar de bronsystemen niet zijn meegenomen in de beoordeling. De accountant heeft hierdoor onvoldoende informatie om de betrouwbaarheid van de bij de data-analyse te gebruiken data te kunnen beoordelen. De accountant zal de beoordeling van de general IT controls uitbreiden met de datawarehouse-omgeving. Juist hier kan je met totaalverbandscontroles de interface tussen bron en datawarehouse prima testen, de relevantie van ITGC ilv controle object zien wij hier niet? Waarom rol IT AUDITOR Wij vinden het jammer dat in het voorbeeld weer expliciet verwezen wordt naar een IT AUDITOR. Wij vinden het IT AUDIT vak het op een na mooiste vak, maar zijn rol bij data-analyse en het beoordelen van de betrouwbaarheid van de te gebruiken brondata voor de data-analyse wordt overdreven. Wij zijn van mening dat elke registeraccountant deze beoordeling moet kunnen doen, dat elk auditteam dit ZONDER een IT Auditor moet kunnen doen. Waarom geen voorbeeld uitwerken zonder IT Auditor, het is immers een handreiking voor accountants. Op deze manier houden we de beleving in stand dat rondom data-analyse altijd een IT Auditor een rol moet spelen. Dat werkt drempelverhogend en beperkt de ambities dat accountants deze stap gewoon zelf moeten kunnen invullen. Suggestie Coney: rol IT auditor uit deze handreiking verwijderen. Specifieke vraag ten behoeve van verduidelijking, aanscherping Pagina 15: Het geautomatiseerde informatiesysteem van de controlecliënt bevat: - Gegevens die een secundaire registratie zijn van eerder vastgelegde primaire gegevens, bijvoorbeeld ontvangen inkoopfacturen die handmatig worden ingevoerd of via batchverwerking geautomatiseerd ingelezen in de financiële administratie; - Gegevens die eenmalig vastgelegd zijn en dus primaire registratie genoemd worden, bijvoorbeeld in digitale vorm aangeleverde details van inkoopfacturen van de leverancier die direct in de financiële administratie worden verwerkt. De termen 'primaire registraties' en 'secundaire registraties' zijn ons niet duidelijk. Is de primaire registratie de eerste registratie in de geautomatiseerde omgeving van de klant? Of de eerste registratie überhaupt, digitaal/niet digitaal?

11 Hoofdstuk 6: Hoe resulteert data-analyse in voldoende en geschikte controle-informatie? Wij zijn het eens met 6.2. Inzake toetsen aan SOLL (normen), hierbij willen we benadrukken dat het toetsen van de totstandkoming van de SOLL inderdaad cruciaal is. Suggestie Coney: We hebben onze input stap voor stap in lijn met flow van de handreiking uitgewerkt. Nu we langzaam aan het einde komen denken we dat de handreiking in kracht kan winnen door op verschillende plekken een soort van LET OP VALKUIL toe te voegen. Zo ook in 6.2 en Hoofdstuk 7 inzake normen. Uit toetsingen is gebleken dat integrale IST-analyses met data-analyses versus SOLL (eg prijs controle) keihard werden afgetoetst omdat er onvoldoende audit werk (hoe is de SOLL tot stand gekomen) was gedaan. Deze valkuil kan hier bijvoorbeeld worden uitgewerkt. We begrijpen paragraaf 6.3 niet. Op deze plek introduceren we rondom de integrale controle met inzet van data-analyse plotsklaps een statistische steekproef en herhalen nog een keer de zorg over het mogelijk onbetrouwbaar zijn van data. Het voorbeeld eronder pleit helemaal niet voor een statistische steekproef. We vermoeden dat hier de mogelijkheid wordt uitgewerkt dat hoewel alle transacties geautoriseerd zijn, onvoldoende zekerheid geeft over de juistheid van de geboekte kosten en daarom nog gegevensgerichte werkzaamheden nodig zijn, waarbij een statische steekproef prima kan passen. Of je sluit de geboekte kosten aan met een uitgaande geldbeweging door matching van invoices aan uitgaande (in functiescheiding) geautoriseerde betalingen. Suggestie Coney Als er iets moet worden gezegd over het nut, noodzaak van een statistische steekproef in deze Handreiking, dan zouden wij ervoor willen pleiten dat dit in een aparte beschouwing gebeurt. In algemene zin stellen we voor deze paragraaf grondig te herzien. Zie ook vraag hieronder. Specifieke vragen te behoeve van verduidelijking, aanscherping: Pagina 20: Echter, de kwaliteit van de te controleren gegevens kan in beginsel niet verder worden verbeterd dan de kwaliteit van de als norm gebruikte controlebronnen, tenzij de accountant aanvullende controlewerkzaamheden uitvoert om de kwaliteit van de te controleren gegevens vast te stellen. Hoe verhoudt de benodigde betrouwbaarheid van de controlebronnen zich tot die van ons controleobject, bijvoorbeeld de jaarrekening. Als dit gelijk zou moeten zijn, betekent dit dan dat we de betrouwbaarheid van de gebruikte data-sets zodanig moeten hebben vastgesteld dat we ook voldoende grondslag hebben om daarbij een assurance-verklaring te verstrekken? Is dit wat er wordt bedoeld? Zie ook onze eerdere opmerking; volgens ons is er meer aandacht nodig voor het duiden van het onderscheid tussen het controleobject waarbij de controleverklaring afgeven en de datasets als bron van informatie. Pagina 20: Op de gegevens die geen van de gezochte fouten bevatten zijn veelal nog overige controlewerkzaamheden nodig, omdat de accountant heeft gezocht naar vooraf specifiek gedefinieerde symptomen van fouten. Daarom is de kans aanwezig dat de accountant bij het maken van deze risico-inschattingswerkzaamheden een foutencategorie over het hoofd heeft gezien (Zie in dit kader Standaard 330, Par. A42 welke weergeeft dat de accountant gegevensgerichte controles opzet en uitvoert voor elk van de van materieel belang zijnde transactiestromen, rekeningsaldi en in

12 de financiële overzichten opgenomen toelichten, ongeacht de ingeschatte risico s op een afwijking van materieel belang). Het feit dat uit data-analyse op een transactiestroom een tweedeling ontstaat in transacties 'met mogelijke fouten' en 'overige transacties' maakt toch niet dat er ineens twee transactiestromen zijn? Waarop voor elk afzonderlijk gegevensgerichte werkzaamheden moeten worden uitgevoerd? Volgens ons is de uitvoering van de gegevensgerichtedataanalyse in beginsel voldaan aan de vereiste dat gegevensgerichte controles zijn uitgevoerd voor die transactiestroom. Eens? Pagina 21: Een statistische steekproef op de resterende populatie kan bijvoorbeeld met een redelijke mate van zekerheid aantonen dat geen fout van materiële omvang bestaat. Waarom bevelen jullie de statistische steekproef aan op alleen de 'resterende populatie' en niet voor de gehele data-set? Het lijkt handiger om eerst met statistische steekproef vast te stellen dat de data-set aansluit op brongegevens en pas daarna analyses op de data-set uit te voeren. Als uit de statistische steekproef zou blijken dat aansluiting met brongegevens ontbreekt, zouden de uitgevoerde analyses voor niks zijn uitgevoerd. We willen overigens niet pleiten voor ALTIJD een stattiscte steelproef (zie onze zorgen over de NORM), maar ook een deelwaarneming is een optie, maar wel over de gehele data-set. Pagina 21: De accountant heeft met process mining alleen vastgesteld dat er uiterlijke kenmerken zijn van de autorisatie, maar niet of de autorisatie terecht is op basis van onderliggende documentatie. Het voordeel van deze vorm van data-analyse is dat de accountant alle transacties op bepaalde aspecten beoordeelt. Voordeel van data-analyse is dat de formele toetsing integraal wordt uitgevoerd. In hoeverre kan de omvang van materiële toetsing hierdoor verkleind worden? Of bedoelen jullie met bepaalde aspecten geen materiele aspecten? Met process mining wordt vooral vastgesteld welke beheersmaatregelen bestaan en werken. De IST situatie. Deze kan worden getoetst met de gewenste interne beheersingsniveau (SOLL), door modellen te vergelijken. Kan er een duiding gegeven worden aan de bepaalde aspecten? Pagina 21: Daarnaast controleert de accountant de overige inkooptransacties, die niet als mogelijke fout uit de analyse naar voren kwamen en betrekt hierbij ook de eerder geïdentificeerde inkooptransacties indien daarvoor nog onvoldoende controle-informatie is verkregen. In hoeverre kan de diepgang/omvang van de controle op deze 'overige transacties' worden verkleind doordat hierop data-analyse is uitgevoerd? Als de werkzaamheden gelijk zijn aan de situatie zonder data-analyse, zou dit toch betekenen dat de data-analyse geen geschikte controle-informatie heeft opgeleverd? Bij het toetsen of autorisatie terecht heeft plaatsgevonden kan toch ook data-analyse worden ingezet? Doordat bijvoorbeeld een integrale reperfomance wordt uitgevoerd voor aansluiting inkoopfactuur naar geregistreerde bestelling en voorraadontvangst of uitgaande geldbeweging?

13 Slotwoord, we danken het team voor de geweldige inspanning rondom deze handreiking. We kunnen ons voorstellen dat er in eerste instantie wordt gekozen voor een tweetrapsraket. Die zou kunnen bestaan uit het lanceren van een light-versie van de handreiking, gericht op het voorkomen van valkuilen. Op deze manier sluit een light-versie ook aan op de daadwerkelijke status van integratie van data-analyse en process mining in de auditpraktijk. Verder wordt hiermee voorkomen dat er nu een norm wordt gelanceerd die komende jaren door overenthousiaste toetsers wordt gezien als de norm. In een tweede fase kan een verdere uitgebreidere handreiking worden gelanceerd die meer aansluit op deze format.