Process Mining. Het gebruik van conformance checking bij de jaarrekeningcontrole

Transcriptie

1 Process Mining Het gebruik van conformance checking bij de jaarrekeningcontrole C. (Christiaan) Dommerholt MSc EMA RA Amsterdam 31 augustus 2015 Universiteit van Amsterdam, AITAP Begeleiding: J.C. Boer RE RA 1

2 Inhoud 1. Inleiding Een verkenning en probleemanalyse Doelstelling onderzoek Onderzoeksvragen Afbakening Onderzoeksaanpak en onderzoeksmodel Onderzoeksaanpak Onderzoeksmodel 8 2. Theoretisch kader 9 Inleiding Process Mining Conformance checking Jaarrekeningcontrole Interim-controle - inkoopproces Process Mining als audittechniek Audittechniek Aandachtspunten en conceptueel model Methodologie Onderzoekspopulatie en onderzoeksmethode Van theorie naar interview Case studie Analyse resultaten Onderzoek Interviews Samenstelling proces model en event log IT General Controls Data-kwaliteit event log Overige aandachtspunten Bijstelling en vaststelling overzicht aandachtspunten Case studie Case studie beschrijving Interim-controle inkoopproces traditioneel Interim-controle inkoopproces nieuw Analyse van bevindingen Bijstelling en vaststelling overzicht aandachtspunten Resultaten onderzoek Antwoord deelvraag Conclusie, discussie en beperkingen Conclusie Discussie en beperkingen onderzoek 35 2

3 7. Literatuur Begrippenlijst Bijlage Maturity model event logs Controlestrategieën Omvang deelwaarnemingen Process model en conformance checking Voorbeeld workflow output Interviews Het interviewschema Gespreksverslagen interviews Matrix interviews en aandachtspunten Event log case studie Overzicht aandachtspunten interviews en case studie 63 3

4 1. Inleiding De steeds verdergaande automatisering heeft nu en de komende jaren effect op de wereld, ondernemingen en daarmee ook op het werk van accountants. Termen als Big Data, dataanalyse en process mining worden voor accountants vaker onderwerp van gesprek in hun controle-aanpak. Deze begrippen zullen het vak accountancy volledig gaan vernieuwen de komende jaren 1. In mijn werk als accountant zie je steeds meer informatie in systemen verdwijnen en wordt de workflow van bedrijfsprocessen tegenwoordig meer vastgelegd in deze informatiesystemen. Dit betekent dat accountants steeds meer afhankelijk zijn van data in en uit de systemen rondom de bedrijfsprocessen, wat invloed heeft op de controle-aanpak. Dit heeft effect op de gereedschapskist van de accountant voor de uitvoering van zijn werkzaamheden. Een steeds 'hipper' wordend gereedschap van de accountant is process mining software. Het is een techniek dat veelal wordt gebruikt door internal auditors voor business intelligence binnen grote organisaties, maar mogelijk ook voor externe accountants een zeer nuttige audittechniek kan zijn. De IT-auditor kan gezien zijn kennis van data en technologie een nuttige specialist zijn in deze voor de externe accountants. In dit hoofdstuk is allereerst de aanleiding van het onderzoek beschreven en vervolgens de centrale vraag, deelvragen en onderzoeksmodel besproken. 1.1 Een verkenning en probleemanalyse Ondernemingen hebben de laatste jaren steeds verdergaande stappen gemaakt op het gebied van informatietechnologie. Zo zijn interne beheersingsmaatregelen binnen bedrijfsprocessen steeds meer geïntegreerd in kostbare Enterprise Resource Planning (ERP)- systemen. In de jaarrekeningcontrole is de financial auditor steeds meer afhankelijk geworden voor de beoordeling van de bedrijfsprocessen in deze ERP-systemen. Bedrijven innoveren in ERP systemen, maar hoe gaat de accountant om met deze ERP-systemen in zijn werkzaamheden? Een onderdeel van de jaarrekeningcontrole, uitgevoerd door een financial auditor, is de interim-controle. Vanuit de risicoanalyse worden relevante interne beheersingsmaatregelen tijdens de interim-controle getoetst die moeten bijdragen aan het verkrijgen van voldoende controle-informatie rondom de betrouwbaarheid van de jaarrekening. De financial auditor voert hierbij testwerkzaamheden ('test of control') uit om voldoende zekerheid te verkrijgen rondom de beheersing van de bedrijfsprocessen. Deze testwerkzaamheden hebben veelal een beperkte omvang ten opzichte van het totaal aantal transacties en richten zich veelal op de kernprocessen. Er is steeds meer aandacht voor het gedrag van de gebruikers binnen bedrijfsprocessen en de invloed hiervan op de werking van de interne beheersingsmaatregelen. Daarnaast is er kritiek op het feit of de echte risico's binnen het bedrijfsproces, door de huidige testwerkzaamheden, wel voldoende aan het licht komen. De vraag die hierbij speelt, is of de huidige 'test of control', bij gebruik van ERP-systemen, voldoende inzicht geeft in de risico's binnen de bedrijfsprocessen en de beheersing rondom deze bedrijfsprocessen of dat modernere ITaudit technieken, zoals 'process mining' en 'data-analyse', wellicht meer relevante informatie geven. Data-analyse is een techniek om informatie uit informatiesystemen (gegevensbestanden) te analyseren, verbanden te leggen en uiteindelijk informatie te verkrijgen rondom bijvoorbeeld een jaarrekeningpost. Process mining is een vorm van data-analyse, maar dan gericht op business processen. Process mining is een techniek waarmee gelogde data uit informatiesystemen kan worden gehaald, deze informatie vervolgens te analyseren om uiteindelijk inzicht te verkrijgen in de werkelijke processen en haar interne beheersingsmaatregelen binnen organisaties

5 Process mining kan een handige tool zijn voor auditors om meer kennis te verkrijgen rondom de business processen en hiermee een betere risico-analyse op te zetten (Hakvoort, 2008). Recente onderzoeken en publicaties wijzen uit dat process mining een toepasbare tool is voor de (IT-)auditor in de jaarrekeningcontrole (Özer, 2013; Kumar & Kaul, 2013; Jans, 2010; Jans, 2012; Bezverhaya-Haasnoot et al, 2009). Process mining kan hierbij een toegevoegde waarde bieden tijdens de interim-controle (Özer, 2013). In de praktijk wordt data-analyse steeds meer toegepast als audittechniek in de jaarrekeningcontrole middels tools als Caseware IDEA en ACL (Bezverhaya-Haasnoot et al., 2009 en Coney, 2012). De IT-auditor voert deze analyse veelal uit voor de financial auditor. De ITauditor wordt de laatste jaren steeds vaker betrokken bij een jaarrekeningcontrole voor dataanalyse en IT general control testing. In tegenstelling tot process mining, is data-analyse meer gericht op de uitkomsten van processen middels kwantitatieve analyse. Process mining in de vorm van 'conformance checking' geeft de (IT-)auditor mogelijkheden om de werkelijke bedrijfsprocessen, middels 'logging gegevens' uit ERP systemen, te spiegelen aan de verwachte bedrijfsprocessen. Hiermee kunnen afwijkingen binnen bedrijfsprocessen inzichtelijk worden gemaakt. Naast conformance checking bestaat er nog process mining in de vorm van discovery en enhancement. Deze twee vormen zijn in hoofdstuk 2.1 nader toegelicht, maar hebben minder raakvlakken met de interim-controle dan conformance checking (Özer, 2013). Dat proces mining een actueel thema is, blijkt wel uit de oprichting van een Special Interest Group Process Mining (SIG). De SIG is onderdeel van Ngi-NGN, de Nederlandse beroepsvereniging van en voor ICT-professionals en -managers. Het is een onafhankelijk platform waar leden hun kennis verdiepen en hun netwerk onderhouden. De process mining groep pleit voor innovatiekansen voor de inzet van data-analyse en process mining in de accountancysector. Process mining, in de vorm van 'conformance checking, lijkt geschikt te zijn voor de interimcontrole en hierdoor voor de IT-auditor een tool om de financial auditor te ondersteunen bij zijn werkzaamheden. Toch wordt deze audittechniek in de praktijk nog niet veel toegepast (Hakvoort, 2008), zijn de wetenschappelijke onderzoeken hiernaar beperkt en zijn er geen handvatten en richtlijnen voor de inzet van deze audittechniek bij de interim-controle. Wat zijn de aandachtspunten voor het gebruik van process mining als audittechniek door de (IT)auditor bij een interim-controle bij ondernemingen met een ERP-systeem? Dit is een vraag die mij heeft geïnspireerd tot het uitvoeren van dit verkennend onderzoek. 1.2 Doelstelling onderzoek Het doel van het onderzoek is het realiseren van een overzicht met relevante aandachtspunten voor het gebruik van Process Mining: 'conformance checking' als audittechniek voor de interim-controle op het inkoopproces door een (IT-)auditor. Deze aandachtspunten kunnen door een IT-auditor worden gebruikt als handvatten voor het gebruik van deze audittechniek bij een interim-controle op het inkoopproces. 1.3 Onderzoeksvragen Centrale vraag: Welke aandachtspunten zijn te onderkennen bij het gebruik van Process Mining: 'conformance checking' als audittechniek voor de (IT-)auditor bij de interim-controle op het inkoopproces? Deelvragen: 1. Process Mining 1.1 a Wat wordt verstaan onder Process Mining?; 1.1.b Wat is conformance checking? 5

6 1.2 Wat zijn relevante aandachtspunten voor de (IT-) auditor bij het gebruik van conformance checking op het inkoopproces? 2. Interim-controle 2.1 Wat zijn de uitgangspunten bij een interim-controle voor de (IT-) auditor? 2.2. Wat zijn relevante aandachtspunten voor de (IT-) auditor bij een interim-controle van het inkoopproces? Audittechniek 3. Op welke wijze kan Process Mining; conformance checking worden gebruikt tijdens de interim-controle van het inkoopproces? 4. Op welke wijze zijn de aandachtspunten uit deelvraag 2.2 relevant voor het gebruik van Process Mining; conformance checking als audittechniek bij een interim-controle van het inkoopproces en hoe past dit binnen de Nadere Voorschriften Controle en Overige Standaarden (NV COS)? Figuur 1: Relatie deelvragen met centrale vraag 1.4 Afbakening Dit onderzoek richt zich op 'conformance checking' als vorm van process mining. Hiervoor is gekozen omdat uit onderzoeken (Özer, 2013; Kumar & Kaul, 2013; Jans, 2010; Jans, 2012; Bezverhaya-Haasnoot et al, 2009) blijkt dat deze vorm van process mining het meest geschikt is voor een interim-controle. Het inkoopproces is gekozen, omdat dit een proces is dat 6

7 redelijk generiek is voor de verschillende typologieën van organisaties en leent zich goed voor process mining (Özer, 2013). Mijn onderzoek richt zich op de Nederlandse markt en wet- en regelgeving. Het is een verkennend onderzoek. 1.5 Onderzoeksaanpak en onderzoeksmodel Onderzoeksaanpak Hieronder is de onderzoeksaanpak weergegeven om antwoord te kunnen geven op de centrale vraag in dit onderzoek. 1. Vergelijking theorie process mining conformance checking en theorie interim-controle in het kader van de jaarrekeningcontrole (overzicht overeenkomsten/verschillen) en het gebruik als audittechniek voor de (IT-) auditor. 2. Overzicht van aandachtspunten voor de (IT-) auditor die van invloed zijn op het gebruik van Process Mining conformance checking als audittechniek voor een interim-controle vanuit theorievergelijking en verschillende onderzoeken. Middels literatuuronderzoek wordt een deel van het antwoord gegeven op deelvraag Praktijktoetsing van het overzicht met aandachtspunten uit punt 2 voor de (IT-) auditor bij experts uit het (IT-)audit vakgebied. De aandachtspunten vanuit het theoretisch kader zijn vertaald naar vragen, die via een een mondeling interview zijn beantwoord. Middels de beantwoording van de 'open' vragen zijn de aandachtspunten gevalideerd. De 'open' vragen geeft de geïnterviewde de ruimte om de aandachtspunten aan te scherpen en om eventuele aanvullende aandachtspunten te noemen. Process mining wordt nog niet veel gebruikt binnen de auditpraktijk als audittechniek voor de interim-controle (Hakvoort, 2008, Coney, 2014). In een recent onderzoek naar data-analyse voor de auditfunctie, uitgevoerd door onderzoeksbureau GBNED (Bottemanne, 2015), wordt process mining slechts door een beperkte groep gebruikers genoemd. Om de aandachtspunten te valideren zijn de interviews afgenomen met IT-auditors die deze techniek reeds gebruiken bij een interim-controle. Aangezien deze groep beperkt is, zijn 3 interviews afgenomen om voldoende onderzoeksresultaten te genereren ter validatie van de aandachtspunten. Middels literatuuronderzoek wordt een antwoord gegeven op de deelvragen 1, 2 en Praktijktoetsing middels casestudie Middels een praktijkcase is de 'traditionele' interim-controle op het inkoopproces vergeleken met de interim-controle waarbij gebruik wordt gemaakt van process mining conformance checking. Hierbij zijn de aandachtspunten getoetst middels een case uit de praktijk. Door middel van dit kwalitatief onderzoek wordt het antwoord gegeven op deelvraag 4. 7

8 1.5.2 Onderzoeksmodel Het volgende onderzoeksmodel staat centraal in het onderzoek. Figuur 2: onderzoeksmodel 8

9 2. Theoretisch kader Inleiding In dit hoofdstuk wordt allereerst in paragraaf 2.1 het begrip data-mining en process mining nader toegelicht, waarbij specifiek een verdieping plaatsvindt op het begrip conformance checking. Vervolgens wordt in paragraaf 2.2. de interim-controle van het inkoopproces beschreven, waarbij onder andere in wordt gegaan op relevante wet- en regelgeving. 2.1 Process Mining Process mining is een business proces management (BPM) techniek dat gebruikt wordt om kennis uit geregistreerde gegevens in informatiesystemen te halen en hiermee de werkelijke uitvoering van bedrijfsprocessen te visualiseren. Process mining vindt haar oorsprong in de wereld van de technologie. Complexe systemen zoals röntgenapparaten of dichter bij huis ERP systemen houden in groot detail digitale logboeken bij van alles wat ze doen. Het gaat vaak om tienduizenden stappen per dag die worden geregistreerd. Analyse achteraf van deze databrij geeft inzicht in hoe de processen precies verlopen, waar fouten optreden of waar verbetermogelijkheden zijn 2. De process mining techniek wordt binnen organisaties gebruikt om kennis te verwerven in de werking van bedrijfsprocessen. Dit met als doel om een workflow te ontdekken van een bedrijfsproces, deze te verbeteren en om bijvoorbeeld gedrag van mensen te meten aan de hand van de gevisualiseerde workflow. Bij jaarrekeningcontroles wordt veelal data-analyse genoemd bij het gebruik van digitale data door accountants. Data-analyse kan als volgt worden gedefinieerd: Het proces van controleren, transformeren en modelleren van gegevens met als doel relevante informatie uit te lichten, hieruit conclusies te trekken en de besluitvorming te ondersteunen (NBA, 2014). Data-analyse is gericht op de uitkomsten van processen en dus de geregistreerde informatie. Met data-analyse tools kan bijvoorbeeld achteraf vast worden gesteld of bestaande functiescheidingen binnen bedrijfsprocessen zijn doorbroken door de output van de informatie te analyseren. Een meer internationaal gehanteerd synoniem voor data-analyse is data-mining en kan als volgt worden gedefinieerd: Data mining can be defined as the process of extracting data, analyzing it from many dimensions or perspectives, then producing a summary of the information in a useful form that identifies relationships within the data. There are two types of data mining: descriptive, which gives information about existing data; and predictive, which makes forecasts based on the data 3. Process mining is een vorm van data mining; een techniek die erop is gericht om een proces in kaart te brengen, te analyseren en te verbeteren vanuit data uit informatiesystemen. Van Aalst (2007) definieert process mining als volgt: "Process mining aims to discover, monitor and improve real-life processes by extracting knowledge from event logs readily available in today s (information) systems."

10 Bij process mining wordt gebruik gemaakt van zogeheten event logs. Dit zijn logfiles uit het informatiesysteem met geregistreerde activiteiten (data) van het proces. Er zijn drie vormen van process mining te onderkennen. 1. Discovery Middels process mining tooling wordt een proces in kaart gebracht door middel van het analyseren van logfiles in het systeem. Het doel van deze techniek is het in kaart brengen van het proces. Deze techniek kan een onderneming bijvoorbeeld gebruiken om het werkelijke verloop van haar inkoopproces in kaart te brengen zonder gebruik te maken van een vooraf opgesteld proces model (soll positie). De data uit het systeem wordt hiermee vertaald naar een schematische weergave van het proces. Met discovery kan het proces model worden weergegeven zoals deze is (ist positie). 2. Conformance Bij deze vorm van process mining wordt het werkelijke proces, vanuit de logfiles, vergeleken met het beschreven proces zoals de organisatie het proces voor ogen heeft om haar beheersingsdoelstellingen te bereiken. Hierbij wordt een soll positie opgesteld (proces model), die wordt vergeleken met het ist model (werkelijkheid op basis van geregistreerde activiteiten in het informatiesysteem). Het doel van deze techniek is het in beeld brengen van afwijkingen tussen soll en ist binnen het proces in relatie tot de gestelde beheersingsdoelstellingen. Met deze techniek kunnen afwijkingen en potentiële risico's binnen processen in kaart worden gebracht. 3. Enhancement Deze techniek is erop gericht om 'bottlenecks' binnen processen in kaart te brengen vanuit de data uit informatiesystemen met als doel om processen te optimaliseren en daarmee het procesmodel te verbeteren zodat deze beter aansluit op de beheersingsdoelstellingen. De verschillende vormen van process mining zijn hieronder schematisch weergegeven (figuur 3). Figuur 3: Positioning of the three main types of process mining: (a) discovery, (b) conformance checking, and (c) enhancement (IEEE Task Force on Process Mining, 2012). 10

11 Zoals hierboven uiteen is gezet is 'discovery' gericht op het in kaart brengen van het proces, 'conformance' op het vergelijken van het proces met het procesmodel en 'enhancement' op het verbeteren van het proces en het procesmodel. Discovery kan relevant zijn voor accountants om inzicht te krijgen in het systeem. In het vervolg van het onderzoek gaan we specifiek in op de techniek 'conformance'. De geschiktheid voor het gebruik bij een interimcontrole blijkt ook uit het onderzoek van Özer (2013). Uit zijn onderzoek blijkt dat process mining een toegevoegde waarde kan bieden bij het beoordelen van de werking van interne beheersingsmaatregelen tijdens de interim-controle. Voorbeelden hiervan zijn functiescheiding, 4-ogen principe en goedkeuringslimieten Conformance checking Conformance checking is erop gericht om de mismatch tussen het proces model en de werkelijkheid in kaart te brengen en te kwantificeren. Bij conformance checking wordt er eerst een procesmodel opgesteld vanuit de huidige procesbeschrijving van de processen binnen de organisatie. De beschrijving van de processen is opgesteld door de organisatie zelf. Daarnaast kan een procesmodel ook worden opgesteld vanuit het event log waarbij het kernproces op basis van logging gegevens in kaart wordt gebracht. Het proces model is een model waarin het proces van A tot Z is beschreven hoe deze zou moeten zijn binnen de organisatie (soll) om haar beheersingsdoelstellingen te bereiken. Vervolgens wordt aan de hand van het 'event log' vanuit het informatiesysteem het werkelijke proces in kaart gebracht (ist). Een event log registreert de start en voltooiing van activiteiten. Elke event refereert aan een case en een activiteit. Een 'event' bestaat uit een case, activity en een trace. Een case is de procesaanduiding. Het is een unieke identificatie van de processtroom. Een activity is een taak in een proces model. Het uitvoeren van een activity voor een case resulteert in een event dat geregistreerd wordt in een trace van deze case. Elk event bevat een set van data attributen die het event beschrijven. Een trace is een geordende volgorde van events die tot een eenzelfde case behoren. Een event log is te omschrijven als een verzameling van traces dat bij een eenzelfde proces model hoort. Een event log bevat alleen het geregistreerde gedrag en daarmee niet al het mogelijke gedrag (Van Aalst, 2011). De conformance checking techniek heeft een event log en een procesmodel nodig als input. The output bestaat uit geobserveerde informatie (gedrag) dat overeenkomsten en verschillen laat zien tussen het model en het log. Figuur 4: input and output conformance checking (IEEE Task Force on Process Mining, 2012). 11

12 Model en event log Als eerste wordt het procesmodel van het inkoopproces in kaart gebracht. De basis hiervoor is een event log (figuur 5) en de informatie van de proceseigenaar. Figuur 5: voorbeeld event log (Van der Aalst, 2011) Vervolgens wordt aan de hand van het event log een procesmodel gevormd in de vorm van een workflow met behulp van de process mining tool (figuur 6). Dit is een schematische weergave op basis van het event log van de verschillende paden in het proces. Hierbij wordt het kernproces in kaart gebracht en incidentele uitzonderingen in het proces buiten het model gelaten (Van der Aalst, 2004). Het procesmodel vormt de basis (norm) hoe het proces verloopt binnen de organisatie. Bij het doornemen van het event log wordt er geanalyseerd wat er aan logging bestaat binnen een systeem en wat er nog aan toegevoegd moet worden om een volledige conformance checking uit te voeren. Figuur 6: voorbeeld proces model uit event log (Van der Aalst, 2004) Bij conformance checking wordt vervolgens het werkelijke geobserveerde gedrag uit de event logs (nieuwe periodes) vergeleken met het proces model. Als eerste wordt de 'fitness' van het procesmodel bepaald door het meten van de verschillen tussen de log en het model. Oftewel, komt het geobserveerde proces overeen met de workflow zoals uiteen is gezet in het procesmodel? Een perfecte fitness bestaat als alle traces kunnen worden afgespeeld in het model van begin tot eind. Een manier om dit te bepalen is 12

13 door het log meerdere keren (repeterend) in het model af te spelen en verschillen (mismatch) nader te onderzoeken. Vervolgens wordt de 'appropriateness' (geschiktheid) van het model bepaald. Dit is de accuraatheid van de in het procesmodel beschreven gedrag, gecombineerd met de duidelijkheid waarin het is gepresenteerd (Rozinat, 2008). Bij de geschiktheid wordt eerst het behavorial appropriateness bepaald, waarbij wordt gekeken naar gedrag dat volgens het model is toegestaan maar nooit wordt gehanteerd in de praktijk. Als het model te algemeen is en meer gedrag toelaat dan noodzakelijk is, wordt het model minder informatief aangezien het niet het actuele proces weergeeft. De structural appropriateness is gericht op de presentatie van het model. Is deze begrijpelijk en is het procesmodel in voldoende mate gedetailleerd en logisch opgebouwd (bijvoorbeeld: zijn er geen dubbele taken in het workflow opgenomen)? Een schematische weergave van het creëren van het proces model en conformance checking is opgenomen in bijlage 9.4. Bij conformance checking wordt in de literatuur onderscheid gemaakt tussen 'procedural models' en 'declaritive models'. Bij procedural models is het model een weergave van hoe het proces moet lopen en geeft bij conformance checking een weergave van alle afwijkingen in het proces. Het declaritive model gaat uit van het principe dat de procesgang vrij is op een aantal verboden proceswegen na. De afwijkingen in het proces uit conformance checking zijn specifiek gericht op deze verboden wegen. Kwaliteit event log De kwaliteit en betrouwbaarheid van een event log is essentieel voor het gebruik bij conformance checking. Bij het creëren van een event log wordt veel gesteund op de ordening van events in een trace. In gevallen waar de events te grof zijn of incorrect kan dit leiden tot een onbetrouwbare event log wat kan resulteren in een onjuiste analyse. Dit kan zich bijvoorbeeld voordoen als alleen datums worden geregistreerd en niet de volgorde van de activiteit of doordat events handmatig worden vastgelegd (Van der Aalst, 2004). In de praktijk ziet Coney (2012) dat een kant-en-klare event log in de regel niet in de gewenste vorm beschikbaar is. De auditor zal samen met een data-analist aan de slag moeten gaan om een 'high quality' event log samen te stellen. Dit vraagt kennis van de gebruiker over de aard van de beschikbare data. De gebruiker moet weten welke data gebruikt kunnen worden voor analyse en welke vragen beantwoord moeten worden met behulp van deze data. Log extractie moet dan ook gedreven worden vanuit vragen om relevante gegevens te exporteren uit het informatiesysteem. Voor dataverzameling is niet alle data terug te vinden in standaard logfiles. Events kunnen opgeslagen zitten in verschillende formats zoals database tabellen, berichtenlogs, mailarchief, transactielogs en andere databronnen. Het creëren van een bruikbare event log vereist dan ook de nodige handmatige handelingen van de gebruiker (Jans, 2010). Essentieel hierbij is de kwaliteit van het event log. Dit is afhankelijk van de input. Checks op data-entry verhoogt de kwaliteit van de event logs (Coney, 2012). De kwaliteit van eventlogs wordt uitgedrukt in maturity levels variërende van 1 ('poor') tot 5 ('excellent'). Een tabel met deze maturity levels is opgenomen in bijlage 9.1. Criteria voor de kwaliteit van event data (IEEE Task Force on Process Mining, 2012) : - Geloofwaardig; - Volledig; - Duidelijke semantiek (betekenis events); - Vertrouwelijkheid. Uitdagingen vanuit de praktijk om high quality event logs te genereren (IEEE Task Force on Process Mining, 2012): - Benodigde data is verspreid over verschillende bronnen; 13

14 - Data is vaak object georiënteerd in plaats van proces georiënteerd; - Data kan incompleet zijn; - Log files kan informatie bevatten met lagere granulariteit (minder details worden opgeslagen). Diagnostics Verschillen tussen het event log en het procesmodel worden weergegeven door de traces uit het log te relateren aan paden in het model. Er verschijnt een weergave van de werkelijke paden die zijn bewandeld (gedrag) in relatie tot de gewenste paden uit het model. Event logs kunnen 'olifantenpaadjes' weergeven, afwijkingen van de veronderstelde werkprocessen die uit hoofde van efficiency of gemak zijn ontstaan. Een weergave van de werkelijke paden die in het proces worden bewandeld (werkelijk gedrag) die mogelijk ongewenst zijn. Hiermee wordt inzicht verkregen in de werkelijke functiescheidingen en interne beheersingsmaatregelen binnen de processen in relatie tot de beheersingsdoelstellingen van de organisatie. Deze analyse wordt gebruikt voor auditing en compliance doeleinden (Van der Aalst et al., 2010). Conformance checking geeft hiermee diagnostische informatie waar verschillen optreden, hoe vaak dit gebeurt en geeft inzicht in de werkelijke beheersing van de bedrijfsdoelstellingen. Conclusie: Process mining is een vorm van data-analyse, waarbij middels conformance checking de werkelijke procesgangen, middels analyse van event logs, kunnen worden afgezet tegen de norm (procesmodel). De kwaliteit (beschikbaarheid en integriteit) van event logs is een belangrijke randvoorwaarde. Om deze te meten is een maturity model ontwikkeld. Belangrijke tekortkomingen zijn incomplete of te gedetailleerde event logs. Kennis omtrent de benodigde data, en welke vragen beantwoord moeten worden met deze data, is essentieel om een goede event log te creëren. Hiermee is antwoord gegeven op deelvraag Jaarrekeningcontrole In deze paragraaf wordt ingegaan op de jaarrekeningcontrole. Hierbij wordt specifiek ingegaan op de interim-controle en de relatie met relevante Nederlandse wet- en regelgeving voor accountants Interim-controle - inkoopproces Zoals geschreven staat in artikel 396 BW2 zijn organisaties wettelijk onderhevig aan een controleplicht van de jaarrekening door een accountant indien de onderneming twee opeenvolgende boekjaren voldoet aan 2 van de 3 volgende criteria: omzet van meer dan 8,8 miljoen euro; balanstotaal van meer dan 4,4 miljoen euro; 50 of meer dan 50 medewerkers in dienst. De accountant dient een oordeel te vormen over de getrouwheid van de jaarrekening. Bij de uitvoering van een jaarrekeningcontrole neemt de accountant de Handleiding regelgeving Accountancy (HRA) in acht waaronder de Nadere Voorschriften Controle- en Overige Standaarden (NV COS). 14

15 Het proces van een jaarrekeningcontrole (controlecyclus) bestaat uit een voorbereidingsfase, planningsfase, interim-fase, eindejaarsfase en afrondingsfase. In de voorbereidings- en planningsfase maakt de accountant een planning van zijn werkzaamheden zodat mogelijke problemen tijdig worden geïdentificeerd en opgelost. Daarbij wordt de controleopdracht naar behoren georganiseerd, zodat deze effectief en doelmatig wordt uitgevoerd en de juiste leden voor het opdrachtteam worden geselecteerd die over de nodige deskundigheid en competentie beschikken (NV COS 300). Daarnaast identificeert de accountant risico's op een afwijking van materieel belang in de financiële overzichten door het verwerven van inzicht in de entiteit en haar omgeving, met inbegrip van haar interne beheersing (NV COS 315). De accountant hanteert het Algemeen Controlerisico Model. Hiermee wordt het risico uitgedrukt dat een afwijking van materieel belang in de jaarrekening niet wordt ontdekt uit accountantscontrole. Het algemeen controlerisico is samengesteld uit een inherent risico, intern beheersingsrisico en een detectierisico. Inherent risico: het risico van een materiële afwijking als er geen rekening wordt gehouden met het effect van interne beheersingsmaatregelen. Intern Beheersings Risico: het risico van een materiële afwijking als gevolg van het feit dat interne beheersingsmaatregelen niet toereikend zijn in opzet, bestaan of werking. Om vast te stellen dat, of de inschatting van het IBR juist is geweest, test de accountant de kwaliteit van de interne beheersingsmaatregelen. Dit doet hij door het uitvoeren van een aantal deelwaarnemingen (selectie van een aantal transacties) en vast te stellen dat de daarop betrekking hebbende interne beheersingsmaatregelen correct zijn uitgevoerd. Het risico dat een afwijking niet wordt ontdekt uit de verificatiewerkzaamheden wordt het detectierisico genoemd. Schematisch is het algemeen controlerisico als volgt weet te geven: Figuur 7: Schematische weergave AR Aan het eind van de jaarrekeningcontrole dient het AR tot laag gereduceerd te zijn. In Standaard 330 (NVCOS) wordt uiteengezet wat de respons van de accountant dient te zijn op ingeschatte risico's van een afwijking van materieel belang op het niveau van het financieel overzicht dat hij controleert. Die respons bestaat uit een combinatie van toetsingen van interne beheersingsmaatregelen (systeemgerichte werkzaamheden) en gegevensgerichte controlewerkzaamheden. De accountant dient deze controlewerkzaamheden op te zetten en uit te voeren op een wijze die hem in staat stelt voldoende en geschikte controle-informatie te verkrijgen teneinde redelijke conclusies te kunnen trekken waarop hij zijn oordeel ten aanzien van de jaarrekening kan baseren (NV COS 500). Het toetsen van interne beheersingsmaatregelen binnen de bedrijfsprocessen vindt plaats in de interim-fase van de controlecyclus. De accountant kiest hierbij voor een overwegend systeemgerichte- of gegevensgerichte controle-aanpak (zie bijlage 9.2). Bij een overwegend systeemgerichte controle wordt getracht te steunen op de interne beheersingsmaatregelen (controls) in en rondom administratieve processen. 15

16 Tijdens de interim-fase beoordeelt de accountant deze administratieve processen binnen de organisatie. Starreveld (2002) beschrijft een waardekringloop waarin een verband wordt gelegd tussen de goederenbeweging en de geldbeweging, en geeft de verbanden weer tussen de administratieve bedrijfsprocessen (figuur 8).. Figuur 8: Waardekringloop Starreveld (2002) Het inkoopproces raakt de jaarrekeningposten crediteuren, goederen (voorraad) en administratie (inkoopwaarde). Tijdens de interim-fase beoordeelt de accountant per significante transactiestroom en voor alle onderkende significante risico's de opzet van de relevante interne beheersingsmaatregelen op basis van ingewonnen inlichtingen en het uitvoeren van een lijncontrole. Bij een lijncontrole volgt de accountant een transactie door de gehele transactiestroom vanaf het ontstaan tot en met de financiële afwikkeling. Op basis van deze uitkomsten concludeert de accountant of de beheersingsmaatregel bijdraagt aan het mitigeren van een risico op een afwijking van materieel belang. Vervolgens zal de accountant systeemgerichte werkzaamheden uitvoeren om de effectiviteit van de interne beheersingsmaatregelen te toetsen om uiteindelijk vast te stellen of hij kan steunen op de werking van de interne beheersingsmaatregel gedurende het gehele jaar. Bij de systeemgerichte werkzaamheden gaat de accountant na in hoeverre zijn inschatting van de mate waarin de interne beheersingsmaatregelen het risico van afwijkingen van materieel belang verkleinen, wordt bevestigd door de effectieve werking van de relevante interne beheersingsmaatregelen vast te stellen. Om te mogen concluderen of een interne beheersingsmaatregel wel of niet effectief is geweest gedurende het hele verslagjaar, kan als voorbeeld voor een minimum aantal deelwaarnemingen worden gekozen (tabel uit 9.3). De accountant dient bij het bepalen van de omvang van de systeemgerichte werkzaamheden Standaard 530 (NV COS 530) toe te passen. Interne beheersingsmaatregelen kunnen worden onderscheiden naar aard in preventieve-, detectieve-, correctieve- en repressieve maatregelen. De preventieve interne beheersingsmaatregelen zijn erop gericht om afwijkingen in de processen te voorkomen en bevinden zich voor in het proces. Detectieve maatregelen zijn erop gericht om afwijkingen in processen te signaleren en bevinden zich in het proces. Preventieve- en detectieve interne beheersingsmaatregelen worden ook wel operationele controls genoemd. Correctieve en repressieve maatregelen doen zich voor als een afwijking zich heeft voorgedaan en is erop gericht om de impact te reduceren. Bij repressieve maatregelen wordt, in tegenstelling tot correctieve maatregelen, de oorzaak van de afwijking ook aangepakt. Deze maatregelen vinden veelal aan het eind van het proces plaats en vormen een onderdeel van de monitoring controls binnen de organisatie. 16

17 Een interne beheersingsmaatregel die volledig geautomatiseerd binnen het informatiesysteem plaatsvindt, wordt een application control genoemd. Data-analyse technieken, zoals process mining, kunnen worden gebruikt bij de interim-fase om functiescheiding en de effectiviteit van interne beheersingsmaatregelen te testen. De software voor data-analyse en process mining kunnen behulpzaam zijn bij het opsporen van afwijkingen van transactie-gerelateerde controleprocedures (interne beheersingsmaatregelen) zelf en is gericht op interne beheersingsmaatregelen die zijn ingericht in de vorm van application controls. De IT-general controls zijn randvoorwaardelijk en moeten waarborgen dat de functiescheidingen en application controls gedurende de gehele controleperiode betrouwbaar hebben gefunctioneerd. Bijvoorbeeld de logische toegangsbeveiliging die noodzakelijk is voor het waarborgen van de noodzakelijke controletechnische functiescheiding, changemanagement procedures die waarborgen dat bij updates en migraties de controls, parameters en ingeregelde journaalposten niet worden aangetast, back-up procedures die waarborgen dat geen data verloren gaat en beveiligingsmaatregelen die ongeautoriseerde toegang tot en wijzigingen in de applicaties en bestanden voorkomen. Voor het toepassen van moderne controletechnieken, zoals data-analyse of process mining, geldt dat de randvoorwaardelijke beheersingsmaatregel 'het tegengesteld belang' effectief moet zijn (SRA, 2015). In de HRA wordt niet specifiek ingegaan op data-analyse en in specifieke vorm process mining. In de regelgeving van de accountant wordt genoemd dat een deel van de controlewerkzaamheden gegevensgericht moet zijn (NV COS 315. A ). Deze gegevensgerichte werkzaamheden kunnen bestaan uit: - Cijferanalyse (NV COS 500. A21); - Integrale controle (NV COS 500. A52 en A53); - Kritische deelwaarneming (NV COS 500. A54 en A55); - Steekproeven (NV COS 500.A56). De NV COS geeft geen definitie van data-analyse. Bij data-analye wordt bewust een bepaalde actie genomen om op een plek te controleren en daarmee wordt er risicogericht gecontroleerd. Volgens Batenburg (2015) valt data-analyse onder een kritische deelwaarneming (NV COS 530. A55). Dit betekent dat je met data-analyse risicogericht zoekt naar fouten. In tegenstelling tot een steekproef, die statistisch is bepaald op de gehele populatie, wordt bij data-analyse niet de gehele populatie betrokken. Dit betekent dat er geen uitspraak kan worden gedaan over het deel van de populatie dat niet betrokken is in de data-analyse. Process mining is daarentegen een vorm van data-analyse die juist wel de gehele populatie betrekt. Process mining is een systeemgerichte werkzaamheid die te schaden valt onder de integrale controle (NV COS 500. A52 en A.53). Door process mining wordt inzicht verkregen in de effectieve werking van interne beheersingsmaatregelen (o.a. functiescheiding en 4-ogen principe) die een materiële onjuistheid op beweringsniveau voorkomen dan wel deze ontdekken en corrigeren. Onder de NV COS is process mining daarom een systeemgerichte controle (NV COS ). Daarnaast zou process mining richtinggevend kunnen zijn voor steekproeven omdat 'bottlenecks' in processen worden weergegeven (Batenburg, 2015). Vanuit de risico-perceptie van de auditor kan er doelgericht worden gecontroleerd. Standaard 500, zoals hierboven weergegeven, gaat hierbij in op de eisen die worden gesteld aan controle-informatie en geeft onder meer aan dat bij toetsingen van interne beheersingsmaatregelen en bij detailcontroles de accountant methodes dient te bepalen voor het selecteren van items die hij gaat toetsen. Hierbij wordt onderscheid gemaakt tussen het selecteren van alle items, het selecteren van specifieke items en het gebruik van steekproeven. Bij process mining worden alle items betrokken in de selectie waarmee een uitspraak wordt gedaan over de gehele populatie. Dit in tegenstelling tot deelwaarnemingen (zoals SRA handboek tabel 9.3 in de bijlage), waarbij alleen de in de deelwaarneming betrokken transacties 17

18 worden gezien. Bij de klassieke manier wordt inzicht verkregen in de werking van het proces op x momenten (deelwaarnemingen). Bij process mining wordt inzicht verkregen in de werking van het gehele proces in de geselecteerde periode. Als de te controleren onderneming zelf data-analyse of process mining toepast als onderdeel van haar interne beheersingsorganisatie dan kan dit proces worden getest als systeemgerichte werkzaamheden door de IT-auditor. Aan het eind van de interim-controle evalueert de accountant de uitkomsten van zijn systeem- en gegevensgerichte werkzaamheden. Bij deze evaluatie wordt vastgesteld of de functiescheidingen binnen het proces hebben gewerkt (steunen op onvervangbare controlemaatregelen) en of gesteund kan worden op de interne beheersingsmaatregelen (steunen op geprogrammeerde controles en transactiegerelateerde controleprocedures). Voorwaarden daarvoor zijn (SRA, 2015): - toereikende IT general controls; - adequate vastleggingen; - goede organisatiestructuur; - toereikend ontwerp en implementatie van de controls; - effectiviteit van de controls. Daarbij evalueert de accountant de gevolgen van de eventuele afwijking voor de jaarrekening (NV COS 450). Conclusie Een interim-controle is een onderdeel van de jaarrekeningcontrole cyclus waarbij de accountant de administratieve bedrijfsprocessen binnen de organisatie beoordeelt die zorgen voor de totstandkoming van de jaarrekeningposten. Tijdens de interim-controle toetst de accountant de interne beheersingsmaatregelen binnen de administratieve processen. Deze toetsing richt zich op onvervangbare controlemaatregelen (functiescheidingen) en interne beheersingsmaatregelen. Randvoorwaardelijk aan functiescheidingen en interne beheersingsmaatregelen bij de werkzaamheden van de accountant zijn de toereikende IT general controls, adequate implementatie van interne beheersingsmaatregelen en vastlegging van de uitvoering van interne beheersingsmaatregelen. Bij process mining worden alle items betrokken in de selectie waarmee een uitspraak kan worden gedaan over de operationele controls (application controls) voor de gehele populatie (NV COS 500). Dit in tegenstelling tot deelwaarnemingen (zoals SRA handboek tabel 9.3 in de bijlage), waarbij alleen de in de deelwaarneming betrokken transacties worden gezien. Hierdoor is er bij process mining meer onderbouwing (evidence) om te kunnen concluderen of gesteund kan worden op de interne beheersingsmaatregelen binnen het proces. Hiermee is antwoord gegeven op deelvraag 2. 18

19 3. Process Mining als audittechniek In dit hoofdstuk wordt de relatie gelegd tussen de techniek process mining conformance checking en de jaarrekening controle (paragraaf 3.1). Vervolgens worden in paragraaf 3.2 de aandachtspunten vanuit de literatuur in kaart gebracht voor het gebruik van process mining conformance checking bij de interim-controle op het inkoopproces. 3.1 Audittechniek Zoals reeds uit het onderzoek van Özer (2013) blijkt, kan process mining een toegevoegde waarde bieden bij het beoordelen van de werking van beheersmaatregelen tijdens de interim controle, waarbij de accountant gegevensgerichte controlewerkzaamheden opzet en deze uitvoert om in te kunnen spelen op de daarmee verband houdende inschatting van het risico van een afwijking van materieel belang op beweringniveau (COS 520 paragraaf 10). Dit betekent dat de accountant volgens het SRA handboek de werking van interne beheersingsmaatregelen beoordeelt middels systeemgerichte werkzaamheden in de vorm van detailcontroles en deelwaarnemingen. Bij het gebruik van process mining is dit een integrale controle waarbij inzicht wordt verkregen in de effectieve werking van interne beheersingsmaatregelen in de gehele periode. De process mining tool kan worden ingezet ter vervanging van traditioneel uitgevoerde walkthroughs en het testen van interne beheersmaatregelen welke de auditor als onderdeel van het auditplan uitvoert (Jans et al, 2012). Op basis van de literatuur draagt process mining conformance checking bij aan de kwaliteitscriteria effectiviteit en efficiency van de uitvoering van de interim-controle. Het inzicht in het bedrijfsproces neemt toe doordat alle transactiestromen worden beoordeeld in plaats van een deel middels deelwaarneming/steekproef. Of alle transactiestromen worden beoordeeld is echter wel afhankelijk van de compleetheid (samenstelling) van het event log. Daarnaast kan gericht worden ingezoomd op mogelijke risico's ('bottlenecks') binnen het bedrijfsproces. Process mining kan hierbij gebruikt worden als richtinggevende analyse voor de steekproeven. Een event log helpt om het klassieke 4-ogen principe te auditen en daarmee de functiescheidingen binnen bedrijfsprocessen inzichtelijk te maken. Conformance checking draagt bij aan de kwaliteitscriteria betrouwbaarheid van de uitkomsten van de interim-controle. Zoals gezegd door Van der Aalst (2011) bevat een event log alleen het geregistreerde gedrag en daarmee niet al het mogelijke gedrag in een bepaalde periode. Dit betekent dat middels process mining geen uitspraak kan worden gedaan over de werking van de interne beheersingsmaatregelen in een periode, maar juist of er onregelmatigheden in het systeem zijn die leiden tot een risico op een afwijking van materieel belang in de verslaggeving. Bij het gebruik van process mining is de beschikbaarheid en samenstelling van data randvoorwaardelijk om een bruikbare event log te creëren. Om de betrouwbaarheid (integriteit en beschikbaarheid) van de data en daarmee het event log te waarborgen zijn de IT-general controls randvoorwaardelijk. Uit de praktijk blijken de randvoorwaardelijke aspecten: beschikbaarheid van data, kwaliteit van data en een slecht IT-general control omgeving het gebruik van process mining in de jaarrekeningcontrole te beperken (Koopman, 2014). Process mining vereist kennis van de achterliggende techniek, de tool en informatietechnologie. De IT-auditor kan de brug leggen tussen de business en de techniek van process mining. De financial auditor zal een IT auditor onderdeel laten uitmaken van het opdrachtteam in de planningsfase om de benodigde deskundigheid te waarborgen. Gezien het technische aspect van process mining en de relatie met IT general controls is een IT-auditor een noodzakelijk lid van het opdrachtteam bij een jaarrekeningcontrole. Een Register EDP-auditor (RE) die een vertaling kan maken tussen de business en technologie, en de juiste data weet 19

20 te vinden en te analyseren. De American Institute van Certified Public Accountants (AICPA) heeft een aanvullende certificering in het leven geroepen voor de toenemende technologie in de business. In het curriculum van de Certified Information Technology Professional (CITP) wordt ruim aandacht besteed aan onder andere data-analyse 4. Dit geeft aan dat de huidige financial auditors niet voldoende kennis hebben van de technologie om zelf process mining uit te voeren maar afhankelijk zijn van een IT-auditor die kennis heeft van de technologie achter data-analyse. De CITP certificering lijkt qua inhoud veel op de Nederlandsche RE kwalificatie; waarbij moet worden opgemerkt dat CITP meer nadruk legt op data-analyse. Als een te controleren onderneming zelf de process mining technologie als onderdeel van haar interne beheersingsmaatregelen gebruikt, kan de IT-auditor ondersteunen bij de systeemgerichte werkzaamheden op deze interne beheersingsmaatregel. Zo zou de IT-auditor een review kunnen uitvoeren op het proces model en event log en het proces van conformance checking (betrouwbaarheid). Hiermee is antwoord gegeven op deelvraag Aandachtspunten en conceptueel model In hoofdstuk twee is de relevante literatuur besproken rondom process mining conformance checking en de interim-controle. In paragraaf 3.1 is de geschiktheid van process mining conformance checking als audittechniek voor de interim-controle uiteengezet. Een technische tool die reeds wordt gebruikt door consultants en procesanalisten binnen organisaties om bedrijfsprocessen te analyseren en verbeteren. Een technische tool die gebruikt kan worden als gereedschap voor de accountant bij haar procesanalyse tijdens een interim-controle om risico s te signaleren en de interne beheersingsmaatregelen vast te stellen in relatie tot de bedrijfsdoelstellingen van de klant en de risico s ten aanzien van de jaarrekening. Uit de beschreven literatuur omtrent process mining conformance checking en de interimcontrole kunnen we de volgende aandachtspunten onderscheiden die mogelijk van invloed zijn op het gebruik van conformance checking als audittechniek op het inkoopproces bij een interim-controle: - Samenstelling procesmodel en event log; - IT General Controls; - Data-kwaliteit event log. Bovengenoemde aandachtspunten zijn tot stand gekomen uit het samenvoegen van enkele subcategorieën die worden beschreven in de literatuur (hoofdstuk 2). De factor 'samenstelling proces model en event log' komt tot stand uit de volgende subcategorieën: - Geschiktheid proces model; - Geschiktheid event log; - Betrokken mensen. De factor 'IT General Controls' komt tot stand uit de volgende subcategorieën: - Changemanagement; - Logische toegangsbeveiliging; - Proces beheer; - Probleem beheer; - Management en organisatie; - Beïnvloeding functiescheiding; - Beïnvloeding application controls. 4 ge.aspx 20

21 De factor 'data-kwaliteit event log' komt tot stand uit de volgende subcategorieën: - Samenstelling proces model en event log; - IT General Controls; - Maturity level. Verondersteld wordt dat deze aandachtspunten op een bepaalde wijze van invloed zijn op het gebruik van process mining conformance checking als audittechniek voor de interimcontrole op het inkoopproces. Hierbij speelt datakwaliteit event log een centrale rol die wordt gemeten (norm) aan de hand van het maturity level (IEEE Task Force on Process Mining, 2012). Op basis van de beschreven literatuur kan het volgende conceptueel model worden gerealiseerd. Samenstelling proces model en event log IT General Controls Data-kwaliteit event log Gebruik process mining als audittechniek bij een interimcontrole Figuur 9: conceptueel model Uit het verdere onderzoek zal de specifieke informatie dienen te worden verzameld rondom de verschillende aandachtspunten bij het gebruik van process mining conformance checking als audittechniek op het inkoopproces bij de interim-controle. 21

22 4. Methodologie In dit hoofdstuk zal worden beschreven hoe het onderzoek tot stand is gekomen. Allereerst zal in paragraaf 4.1 de onderzoekspopulatie en - methode worden toegelicht. Vervolgens zal in paragraaf 4.2 en 4.3 respectievelijk de totstandkoming van het interview en de case studie worden uiteengezet. Tot slot wordt in paragraaf 4.4 ingegaan op de wijze van analyseren van de resultaten. 4.1 Onderzoekspopulatie en onderzoeksmethode Er is gekozen voor een kwalitatief onderzoek voor de beantwoording van de probleemstelling waarbij er een drietal interviews worden afgenomen en een case studie wordt uitgevoerd. Kwalitatief onderzoek is een geschikte onderzoeksmethode omdat deze ingaat op motieven en meningen. Daarnaast biedt deze methode mogelijkheden om meer diepgaande informatie te verkrijgen per respondent. Deze diepgaande informatie is vereist om meer inzicht te krijgen in de problematiek en specifieke invulling van de aandachtspunten die van invloed zijn op het gebruik van process mining conformance checking als audittechniek op het inkoopproces bij de interim-controle. Het nadeel is dat deze onderzoeksmethode een relatief smalle waarneming oplevert. Om een hoge respons te krijgen binnen de beperkte onderzoekspopulatie is gekozen voor een drietal rechtstreekse interviews. Aangezien het een verkennend onderzoek is, is er bewust voor gekozen om een drietal interviews af te nemen. In de onderzoekspopulatie zijn een drietal personen betrokken die werkzaam zijn bij verschillende organisaties. De geïnterviewde personen hebben kennis van process mining bij een interim-controle (zie verder paragraaf 4.4). De case studie is uitgevoerd bij een organisatie werkzaam in de installatiebranche (zie verder paragraaf 4.5). 4.2 Van theorie naar interview In hoofdstuk 3 is tot een drietal aandachtspunten gekomen die mogelijk van invloed zijn op bij het gebruik van process mining conformance checking als audittechniek op het inkoopproces bij de interim-controle. Deze aandachtspunten ''samenstelling proces model en Event Log', 'IT General Controls' en 'data-kwaliteit Event Log' zijn als topics meegenomen in de vragenlijst. Middels de subcategorieën genoemd in paragraaf 3.2 zijn theoretische variabelen afgeleid. Dit zijn variabelen die een rechtstreekse vertaling zijn van het doel van het interview (Emans, 1990). Aangezien deze theoretische variabelen complex zijn om direct als vraag in het interviewschema te verwerken, zijn er eerst 'ruwe' variabelen afgeleid. Deze ruwe variabelen zijn vragen die gezamenlijk een antwoord geven op de theoretische variabelen, in dit geval de subcategorieën genoemd in paragraaf 3.4. Middels deze 'ruwe' variabelen is uiteindelijk tot een interviewschema gekomen (bijlage 9.6.1). In beginsel is er eerst een open vraag (brede benadering) gevolgd door specifieke vragen (smalle benadering). Deze specifieke vragen stonden van te voren niet allemaal vast gezien de interviewer hier anticipeerde op het antwoord op de open vraag door de geïnterviewde. Er is daarom gekozen voor een half gestructureerd interview om zo zoveel mogelijk informatie te verkrijgen van de geïnterviewde en hiermee een zo goed mogelijke impressie te krijgen van het gebruik van process mining als audittool op het inkoopproces bij een interim-controle. 4.3 Case studie Er is gekozen voor een onderneming uit de installatiebranche die actief is in de zorg en scholengemeenschap. De selectie is gebaseerd op het gegeven dat bij deze onderneming reeds een interim-controle is uitgevoerd op de traditionele wijze, waarbij een overwegend systeemgerichte controleaanpak is gehanteerd. Daarnaast zijn de controls rondom het inkoopproces in het informatiesysteem (Install Works) en beschikt het informatiesysteem van deze onderneming over log files. Hiermee is de onderneming en haar informatiesysteem geschikt voor het onderzoek. 22

23 De case studie wordt uitgevoerd met de process mining software 'Perceptive Software' van Lexmark. Dit is een veel gebruikte tool in de praktijkcasussen van Coney (2012) en daarnaast wordt Perceptive Software door Gartner in 2014 verkozen tot leider in Enterprise Content Management tools Analyse resultaten Om de resultaten van het drietal interviews met elkaar te kunnen vergelijken is er een matrix opgesteld om de gegeven antwoorden per vraag naast elkaar te zetten per geïnterviewde. De duur van de interviews varieerde tussen één uur en anderhalf uur. Elk interview is opgenomen en vervolgens uitgewerkt. Voordat de resultaten van het interview in het onderzoek zijn verwerkt zijn deze eerst nog gecontroleerd door de betreffende geïnterviewde om ervoor te zorgen dat er geen onjuistheden of verkeerde interpretaties in het onderzoek worden verwerkt. Bij het onderzoek zijn de volgende personen betrokken. - A. Westgeest; IT-auditor Grant Thornton. Westgeest werkt als IT-auditor veel samen met accountants bij jaarrekeningcontroles. Hierbij gebruikt hij Perceptive Software als tool voor process mining bij interim-controles. Westgeest is hiermee zeer geschikt als expert voor de validatie in het onderzoek. - P. Kromhout; Senior manager KPMG. Kromhout werkt als senior manager veel samen met accountants bij jaarrekeningcontroles. Hierbij heeft hij veel ervaring met het gebruik van process mining als audittool bij de interim-controle. Kromhout is hiermee zeer geschikt als expert voor de validatie van de aandachtspunten. - B. Roeleveld; Senior data-analyse specialist Coney, consultant en trainer process mining tools bij Coney. Roeleveld heeft kennis van de technische kant van process mining tools (specifiek Perceptive Software). Hij is werkzaam als data-analist en werkt beperkt samen met financial auditors. Hierdoor is hij een goede aanvulling op de andere twee personen. Het aantal van drie interviews is beperkt, maar dekt de doelgroep voldoende af voor het verkennend onderzoek. Westgeest en Kromhout hebben meerdere interim-controles uitgevoerd met process mining en Roeleveld kent daarnaast de technologie achter process mining. Gezamenlijk zijn deze drie interviews voldoende voor dit verkennend onderzoek. De uitgelezen data uit InstallWorks in de vorm van een event log wordt ingelezen in de Perceptive Software tool. De gevisualiseerde workflow via de process mining tool wordt vergeleken met de procesbeschrijving van het inkoopproces (proces model) binnen het installatiebedrijf. Bij deze case zijn de gevalideerde aandachtspunten door de experts getoetst in de praktijk

24 5. Onderzoek In dit hoofdstuk zijn de onderzoeksresultaten weergegeven. Allereerst wordt in paragraaf 5.1 een analyse gemaakt van de resultaten van de geïnterviewde personen gebaseerd op de gespreksverslagen (bijlage 9.6.2). Vervolgens wordt in paragraaf 5.2 een analyse gemaakt van de case studie. Tot slot zal de analyse van deze onderzoeksresultaten leiden tot het beantwoorden van de laatste deelvraag in paragraaf Interviews In deze paragraaf is per aandachtspunt uit hoofdstuk 3 een analyse gemaakt van de antwoorden van de geïnterviewde personen Samenstelling proces model en event log Procesmodel: Voor het procesmodel is een event log nodig bij het gebruik van Perceptive Software (Roeleveld en Westgeest). Om een geschikt procesmodel te creëren voor de interim-controle dient het gevisualiseerde proces middels de Perceptive Software te worden afgestemd met het controleteam. Klopt het gevisualiseerde proces met het verwachte proces op basis van de bestaande klantkennis? Bevat het proces voldoende functiescheiding en interne beheersingsmaatregelen om als norm te dienen? Westgeest noemt specifiek het belang van het beperken van de paden tot de kernpaden (meest bewandelde) in het gevisualiseerde procesmodel. Dit draagt bij aan de presentatie van de workflow en voorkomt een spaghetti van paden in de workflow. Bij Kromhout is het procesmodel gebaseerd op wat het auditteam verwacht in het inkoopproces aan minimale functiescheidingen en interne beheersingsmaatregelen. Dit procesmodel hoeft niet ingelezen te worden in de tool Disco. Disco voert zelf de discovery uit en middels het proces model van het auditteam wordt handmatig de conformance check uitgevoerd. Event log: Een geschikt event log is gebaseerd op het best bekende procesmodel en op welke data benodigd is om een geschikte workflow van het inkoopproces te genereren. Alle geïnterviewde personen benadrukken dat het van belang is om business kennis te hebben van het betreffende inkoopproces om een geschikt event log te creëren. Vanuit de technische kant van Perceptive Software dient een event log minimaal de volgende drie velden te bevatten: - Unieke CaseID; - Activitycode (status); - Timestamp. Roeleveld en Westgeest geven aan dat in de praktijk een kant-en-klaar event log niet vaak rechtsreeks uit het systeem is te genereren. Hiervoor heb je vaak verschillende tabellen in verschillende systemen nodig die je aan elkaar dient te knopen. Roeleveld en Westgeest gebruiken voor het aan elkaar knopen van deze datavelden vaak data-analyse tools als ACL, Lavastorm en Caseware IDEA om zo een geschikt event log voor process mining te verkrijgen. Roeleveld benadrukt het belang van het communiceren met de klant rondom de totstandkoming van het event log. Deze is pas geschikt als je weet dat de informatie juist en volledig is. De workflow zal, gebaseerd op het event log, steeds opnieuw af moeten worden gestemd met de klant om te voorkomen dat je geen informatie mist in je event log en je verkeerde conclusies gaat trekken uit de analyses. Het procesmodel en event log dient volgens Kromhout zo vroeg mogelijk in de jaarrekeningcyclus opgesteld te worden. Het liefst in de planningsfase zodat alle inkoopstromen inzichte- 24

25 lijk zijn en er een risk based audit approach uitgevoerd kan worden wat de doelmatigheid van de jaarrekeningcontrole vergroot. Westgeest geeft aan het procesmodel en het event log veelal tijdens de interim-controle te bepalen nadat de general IT controls zijn getest. Betrokken mensen: Alle geïnterviewde personen geven aan dat bij de bepaling van het event log de klant nauw betrokken moet zijn. Met name dat er zowel mensen met kennis van IT en mensen met kennis van het proces (de business) betrokken moeten zijn van de klant. Roeleveld en Westgeest noemen nog wat specifieker namen van functionarissen. Zo noemen zij de functionarissen als applicatiebeheerder(s), databaseadministrator(s) en de proceseigenaar. Van het auditteam zal dit veelal een IT-auditor of data-analist zijn aangezien er een uitvraag van data plaatsvindt waarbij ook wat technische kennis vereist is en daarmee minder is weggelegd voor een gemiddelde financial auditor IT General Controls De geïnterviewde Kromhout en Westgeest vermelden allemaal dat alle IT general controls, genoemd in de vragenlijst, relevant zijn bij de geschiktheid van process mining. Roeleveld noemt niet alles expliciet aangezien de persoon wat minder bekend is met de term IT general controls. Alle personen noemen logische toegangsbeveiliging als randvoorwaardelijke IT general control voor het gebruik van process mining. Als de logische toegangsbeveiliging zwak is kan in theorie niet gesteund worden op de logging van de users. Hiermee kan de integriteit van de data niet worden vastgesteld waarop de conclusies uit de analyse op de functiescheiding en controls zijn gebaseerd. Kromhout noemt probleembeheer expliciet in een voorbeeld. Bij een niet werkende interface of calamiteit die heeft geleid tot systeemuitval bestaat de kans dat de logging niet compleet is, wat invloed heeft op het gebruik voor process mining. Roeleveld noemt tone at the top een belangrijk aandachtspunt. Deze is te schaden onder management- en organisatiebeleid. Als het beleid is dat er minder moet worden gelogd om ruimte te besparen bestaat de kans dat een deel van de workflow niet wordt gelogd en daarmee het event log niet compleet is. Als changemanagement niet toereikend is dan leent process mining zich juist voor de interim-controle. Process mining is dan namelijk een passende gegevensgerichte werkzaamheid van de accountant om vast te stellen of functiescheidingen zijn doorbroken in een periode. Kromhout geeft aan dat als de IT general controls toereikend zijn en er zijn voldoende application controls in het inkoopproces, process mining niet wordt toegepast aangezien het efficiënter is om systeemgericht de application controls te testen Data-kwaliteit event log De geïnterviewde personen noemen volledigheid en juistheid (integriteit) als belangrijke kwaliteitscriteria van het event log. Roeleveld noemt hierbij als aanvulling nog continuïteit (beschikbaarheid). Geen van de geïnterviewde personen gebruikt een maturity model om de kwaliteit van de data in het event log te meten. Wat opvalt is dat er geen standaard aanwezig is om de kwaliteit van het event log te toetsen en de toetsing van de kwaliteit veelal op basis van gevoel plaatsvindt. De geïnterviewde personen noemen allemaal de aansluiting met een onafhankelijke externe bron als belangrijke controle op de kwaliteit. Als voorbeeld wordt hier genoemd het grootboek of de auditfile. Kromhout en Westgeest noemen hierbij de aansluiting met andere relevante informatie die het auditteam gebruikt bij de jaarrekeningcontrole. Westgeest noemt dit een cross check met controle-informatie die gebruikt wordt bij andere processen of jaarrekeningposten. Roeleveld benadrukt het belang van de controle op de datavelden in het event log. Controle dat de juiste velden zijn gekoppeld met het unieke caseid. Kromhout gebruikt hiervoor de walktrough (lijncontrole) om de totstandkoming van de datavelden vast te stellen. Daarnaast is een belangrijke kwaliteitstoets of het event log volledig is. Is de gehele periode gelogt en heeft elke unieke caseid een start en een eind in het proces. De kwaliteit wordt ook beïnvloed door de mate van gedetailleerdheid van de timestamps (Kromhout, Roeleveld en Westgeest). Dubbele timestamps geven inzicht in de doorlooptijd van een acti- 25

26 vity en geven daarmee informatie over de kwaliteit van de controls. Een timestamp die niet op de minuut of seconde nauwkeurig is maakt de workflow niet overzichtelijk en zorgt ervoor dat de Perceptive Software tool de volgorde van de processtappen mogelijk onjuist weergeeft. Tot slot noemen alle geïnterviewde personen het risico dat een event log is gemanipuleerd. Kromhout en Westgeest geven aan dat bij de IT general controls specifiek gekeken moet worden naar de personen wie deze event logs kunnen manipuleren. Kromhout geeft aan eventuele aanvullende checks uit te voeren om dit risico in te kunnen schatten. Bijvoorbeeld controle op logging van het gebruik van beheeraccounts. De personen geven aan dat dit een inschatting blijft en je nooit 100% zekerheid hebt dat het event log niet is gemanipuleerd. Het goed overwegen van het risico en dit documenteren is een belangrijke toets van de kwaliteit Overige aandachtspunten Tijdens de open interviews was er ruimte om andere aandachtspunten in te brengen. Kromhout en Roeleveld benoemde de medewerking van de klant. Als er geen medewerking of bewustzijn bij de klant is dan heeft dat direct invloed op het proces van process mining. Dit levert vertraging op of de benodigde data is niet beschikbaar. Kromhout noemt in zijn lessons learned dat tijdigheid van data-collectie essentieel is. Aan het begin van process mining is nog niet altijd duidelijk waar de benodigde data vandaan moet komen. Daarnaast bestaat het risico dat een deel van de data nog niet beschikbaar is doordat logging niet aan staat of een deel van de data extern ligt omdat het proces is geoutsourced. Dit betekent dat je tijdig moet communiceren met de klant en het controleteam. Conformance checking constateert afwijkingen tussen het proces model en de werkelijkheid. Van belang zijn de followup van deze afwijkingen. Ga je alle afwijkingen uitzoeken of slechts een deel tijdens de interim-controle? Hier bestaat nog onduidelijkheid over omdat de regelgeving van de accountant hier ook geen specifiek antwoord op geeft. Kromhout en Westgeest geven tot slot aan dat het van belang is het proces van process mining te documenteren zodat het proces reproduceerbaar is en is vast te stellen dat de betrouwbaarheid is gewaarborgd van de analyse Bijstelling en vaststelling overzicht aandachtspunten De hoofdcategorieën en subcategorieën, zoals uiteengezet in hoofdstuk 3.2, worden bevestigd door de geïnterviewde als aandachtspunten bij het gebruik van process mining tijdens een interim-controle op het inkoopproces. De interviews hebben geleid tot een specifieke invulling van de aandachtspunten per hoofd- en subcategorie die hieronder zijn opgenomen (figuur 10-13). Deze invullingen zijn gebaseerd op een vergelijking van de antwoorden van de geïnterviewde personen zoals opgenomen in de matrix in bijlage Aandachtspunt: proces model en event log 1. Geschiktheid proces model - Afstemming met financial auditor (functiescheiding en controls); - Sluit proces model aan met bevindingen uit de lijncontrole; - Voorkom spaghetti en alleen de meest voorkomen paden weergeven; - Gebruik procedural model; - Start in de planningsfase al met het procesmodel. 2. Geschiktheid event log - Uitvraag op basis van procesmodel; - Alle mensen en systemen klant bij het proces betrekken; - Minimaal 3 soorten datavelden (caseid, activity, timestamp) nodig; - Gebruik data-analyse tools om tabellen en systemen aan elkaar te knopen (voorwerk); 26

27 - Validatie met klant en business kennis nodig; - Start in de planningsfase al met het procesmodel. 3. Betrokken mensen - IT-auditor/data-analist; - Financial auditor; - Proceseigenaar (business); - Applicatiebeheerder/databaseadministrator (IT afdeling). Figuur 10: aandachtspunten proces model en event log Aandachtspunt: IT General Controls 1. Changemanagement - Zowel effectief als niet-effectief dan process mining toepasbaar. 2. Logische toegangsbeveiliging - Niet-effectief dan process mining niet toepasbaar. Effectief dan wel toepasbaar. 3. Proces beheer - let op de beïnvloeding en totstandkoming van event log in proces. 4. Probleem beheer - Bij incident of niet werkende interface invloed op volledigheid data 5. Management en organisatiebeleid - Mogelijk niet alles gelogd op basis van beleid - Elkaars accounts gebruiken in vakantieperiode wordt gedoogd 6. Beinvloeding functiescheiding Niet relevant 7. Beïnvloeding application controls. Niet relevant Figuur 11: aandachtspunten IT General Controls Aandachtspunt: Data-kwaliteit event log 1. Samenstelling proces model en event log 2. IT general controls 3. Maturity level (kwaliteit) - Kwaliteitscriteria juistheid en volledigheid (integriteit) en continuïteit (beschikbaarheid); - Voldoende logging; - Timestamps voldoende gedetailleerd; - Inschatten en controle op manipulatie event log; - Calamiteit invloed op volledigheid event log; - Te ruime rechten en bevoegdheden mensen invloed op manipulatie/juistheid event log; 27

28 - 'Zwakke' logische toegangsbeveiliging invloed op juistheid event log; - Beleid invloed op volledigheid logging en daarmee volledigheid event log; - IT-auditor/data-analist stelt de kwaliteit vast; - Aansluiting met een onafhankelijke externe bron (grootboek/auditfile); - Controle totstandkoming datavelden (walktrough/lijncontrole). Figuur 12: aandachtspunten data-kwaliteit event log Aandachtspunt: Overig 1. Tijdige data-collectie 2. Commitment van de klant 3. Hoe om te gaan met afwijkingen 4. Documenteren hoe het proces van process mining betrouwbaar tot stand is gekomen. Figuur 13: aandachtspunten overige 5.2 Case studie In hoofdstuk 3.2 zijn de aandachtspunten beschreven die relevant zijn voor het gebruik van process mining als audittechniek bij een interim-controle van het inkoopproces. In hoofdstuk 5.1 zijn deze aandachtspunten gevalideerd middels een drietal interviews en vervolgens bijgesteld en aangevuld. In deze paragraaf zijn de aandachtspunten in de praktijk getoetst door een case studie, waarbij de huidige interim-controle werkzaamheden op het inkoopproces zijn vergeleken met de interim-controle werkzaamheden als gebruik wordt gemaakt van process mining bij onderneming X Case studie beschrijving De case studie gaat in op een middelgroot installatiebedrijf dat installatiewerkzaamheden verricht in de zorgsector. De organisatie beschikt over 67 medewerkers en gebruikt het ERP systeem Install Works voor haar inkoopproces. Het doel van deze casus is een eerste verkenning met het gebruik van data-analyse en vervolgens specifiek process mining op het inkoopproces en de verbetering ten opzichte van de traditionele interim-controle, waarbij de aandachtspunten vanuit de literatuur en de interviews zijn getoetst in de praktijk Interim-controle inkoopproces traditioneel In de planningsfase is het inkoopproces in kaart gebracht en is vastgesteld welke functiescheiding en interne beheersingsmaatregelen in het inkoopproces aanwezig zijn. Er dient functiescheiding te zijn binnen het inkoopproces tussen de besteller (inkoper), ontvanger (magazijnmedewerker), goedkeurder (functionaris die order en inkoopfactuur controleert en goedkeurt) en administrateur (medewerker administratie). Daarbij zijn de volgende interne beheersingsmaatregelen onderkend in het inkoopproces: - Het hoofd inkoop autoriseert de bestelbon voor akkoord in het systeem na controle op juistheid bestelling ten opzichte van de interne richtlijnen (fiat 1); - Het hoofd administratie autoriseert de inkoopfactuur voor akkoord in het systeem na controle op ontvangstmelding en juistheid factuur (fiat 2). 28

29 De workflow van het inkoopproces op basis van interviews ziet er als volgt uit: Workflow inkoopproces Figuur 14: inkoopproces workflow Aanmaken bestelbon Controleren en goedkeuren bestelbon Ontvangst en registratie goederen Ontvangst en registratie inkoopfactuur Controleren en goedkeuren inkoopfactuur Betaalbaarstelli ng inkoopfactuur In de planningsfase is een IT-auditor betrokken bij het controleteam om de IT general controls te testen die relevant zijn voor de interne beheersingsmaatregelen binnen Install Works. De IT-auditor heeft in de planningsfase vastgesteld dat de IT general control changemanagement niet toereikend is waardoor de auditor middels systeemgerichte werkzaamheden gaat vaststellen of de inkoopfacturen door de juiste functionarissen zijn gecontroleerd en er gesteund kan worden op de interne beheersingsmaatregelen binnen het inkoopproces die het risico op het verantwoorden van onjuiste inkoopfacturen (beheersingsrisico) dient te reduceren. Tijdens de interim-controle heeft de auditor een deelwaarneming uitgevoerd (NV COS 500.A56) op 25 inkoopfacturen (transactieniveau) en middels walktrough vastgesteld dat deze 25 inkoopfacturen door de juiste functionarissen zijn geautoriseerd in Install Works (fiat 1 en fiat 2). Het aantal van 25 deelwaarnemingen is gebaseerd op het SRA handboek controle (bijlage 9.3). De interne beheersingsmaatregelen die worden getest, het fiatteren, wordt meerdere keren per dag uitgevoerd. Het handboek schrijft tussen de 25 en 60 deelwaarnemingen voor. Er is voor het minimum aantal van 25 transacties gekozen door de accountant. Een belangrijke overweging hiervoor is de risico-inschatting op het bedrijfsproces door de accountant (NV COS a). Op basis van bevindingen uit voorgaande jaren wordt het risico op een afwijking in dit proces op gemiddeld ingeschat. Daarnaast worden er bij de eindejaarscontrole gegevensgerichte werkzaamheden uitgevoerd in de vorm van onder andere 29

30 cijferanalyses (NV COS c). Met de totale set van werkzaamheden acht de accountant voldoende controle-informatie te verkrijgen om het risico op een afwijking in de verslaggeving tot een aanvaardbaar niveau te reduceren en waarop hij zijn accountantsoordeel op kan baseren (NV COS ). Na de interim-controle is het interne beheersingsrisico gereduceerd doordat gesteund kan worden op de interne beheersingsmaatregelen op basis van deze 25 transacties Interim-controle inkoopproces nieuw De eerste stap naar een moderne controle-aanpak met behulp van data is de toepassing van data-analyse. Vanuit de risico-inschatting heeft de accountant bepaald te willen zoeken op uitzonderingen rondom de fiatteringen (fiat 1 en 2). Dit is conform NV COS 530.A55 zoals Batenburg (2015) data-analyse onder de NV COS heeft bestempeld. Om deze data-analyse uit te voeren op de fiatteringen is een data-dump nodig van alle inkooporders en inkoopfacturen inclusief fiatteringen en user. Middels deze data-analyse kan het volgende worden vastgesteld: - Functiescheidingen; - 4-ogen principe; - Goedkeuringslimieten. In bijlage 9.7 is de data weergegeven die is ontvangen vanuit het informatiesysteem Install Works op basis van hetgeen automatisch wordt vastgelegd ( stamps ). Deze data laat zien dat er een aantal facturen niet zijn gefiatteerd en een aantal facturen door één persoon is gefiatteerd. Dit zijn afwijkingen binnen het inkoopproces die nader uitgezocht moeten worden en door de accountant worden geevalueerd. Deze vorm van data-analyse is mogelijk bij onderneming X en laat zien dat door de mogelijkheid van data er een ander inzicht ontstaat in het bedrijfsproces dan op basis van de traditionele interim-controle middels een deelwaarneming op 25 transacties. Bovenstaande data-analyse voorziet nog niet in het verkrijgen van inzicht in het gehele bedrijfsproces aangezien alleen de fiatteringen in het inkoopproces worden geanalyseerd. Het inzicht in het gedrag van de gebruikers binnen het systeem in het inkoopproces, het gebruik van olifantenpaadjes en de omvang van inkooptransacties die buiten de standaard workflow van het inkoopproces lopen ontbreekt in de analyse. Een volgende stap in een modernere controle-aanpak met behulp van data, die hierin voorziet, is process mining. Bij het gebruiken van process mining conformance checking op het inkoopproces van onderneming X zijn de volgende punten nodig (zie hoofdstuk 2): - Proces model; - Event log; - Process mining tool. In de volgende alinea s wordt beschreven hoe deze punten en de aandachtspunten genoemd in hoofdstuk 3 en paragraaf 5.1 bij onderneming X uitpakken. Samenstelling proces model en event log Het procesmodel is door de financial auditor bepaald in de planningsfase op basis van de beschrijving van het proces opgesteld door de proceseigenaar en geschikt bevonden. Het bevat de noodzakelijke functiescheiding en interne beheersingsmaatregelen in het inkoopproces (soll positie). Het event log dient de volgende punten te bevatten gebaseerd op het proces model (alle benodigde velden) en de Perceptive Software tool (minimaal 3 basisvelden): - Unieke identifier per case (caseid); 30

31 - Activity (per status); - Timestamps per activity; - User per activity; - Beschikbaarheid gehele boekjaar. Het controleteam heeft samen met de Manager IT van onderneming X de beschikbare data uit Install Works gegenereerd middels een query. Een sample van de beschikbare data uit de query is opgenomen in bijlage 9.7. Uit de query blijkt dat de data object georiënteerd is en niet proces georiënteerd. Op factuurniveau (object) is te herleiden wie de fiat 1 en fiat 2 heeft gegeven. De workflow is echter niet volledig doordat er geen timestamps en activity codes zijn geregistreerd waardoor de routing van het inkoopproces niet te volgen is. Dit betekent dat de logfile (event log) incompleet is, een basisveld ontbreekt (timestamp) en een te lage granulariteit bevat (niet alle processtappen) om te kunnen inlezen in de Perceptive Software tool en een bruikbare analyse op te baseren. IT General Controls Uit de traditionele interim-controle blijkt dat de IT general control changemanagement niet toereikend is. Dit maakt process mining juist een goede gegevensgerichte werkzaamheid om vast te stellen of dit heeft geleid tot afwijkend gedrag en doorbreking van functiescheidingen. De logische toegangsbeveiliging is toereikend. De timestamps staan niet in het hele inkoopproces aan omdat dit het beleid is zodat ruimte bespaart kan worden op de server. Data-kwaliteit event log De kwaliteit van de data is, relaterend aan het Maturity model, te kwalificeren als 3. De activiteiten worden wel automatisch gelogd alleen is er geen benadering welke informatie automatisch gelogd moet worden. Hierdoor is het event log incompleet. De volledigheid van de beschikbare data kan worden vastgesteld door aansluiting te maken met de financiële administratie (totaal geboekte kosten). Daarnaast middels walktrough (lijncontrole) op het inkoopproces Analyse van bevindingen Uit de case studie is te concluderen dat een modernere controle met behulp van data bij onderneming X mogelijk is door inzet van data-analyse op de fiatteringen binnen het inkoopproces. Een volgende stap van data-analyse in de vorm van process mining is nog niet mogelijk omdat de beschikbare data in Install Works incompleet is om process mining conformance checking te kunnen gebruiken tijdens de interim-controle op het inkoopproces. De aandachtspunten samenstelling event log en data-kwaliteit schieten hierin op dit moment tekort. De samenstelling van het event log schiet tekort doordat niet alle data beschikbaar is om een volledig event log af te kunnen spelen in de Perceptive Software tool en hiermee een volledige visualisatie te genereren van het inkoopproces. In deze casus ontbreken de volgende onderdelen: - Activity; - Timestamps activity. De timestamps worden niet gelogd in Install Works. Dit is een bewuste keuze vanuit het management om ruimte te besparen op de server. Dit betekent dat met de klant in gesprek gegaan moet worden om deze logging aan te zetten zodat het in de toekomst mogelijk wordt om process mining toe te passen. Een kant-en-klaar event log kan niet gegenereerd worden uit Install Works. De activiteiten orderentry, goederenontvangst en registratie inkoopfactuur ontbreken. Deze gegevens zullen uit andere tabellen gehaald moeten worden uit Install Works en vervolgens aan elkaar ge- 31

32 koppeld worden met behulp van een tool als Excel, Lavastorm, ACL of CaseWare IDEA. Een IT-auditor of data-analist zal tijdig naar de klant moeten gaan om samen met de IT-manager en proceseigenaar deze data te genereren om een geschikt event log te creëren. De workflow kan op basis van het huidige event log (bijlage 9.7) niet weergegeven worden. Wel is te zien in het event log (bijlage 9.7) dat een aantal facturen niet is gefiatteerd en biedt het de auditor mogelijkheden om via data-analyse gericht te zoeken op uitzonderingen in de inkoopfacturen (objecten). In de 25 deelwaarnemingen zijn geen onregelmatigheden aangetroffen. In het event log zijn al wel enkele bijzondere transacties te zien. De vraag die naar boven komt, zoals ook in de inleiding van dit onderzoek is benoemd, is of de huidige methode nog wel voldoende geschikte controle-informatie geeft nu veel proces informatie in geautomatiseerde systemen zit. Een eerste stap bij onderneming X zou de toepassing van dataanalyse zijn op het inkoopproces. Dit geeft meer inzicht in het inkoopproces doordat een grotere populatie wordt betrokken dan bij de 25 deelwaarnemingen in de traditionele interim-controle. Dit is een belangrijke positieve bevinding uit de case studie. Process mining is nog een stap te ver op dit moment, maar is mogelijk op de langere termijn als de juiste gegevens worden gelogd binnen Install Works. Hoewel deze bevinding is gebaseerd op één praktijkcase, bevestigd het de huidige tekortkomingen in de event logs zoals genoemd door Coney (2012) en de IEEE Task Force on Process Mining (2012) Bijstelling en vaststelling overzicht aandachtspunten De case studie bevestigt de aandachtspunten uit hoofdstuk 3 en paragraaf 5.1. Belangrijk element wat specifiek naar voren komt in de case studie, maar ook genoemd is door de geïnterviewde, is de georiënteerdheid van de data. Deze dient proces georiënteerd te zijn in plaats van object georiënteerd. Dit punt wordt ook genoemd door de IEEE Task Force (2012). Dit betekent dat, als je process mining wilt gebruiken bij de interim-controle op het inkoopproces, het aan het type systeem ligt of dit eenvoudig is te realiseren. Aangezien het een essentieel onderdeel is en in de praktijk problemen oplevert (zie case studie en IEEE Task Force) wordt dit punt toegevoegd bij de factor samenstelling proces model en event log. De factor 'samenstelling proces model en event log' komt tot stand uit de volgende subcategorieën: - Geschiktheid procesmodel; - Geschiktheid event log; - Betrokken mensen; - Type informatiesysteem (nieuw). De andere factoren worden gehandhaafd na de uitvoering case studie. 5.3 Resultaten onderzoek In deze paragraaf wordt op basis van de verkregen informatie uit de literatuurstudie, interviews en case studie een antwoord gegeven op de geformuleerde deelvragen uit hoofdstuk 3. In hoofdstuk 2 en hoofdstuk 3 is reeds antwoord gegeven op de deelvragen 1 tot en met 3. In deze paragraaf wordt antwoord gegeven op deelvraag Antwoord deelvraag In hoofdstuk 1 is de volgende deelvraag geformuleerd: Op welke wijze zijn de aandachtspunten uit deelvraag 2.2 relevant voor het gebruik van Process Mining conformance checking als audittechniek bij een interim-controle van het inkoopproces en hoe past dit binnen de Nadere Voorschriften Controle en Overige Standaarden (NV COS)? 32

33 De accountant test tijdens de interim-controle interne beheersingsmaatregelen om zijn interne beheersingsrisico te reduceren. Aandachtspunten hierbij zijn de onvervangbare controlemaatregelen (functiescheidingen) en interne beheersingsmaatregelen. Randvoorwaardelijk aan functiescheidingen en interne beheersingsmaatregelen bij de werkzaamheden van de accountant zijn de toereikende IT general controls, adequate implementatie van interne beheersingsmaatregelen en vastlegging van de uitvoering van interne beheersingsmaatregelen. Bij process mining worden alle items betrokken in de selectie waarmee een uitspraak kan worden gedaan over de operationele controls (application controls) voor de gehele populatie (NV COS 500). Process mining past binnen de NV COS en zorgt ervoor dat er sprake is van een systeemgerichte controle die valt onder NV COS 500. A52 en A.53 integrale controle. Middels process mining wordt controle-informatie verkregen over de effectieve werking van interne beheersingsmaatregelen die een materiële onjuistheid op beweringniveau voorkomen dan wel deze ontdekken en corrigeren. Bij conformance checking worden mogelijk (veel) procesafwijkingen geconstateerd. Volgens NV COS 450 dient de accountant deze afwijkingen te evalueren. Doordat alle transacties worden betrokken kunnen er veel afwijkende paden in een workflow ontstaan. Een belangrijk aandachtspunt relevant bij gebruik van conformance checking, is de (mogelijk omvangrijke) analyse van deze afwijkingen en de invloed op de controleaanpak en risico s ten aanzien van de jaarrekening. 33

34 6. Conclusie, discussie en beperkingen 6.1 Conclusie In dit onderzoek stond de volgende onderzoeksvraag centraal: Welke aandachtspunten zijn te onderkennen bij het gebruik van Process Mining; 'conformance checking' als audittechniek voor de (IT-)auditor bij de interim-controle op het inkoopproces? Om de centrale onderzoeksvraag te beantwoorden is allereerst in hoofdstuk 2 de theorie van process mining conformance checking en de interim-controle behandeld. Vervolgens is in hoofdstuk 3.1 het gebruik van process mining als audittechniek bij een interim-controle behandeld. Hieruit kan geconcludeerd worden dat process mining een vorm van data-analyse is, waarbij middels conformance checking de werkelijke procesgangen, middels analyse van event logs, kunnen worden afgezet tegen de norm (procesmodel). De interim-controle is een onderdeel van de jaarrekeningcontrolecyclus waarbij de accountant de functiescheiding en de interne beheersingsmaatregelen test binnen de administratieve bedrijfsprocessen van de organisatie, die zorgen voor de totstandkoming van de jaarrekeningposten. De process mining tool kan worden ingezet ter vervanging van de traditioneel uitgevoerde testen op de interne beheersmaatregelen welke de auditor als onderdeel van het auditplan uitvoert. De ITauditor is een geschikte deskundige voor process mining gezien zijn kennis van zowel de technologie als de business. De financial auditor kan de IT-auditor specifiek als onderdeel van het controleteam toevoegen om process mining toe te passen op het inkoopprijs tijdens de interim-controle. Process mining is een systeemgerichte controle die past binnen de huidige regelgeving van de accountant (NV COS , 500. A52 en A53). Vervolgens is in hoofdstuk 3.2 tot een set van aandachtspunten gekomen die in hoofdstuk 5 is gevalideerd middels een drietal interviews en een case studie. De aandachtspunten vanuit de theorievergelijking wordt bevestigd door het praktijkonderzoek. Het praktijkonderzoek heeft de volgende hoofd aandachtspunten bevestigd: - Samenstelling proces model en event log; - IT general Controls; - Data-kwaliteit event log. Vervolgens is door middel van het praktijkonderzoek tot een concrete invulling gekomen per aandachtspunt. Hierdoor is tot een gedetailleerdere set van aandachtspunten voor het gebruik van process mining conformance checking bij de interim-controle op het inkoopproces gekomen. De totale set van aandachtspunten, het resultaat van het onderzoek en beantwoording van de centrale vraag, is opgenomen in bijlage 9.8. Uit de case studie blijkt dat, in de door mij gekozen praktijkcase, process mining op dit moment nog een stap te ver is. Het is een leerproces die de nodige tijd in beslag neemt om uiteindelijk een volledige process mining toe te kunnen passen. Een eerste stap om data te gebruiken en een modernere controle te creëren is het gebruik van data-analyse in het inkoopproces. Het gebruik van data leidt tot nieuwe inzichten rondom het inkoopproces en een verbetering van de controle-aanpak. Ondanks dat uit de case studie blijkt dat process mining nog een stap te ver is, geeft de uitkomst van de case studie juist een belangrijke uitdaging weer om het gebruik van process mining binnen de accountancy te vergroten de komende jaren. Zoals Coney (2012) al noemde: In de praktijk blijkt dat een kant-en-klare eventlog in de regel niet in de gewenste vorm beschikbaar is. De auditor zal samen met een data-analist aan de slag moeten gaan om een 'high quality' eventlog samen te stellen. 34

35 Dit onderzoek heeft een bijdrage voor het IT-audit beroep geleverd in de zin dat tot een set van aandachtspunten is gekomen voor het gebruik van process mining conformance checking bij de interim-controle op het inkoopproces. Eerdere onderzoeken bevestigden veelal alleen de toegevoegde waarde van process mining voor een interim-controle. Daarnaast geeft het onderzoek de beperkingen en uitdagingen weer die op dit moment spelen bij het gebruik van process mining tijdens bij een interim-controle. Met name het ontbreken van concrete handreikingen en ondersteuning van het gebruik van process mining door de huidige regelgeving van de accountant zijn beperking en tevens belangrijke uitdagingen voor de komende jaren. Uit dit onderzoek lijkt process mining bij te dragen aan de doelmatigheid en efficiëntie van de controle en het verhogen van de verkregen controle-informatie. De vraag is of deze toename in doelmatigheid en efficiëntie ook te meten is. Dit zou een interessant vervolgonderzoek kunnen zijn. Uit het rapport van de Autoriteit Financiële Markten (AFM, 2014) blijkt dat er te weinig detailcontroles worden uitgevoerd en er gegevensgerichte werkzaamheden worden uitgevoerd terwijl is vastgelegd in het controledossier dat er systeemgerichte werkzaamheden zijn uitgevoerd. In theorie draagt process mining bij aan deze tekortkoming genoemd in het AFM rapport, aangezien er geen detailcontroles worden uitgevoerd, maar een gehele populatie wordt betrokken. 6.2 Discussie en beperkingen onderzoek In de praktijk wordt process mining bij interim-controles nog niet veel gebruikt. Dat er aandacht voor is, blijkt wel uit de recente nieuws items (Bootsma, 2015). Hier worden echter geen concrete handreikingen genoemd voor het gebruik van process mining bij jaarrekeningcontroles. Wat moet een auditor nu doen met gesignaleerde afwijkingen uit process mining analyses? Moet hij alle afwijkingen verklaren om te kunnen steunen op interne beheersingsmaatregelen in het proces? In de huidige regelgeving (HRA) van de accountant voor het uitvoeren van jaarrekeningcontroles wordt data-analyse of de specifiek vorm process mining niet genoemd en daarmee ook niet hoe om te gaan met process mining en eventuele gesignaleerde afwijkingen. In de HRA 2015 app kan gezocht worden op trefwoorden. Bij het invullen van data-analyse of process mining worden nul hits verkregen. Het woord 'data' krijgt 11 resultaten waarbij het veelal gaat om algemene data of zelfs datums. Verbazingwekkend anno Er is werk aan de winkel om datamining verankerd te krijgen in de beroepsregels van de accountant en specifieke handreikingen te ontwikkelen waarbij de aandachtspunten voor het gebruik uiteen zijn gezet. Het lijkt de hoogste tijd voor de NBA en de NOREA om haar handen hiervoor ineen te slaan om dit te realiseren. De RE is voor de RA een natuurlijk aanspreekpunt voor data-analyse en process mining doordat de RE beter thuis is in deze veelal technische tools. Echter wordt op dit moment in de RE opleiding beperkt getraind met data-analyse en process mining in de jaarrekeningcontrole. In Amerika heeft de beroepsorganisatie van accountants (AICPA) het belang van data-analyse voor accountants benadrukt door het uitdrukkelijk op te nemen in het curriculum van Certified IT Professional (CITP). Moet anno 2015 het niet verplicht worden gesteld in Nederland om bij een jaarrekeningcontrole een RE onderdeel te maken van het controleteam? Of sterker nog, moet de rol van de RA de komende jaren niet veranderen en meer worden verweven met de RE om de deskundigheid te waarborgen? Vooralsnog lijkt de IT-auditor de komende jaren veel werk te krijgen bij de ondersteuning van de financial auditor bij het uitvoeren van data-analyse werkzaamheden en waar mogelijk process mining analyses. Dit blijkt ook uit het feit doordat er vanuit de accountancy branche steeds meer aandacht voor is (Bootsma, 2015 en NBA, 2014). Deze ontwikkeling zal er wel toe moeten leiden dat bij de educatie van de RE er meer concrete aandacht moet komen voor de toepassing van data-analyse en process mining. 35

36 Aan de resultaten van dit onderzoek zijn beperkingen verbonden. Zo zijn er maar drie personen geïnterviewd waarop de aandachtspunten zijn gevalideerd. Hiervan hebben twee personen dagelijks te maken met het gebruik van process mining bij een interim-controle op het inkoopproces en gebruiken twee personen de tool Perceptive Software en 1 een andere tool. Er is een bewuste keuze gemaakt voor de selectie van de personen om te interviewen. Toch zijn de resultaten van de interviews onderhevig aan meningen wat kan leiden tot het niet helder en juist weergeven van de werkelijkheid. Dit onderzoek is gericht op het inkoopproces en de tool Perceptive Software. Hierdoor is dit onderzoek mogelijk niet representatief voor andere processen of andere process mining tools. Tot slot is er slechts 1 case studie uitgevoerd gericht op een Midden- en Klein Bedrijf (MKB) onderneming en op het systeem Install Works. Dit is niet voldoende om de bevindingen te generaliseren. Het is een verkennend onderzoek en vanuit hier kan meer richting worden gegeven aan de probleemstelling om deze vervolgens te onderzoeken. 36

37 7. Literatuur AFM (2014). Uitkomsten onderzoek kwaliteit wettelijke controles Big 4- accountantsorganisaties. Bezverhaya-Haasnoot, M., Caron, E., Goeyenbier, P. (2009). Naar een softwarematige analyse van bedrijfsprocessen voor auditing - Process Mining als gereedschap voor (IT-) auditors, de EDP-Auditor, 2, 2009 Batenburg, P. (2015). Wat zegt de COS over steekproeven en data-analyse? Limpberg Instituut. Symposium Statistical Auditing. Bottemanne, G. (2015). Data-analyse voor de auditfunctie. Onderzoeksbureau GBNED, januari Emans, B. (1990). Interviewen: theorie, techniek en training. 3 e druk Wolters-Noordhoff. Fijneman R., Roos Lindgreen E., Veltman P. (2005). Grondslagen IT-auditing. Academic Service Hakvoort, R.H.M., Sluiter, A. F. (2008). Process Mining: Conformance analysis from a financial audit perspective. Int. J. Business Process Integration and Management Hilvoorde, M. van (2007). 'Volkomen controle kan, maar willen we ook?'. De accountant (6-2007). HRA 2015 IEEE Task Force on Process Mining (2012). Process Mining Manifesto. In F. Daniel, K. Barkaoui, and S. Dustdar, editors, Business Process Management Workshops, volume 99 of Lecture Notes in Business Information Processing, pages Springer-Verlag, Berlin Jans, M., Alles, M. & Vasarhelyi, M. (2010). Process mining of event logs in auditing: Opportunities and challenges. International Symposium on Accounting Information Systems. Jans, M., Alles, M. & Vasarhelyi, M (2012). The Case for Process Mining in Auditing: Sources of Value Added and Areas of Application. Unpublished working paper. Rutgers University. Koopman A.J.M., Kok, de P. (2014). Process Mining: leuk voor de liefhebber of noodzaak? Maandblad voor informatievoorziening. Juni/juli, P Kumar, K., Kaul, R. (2013).Audit Trail Based on Process Mining and Log. International Journal of Recent Development in Engineering and Technology, Volume 1, Issue 1, Oct 2013 NBA, TUACC, NOREA, (2014). Jaarrekeningcontrole in het MKB: IT audit geïntegreerd in de controle-aanpak. Özer, P. (2013), Process Mining - Een toegevoegde waarde voor de jaarrekeningcontrole?, 2013 Rozinat, A., Van der Aalst, W.M.P. (2008). Conformance Checking of Processes Based on Monitoring Real Behavior. Information Systems, 33(1),

38 Starreveld, R.W., e.a. (2002). Bestuurlijke informatieverzorging Deel 1. Algemene grondslagen. Groningen: Stenfert Kroese SRA Handboek Controle, Editie 2015 Van der Aalst, W.M. (2007). Trends in business process analysis. From Verification to Process Mining. Proceedings of the 9th international conference on enterprise information systems (ICEIS 9) june 2007, Funchal, Madeira, Portugal. P INSTICC Van der Aalst, W.M., van Hee, K.M., van Werf, J.N., & Verdonk, M. (2010). Auditing 2.0: using process mining to support tomorrow's auditor. Computer, 43 (3), Van der Aalst, W. M., & van der Aalst, W. (2011). Process mining: discovery, conformance and enhancement of business processes. Springer. Van der Aalst, W.M., Weijters, A.J.M.M., Maruster, L. (2004). Workflow Mining: Discovering process models from event logs. Vousten, L. (2010), Process Mining - Tool voor de (IT) Auditor, 2010 Internetsites: Tsang, F.K.D. (2009) Accountancy nieuws, , nr 22 Coney (2012) Bootsma. H. (2015) CITP body of knowledge (2015) y%20of%20knowledge.aspx) 38

39 8. Begrippenlijst AICPA: American Institute of Certified Public Accountants. Beroepsorganisatie van accountants in Amerika. Application control: Handmatige of geautomatiseerde procedures die doorgaans op het niveau van een bedrijfsproces werken. Application controls kunnen preventief of detecterend van aard zijn en zijn opgezet om te zorgen voor de integriteit van de administratieve vastleggingen. Application controls hebben derhalve betrekking op procedures die worden gehanteerd om transacties of andere financiële gegeven tot stand te brengen, vast te leggen, te verwerken en te rapporteren. CITP: Certified Information Technology Professional. Specifieke certificering voor Amerikaanse accountants waarmee zij kunnen laten zien dat zij ervaring hebben met het leggen van een brug tussen de business en techology (o.a. gebruik van data-analyse). Deelwaarneming: Controle van een en selectie uit de populatie. Extern accountant: Accountant ingeschreven als Register Accountant in het accountantsregister en tevens ingeschreven bij de Autoriteit Financiële markten als tekenend accountant namens zijn accountantsorganisatie. Financial auditor: zie externe accountant Gegevensgerichte werkzaamheden: Werkzaamheden die zijn opgezet om afwijkingen van materieel belang op het niveau van beweringen te detecteren. Informatiesystemen: Een systeem waarmee informatie over objecten of personen beheerd - verzameld, bewerkt, geanalyseerd, geïntegreerd en gepresenteerd - kan worden Inherent risico: De vatbaarheid van een bewering met betrekking tot een transactiestroom, rekeningsaldi of in de financiële overzichten opgenomen toelichting voor een afwijking die afzonderlijk of gezamenlijk met andere afwijkingen van materieel belang is, voordat er rekening wordt gehouden met de eventuele daarop betrekking hebbende interne beheersingsmaatregelen. Integriteit: De mate waarin het object (gegevens en informatie-, technische- en processystemen) in overeenstemming is met de afgebeelde werkelijkheid. Intern beheersingsrisico: Het risico dat een afwijking kan voorkomen in een bewering met betrekking tot een transactiestroom, rekeningsaldo of een in de financiële overzichten opgenomen toelichting die, afzonderlijk of gezamenlijk met andere afwijkingen van materieel belang is, niet wordt voorkomen of niet tijdig wordt gedetecteerd en hersteld door de interne beheersing van de entiteit. Interne beheersing: Het proces dat is opgezet, wordt geïmplementeerd en onderhouden door de met governance belaste personen, het management en andere personeelsleden met als doel een redelijke mate van zekerheid te verschaffen dat de doelstellingen van de entiteit met betrekking tot de betrouwbaarheid van de financiële verslaggeving, de effectiviteit en efficiëntie van de activiteiten alsmede de naleving van de van toepassing zijnde wet- en regelgeving worden bereikt. De term interne beheersingsmaatregelen slaat op alle aspecten van één of meer componenten van de interne beheersing. IT: Informatietechnologie: het gebruik van computers en telecommunicatiemiddelen om 39

40 data op te slaan, op te halen, te verzenden en te manipuleren. IT-audit: De werkzaamheden van een IT-auditor die zijn gericht op het uitvoeren van een assurance-opdracht, beoordeling of adviesopdracht. IT-auditor: De Register EDP-auditor (RE), ingeschreven in het register van de NOREA. IT General Controls: Beleidslijnen en procedures die betrekking hebben op een groot aantal toepassingen en die de effectieve werking van application controls ondersteunen. Ze zijn van toepassing op mainframe-, miniframe- en eindgebruikersomgevingen. General IT controls die de integriteit van de informatie en de beveiliging van gegevens handhaven, omvatten gewoonlijk: a. de werking van het computercentrum en het netwerk; b. aanschaf, wijziging en onderhoud van systeemsoftware; c. programmawijzigingen; d. toegangsbeveiliging; e. aanschaf, ontwikkeling en onderhoud van toepassingssystemen. IT-omgeving: Geheel aan informatiesystemen, gegevens, infrastructuur en fysieke laag (fysieke voorzieningen zoals gebouw met pasjes, airconditioning, noodstroomvoorzieningen). Lijncontrole: Het volgen van enkele transacties door het financiële verslaggevingssysteem. Logische toegangsbeveiliging: Het geheel van maatregelen om gegevens te beveiligen tegen ongeautoriseerde toegang. NBA: Nederlandse Beroepsorganisatie van Accountants NOREA: Nederlandse Orde van Register EDP Auditors, de beroepsorganisatie van ITauditors. NV COS: Nadere voorschriften controle- en overige Standaarden. Ontdekkingsrisico: Het risico dat de werkzaamheden die door de accountant zijn uitgevoerd om het controlerisico terug te brengen naar een aanvaardbaar laag niveau een bestaande afwijking niet zullen detecteren en die afzonderlijk of gezamenlijk met andere afwijkingen van materieel belang zouden kunnen zijn. Systeemgerichte werkzaamheden: Werkzaamheden die zijn opgezet om controle-informatie te verkrijgen over de effectieve werking van de interne beheersingsmaatregelen. Steekproef: Een selectie uit een totale populatie ten behoeve van een meting van bepaalde eigenschappen van die populatie. 40

41 9. Bijlage 9.1 Maturity model event logs Bron: (IEEE Task Force on Process Mining, 2012) 41

42 9.2 Controlestrategieën Controlestrategie Overwegend systeem-gericht: steunen op management en monitoring controls Overwegend systeem-gericht: steunen op controls in en rondom het informatieverzorgingssysteem Overwegend gegevens-gericht: steunen op transactiegerelateerde controls Overwegend gegevens-gericht: niet steunen op controls Accountant plant om te steunen op: management controls geprogrammeerde procedures transactie-gerelateerde controleprocedures onvervangbare controles Accountant verricht daartoe: lijncontroles toetsen management controls toetsen geprogrammeerde procedures toetsen transactiegerelateerde controleprocedures Accountant plant om te steunen op: geprogrammeerde controles transactie-gerelateerde controleprocedures onvervangbare controles Accountant verricht daartoe: lijncontroles toetsen geprogrammeerde procedures toetsen transactiegerelateerde controleprocedures Accountant plant om te steunen op: transactie-gerelateerde controleprocedures onvervangbare controles Accountant verricht daartoe: lijncontroles toetsen transactiegerelateerde controleprocedures Accountant plant om te steunen op: onvervangbare controles Structuur van het controleproces Voorwaarden daarvoor zijn: kritische houding management toereikende general controls adequate vastleggingen goede organisatiestructuur toereikend ontwerp en implementatie van de controls effectiviteit van de controls Aangevuld met: aansluitingen cijferanalyses onderzoek van afwijkingen Voorwaarden daarvoor zijn: toereikende general controls adequate vastleggingen goede organisatiestructuur toereikend ontwerp en implementatie van de controls effectiviteit van de controls Aangevuld met: aansluitingen cijferanalyses beoordeling managementinformatie onderzoek van afwijkingen Voorwaarden daarvoor zijn: adequate vastleggingen goede organisatiestructuur toereikend ontwerp en implementatie van de controls effectiviteit van de controls Aangevuld met: aansluitingen cijferanalyses beoordeling managementinformatie data-analyse onderzoek van afwijkingen Voorwaarden daarvoor zijn: goede organisatiestructuur toereikend ontwerp en imple- 42

43 mentatie van de controls Bron: (SRA handboek controle, 2015) Accountant verricht daartoe: lijncontroles Aangevuld met: aansluitingen cijferanalyses beoordeling managementinformatie data-analyse onderzoek van afwijkingen overige verificaties 9.3 Omvang deelwaarnemingen Frequentie van de interne beheersingsmaatregel Minimum aantal waarnemingen (tests) van de effectieve werking van de interne beheersingsmaatregel Meerdere keren per dag 25 tot 60 Dagelijks 20 tot 40 Wekelijks 5 tot 15 Maandelijks 2 tot 5 Per kwartaal 2 Per halfjaar 1 Jaarlijks 1 Geprogrammeerde procedure (afhankelijk van de uitkomsten van de tests van de algemene ITbeheersingsmaatregelen) Bron: (SRA handboek controle, 2015) 1 43

44 9.4 Process model en conformance checking Bron: (Van der Aalst, 2011) 44

45 9.5 Voorbeeld workflow output Bron: (Koopman, 2014) 45