DControleerbaarheid en kwaliteit

Transcriptie

1 VERBETERING CONTROLEERBAARHEID VAN GEAUTOMATISEERDE PROCESSEN DControleerbaarheid en kwaliteit van event logs Dit artikel is geschreven naar aanleiding van mijn Een van de mogelijke oplossingen vragen bij proceseigenaren, hoger voor de genoemde obstakels bij management en IT-auditors. artikel dat in de IT-Auditor nummer 3, jaargang process mining is om tijdens de analyse- en ontwerpfase van de imple- KWALITEITSMODELLEN 2012 is verschenen [HAAS12]. Toen heb ik vooral mentatie van een bedrijfsproces in Allereerst wil ik het onderwerp de lessons learned uit mijn praktijkervaring beschreven en de aandachtspunten en moeilijkheden bij toepassing van process mining. Als de kort toelichten. Bij de implementa- een systeem na te denken over de kwaliteit en controleerbaarheid registratie van data op een zorgvuldige manier wordt ingericht en uitge- verschillende modellen gehanteerd tie van informatiesystemen worden de toepassing van de process miningtechniek 1 in kaart gebracht. De conclusie was dat er een paar voerd, produceert het systeem event om de kwaliteit van de systemen, logs van hoge kwaliteit en kunnen processen en informatiestromen te belangrijke obstakels zijn bij het toepassen van proceseigenaren en auditors bedrijfsprocessen en -systemen (eventueel is het IPS-model. Zie figuur 1. IPS waarborgen. Een van deze modellen process mining: de vaak matige kwaliteit van de continu) controleren en analyseren. staat voor Informatie, Processen en beschikbare data, de moeite die het kost om de Systemen. Het IPS-model biedt een juiste data te selecteren en de kosten die gemoeid In dit artikel wil ik deze oplossing 360 graden perspectief op alle verder uitwerken en het belang van mogelijke succesfactoren (en faalfactoren) van de informatievoorzie- zijn met het construeren van event logs vanuit de de samenwerking van process bron systemen die geschikt zijn voor analyse. MARIA HAASNOOT-BEZVERHAYA miningdeskundigen en het implementatieteam benadrukken om tot een betere inrichting van de event log te komen. Ik ga ook in op een aantal voor geautomatiseerde processen belangrijke onderwerpen die sterk met elkaar samenhangen, namelijk: kwaliteit en controleerbaarheid van processen en de life cycle en auditing van de event logs. ning. Het model wordt gehanteerd bij het definiëren van eisen en bij de (acceptatie)testen. Analisten en ontwerpers gebruiken het model om tot volledige eisen en een compleet ontwerp te komen. Testers gebruiken het model voor risicoanalyses en om de opgeleverde (tussen)producten te controleren. De hoofdvraag in dit artikel is: Hoe kan de kwaliteit van de event logs van het systeem verbeterd worden? Deze vraag is belangrijk omdat een goed ingerichte event log de controleerbaarheid van geautomatiseerde (bedrijfs)processen ook kan verbeteren. Ik wil door middel van dit artikel aandacht voor deze onderwerpen CONTROLEERBAARHEID Opvallend is dat men in de literatuur weinig aandacht besteedt aan de controleerbaarheid van informatiesystemen en -processen in vergelijking met de andere kwaliteitsaspecten zoals die in het IPS-model zijn beschreven. Dit komt doordat niet alle stakeholders zich bewust zijn van het belang van controleerbaarheid of van de mogelijkheden om contro- 18 de IT-Auditor nummer

2 leerbaarheid te concretiseren en technisch te realiseren. Ook worden systemen vaak als een standaardpakket geïmplementeerd en daarna wordt nog veel maatwerk ingebouwd en toegevoegd, waarbij controleerbaarheid in het ontwerp van het maatwerk niet (of in beperkte mate) wordt meegenomen. Wat is nu controleerbaarheid en waarom is controleerbaarheid zo belangrijk voor de bedrijfsprocessen? Controleerbaarheid heeft verschillende synoniemen en verwante begrippen: traceerbaarheid, meetbaarheid, auditability, herleidbaarheid. Controleerbaarheid wordt in de literatuur beschreven vanuit drie perspectieven: procesperspectief, systeemperspectief en informatieperspectief. Hieronder beschrijf ik de drie perspectieven in het kort: Procesperspectief In het POQ-proceskwaliteitsmodel is controleerbaarheid een onderdeel van het aspect Bestuurbaarheid. 2 De definitie van controleerbaarheid vanuit het perspectief van dit proceskwaliteitsmodel is: Controleerbaarheid is de mate waarin het proces en de invoergegevens controleerbaar en meetbaar zijn voor derden, zoals ITauditors en beveiligingsdeskundigen. Systeemperspectief In het ISO 9126-model wordt controleerbaarheid genoemd als onderdeel van het aspect Functionaliteit. 3 Definitie van controleerbaarheid in dit model is: Controleerbaarheid is de mate waarin herkomst en correcte verwerking van data door het systeem op verschillende momenten in de verwerking gecontroleerd kan worden. Informatieperspectief Volgens het IDQ-informatiekwaliteitsmodel is controleerbaarheid de mate waarin de informatie geschikt is voor controle. Figuur 2 toont deze aspecten van controleerbaarheid in detail en in de paragraaf over auditing Figuur 1: IPS-kwaliteitsmodel [SMAR08] Het IDQ model is een model voor de kwaliteit van Informatie en Data. Dit model is met name geschikt voor de beoordeling van gegevensverzamelingen. Typische voorbeelden: datawarehouses, CRM-systemen, managementinformatiesystemen (MIS), ERP-systemen en virtuele marktplaatsen. van de event logs ten behoeve van process mining vormen deze aspecten van controleerbaarheid het referentiekader. In andere woorden als het aspect controleerbaarheid goed in het systeem en in het geautomatiseerde proces is aangebracht, is het systeem en het proces geen black box meer; het wordt inzichtelijk voor de belanghebbenden zoals proceseigenaren, data analisten en auditors. EVENT LOG TEN BEHOEVE VAN PROCESS MINING Proces miningtechnieken zijn bijzonder goed geschikt om processen te controleren. Bij deze technieken speelt een event log 4, die informatie en data over de geautomatiseerde Het POQ-model (Process and Organization Quality) voor kwaliteit van processen in organisaties omvat alle kwaliteitsaspecten van geautomatiseerde en niet-geautomatiseerde processen in organisaties. Dit model is met name geschikt voor de beoordeling van procesinrichting. processen bijhoudt, een essentiële rol. Maar zoals ik eerder in de aanleiding heb genoemd, als de event log van onvoldoende kwaliteit is, is geautomatiseerde analyse met proces mining niet mogelijk en is er onvoldoende inzicht te krijgen in de werking van het proces. Vaak constateert men slechte kwaliteit van de event log pas achteraf als het proces (en systeem) reeds geïmplementeerd is. In dat geval kost het veel tijd en geld om aanpassingen nog door te voeren. Hierbij rijst de vraag : Hoe kan het anders? In de volgende paragraaf wil ik het proces vanaf de ontwikkeling en de implementatie tot de nazorg van de event logs langslopen en aangeven welke verbeteringen mogelijk zijn. Het ISO 9126 model is het model voor Software- en Systeemkwaliteit. Bij dit model ligt de nadruk op de softwarematige kant en niet op de meer fysieke eigenschappen. de IT-Auditor nummer

3 Figuur 2: Aspecten van contoleerbaarheid in het IDQ-model LIFE CYCLE VAN DE EVENT LOGS In principe loopt de ontwikkeling en implementatie van een event log gelijk op met de implementatie van een informatiesysteem. Ik ga deze implementatiestappen van de event log langslopen en aangeven op welke manier (en door wie) de kwaliteit van de event log het beste gewaarborgd kan worden. Vooronderzoek- en eisenanalysefase In deze fase kijkt men naar de eisen aan de event log die voortvloeien uit de eisen met betrekking tot controleerbaarheid die aan het systeem (en proces) worden gesteld. Bepaald wordt hoe met het aspect controleerbaarheid van het proces moet worden omgegaan en de eisen aan het event log met betrekking tot de controleerbaarheid worden vastgelegd. Een process miningadviseur kan in deze fase adviseren over de mogelijkheden van process miningtechnieken met betrekking tot de controleerbaarheid en de voorwaarden die men moet stellen aan de event log. Om de kwaliteit van het proces door middel van de event log te kunnen controleren, kan men de kwaliteitsaspecten van het POQ-model in de eisenanalyse meenemen. Ontwerp In deze fase bepaalt men hóe de event log in het systeem moet werken. De eisen uit de vooronderzoeksfase bepalen welke data in de event log wordt opgeslagen. Vervolgens wordt het ontwerp van de event log gemaakt. In deze fase kan een process mining- adviseur aangeven hoe de event log moet worden opgezet om deze geschikt te maken voor proces mining en te laten voldoen aan de eisen van de verschillende belanghebbenden. Het is bijzonder belangrijk om het ontwerp goed te documenteren om in de latere fasen gemakkelijk inzicht te krijgen in de opzet van de event log. De IT-auditors kunnen het uiteindelijke ontwerp van de event log beoordelen waarbij ze vaststellen hoe de eisen met betrekking tot beheersbaarheid en controleerbaarheid van het proces vertaald zijn. Dit kan onnodige aanpassingen in het systeem in een later stadium voorkomen. Bouw en testen Nadat de event log in het systeem volgens de specificaties wordt 20 de IT-Auditor nummer

4 gebouwd, wordt de event log getest op de functionele en niet functionele specificaties. In de testomgeving kan een process miningadviseur de event log testen door de toepassing van process miningtechnieken en nagaan of de belangrijkste kwaliteitsaspecten van het geautomatiseerde proces controleerbaar zijn en of de event log conform het ontwerp is opgezet. Als bepaalde aanpassingen nodig zijn is het eenvoudiger en minder kostbaar om deze door te voeren voordat het systeem live gaat. Implementatie, nazorg en latere aanpassingen Wanneer de event log geïmplementeerd is, is de nazorgfase van toepassing. Het is essentieel dat men bij wijzigingen (bijvoorbeeld in de vorm van maatwerk of RFC) ook kijkt naar de impact op de event log. Hier blijkt ook het belang van goede documentatie van het ontwerp en de opzet van de event log. Alle wijzigingen in het systeem en in het proces moeten correct in de event log worden meegenomen. Anders geeft de event log niet de werkelijke werking van het systeem (of proces) weer en is het proces niet controleerbaar. AUDITING VAN EVENT LOG IT-auditors zouden de event log in samenwerking met de process miningadviseurs kunnen beoordelen op de kwaliteit van de informatie die de event log weergeeft. Dit kan in de testfase van de implementatie van de event log, maar dit kan ook periodiek na de implementatie om de zekerheid te geven dat de processen nog steeds controleerbaar zijn. Men kan deze audit uitvoeren in het kader van een audit naar de kwaliteit van de geautomatiseerde processen, waar controleerbaarheid een van de kwaliteitsaspecten is, als een aparte audit of als advies over de kwaliteit van de event logs. Ik stel voor om voor dit type audit het referentiekader in tabel 1 te gebruiken. Kwaliteitsaspect Structuur Eenduidigheid Uniciteit Zelfverklarendheid Traceerbaarheid Beveiliging Capacitieit en opslag Change management Consistentie Betrouwbaarheid Toelichting Beoordeling van de structuur van de event log vanuit process mining perspectief. Nagaan of de event log de juiste structuur heeft en het formaat van de velden juist is. Bijvoorbeeld of de datum en tijdstip bij elk activiteit aanwezig zijn. Beoordeling of alle kolommen van de event log eenduidig gedefinieerd zijn en of activiteiten in het proces een eenduidige betekenis hebben. Bijvoorbeeld, het verschil tussen de activiteiten zoals Factuur verwerkt en Factuur behandeld moet duidelijk gedefinieerd zijn. Beoordeling of de event log geen overbodige, verouderde of dubbele data bevat. Bijvoorbeeld, dubbele opname van de gegevens, zoals Start datum en Begin datum. Beoordeling of de metagegevens van de event log goed gedocumenteerd zijn en de beschrijving van betekenis van de eventueel in codes gelogde gegevens beschikbaar is. Bijvoorbeeld, als velden de naam HDRid of IKnr hebben of de activiteiten namen hebben zoals 101, 102 moet ook de betekenis van deze namen gedocumenteerd en beschikbaar zijn. Beoordeling of de informatie uit de event log herleid kan worden tot de bron, de locatie en het moment van ontstaan. Bijvoorbeeld, als de resultaten uit de process mining analyse van de event log in het systeem gecheckt moeten worden, kunnen deze makkelijk gevonden worden. Beoordeling of de toegang tot de event log beperkt is en de event log goed beveiligd is. Beoordeling of de event log in het reguliere back up systeem is meegenomen en welke maximale periode wordt gelogd en bewaard. Beoordeling of de wijzigingen in de event log worden bijgehouden en hoe de wijzigingen in het proces in de event log meegenomen worden. Beoordeling of de schrijfwijze consistent is. Bijvoorbeeld, als de event log verschillende typen datum heeft moeten deze allemaal hetzelfde formaat hebben. Of bijvoorbeeld, het mag niet zo zijn dat een activiteit in de event log wordt geschreven als creditnota geboekt maar ook als credit nota geboekt (met een spatie). Beoordeling of de event log inhoudelijk juist en volledig is. Bijvoorbeeld, of alle processtappen en events juist en volledig geregistreerd zijn en of de data in de event log ongewijzigd is. Tabel 1: Het referentiekader voor een audit naar de kwaliteit van de event log Het referentiekader in tabel 1 is gebaseerd op de kwaliteitsaspecten van het IDQ-model (zie figuur 2) en de informatiebeveiligingsaspecten. SAMENVATTING EN CONCLUSIE Vanuit het oogpunt van kwaliteit van een bedrijfsproces is het van belang dat een bedrijfsproces na de implementatie controleerbaar is. In dit artikel is een oplossing aangeboden om de controleerbaarheid van geautomatiseerde bedrijfsprocessen te verbeteren door middel van een goed ingerichte event log. Uit praktijkervaring met de toepassing van process mining voor de analyse van geautomatiseerde processen blijkt dat de event logs vaak van onvoldoende kwaliteit zijn, dat niet alle belangrijke data gelogd is, de data van slechte kwaliteit is, of dat er geen documentatie van de opzet van de event log aanwezig is. Om de kwaliteit van de event logs te verbeteren, is een mogelijke oplossing om over de inrichting van event logs ten behoeve van process mining na te denken in de beginfase van de implementatie van een bedrijfsproces in een systeem, namelijk in de analyseen ontwerpfase. In de testfase moet men testen of de event log conform de specificaties is gebouwd. In de nazorgfase moeten eventuele wijzigingen van het proces ook aangebracht worden in de event log. De samenwerking van een process miningadviseur met het implementatieteam is heel wenselijk om de event logs goed te ontwikkelen. IT-auditors kunnen ook een belangrijke bijdrage leveren door de event logs periodiek te beoordelen en te bepalen of de de IT-Auditor nummer

5 event log aan de kwaliteitsnormen voldoet. Deze kwaliteitsnormen zijn in een referentiemodel uitgewerkt dat gebaseerd is op het IDQ-informatiekwaliteitsmodel. Event logs van hoge kwaliteit zijn van essentieel belang voor de controleerbaarheid van (bedrijfs)processen. Om deze hoge kwaliteit te bereiken en te handhaven, is samenwerking tussen de verschillende disciplines op dit gebied zoals implementatieteam, testers, proceseigenaren, process mining adviseurs en IT-auditors belangrijk, zelfs noodzakelijk. Noten 1 Process mining is een methode om bedrijfsprocessen in en rond een informatiesysteem op te sporen en te analyseren met behulp van de event log die het informatiesysteem produceert. 2 Bestuurbaarheid is de mate waarin het proces transparant, meetbaar en bestuurbaar is en mogelijkheden biedt tot tracering en controle door derden. Drs. M. (Maria) Haasnoot-Bezverhaya EMITA RE is sinds 2008 werkzaam bij de Departementale Auditdienst (DAD) van het Ministerie van Infrastructuur en Milieu (per 1 mei 2012 onderdeel van de nieuw gevormde Auditdienst Rijk ADR). Haar interesse gaat vooral uit naar process mining, softwarekwaliteit, IT-Governance en projectmanagement. 3 Functionaliteit is de mate waarin het informatiesysteem functioneel correct is. 4 Onder event log versta ik in het artikel de event logs die geschikt zijn voor de analyse van de geautomatiseerde bedrijfsprocessen met process mining. Literatuur [HAAS12] Haasnoot-Bezverhaya, M., Lessons learned bij toepassing van process mining, in: de IT-Auditor, nr. 3, [FLOR01] Florijn, G. en D. Greefhorst, Softwareproductkwaliteit, in: Informatie, nr.1, [SMAR08] kwaliteitsmodellen. Overige literatuur Florijn, G. en D. Greefhorst, Softwareproductkwaliteit, in: Informatie, nr.1, maakt je de onmisbare schakel tussen strategie en human capital VOOR EEN GRATIS ABONNEMENT: besteleenvakblad.nl/penoactueel Als HR-professional lees je in P&Oactueel alles over human capital, development, meetbaar HR en wet&regelgeving. P&Oactueel is betrokken, praktisch, inspirerend en analytisch. 22 de IT-Auditor nummer