WIL VAN DER AALST: CONFORMANCE CHECKING IS DE TOEKOMST VAN PROCESS MINING

Transcriptie

1 Interview: WIL VAN DER AALST: CONFORMANCE CHECKING IS DE TOEKOMST VAN PROCESS MINING Eddy Vaassen interviewde prof.dr.ir. Wil van der Aalst in zijn werkkamer op de campus van de Technische Universiteit Eindhoven (TU/e). Wil bekleedt aan de TU/e de leerstoel Informatiesystemen, in het bijzonder proces- en coördinatie- aspecten van informatiesystemen. Tevens is hij wetenschappelijk directeur van het Data Science Center Eindhoven (DSC/e) en als zodanig ook mede-initiator van de Jheronimus Academy of Data Science (JADS) in Den Bosch. Wil is een autoriteit op het gebied van business process management en process mining. Eddy Vaassen: Opgeleid als theoretisch informaticus heeft Wil van der Aalst (parttime naast zijn werk aan de universiteit) als consultant gewerkt bij Bakkenist (nu Deloitte) met als specialisatie workflowmanagement. Zijn academisch werk betrof aan het begin van zijn carrière vooral onderzoek op het gebied van Petri-netten (een wiskundige modelleertaal voor de beschrijving van gedistribueerde systemen in termen van plaatsen en transities). Met zijn onderzoeksteam heeft hij aan de wieg gestaan van allerlei bekende softwaretoepassingen waaronder de simulatietool ExSpect waarmee complexe informatiesystemen kunnen worden gemodelleerd en gesimuleerd (onderdeel van Protos en het latere BPM one van Pallas Athena), het workflowmanagementsysteem YAWL en ProM voor process mining. Hij is ervan overtuigd dat het succes van zijn onderzoeksgroep vooral te danken is aan het grote belang dat de groep altijd heeft gehecht aan het verbinden van theorie (bijvoorbeeld op het gebied van concurrency) en software-implementaties. Over zijn onderzoek naar de bekende workflow patterns zegt hij nu dat de praktijk toch vaak weerbarstiger was dan de theorie en dat hij daarom meer naar de onderliggende data is gaan kijken. Zo kwam hij terecht op onderzoeksgebieden als machine-learning en process mining, die inmiddels als begrip al lang niet meer onbekend zijn in kringen van financieel professionals. Process mining Process mining is een vorm van data-analyse die probeert via het onttrekken van procesgegevens aan informatiesystemen de gevolgde processen in kaart te brengen, het procesverloop te evalueren ten opzichte van normatieve procesmodellen en de processen waar mogelijk te verbeteren. Een voor de hand liggende vereiste om process mining te kunnen toepassen is datakwaliteit. Daarbij gaat het om de identificatie van cases (groepen activiteiten rondom een bepaald object zoals een patiënt, product of bestelling), de omschrijving van de activiteiten, de time-stamp (wanneer is een bepaalde activiteit begonnen en geëindigd) en eventueel wie betrokken is bij de desbetreffende activiteiten. Het probleem zit vaak in de case-identificatie ofwel de definitie van het object dat in een process gevolgd wordt (order, orderregel, aflevering goede- Er is door de mogelijkheden die conformance checking in process mining biedt sprake van een nieuwe zienswijze op process management 24 MCA: juni 2017, nummer 3

2 Foto: Bart van Overbeeke Photography ren) en de time-stamp (tijd niet vastgelegd, tijd fout vastgelegd, of alleen de datum zonder precies tijdstip vastgelegd). Toepassingen van process mining Eerst werden tools ontwikkeld voor bepaalde algoritmen zonder goed naar het grotere geheel te kijken. Later realiseerde de onderzoeksgroep zich dat dit niet werkte, maar dat een integrale aanpak moest worden gekozen. ProM is daarvan het resultaat. ProM is een applicatie die bestaat uit zo n 1500 plugins die allemaal goed op elkaar aansluiten. ProM is de infrastructuur waarin je packages kunt laden. Een package is een verzameling plugins en een plugin is een bepaalde vorm van analyse. ProM is een open ecosysteem waaraan onderdelen kunnen worden toegevoegd door iedereen die dat wil en kan. Van process discovery naar conformance checking De eerste toepassingen, en die zien we ook heel duidelijk in een applicatie als Disco, waren sterk gericht op process discovery. Process discovery is het uit de procesdata in een informatiesysteem proberen af te leiden van het feitelijk verloop van een proces. Geleidelijk aan hebben we een ontwikkeling van discovery naar conformance checking gezien (bijvoorbeeld in auditing) waarbij het feitelijk verloop van een proces vergeleken wordt met een procesmodel met het doel afwijkingen nader te onderzoeken. Door middel van token-based replay wordt een proces nagespeeld waardoor je precies de afwijkingen van het procesmodel kunt zien. We hebben het hier dan over alignment waarbij vragen aan de orde komen als wat is het gedrag dat het dichtst bij het model ligt, waar knelt het, waar zijn de afwijkingen het grootst (bij bepaalde personen, klanten, in bepaalde perioden) en wat veroorzaakt die afwijkingen. Een applicatie als Celonis ondersteunt sinds kort ook conformance checking. Zo kan een BPMNmodel (business process model and notation) in Celonis worden ingevoerd waarna een lijst met afwijkingen gesorteerd naar frequentie wordt geproduceerd. Op elke afwijking kan dan worden geclickt waarna de gebruiker ziet welke kenmerken deze afwijkingen gemeen hebben. Andere applicaties die conformance checking ondersteunen zijn Signavio en Lana-labs. Signavio is een cloud-based tool voor procesoptimalisatie waarin de laatste jaren steeds meer elementen van process mining zijn opgenomen. Ook hier geldt dat conformance checking door middel van het maken van een koppeling tussen modellen en BPM-data de belangrijkste process- MCA: juni 2017, nummer 3 25

3 miningtoepassing is. Voor Lana-labs geldt hetzelfde: conformance checking is het speerpunt van de huidige doorontwikkeling vanuit process discovery waar het bedrijf voorheen op gericht was. Er is door de mogelijkheden die conformance checking in process mining biedt, sprake van een nieuwe zienswijze op process management. Vijf toepassingsgebieden Wil ziet vijf grote toepassingsgebieden voor process mining. De hoofdmoot van process mining vinden we tegenwoordig in administratieve processen die bijvoorbeeld in SAP worden gevolgd. Hij heeft grote groepen afstudeerders gehad met process mining op SAP-data als thema. Een andere grote toepassing is de gezondheidszorg. Wat zijn nu de typische procesdata die je in een ziekenhuisinformatiesysteem tegenkomt? Hierbij moet je denken aan afspraken, toedienen van medicijnen, behandelingen, foto s die zijn gemaakt en welk verplegend personeel volgens planning verantwoordelijk was voor bepaalde patiëntenzorg op een bepaald moment. Een mooie toepassing is de koppeling van een smartboard (voor planning inzet personeel) aan het ERP-systeem. Hierop kun je via process mining allerlei analyses loslaten die de datakwaliteit sterk kunnen verbeteren. Een derde toepassing betreft hightech systems. Hierbij moet je denken aan allerlei geavanceerde machines, waaronder röntgenapparatuur van Philips, wafersteppers van ASML en copiers van Océ. Deze machines zijn verbonden met het internet waardoor op afstand diagnoses kunnen worden uitgevoerd. Met behulp van process mining kunnen vragen worden beantwoord als hoe worden die machines nu echt gebruikt en kan worden voorspeld dat en wanneer een apparaat stukgaat. Een vierde categorie is consumer-lifestyleproducten zoals scheerapparaten, apparaten voor luchtkwaliteit, smart homes, wearables en in het algemeen internet-of-thingstoepassingen. De processen zijn hier niet heel duidelijk, maar je kunt wel via process mining erachter komen wat het gebruik is dat nu verklaart waarom mensen bepaalde apparaten gebruiken en dus ook waarop je je marketing moet richten. Een vijfde categorie betreft productielogistiek, zoals bagageafhandeling op luchthavens, distributiesystemen en postsorteersystemen. De TU/e werkt nauw samen met het Veghelse Vanderlande die dit Blockchain is een enabler van business process management, maar dan op een lager niveau soort systemen ontwikkelt en daarin streeft naar de vastlegging van perfecte procesdata. Bijvoorbeeld, een koffer op een luchthaven wordt voortdurend gevolgd en de procesdata daarvan worden vastgelegd om deze te analyseren gericht op het efficiënter maken van dit proces en fouten tot een minimum te beperken. Relatie met blockchain? Gevraagd naar de relatie tussen process mining en een ontwikkeling als de blockchain om de datakwaliteit te verbeteren vraagt Wil zich af of de blockchain wel zo n groot effect op informatiesystemen zal hebben omdat dit, evenals een verschijnsel als cloud-computing, in essentie niet meer is dan een aanpassing van de infrastructuur. Daarmee geeft hij aan dat blockchain een technologie als elke andere is en daarmee zeker het onderzoeken waard, maar dat dit niet tot een fundamentele herbezinning op onderzoek naar informatiesystemen hoeft te leiden. Blockchain is naar zijn mening een enabler van BPM, maar dan op een lager niveau. Momenteel werkt Wil mee aan een overzichtsartikel over blockchain en BPM. Dit is een voor de hand liggende combinatie, met dit verschil dat BPM binnen organisaties verankerd is en blockchain organisatieoverstijgend is. Process mining en accountants Wat ik zie is dat jonge generaties accountants (zowel controlerend accountants als accountants die zich intern bij organisaties met procesbeheersing bezighouden) opgroeien met process mining en dat hun werk steeds meer datagedreven wordt. Er komt steeds meer technologie bij kijken, meer analytics, 26 MCA: juni 2017, nummer 3

4 en iedereen die daarmee werkt moet de gereedschappen ook beter begrijpen en kunnen gebruiken. Dat betekent dat een accountant bijvoorbeeld ook kennis van Petri-netten moet hebben en tot op zekere hoogte ook kennis van programmeertalen die hem helpen bij het onttrekken en analyseren van data. Dit is alleen al nodig om een effectieve communicatie tussen techneuten en accountants mogelijk te maken. De technologie levert de tools voor accountants. Die tools zijn generiek en zijn dus op allerlei soorten processen toepasbaar. Vergelijk dit maar met een spreadsheet waarin je van alles met getallen kunt doen zonder dat de spreadsheet weet waar die getallen voor staan. Bij process mining doe je van alles met event logs zonder dat de software weet waarover de event logs gaan. Er zijn dus geen wezenlijke verschillen tussen de verschillende soorten processen als je daarop process mining wilt toepassen. Het zou kunnen voorkomen dat de accountant door toepassing van process mining meer afwijkingen ontdekt dan hij zonder toepassing van process mining zou hebben ontdekt. Daardoor wordt zijn controle effectiever, maar ook meteen tijdrovender want de accountant moet iets doen met die gevonden afwijkingen. Bovendien is het maar de vraag hoe de gevonden afwijkingen geïnterpreteerd moeten worden. Hoe zou process mining de accountant kunnen bijstaan in het op een slimme manier analyseren van de gevonden afwijking zodat hij enerzijds een effectievere controle doet en anderzijds de omvang van zijn werkzaamheden binnen de perken houdt? Doordat process mining in eerste instantie tot extra werk leidt zullen er altijd weerstanden tegen zijn. De regelgeving voor controles zou moeten veranderen om heel specifiek aan te geven hoe met bepaalde afwijkingen tussen werkelijk procesverloop en procesmodellen moet worden omgegaan. Dit kan ertoe leiden dat bepaalde afwijkingen gewoon geaccepteerd worden. Wat er voorheen in een steekproef zat daar zal nu op dezelfde manier mee worden omgegaan, met dien verstande dat de factoren die de steekproefomvang kunnen verkleinen of vergroten nu ook in de resultaten van process mining kunnen worden gevonden. Er zijn allerlei tools (software) voor process mining op de markt. Toepassing van verschillende tools voor process mining op identieke event logs geeft soms afwijkende resultaten. Waardoor komt dat? Is het aan te raden dat de accountant verschillende tools naast elkaar gebruikt, of kan hij beter proberen erachter te komen waardoor die verschillen zijn ontstaan? Het kan bij process mining voorkomen dat verschillende tools verschillende resultaten opleveren. Gebruikers moeten begrijpen dat de tools bij conformance checking eigenlijk altijd consistente resultaten moeten opleveren. Bijvoorbeeld als ik in Celonis alle cases opvraag die niet aan het procesmodel voldoen, dan zou daar hetzelfde moeten uitkomen als dat ik deze analyse in Disco zou doen. Als er wél verschillen tussen tools worden geconstateerd, dan zijn er blijkbaar allerlei parameters die niet gekend zijn bij de analist. Hier geldt dat het beter opleiden van de accountant die met process mining aan de slag gaat essentieel is. Daarbij behoort dat de accountant die een harde uitspraak wil doen over het verloop van een bepaald proces of de betrouwbaarheid van de uitkomsten van dat proces, getraind moet zijn in conformance checking als onderdeel van process mining. Alleen met behulp van conformance checking kunnen de harde uitspraken worden gedaan die de accountant moet doen in het kader van zijn controle of het door een andere financieel professional vaststellen dat een interne beheersingssysteem bestaat in de vorm zoals dit is opgezet en beschreven. Het beperken van de analyse tot process discovery leidt tot onvoldoende sluitende controle-informatie omdat er géén eenduidig procesmodel aan ten grondslag ligt waardoor de plaatjes die hierbij worden geproduceerd op allerlei manieren geïnterpreteerd kunnen worden. Process mining en analytics zijn integrale onderdelen van data-scienceopleidingen MCA: juni 2017, nummer 3 27

5 Accountantsopleidingen zullen meer aan process mining en data-analyse moeten doen Wetenschappelijk onderzoek naar process mining De belangrijkste onderzoeksvraag is: wat hebben we via process mining ontdekt dat we anders niet ontdekt zouden hebben? Dit onderzoeken is niet heel eenvoudig en de eerste keuze die je moet maken is die van de onderzoeksmethode. Op het gebied van process mining zijn er drie alom geaccepteerde onderzoeksmethoden mogelijk. Bij de eerste gaat het om het vanuit de logica bewijzen dat een bepaalde softwareapplicatie correct is, zonder dat deze is geïmplementeerd. Vanuit de engineering kan een proof-of-concept worden ontworpen waarbij een prototype wordt gebouwd dat kan worden gebruikt om aannemelijk te maken dat de applicatie werkt. Door middel van een experiment kan worden bewezen dat een prototype werkt. Dit kan op twee manieren. Ten eerste door een simulatie met synthetische data te doen waarbij je weet wat de waarheid ( ground truth ) is. Hierbij wordt een procesmodel geconstrueerd en vervolgens langdurig gesimuleerd. De gesimuleerde event logs worden vervolgens terugvertaald naar een procesmodel door middel van process discovery. De twee modellen moeten dan overeenstemmen. Ten tweede kunnen echte data worden gebruikt. Je hebt hier dan geen ground truth, dus je kunt niet aantonen dat je model goed is. Wat je hier kunt doen is ofwel met behulp van allerlei metrieken proberen aan te tonen dat het prototype in verhouding tot een ander model beter werkt, ofwel kijken hoe tevreden de organisatie (bij een audit is dat bijvoorbeeld het controleteam, de toezichthouder, of de interne toetser) is met het afgeleide model. Laatstgenoemde optie heeft dan meer het karakter van een case study, welke methode weliswaar als aanvulling op een meer rigide methode kan worden gebruikt, maar waaraan vanuit onderzoeksoogpunt beperkte waarde wordt gehecht. Data science Je bent bij JADS betrokken vanuit je positie als wetenschappelijk directeur van het Data Science Center Eindhoven. Is er wat jou betreft binnen JADS voldoende aandacht voor process mining in de accountancy? Wat zijn de mogelijkheden voor bedrijven om aan te haken? Wat kan JADS voor organisaties betekenen en andersom? De samenwerking binnen JADS van de Technische Universiteit Eindhoven en Tilburg University gaat uit van de kracht van beide universiteiten. Voor Eindhoven is dat de harde kant van data science (mining, databases en algoritmen) en voor Tilburg de meer bedrijfsmatige en sociale aspecten. Deze gebieden komen samen in entrepreneurship met allerlei nieuwe bedrijven als spin-offs. Dat laatste is dan weer een belangrijke doelstelling van de andere participanten in JADS (Den Bosch en de provincie Noord-Brabant). Toegepast op de accountancy zie je dat technologie en business hierin bij elkaar komen waardoor deze discipline op een hoger plan komt. Vanuit data science is accountancy een van de vele toepassingsgebieden en is process mining binnen de accountancy een belangrijke innovatie die onderdeel uitmaakt van data science. JADS streeft ernaar process mining meer in de opleidingen te verankeren. Voor wat betreft onderzoek in process mining probeert JADS met grotere organisaties zoals Philips en KPN zogenoemde data science flagships op te zetten. In deze flagships werken industrie en wetenschap nauw samen. Het is zeker de bedoeling dat er ook flagships komen met grote zakelijke dienstverleners zoals Deloitte, EY, KPMG en PWC. Dit zal zeker bijdragen aan innovaties op het gebied van datagedreven accountancy. Noot Wil van der Aalst heeft met zijn team een Massive Online Open Course (MOOC) over process mining ontwikkeld (zie De cursus geeft een goed beeld van de kennis die in een multidisciplinair team aanwezig zou moeten zijn om met process mining te kunnen werken. 28 MCA: juni 2017, nummer 3