Data Science and Process Modelling

Transcriptie

1 Data Science and Process Modelling Frank Takes LIACS, Leiden University Lecture 6 Reinforcement Learning & Process Modelling Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 1 / 65

2 Where are we? Data Science: Converting data into knowledge for a particular domain (February and March) Visual Analytics Descriptive Analytics Predictive Analytics Process Modelling (April and May) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 2 / 65

3 Categories of techniques Machine learning Unsupervised learning: mining unlabeled data Supervised learning: learning on labeled data Semi-supervised learning: partially labeled data Reinforcement learning: agents learning to act in an environment Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 3 / 65

4 Reinforcement learning Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 4 / 65

5 Reinforcement learning Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 5 / 65

6 Google Deepmind Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg & Demis Hassabis, Human-level control through deep reinforcement learning, Nature 518, , Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 6 / 65

7 Google Deepmind Silver et al.. Mastering the game of Go with deep neural networks and tree search, Nature 529, , Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 7 / 65

8 Deep learning Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 8 / 65

9 Watson wins Jeopardy Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 9 / 65

10 Self-driving cars Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 10 / 65

11 Neurale netwerken Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 11 / 65

12 Hersenen De menselijke hersenen bestaan uit neuronen (grootte 0.1 mm; meer dan 20 types), die onderling met axonen (lengte 1 cm) en synapsen verbonden zijn. Axonal arborization Synapse Axon from another cell Dendrite Axon Nucleus Synapses Cell body or Soma Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 12 / 65

13 Werking hersenen Signalen worden doorgegeven via een electro-chemische reactie. Als de electrische potentiaal van het cellichaam een zekere drempelwaarde haalt, wordt een puls/actie-potentiaal/spike-train op het axon gezet. Er zijn excitatory (verhogen potentiaal) en inhibitory (verlagen potentiaal) synapsen. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 13 / 65

14 Units We modelleren de neuronen door middel van eenheden (units): Bias Weight a 0 = 1 a j = g(in j ) wi,j a i w 0,j Σ in j g a j Input Links Input Function Activation Function Output Output Links De input van neuron i is in i = j W j,i a j (de gewogen som van de inputs), waarbij de a j s de activaties van de inkomende verbindingen (inputs) zijn, en W j,i hun gewichten. W j,i weegt de verbinding tussen de twee neuronen j en i. De activatie (output) van neuron i is a i = g(in i ), met g de activatie-functie. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 14 / 65

15 Activatie-functies Veelgebruikte activatie-functies: a i a i a i t in i in i in i 1 (a) Step function (b) Sign function (c) Sigmoid function step t (x) = 1 als x t; 0 als x < t (drempelwaarde t) sign(x) = 1 als x 0; 1 als x < 0 sigmoid(x) = 1/(1 + e βx ) (vaak kiest men β = 1) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 15 / 65

16 Bias-knopen De drempelwaarde t binnen de neuronen kan gesimuleerd worden door een extra (constante) activatie 1 in een zogeheten bias-knoop 0 met gewicht W 0,i = t op de verbinding van 0 naar i: n n step t W j,i a j = step 0 W j,i a j j=1 Zo worden drempelwaardes en gewichten uniform behandeld. De functie step 0 heet ook wel de Heaviside-functie, en lijkt op de functie sign. j=0 Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 16 / 65

17 Booleaanse functies Alle Booleaanse functies kunnen gerepresenteerd worden door netwerken met geschikte neuronen: W = 1 W = 1 W = 1 t = 1.5 t = 0.5 t = 0.5 W = 1 W = 1 AND OR NOT En mét bias-knopen: W 0 = 1.5 W 0 = 0.5 W 0 = 0.5 W 1 = 1 W 2 = 1 W 1 = 1 W 2 = 1 W 1 = 1 AND OR NOT Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 17 / 65

18 Soorten netwerken Een feed-forward netwerk heeft gerichte takken en geen cykels (i.t.t. een recurrent netwerk). Vaak is zo n netwerk in lagen georganiseerd: 1 W 1,3 W 1,4 3 W 3,5 5 2 W 2,3 W 2,4 4 W 4,5 Dit netwerk heeft twee input-knopen 1 en 2, twee verborgen (= hidden) knopen 3 en 4, en één uitvoer-knoop 5. Het representeert de functie: a 5 = g(w 3,5 a 3 + W 4,5 a 4 ) = g(w 3,5 g(w 1,3 a 1 + W 2,3 a 2 ) + W 4,5 g(w 1,4 a 1 + W 2,4 a 2 )) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 18 / 65

19 Voorbeelden x 1 x x 1 x 2 1 De drempels staan naast de knopen. Het linker feed-forward netwerk representeert de XOR-functie, de verborgen units zijn in feite een OR en een AND. Het rechter netwerk representeert dezelfde functie, maar is niet conventioneel (geen lagen). Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 19 / 65

20 Feed-forward netwerken Een feed-forward netwerk zonder verborgen neuronen heet een perceptron. Een meerlaags (= multi-layer) netwerk heeft één of meer verborgen lagen, en alle pijlen van laag l gaan naar laag (l + 1). Met één (voldoende grote) laag met verborgen units kunt je elke continue functie benaderen, en met twee lagen zelfs elke discontinue functie (Cybenko). De output van een netwerk hangt af van de parameters, de gewichten. Bij te veel parameters is er gevaar voor overfitting: het netwerk generaliseert dan niet goed. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 20 / 65

21 Perceptron In een perceptron (geen verborgen units!) zijn de uitvoerknopen onafhankelijk: Input Units W j,i Output Units Voor een enkele output-unit geldt dat de uitvoer 1 is indien j W jx j = W 0 x 0 + W 1 x W n x n 0 en anders 0. Hierbij is (x 1,..., x n ) de invoer en x 0 = 1 de bias-knoop. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 21 / 65

22 Wat kan een perceptron? De majority functie (uitvoer 1 meer dan de helft van de n inputs is 1) kan eenvoudig gemaakt worden: kies W 0 = n/2 en W j = 1 voor j = 1, 2,..., n. De vergelijking W 0 + W 1 x W n x n 0 laat zien dat je precies Booleaanse functies kunt maken die lineair te scheiden zijn, de XOR-functie dus niet: x 1 x 1 x ? x (a) x 1 and x 2 (b) x 1 or x 2 (c) x 1 xor x 2 x 2 x 2 Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 22 / 65

23 Hoe leert een perceptron? Gegeven genoeg trainings-voorbeelden, kan een perceptron elke Booleaanse lineair te scheiden functie leren. Een (hyper)vlak scheidt positieve en negatieve voorbeelden. Rosenblatt s algoritme uit 1957/60 werkt als volgt: W j W j + α x j Error met Error = correcte uitvoer net-uitvoer en α > 0 de leersnelheid (= learning rate). De correcte uitvoer heet wel de target, het doel. Als Error = 1 en x j = 1, wordt W j ietsje opgehoogd, in de hoop dat de net-uitvoer hoger wordt. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 23 / 65

24 Perceptron voorbeeld We willen een perceptron x 1 AND x 2 leren, met α = 0.1: x0 x1 x2 W_0 W_1 W_2 uitvoer target error Probleem: wanneer stop je? Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 24 / 65

25 Perceptron vergelijking Voor een lineair te scheiden majority probleem (11 inputs) is het perceptron veel beter dan een decision tree (links) Maar voor een meer complex probleem is het omgekeerd (rechts) % correct on test set Perceptron Decision tree % correct on test set Perceptron Decision tree Training set size Training set size Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 25 / 65

26 Codering Er zijn allerlei keuzes om invoer en uitvoer te coderen. Je kunt bijvoorbeeld locaal coderen: stel dat een variabele 3 waarden kan hebben: Geen, Gemiddeld en Veel; dit kun je dan in één knoop coderen als 0.0, 0.5 en 1.0 respectievelijk. Maar ook met drie aparte knopen, en dan als 1 0 0, en respectievelijk: gedistribueerd coderen. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 26 / 65

27 Leerproces: training Je begint met een random initialisatie van de gewichten. Vervolgens biedt je één voor één voorbeelden aan uit een zogeheten trainingsset. Deze voorbeelden moeten in een willekeurige volgorde staan. Steeds geef je een invoer, en met behulp van de juiste uitvoer pas je volgens je trainings-algoritme de gewichten aan. Je gaat net zolang door totdat (bijvoorbeeld) de fout op een apart gehouden validatieset niet meer daalt of zelfs gaat stijgen (overtraining). Je rapporteert tot slot over het gedrag op een (weer apart gehouden) testset. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 27 / 65

28 Cross-validation Bij elk leer-algoritme kun je cross-validation gebruiken om overfitting tegen te gaan. Bij k-fold cross-validation (vaak k = 5 of k = 10) draai je k experimenten, waarbij je steeds een 1/k-de deel van de data apart zet om als testset te gebruiken en de rest als trainingsset. De testset is dus steeds een ander random gekozen deel! Als k = n met n de grootte van de dataset, heet deze techniek wel leave-one-out. En dan heb je ook nog ensemble leren, AdaBoost, enzovoorts. Zie verder het college Data Mining. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 28 / 65

29 Meerlaags netwerk We kijken nu naar een meerlaags neuraal netwerk. Meestal zijn alle lagen onderling volledig verbonden. Output units a i W j,i Hidden units a j W k,j Input units a k De notatie is ietwat dubbelzinnig: zit W 1,2 op twee plaatsen? Je kunt of knopen doornummeren of meerdere W s hanteren. We gebruiken index i voor de uitvoerlaag, j voor de verborgen laag en k voor de invoerlaag. De a k s zijn de input(s) wat we eerder x k noemden. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 29 / 65

30 Back-propagation 1 Het meest bekende leerschema voor Neurale Netwerken is back-propagation (1969, 198?), waarbij we nadat een invoer een uitvoer heeft opgeleverd de fout teruggeven (propageren) van uitvoerlaag richting invoerlaag. Definieer Error i als de fout in de i-de uitvoer (dat wil zeggen: i-de target minus i-de uitvoer van het netwerk). De leerregel is dan net als eerder: W j,i W j,i + α a j i met i = Error i g (in i ) voor gewichten W j,i van knoop j in de verborgen laag naar knoop i in de uitvoerlaag. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 30 / 65

31 Back-propagation 2 Voor gewicht W k,j van de k-de invoerknoop naar knoop j in de verborgen laag is de leerregel: W k,j W k,j + α a k j met j = g (in j ) i W j,i i Hierbij geldt: α is de leersnelheid a k is de activatie van de k-de invoerknoop in j is de gewogen invoer voor de j-de verborgen knoop W j,i is het gewicht op de verbinding tussen de j-de verborgen knoop en de i-de uitvoerknoop i is de i-de uitvoer-delta, zie de vorige sheet Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 31 / 65

32 Back-propagation algoritme Het back-propagation-algoritme voor een netwerk met één verborgen laag gaat nu als volgt: repeat for each e in trainingsset do maak de a k s gelijk aan de x k s bereken de a j s en de a i s (outputs) bereken de i s en de j s update de W j,i s en de W k,j s until netwerk geconvergeerd Let erop dat de gewichten goed random (?) geinitialiseerd worden. En bied de voorbeelden in random volgorde aan. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 32 / 65

33 Trainings-curve en leercurve Respectievelijk een trainings-curve en een leercurve: 14 1 Total error on training set % correct on test set Multilayer network Decision tree Number of epochs Training set size Een epoch is een ronde waarin alle voorbeelden uit de trainingsset één keer één voor één in random volgorde door het netwerk gegaan zijn. Er bestaat naast deze incrementele benadering ook een batch-benadering. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 33 / 65

34 Deep learning Figure: Convolutional neural networks Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 34 / 65

35 Where are we? Data Science: Converting data into knowledge for a particular domain (February and March) Visual Analytics Descriptive Analytics Predictive Analytics Process Modelling (April and May) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 35 / 65

36 Process Modelling Data & Goals Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 36 / 65

37 Business Process Management (recap) Process: a set of related actions and transactions to achieve a certain objective Business process: a sequence of activities aimed at producing something of value for the business (Morgan02) Management processes Operational processes Supporting processes Business Process Management: the discipline that combines knowledge from information technology and knowledge from management sciences and applies this to operational business processes (v.d. Aalst) Extension of WorkFlow Management (WFM) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 37 / 65

38 Business Process Modelling (recap) Business Process Model: abstract representation of business processes, functionality is: Descriptive: what is actually happening? Prescriptive: what should be happening? Explanatory: why is the process designed this way? In practice: formalize and visualize business processes Process Discovery: derive the process from a description of activities Process Mining: the task of converting event data into process models (discovery, conformance, enhancement) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 38 / 65

39 Why Model Processes? (recap) insight discussion: the stakeholders use models to structure discussions; documentation for instructing people or certification purposes verification, for example to find errors in systems performance analysis animation: play out different scenarios specification: a contract between the developer and the end user/management; and configuration of a system. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 39 / 65

40 Business Process... Intelligence? M. Castellanos et al., Business process intelligence, Handbook of research on business process modeling, pp , Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 40 / 65

41 Process Modelling Informal models: used for discussion and documentation (process descriptions) Formal models: used for analysis or enactment Petri Nets PN Business Process Model Notation BPMN Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 41 / 65

42 Business Process Model Notation Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 42 / 65

43 Petri Nets Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 43 / 65

44 Event logs (1) Case ID Event ID dd-mm-yyyy:hh.mm Activity Resource Costs :11.02 register request Pete :10.06 examine thoroughly Sue :15.12 check ticket Mike :11.18 decide Sara :14.24 reject request Pete :11.32 register request Mike :12.12 check ticket Mike :14.16 examine casually Sean :11.22 decide Sara :12.05 pay compensation Ellen :14.32 register request Pete :15.06 examine casually Mike :16.34 check ticket Ellen :09.18 decide Sara :12.18 reinitiate request Sara :13.06 examine thoroughly Sean :11.43 check ticket Pete :09.55 decide Sara :10.45 pay compensation Ellen :15.02 register request Pete :12.06 check ticket Mike :14.43 examine thoroughly Sean :12.02 decide Sara :15.44 reject request Ellen Table: Event logs of a helpdesk handling customer compensations Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 44 / 65

45 Event logs (2) Case ID Event ID dd-mm-yyyy:hh.mm Activity Resource Costs :09.02 register request Ellen :10.16 examine casually Mike :11.22 check ticket Pete :13.28 decide Sara :16.18 reinitiate request Sara :14.33 check ticket Ellen :15.50 examine casually Mike :11.18 decide Sara :12.48 reinitiate request Sara :09.06 examine casually Sue :11.34 check ticket Pete :13.12 decide Sara :14.56 reject request Mike :15.02 register request Mike :16.06 examine casually Ellen :16.22 check ticket Mike :16.52 decide Sara :11.47 pay compensation Mike 200 Table: Event logs of a support desk handling customer compensations Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 45 / 65

46 Simplified event log Case ID Trace 1 a, b, d, e, h 2 a, d, c, e, g 3 a, c, d, e, f, b, d, e, g 4 a, d, b, e, h 5 a, c, d, e, f, d, c, e, f, c, d, e, h 6 a, c, d, e, g Table: Simplified event log of a support desk handling customer compensations (a = register request, b = examine thoroughly, c = examine casually, d = check ticket, e = decide, f = reinitiate request, g = pay compensation, h = reject request) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 46 / 65

47 Simplified event log Case ID Trace 1 a, b, d, e, h 2 a, d, c, e, g 3 a, c, d, e, f, b, d, e, g 4 a, d, b, e, h 5 a, c, d, e, f, d, c, e, f, c, d, e, h 6 a, c, d, e, g Table: Simplified event log of a support desk handling customer compensations (a = register request, b = examine thoroughly, c = examine casually, d = check ticket, e = decide, f = reinitiate request, g = pay compensation, h = reject request) In short: { a, b, d, e, h, a, d, c, e, g, a, c, d, e, f, b, d, e, g, a, d, b, e, h, a, c, d, e, f, d, c, e, f, c, d, e, h, a, c, d, e, g } Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 46 / 65

48 Example (1) Case ID Trace 1 a, b, d, e, h 2 a, d, c, e, g 3 a, c, d, e, f, b, d, e, g 4 a, d, b, e, h 5 a, c, d, e, f, d, c, e, f, c, d, e, h 6 a, c, d, e, g Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 47 / 65

49 Example (2) Figure: Petri net based on event log { a, b, d, e, h, a, d, b, e, h } Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 48 / 65

50 Play in Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 49 / 65

51 Play out Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 50 / 65

52 Replay Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 51 / 65

53 Replay Connecting models to real events is crucial Possible uses Conformance checking Repairing models Extending the model with frequencies and temporal information Constructing predictive models Operational support (prediction, recommendation, etc.) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 52 / 65

54 Petri Nets Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 53 / 65

55 Automata (remember?) Finite automaton FA = (Q, Σ, q o, A, δ) Q is a finite set of states Σ is a finite alphabet of input symbols q o Q is the initial state A Q is the set of accepting states δ : Q Σ Q is the transition function Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 54 / 65

56 Automata (remember?) Finite automaton FA = (Q, Σ, q o, A, δ) Q is a finite set of states Σ is a finite alphabet of input symbols q o Q is the initial state A Q is the set of accepting states δ : Q Σ Q is the transition function Figure: Deterministic Finite Automaton for the function x mod 3 = 0 Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 54 / 65

57 Petri Nets Petri net N = (P, T, F ) P is a finite set of places T is a finite set of transitions F (P T ) (T P) is a finite set of directed arcs called the flow relation Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 55 / 65

58 Labeled Petri Nets Petri net N = (P, T, F, A, l) P is a finite set of places T is a finite set of transitions F (P T ) (T P) is a finite set of directed arcs called the flow relation A is a set of activity labels l : T A is a labeling function Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 56 / 65

59 Enabling A transition is enabled if each of its input places contains at least one token Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 57 / 65

60 Firing An enabled transition can fire (i.e., it occurs), consuming a token from each input place and producing a token for each output place. Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 58 / 65

61 Petri Nets Connections are directed No connections between two places or two transitions Places may hold zero or more tokens At most one arc between nodes (for now) Firing is atomic Multiple transitions may be enabled, but only one fires at a time During execution, the number of tokens may vary if there are transitions for which the number of input places is not equal to the number of output places The network is static Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 59 / 65

62 Example (1) Petri net for a traffic light Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 60 / 65

63 Example (1) Petri net for a traffic light States: red, orange and green Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 60 / 65

64 Example (1) Petri net for a traffic light States: red, orange and green Transitions from red to green, green to orange, and orange to red Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 60 / 65

65 Example (1) Petri net for a traffic light States: red, orange and green Transitions from red to green, green to orange, and orange to red Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 60 / 65

66 Example (2) Petri net for 2 traffic lights Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 61 / 65

67 Example (2) Petri net for 2 traffic lights Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 61 / 65

68 Example (3) Petri net for 2 traffic lights Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 62 / 65

69 Werkcollege vandaag Make serious progress with Assignment 2 Train and run a neural network model using sklearn Ask questions Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 63 / 65

70 Credits Slides on neural networks based on slides from Kunstmatige Intelligentie by Walter Kosters ( Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 64 / 65

71 Credits Lecture based on (slides of the (previous edition of the)) course book: W. van der Aalst, Process Mining: Data Science in Action, 2nd edition, Springer, Slides partially based on From Data Mining to Knowledge Discovery: An Introduction by Gregory Piatetsky-Shapiro (KDnuggets.com) Frank Takes DSPM Lecture 6 Reinforcement Learning & Process Modelling 65 / 65