TEXT ANALYTICS 11/22/2015. Inleiding Text mining & Machine learning Ludieke voorbeelden. Twee klant cases. AGENDA

Transcriptie

1 11/22/2015 TEXT ANALYTICS Gast College TouW Longhow Lam -- Data Cop yrig ht 2012, SAS Institute Inc. All rig hts reserv ed. AGENDA Inleiding Text mining & Machine learning Ludieke voorbeelden Goede tijden Slechte tijden IENS Reviews Ajax samenvattingen Twee klant cases. Cop yrig ht 2012, SAS Institute Inc. All rig hts reserv ed. 1

2 INLEIDING TEXT MINING EN MACHINE LEARNING TEXT MINING BASIS Document 1: Ik loop over straat in Amsterdam, 1057DK, met mijn fiets Document 2: Zij liep niet maar fietste met haar blauwe fieets, //bitly.com/sdrtw Document 3: Mijn tweewieler is kapot, wat een slecht stuk ijzer, Terms Doc 1 Doc 2 Doc 3 +Fiets (znmw) Fietsen (ww) Blauwe (bvg) Amsterdam (locatie) Lopen (ww) Straat (znmw) Kapot (bijw) Slecht Stuk Ijzer DK (postcode) //bitly.com/sdrtw (Internet) TERM DOCUMENT MATRIX: A Elk document is een (zeer) lange vector van tellingen (vaak veel nullen!) Pas data mining toe op de matrix A. 2

3 TEXT MINING BASIS Geavanceerd woordjes tellen Parse & Filter Part of speech Entity detection Mixed / numeric / abbrev. Stemming Spell checks, Stop lijst, Synoniem lijst Multi-term woorden Pas Traditionele data mining toe Clustering Prediction / machine learning TEXT MINING TERM DOCUMENT MATRIX A Het is niet handig om data mining technieken direct op de term document matrix toe te passen Often more terms than documents Rows could be strongly correlated Matrix is often very sparse Doe eerst een Singular Value decomposition. 3

4 TEXT MINING SVD OP DE TERM DOCUMENT MATRIX A Dit staat ook bekend als Latent Semantic Analysis (LSA) Matrix SVD decompositie: V T k A A k U k U Σ Σ k V T Diagonaal met r singular values [ kunnen er duizenden zijn ] Neem alleen de eerste k << r singular values Een document d is nu niet een vector van m woord counts maar een kortere vector, Een punt in de 300 dimensionale ruimte! SVD EXAMPLE USING MY SON AS AN EXPERIMENT Original 2448 X 3264 ~ 8 mln numbers SVD: 15 largest SV s 1% of the data SVD: 75 largest V s 5% of the data SVD: 100 largest SV s 7% of the data 4

5 TEXT MINING VOORSPELLEN OF CLUSTEREN Combineer teksten en gewone data om gedrag te voorspellen (churn / fraud) Pas machine learning toe om gedrag (ook wel de target) Y te voorspellen met een model f Maak automatisch topics / clusters in hoge stapels documenten Pas cluster technieken toe om documenten in clusters (topics) in te delen Topic 1 Topic 2 Topic 3 MACHINE LEARNING OM TE VOORSPELLEN SUPERVISED LEARNING LINEAR REGRESSIE, NEURAL NETS, TREES & FORESTS 5

6 MACHINE LEARNING VOORSPEL IEMANDS INKOMEN Voorspel iemand inkomen op basis van leeftijd Verzamel wat data Plot de data Analytical Base Table Income Income = Age Is dit machine learning? Ja! Y = w 0 + w 1 X 1 + w 2 X 2 + w 3 X 3 Age NEURAAL NETWERK LINEAIRE REGRESSIE 1 X 1 X 2 w 0 w 1 w 2 X 3 w 3 f Y = f (X,w) = w 0 + w 1 X 1 + w 2 X 2 + w 3 X 3 Neuraal netwerk compute node f is de zgn. activatie functie. Dit is nu lineair Er zijn vier gewichten die bepaald / getraind moeten worden 6

7 NEURAAL NETWERK WISKUNDIGE FORMULERING In formules wordt de NN voorspeller gegeven door: P Y X Leeftijd X1 α 1 Inkomen X2 Z1 β 1 Z2 Y De functies g en σ zijn als volgt gedefinieerd Regio X3 N Z3, In geval van een binaire classifier 1 Geslacht X4 X inputs Hidden layer z outputs De model gewichten α and β moeten getraind worden m.b.v. de data NEURAAL NETWERK DE GEWICHTEN TRAINEN Back propagation algorithm Randomly choose small values for all w i s For each data point (observation) 1. Calculate the neural net prediction 2. Calculate the error E (for example: E = (actual prediction) 2 ) 3. Adjust weights w according to: 4. Stop if error E is small enough. 7

8 DEEP LEARNING NEURAAL NETWERK MET MEER DAN 2 HIDDEN LAYERS DECISION TREES Hoe werkt het? Een simpel voorbeeld Stel we hebben de volgende groep mensen 50% Response 50% No Response We weten van deze mensen Age and Marital Status 30% 70% 50% 50% Age 45 Age> 45 60% 40% 20% 80% Married Divorced UnMarried 60% 40% 8

9 DECISION TREES REGRESSION & CLASSIFICATION Target X 1 X 2 X 3 X 4 X 5 Y 12 A X N 21 B X Y 32 A U Y 34 C U N 23 A U N 13 B X N 45 A X Y 46 A X Een recursief splits algoritme: 1. Loop door alle input variabelen 2. Bepaal per input hoe te splitsen 3. Neem de beste input om te splitsen 4. Op de twee nieuwe datasets pas stap 1, 2, 3 toe. 5. Stop een keer. COMBINE MODELS BAGGING If one model is not good enough: let multiple models vote for a prediction Bootstrap Aggregation (Bagging) data Random sample Final model This makes only sense if underlying models are different enough and have some predictive power 9

10 Random Forests Bagging with trees Pas volgende stappen herhaaldelijk toe 1. Genereer een bootstrap sample 2. Kies random m inputs m << P 3. Fit een decision tree op de bootstrap sample met de m inputs In geval van een classification tree: The random forest voorspelling is de majority vote van alle trees In geval van een regression tree: The random forest voorspelling is het gemiddelde van alle trees CLUSTER TECHNIEKEN VOOR TOPICS CREATION UNSUPERVISED LEARNING K-MEANS HIËRARCHISCH CLUSTEREN 10

11 K-means Kies aantal clusters: k Start met k random cluster centroids Wijs de punten toe aan een dichtstbijzijnde cluster centroid Centroids her-berekenen en itereren Hiërarchisch clusteren Elk punt is een aparte cluster Voeg punten samen die dichtbij elkaar liggen Ga zo door tot alle punten 1 cluster vormen TEXT ANALYTICS VOORBEELDEN ECHTE DATA MAAR LUDIEKE VOORBEELDEN Ludieke voorbeelden met directe toepassingen Goede tijden slechte tijden Soap analytics Iens Restaurant analytics Ajax samenvattingen 11

12 GTST ANALYSIS TEXT ANALYTICS Business pain Kijkend naar een paar GTST afleveringen: waar gaat dit over, zijn er trends in de serie, is het niet allemaal het zelfde? Aanpak Neem alle duizenden samenvattingen en pas SAS text mining toe GTST ANALYSIS RESULTATEN Hoofd topics in 5000 afleveringen 12

13 GTST ANALYSIS RELATIE TUSSEN TOPICS GTST ANALYSIS INZOOMEND OP EEN TOPIC 13

14 GTST ANALYSIS INZOOMEND OP EEN TOPIC Sub-topics van een hoofd topic: topic 16 (Ludo, Isabelle, Martine, Janine) Het eenzaam voelen van Harmsen. Plan van Jack, gevaarlijk Afscheidsbrief schrijven Paniek, angst, Vragen opdracht kind geven Geld terug krijgen betalen Business validatie: De trouwe GTST kijker bij SAS kan zich hierin vinden.. GTST ANALYSIS RESULTATEN Trends over tijd m.b.v. een Bayesian belief netwerk 14

15 GTST ANALYSIS TRENDS OVER TIJD GTST ANALYSE GELIJKENIS AFLEVERINGEN OVER DE JAREN 15

16 IENS RESTAURANT PATH ANALYTICS Business pain Ik heb Chinees gegeten. Waar moet ik de volgende keer eten? Kan ik het sentiment voorspellen? Aanpak Kijk naar wat andere doen, IENS restaurant reviewers! EEN PAAR FEITJES IENS DATA (TRADITIONELE BI) Meest voorkomende naam (39 keer) Zo n 700 reviews op een normale zaterdag Valentijn reviews (1.7 keer) Duurzame keukens Biologisch (67%) Frans (58%) Vis (44%) Vegetarisch (39%) Regionaal (36%) Chinees (3%) 12 keer 23 keer Onder Hollandse restaurant (6 keer) 16

17 IENS RESTAURANT PATH ANALYSIS: GEGENEREERDE REGELS PERSOONLIJKE RECOMMENDATIONS Amazon, BOL, Netflix, Recommendation Engines Collaborative filtering, SVD Factorizations 17

18 RECOMMENDATION ENGINE Users rated items (products) explicitly Matrix is often very sparse!! IENS 100,889 users 8,900 Restaurants 897,912,100 ratings possible But only 211,143 ratings given (0.02%) USER ITEM MATRIX User Item Matrix Data User 4's Item Ratings User EXPLICIT RECOMMENDATIONS Item 1 Item 2 Item 3 Item 4 Item 5 User User User User User User User User User User After some math. recommendations are: User Recommend item 2! RE METHODS K NEAREST NEIGHBORS METHOD 18

19 PERSOONLIJKE RESTAURANT AANBEVELING Social Netwerk analysis Chinese restaurants Community Kleur Page rank Grootte 19

20 IENS REVIEWS ANALYTICS OP DE REVIEWS ZELF Parse and filter reviews met SAS text miner Transformeer reviews naar data punten in SVD space. IENS REVIEWS TOPICS Genereer enkele topics met SAS Text miner Sfeer, heerlijke avond gezellig, mooie locatie Wijn, glas, water Lang wachten Pittig, kip, Thais Bediening, personeel 20

21 IENS REVIEWS HET EET CIJFER VOORSPELLEN Neural (2 X 20) R 2 van 0.65 Linear reg model R 2 van 0.56 IENS REVIEWS HET EET CIJFER VOORSPELLEN Predicted review score vs. Given review score 21

22 IENS REVIEWS SENTIMENT ANALYSE / PREDICTIVE MODELING AJAX VOETBAL VERSLAGEN Business pain Ik kan niet mee praten op mijn werk over voetbal Kan ik wat tips meegeven aan ons SAS NL voetbal team? Aanpak Text mine alle Ajax voetbal verslagen en leer wat interessante resultaten uit je hoofd. Er zijn 476 voetbal verslagen. Ik heb gescraped van seizoen 2000/01 tot 2014/15. 22

23 AJAX CONCEPT LINKING VOETBAL TIPS EN STOF OM OVER MEE TE PRATEN Het verdedigingstrio van der Wiel, Vertongen, Anita Wie herinnert zich niet de mooie passes van Aldewereld naar Boerrigter Zorg niet voor veel balverlies, is een domper zorgt voor onrust en leidt niet tot een overwinning Chivu, Machlas en Heitinga worden vaak geassocieerd met overtredingen De Jong en Chivu worden vaak met verlies geassocieerd. Knullig spelen levert ook grote kans op verlies.. Score binnen 23 minuten! Leidt vaak tot winst WERKT HET? SAS NEDERLAND VOETBAL TEAM In september 6e geworden i.p.v. altijd laatste!!!! 23

24 TWEE USE CASES BIJ BEDRIJVEN TEXT ANALYTICS OPERATIONAL RISK ANALYSIS DUTCH BANK 100 s of complaints per month (web, ,..) Identify issues related to financial risks, and causing reputation damage, like: Fraudulous collections Problems with refinancing mortgages Insight in claim risks based on customer complaints Results: More efficient and faster complaint handling 24

25 TEXT ANALYTICS IDENTIFY EMERGING RISKS ON FOOD AND PRODUCT SAFETY DUTCH FOOD AND CONSUMER PRODUCT SAFETY AUTHORITY Use cases: Identify potential high-risk companies based on customer reviews (e.g. restaurant reviews on web) Identify product failures based on customer complaints Optimize resources for inspection of companies SAMENVATTEND teksten analyseren met text mining en machine learning is makkelijk te doen. Snel inzichten uit teksten te halen Business validatie nodig en belangrijk! Dit is ludiek! Maar talrijke serieuze toepassingen 25