Example Exam Data Mining

Transcriptie

1 Example Exam Data Mnng note that ths exam may be longer than normal, snce t contans more questons to learn from Algemene Opmerkngen Dt s geen open boek tentamen, noch mogen er aantekenngen gebrukt worden. Laat bj het utvoeren van berekenngen zen hoe je aan een antwoord gekomen bent. Als je alleen een antwoord opschrjft en dat s fout, rest ons nets dan het geheel fout te rekenen. Een rekenmachne s toegestaan. De cjfers van de nagekeken tentamens zullen bnnen 4 weken op de deur van de kamer 110 gepublceerd worden. Opgave 1. Korte vragen Geef korte, ter zake doende antwoorden op de volgende vragen: (a Explan why ZeroR s a good baselne for the accuraces of classfcaton algorthms. The ZeroR algorthms s a smplfcaton of OneR that smply nvolves no attrbutes n the model, and predcts by always returnng the majorty class (the most common class. Snce ths algorthm s so smple, and only nvolves nformaton about the target dstrbuton, t can serve as a baselne for classfcaton. Any decent classfcaton algorthm should do better than ths. (b The purpose of dscretsaton s to turn a numerc attrbute nto a nomnal one. Gve a dsadvantage and an advantage of ths operaton. The obvous dsadvantage of dscretsaton s that s reduces the precson of the attrbute, and hence there s loss of nformaton. The advantage s that t makes possble the use of some algorthms, often somewhat older, that can only deal wth nomnal data. (c Gve two advantages of herarchcal clusterng compared to the more standard method of k-means. There s no need to specfy the number of clusters from the start. A tree of (sub-clusters s produced, and any cut across the tree produces a set of clusters. You can therefore choose after havng obtaned the model, how much detal you want to see. 1

2 Herarchcal clusterng can be appled to nomnal data more easly than k- means. (d What s the name of the standard repostory of datasets that s often used for expermentng wth data mnng algorthms? The UCI repostory (e A man needs to dstrbute 100 balls over 5 boxes. Explan n what stuaton the entropy of the dstrbuton s the hghest. When all balls are dstrbuted unformly over the 5 boxes, hence 20 balls per box. (f Explan what two crtera are beng balanced n the SD qualty measure Weghted Relatve Accuracy. The unusualness of the dstrbuton of the target. The sze of the subgroup. Opgave 2. Frequent Pattern Mnng Gegeven een transactonele database met de volgende temsets over {A,..., E}: td Items 1 {A, C, B, E} 2 {D} 3 {A, B, E} 4 {A, C} 5 {A, D, C} 6 {C, B, E} 7 {D, C} 8 {A, C, B, E} 9 {B, E} 10 {D, C} (a Our database has 5 unque tems, and can be used to derve temsets and assocaton rules. Gve the maxmum numbers of temsets and assocaton rules that can theoretcally be derved. Theoretcal maxmal number of temsets: 2 d 1 = = 31. The answer 32 would have been acceptabele here also, although an empty temset n most cases would not be very senscal. Theoretcal maxmal number of assocaton rules: 3 d 2 d = = 180. (b Explan how the terms maxmal temset and closed temset are defned. An temset s maxmal frequent f none of ts mmedate supersets s frequent. 2

3 An temset s closed f none of ts (mmedate supersets has the same support. (c Gegeven een mnmal support mnsup = 0.3, teken de temset lattce en label elke knoop met mnstens een van de volgende letters de van toepassng zjn: I= nfrequent temset, F=frequent temset, M=maxmal temset, C=closed temset. Ze onderstaand schema voor de utwerkng. Elke knoop heeft ten mnste een van de labels {f,, c, m}, welke voorkomen n de volgende aantallen n onderstaande tabel. label frequente f c 8 m 4 De labels c en m staan her respecteveljk voor closed frequent temset en maxmal frequent temset. Wanneer een knoop met c of m gelabeled s, kunnen respecteveljk de f en f, c labels achterwege gelaten worden. Wanneer de nfrequency border getekend s, hoeft net elke knoop als nfrequent gelabeled te worden. 3

4 ( 5 0 ( 5 1 ( 5 2 ( 5 3 ( 5 4 ( 5 5 = 1 = 5 = 10 = 10 = 5 = 1 AB {1, 3, 8} f ABC {1, 8} A {1, 3, 4, 5, 8} f,c AC {1, 4, 5, 8} f,c,m ABD ABCD AD {5} ABE {1, 3, 8} f,c,m B {1, 3, 6, 8, 9} f AE {1, 3, 8} f ACD {5} ABCE {1, 8} f,c C {1, 4, 5, 6, 7, 8, 10} f,c BC {1, 6, 8} f BD ACE {1, 8} ADE ABDE ABCDE D {2, 5, 7, 10} f,c BE {1, 3, 6, 8, 9} f,c BCD ACDE CD {5, 7, 10} f,c,m BCE {1, 6, 8} f,c,m E {1, 3, 6, 8, 9} f CE {1, 6, 8} f BDE BCDE DE CDE 4

5 Opgave 3. Dstrbutes (a Stel, je moet een vragenljst samenstellen voor een sollctateprocedure. Geef een voorbeeld van een ja/nee vraag met hoge entrope, en eentje van lage entrope (> 0. Zou je bnnen een maand kunnen begnnen? Heb je de juste vooropledng voor deze functe? (b Zet de volgende dre attrbuten op volgorde van oplopende entrope (n het deale geval: een numerek attrbuut, een bnar attrbuut, en een nomnaal attrbuut van 8 waarden. bnar (laagste entrope nomnaal numerek (hoogste entrope (c Geef twee nadelen van een hstogram (over een numerek attrbuut, en geef een alternateve technek om de dstrbute te bepalen. De grenzen van een bn kunnen te ver van elkaar lggen, waardoor er veel tems n deze bn vallen, de net meer van elkaar te onderscheden zjn De grenzen van een bn kunnen te dcht bj elkaar lggen, waardoor een bn overdreven leeg s (terwjl zjn buurman te vol, bjvoorbeeld. Een alternateve methode s Kernel Densty Estmaton. 5

6 Opgave 4. Clusterng Heronder staan gegevens van 4 (fcteve studenten van de data mnng cursus. We noteerden respecteveljk het aantal bjgewoonde lessen, hun score (op 10, het aantal dagen examenvoorberedng, en of ze al dan net voor het examen kwamen opdagen: s 1 : (3, 1, 0, 1 s 2 : (10, 9, 2, 1 s 3 : (7, 9, 2, 1 s 4 : (6, 1, 0, 1 We wllen deze studenten clusteren, wat we kunnen doen door mddel van de k- means methode. Kes k = 2, en als ntële random cluster centrods: c 1 : (3, 7, 1, 0 c 2 : (10, 3, 1, 0 Pas de k-means methode toe op D tot een maxmum van 3 terates. Noteer voor elke terate welke clusters gevormd worden en wat de cluster centrods zjn. Convergeert de methode? Zo ja, motveer. Gebruk de standaard, Eucldsche afstandmaat voor het berekenen van afstanden: d(p, q = (q 1 p (q 2 p (q n p n 2 = n (q p 2. =1 Iterate 1 Student 1 d(s1, c1 = 38 d(s1, c2 = 55 Cluster 1 Student 2 d(s2, c1 = 55 d(s2, c2 = 38 Cluster 2 Student 3 d(s3, c1 = 22 d(s3, c2 = 47 Cluster 1 Student 4 d(s4, c1 = 47 d(s4, c2 = 22 Cluster 2 New centrods c1 = (5, 5, 1, 1 c2 = (8, 5, 1, 1 Iterate 2 Student 1 d(s1, c1 = 21 d(s1, c2 = 42 Cluster 1 Student 2 d(s2, c1 = 42 d(s2, c2 = 21 Cluster 2 Student 3 d(s3, c1 = 21 d(s3, c2 = 18 Cluster 2 Student 4 d(s4, c1 = 18 d(s4, c2 = 21 Cluster 1 6

7 New centrods c1 = (4.5, 1, 0, 1 c2 = (8.5, 9, 2, 1 Iterate 3 Indelng en centrods van bede clusters bljft geljk. Dus de methode s geconvergeerd. Opgave 5. Maxmally Informatve k-itemsets Gegeven de volgende dataset van bnare attrbuten: A B C D (a Geef de entrope van elk van de 4 attrbuten (over de hele dataset. Gebruk eventueel de onderstaande tabel met benaderde waarden voor de entrope H(p. p H(p 0 0 1/ / / /8 1 5/ / / Merk op dat de entrope H(p n de tabel gebruk maakt van het logartme met bass 2, ook wel log 2 of lg. H(A = 0.95 H(B = 1 H(C = 1 H(D = 1 (b Bewjs dat {C, D} een mk s voor k = 2 en geef de jont entropy. Is het de enge mk van 2 attrbuten? 7

8 {C, D} s een k-temset met k = 2, dus dt levert maxmaal 2 k = 2 2 = 4 combnates. Elk van deze combnates komt even vaak voor: twee keer. De jont entropy van {C, D} s dus 2 bts, want er zjn twee tems. Daarmee s deze temset dus een mk, want een hogere jont entropy s net te bereken. {B, C} s ook een mk, het deelt de database, net als {C, D}, op n 4 geljke stukken. (c Geef een bovengrens van H({B, C, D} op bass van de herboven berekende jont entropy van {C, D}. Bepaal daarna de exacte waarde van H({B, C, D}. De bovengrens van H({B, C, D} wordt gevonden met behulp van de relate: H({B, C, D} H({C, D} + H({B} = = 3. In dt specfeke geval s de bovengrens dus geljk aan het theoretsch maxmum: lg(2 k = lg(2 3 = lg(8 = 3. B s de nverse van D, en daardoor zal B geen nformate toevoegen aan {C, D}. De exacte waarde voor H({B, C, D} s dus: H({B, C, D} = H({C, D} + 0 = = 2. (d Stel, de tabel wordt gesorteerd op A, B. Wat s de nvloed hervan op de entrope van {C, D}? Sorteren heeft geen nvloed op de (jont entrope. Entrope s gevoelg voor veranderng n verdelng of frequentes, deze veranderen net wanneer de database gesorteerd wordt. (e Geef de jont entrope H({A, B, C, D}. De volgende combnates komen voor: 1,0,0,1 (2 keer 1,1,1,0 (2 keer 1,1,0,0 (1 keer 0,1,0,0 (1 keer 0,0,1,1 (2 keer De jont entropy s dus 2/8lg(2/8 2/8lg(2/8 1/8lg(1/8 1/8lg(1/8 2/8lg(2/8 = = 2.25 Opgave 6. Regresse (a Zowel Regresson Trees als Model Trees kunnen gebrukt worden om regresse te doen. Leg ut wat het grote verschl tussen deze methoden s. Bj Model Trees worden er n de bladeren nog lneare modellen gebrukt, terwjl bj Regresson Trees er alleen constante waarden n de bladeren staan. 8

9 (b Welke waarden kan R 2 aannemen, en hoe moeten deze waarden geïnterpreteerd worden? De waarde lgt tussen de 0 en 1, waarbj 0 betekent dat het model nets bjdraagt, terwjl bj de waarde 1 sprake s van een perfecte ft. (c In welke gevallen zou je eerder kezen voor bomen (regresse of model dan voor lneare modellen? Geef twee redenen. Als er sprake s van dudeljk net-lneare relates of data waarbj de target dudeljk afhangt van een drempelwaarde voor (één van de voorspellende attrbuten. Als er nomnale attrbuten beschkbaar zjn. (d Bnnen subgroup dscovery kun je ook een regresse settng kezen, maar daar s de maat R 2 nog net ngeburgerd. Geef een andere maat de geschkt s voor regresse bj SD. z-score (e Het algortme M5 bouwt bomen de utslutend ut bnare spltsngen bestaan. Leg ut hoe dt werkt n het geval van een nomnaal spltsngsattrbuut. Voordat het modelleren begnt, worden de verschllende waarden van het nomnale attrbuut gesorteerd op bass van de gemddelde waarde van de target bnnen elke nomnale waarde. Voor k nomnal waarden zjn er k 1 spltsngen n twee groepen te bepalen. Elk van deze spltsngen wordt nu aan de dataset toegevoegd door mddel van een (bnare ndcator-varabele. Opgave 7. Case-Study Medc doen onderzoek naar een neuw vrus dat n een zekenhus utbreekt onder geopereerde patënten. Er bestaat het vermoeden dat oudere patënten gevoelger zjn dan jongere. In totaal worden 536 patënten getest. De medaan van de leeftjd lgt bj 53,5 (preces tussen twee personen van 53 en 54 n, dus oud wordt gedefneerd als l leeftjd 53, patënten bljken het vrus te hebben (besmet = T, waarvan 2/3 oud. (a Teken de krustabel (contngency table, confuson matrx van l en besmet. besmet leeftjd ja nee totaal oud jong totaal (b Bekjk de subgroup S van oude mensen. Teken de ROC rumte, en geef daar n aan waar S te vnden s. 9

10 (c Teken n deze rumte ook de convex hull de opgespannen wordt door deze enkele subgroup S. Wat s de waarde van de Area Under the Curve (AUC? AUC = 5 6 = (d Geef de formule van WRAcc, en bereken de WRAcc van S. WRAcc = P (S, T (P (S P (T = 1 ( = 1 8 = (e Naast leeftjd kan ook het geslacht een bepalende factor zjn. Geef aan waar de subgroup M van oude mannen kan lggen. Als je S rapporteert als nteressante subgroup, heeft het dan nog zn om M te rapporteren? Kan M een hogere WRAcc hebben? M s een deelverzamelng van S, dus zal ergens lnksonder S n de ROC rumte lggen. Aangezen S op de y-as lgt, kan M alleen maar (op of drect onder S lggen. Daarmee zal M dus even ver of verder van ROC-heaven lggen, waardoor het 10

11 een lagere WRAcc zal hebben. Herdoor s M net nteressant om te rapporteren, als S al gerapporteerd s. (f Bereken de nformaton gan van een spltsng op besmet. Gebruk eventueel de tabel met benaderde waarden voor entrope. IG(T, besmet = H(T H(T besmet ( 1 = H(3/4 2 H(1 ( 1 = = 0.31 ( 1 ( H(1/2 Opgave 6. Decson Trees (a Prunng s een maner om een gebouwde beslsboom weer te snoeen, zodat overfttng voorkomen kan worden. Leg ut waarom n de meeste beslsboomalgortmen eerst een te grote boom gebouwd wordt, terwjl er daarna toch vaak weer gesnoed gaat worden. Van tevoren kan net ngeschat worden welke takken waardevolle nformate opleveren en welke net, omdat combnates van beslssngen meer kunnen opleveren dan ndvduele beslsssngen. (b Geef van de volgende statements aan of ze waar zjn 1. Informaton gan van een gegeven attrbuut neemt altjd toe naarmate je deper n de boom komt. Onwaar. 2. Informaton gan van een gegeven attrbuut neemt altjd af naarmate je deper n de boom komt. Onwaar. 3. Informaton gan van een gegeven attrbuut kan toenemen naarmate je deper n de boom komt. Waar. 4. Informaton gan van een gegeven attrbuut s altjd 0. Waar. 5. Informaton gan van een gegeven attrbuut s altjd 1. Onwaar, bjvoorbeeld bj een net-bnare target. Ga ut van een dataset met dre bnare attrbuten (A, B en C en een bnar target D. De dataset s als volgt: 11

12 A B C D (c Geef een beslsboom van depte 1 (dus maxmaal één spltsng zoals de door C4.5 op bass van nformaton gan geproduceerd zal worden. START H(T 0 = 1 H(T 0 splt op A = ( (0.5 1 = 1 H(T 0 splt op B = ( (0.75 H(1/ H(T 0 splt op C = ( (0.5 1 = 1 Dus de eerste splt s op B, met IG(T 0, B T B = 0 B = 1 D = 1 D = 0 (d Stel dat we een neuwe numerek target E ntroduceren, dat functoneel afhankeljk s van A,..., D, nameljk E = A + B + C + D. Leg ut hoe een model tree geïnduceerd op deze dataset er ut zal zen. Bj de eerste mogeljke spltsng wordt bepaald dat een perfecte lneare regresse van E mogeljk s, nameljk E = A + B + C + D, dus er wordt geen spltsng utgevoerd, en de boom s slechts een rootnode met lnear model. 12