Web mining. In het bijzonder web usage mining

Maat: px

Weergave met pagina beginnen:

Download "Web mining. In het bijzonder web usage mining"

Frank Cools
6 jaren geleden
Aantal bezoeken:

1 Web mining In het bijzonder web usage mining

2 Hoofdstuk web mining uit: Data Mining, Introductory and dvanced Topics; Margaret H. Dunham

3 Web mining Web content mining: wat staat er in webpagina s? Web crawlers, search engines Server-side personalization, collaborative filtering Web structure mining: hoe zijn web-pagina s aan elkaar gerelateerd? Web usage mining: hoe wordt er gesurfd over web-pagina s? Wie doet dat? Wanneer? Komt dat vaak voor?

4 Web mining taxonomie Web mining taxonomie [Zaï99] Web mining Web content mining Web structure mining Web usage mining Web page content mining Search result mining General access pattern tracking Customized usage tracking

5 Motivatie web mining i.h.a. Gericht adverteren. Stroomlijnen van een web-site. Surfgedrag van kijkers-maar-niet-kopers beïnvloeden. Dode pagina s (of secties) ontdekken en meer prominente plaats geven. Personalizatie.

6 IG: drie lagen Groupware application Monitoring / data-mining component Feedback component Web-mining stopt bij de 2e laag

7 Web usage mining Hoe wordt er door een site heengeklikt? Uitgangspunt: weblog, of clickstream data. 1. Server perspectief. anbod staat centraal: Welke pagina s werden er aangeklikt? Hoe vaak? Wanneer? In welke volgorde? 2. Client perspectief. Vraag staat centraal: Wie bekeek die pagina s? Dezelfde vragen als boven, maar nu per bezoeker.

8 oorbeeld: pache s access.log [30/May/2004:11:52: ] "GET /icons/a.gif HTTP/1.1" [30/May/2004:11:52: ] "GET /icons/tex.gif HTTP/1.1" [30/May/2004:11:52: ] "GET /icons/p.gif HTTP/1.1" [30/May/2004:11:52: ] "GET /icons/text.gif HTTP/1.1" [30/May/2004:11:52: ] "GET /icons/image2.gif HTTP/1.1" [30/May/2004:11:53: ] "GET /mason/prosupport5/all.msn HTTP/1.1" [30/May/2004:11:53: ] "GET /mason/prosupport11/ HTTP/1.1" [30/May/2004:11:53: ] "GET /mason/prosupport13/ HTTP/1.1" [30/May/2004:11:54: ] "GET /mason/prosupport13/ HTTP/1.1" [30/May/2004:11:54: ] "GET /mason/prosupport13/ HTTP/1.1" [30/May/2004:11:54: ] "GET /mason/prosupport13/ HTTP/1.1" [30/May/2004:11:54: ] "GET /mason/prosupport13/stylefile.css HTTP/1.1" [30/May/2004:11:54: ] "POST /mason/prosupport13/create_case.msn HTTP/1.1" [30/May/2004:12:04: ] "GET /mason/ HTTP/1.1" [30/May/2004:12:04: ] "GET /icons/blank.gif HTTP/1.1" [30/May/2004:12:04: ] "GET /icons/folder.gif HTTP/1.1" [30/May/2004:12:04: ] "GET /icons/compressed.gif HTTP/1.1" [30/May/2004:12:04: ] "GET /icons/unknown.gif HTTP/1.1" [30/May/2004:12:04: ] "GET /mason/prosupport13/ HTTP/1.1" [30/May/2004:21:14: ] "GET /Tk-widget-defaults.cgi HTTP/1.1" [30/May/2004:21:15: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [30/May/2004:21:15: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [30/May/2004:21:17: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [30/May/2004:21:25: ] "GET /Tk-widget-defaults.cgi HTTP/1.1" [30/May/2004:21:25: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [31/May/2004:19:44: ] "GET /Tk-widget-defaults.cgi HTTP/1.1" [31/May/2004:19:44: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [31/May/2004:19:44: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [31/May/2004:19:44: ] "POST /Tk-widget-defaults.cgi HTTP/1.1" [31/May/2004:20:02: ] "GET /Tk-widget-defaults.cgi HTTP/1.1" [31/May/2004:20:02: ] "POST /Tk-widget-defaults.cgi HTTP/1.1"

9 [30/May/2004:12:04: ] GET /een-dir/een-page.html/ HTTP/1.1" [30/May/2004:21:17: ] POST /some-script.cgi HTTP/1.1" [30/May/2004:21:14: ] GET /een-dir/een-andere-page.html/ HTTP/1.1" [30/May/2004:21:14: ] GET /een-dir/niet-bestaande-page.html/ HTTP/1.1" [30/May/2004:21:15: ] POST /some-script.cgi HTTP/1.1" [30/May/2004:21:15: ] POST /some-script.cgi HTTP/1.1"

10 Web-access log Iedere regel bevat ruwweg (uit mijn hoofd): IP adres Tijdstip transactie Soort actie (GET / POST) Betreffende bestand, plaatje of script Gebruikte protocol HTTP code (200, 404, ) antal bytes

11 Voorbeeld Webmaster ontdekt dat veel gebruikers de volgende reeks pagina s doorlopen: (, B,, C ) Maatregel webmaster? Refereer in B naar C.

12 Een zogenaamde trie

13 Een gecomprimeerde trie

14 Efficiënte opslag van suffixes 1. Suffix trie. Een trie van alle suffixes. (Handout p. 8, Fig. 9.) 2. Suffix tree. Een gecomprimeerde trie van alle suffixes. (Handout p. 8, Fig. 10.) Zie verder: Dunham ; Handouts.

15 Vier fasen in web-mining 1. Voorbewerken, ook wel masseren van de weblog. 2. Web-mining: het vinden van frequent voorkomende en/of interessante patronen. 3. Nabewerken: selecteren, filteren, en interpreteren. 4. Terugkoppelen: naar site en/of gebruikers.

16 Stappen voorbewerking 1. Weblog massage (verwijderen van irrelevante requests, zoals bijvoorbeeld afbeeldingen). 2. Gebruiker-identificatie. 3. Sessie-identificatie. 4. Pad-completering. 5. Formattering.

17 Problemen Identificatie gebruikers. IP adressen mappen niet 1-1 op gebruikers: Gebruiker surft via IS-provider. PC van gebruiker heeft tijdelijk IP-nummer toegewezen gekregen Firewall kwesties Identificatie requests. Niet alle requests worden gelogd. Web client bezit cache waaruit bewaarde pagina s kunnen worden geserveerd. Juridische kwesties. Vgl. problematiek wet persoonsregistratie.

18 Formele definitie log Een log is een is een verzameling tripels L = { ( u 1, p 1, t 1 ),, ( u n, p n, t n ) } waarbij voor elke 1 i n, u i een gebruiker p i een pagina (URL) t i een tijdstip.

19 Het begrip sessie Intuïtief: een reeks requests van één gebruiker. Twee kandidaat-definities: 1. Een sessie :: Def een reeks requests binnen één tijdspanne. 2. Een sessie :: Def een reeks requests waarbij elk volgend request binnen een bepaalde tijdslimiet dient plaats te vinden.

20 Probleem 1e definitie Stel vooraf opgegeven tijdspanne is precies 30 minuten. Persoon surft op van 13:30 uur tot 14:15 uur. Probleem: bij granulariteit van één minuut zijn er 15 sessies te onderscheiden: 13:30 14:00 13:31 14:01 13:32 14:02 etc.

21 Formele definitie sessie Laat e > 0. Een sessie is een geordende lijst S = { ( u,p 1,t 1 ),, ( u,p n,t n ) } waarbij voor elke 1 i n, u geïdentificeerd is als één en dezelfde gebruiker. p i een pagina (URL) t i een tijdstip, zó dat, als als i < n, dan t i+1 t i e.

22 Typen van patronen ssociatieregels Episoden Sequentiële patronen Voorwaartse rijen Maximaal frequente rijen Opeenvolgend Ordening Geen duplicaten Maximaal

23 Het begrip support Laat D een verzameling sessies zijn, en x% een bepaald percentage. Een ongeordende verzameling (of geordende reeks) pagina s wordt ondersteund door D als deze in, of bij, tenminste x% van de transacties, óf gebruikers, of tijdsintervallen voorkomt. Hangt af van gebruikte methode

24 ssociatie-regels Beschouw de volgende (in de tijd gediscretiseerde) sessie-verzameling: u 1 :, B, C u 2 :, C u 1 : B, C, E u 3 :, C, D, C, E Opdracht: geef alle pagina-verzamelingen die met elkaar geässocieerd zijn met een thresholdsupport van ten minste 30%.

25 lgoritme associatief clusteren L 1 = { {}, {B}, {C}, {E} } ( {D} niet vanwege 30% drempel) C 2 = alle 2-sets die met elementen van sets uit L 1 zijn te maken: = { {,B}, {,C,}, {,E}, {B,C}, {B,E}, C,E} } L 2 = { {,C}, {B,C}, {C,E} } C 3 = { {,B,C}, {,C,E}, {B,C,E} } waarvan allen niet boven 30% drempel uitkomen: L 3 = ; stop

26 Het begrip episode D 2 1 B D B 3 2

27 Het begrip meest frequente episoden

28 lgoritme voor het vinden van maximale MFE s 1. Stel gericht acyclysiche graaf op (DG) met kanten e. 2. Verwijder paden met support kleiner dan drempelwaarde. 3. Negeer niet-maximale paden.

29 Recente ontwikkelingen Web mining vraagtalen, bijv. MINT. Concept: G-rij. Ongeveer: reguliere expressies op paden: B.C :, B, willekeurige pagina, C B?C :, mogelijk gevolgd door B, C B*C :, nul of meer keren B, C.*C :, nul of meer keren willekeurige pagina, C

Vergelijkbare documenten

Firewall. Facebook Block

Firewall. Facebook Block Firewall Facebook Block Inhoudsopgave Facebook Block... 3 Keyword Objects... 4 URL Content Filter Profile... 5 DNS Filter Profile... 7 Facebook blokkeren voor het gehele netwerk... 9 2 Facebook Block In