Information Retrieval.

Maat: px

Weergave met pagina beginnen:

Download "Information Retrieval."

Sylvia Mulder
5 jaren geleden
Aantal bezoeken:

1 Information Retrieval

2 Zoekterm...

3 Data retrieval <> IR uit gestructureerde gegevens <-> ongestructureerde documenten Bv. html, doc, txt, jpg,... artificiële vraagtaal <-> natuurlijk taal exacte overeenkomst <-> relevantie monothetische <-> polythetische classificatie

4 Positie van IR information management information retrieval text retrieval image retrieval presentation of information

5 Hoe werkt het?

6 Twee fases Vooraf Alle documenten analyseren Minder relevante info weggooien Compacte, efficiënte voorstelling: index Op het moment zelf Beste matches uit index gaan halen

7 Indexering Gemakkelijker toegankelijke voorstelling: index Verwijderen markup Tokenizatie Filtering informatie probleem voorstelling zoekvraag tekst documenten voorstelling geïndiceerde documenten Lemmatizatie Weging evaluatie en terugkoppeling vergelijking teruggevonden, gesorteerde documenten

8 Verwijderen markup <body> <p> Databanken worden gebruikt voor het opslaan van <b>informatie</b>. Dat is wel tof. Databanken worden gebruikt voor het opslaan van informatie. Dat is wel tof. </p> </body>

9 Tokenizatie Zinnen -> verzameling van woorden (bag of words) Databanken worden gebruikt voor het opslaan van informatie. Dat is wel tof. databanken worden gebruikt voor het opslaan van informatie dat is wel tof

10 Belangrijke woorden

11 Filteren Verwijderen van stopwoorden Woorden die frequent voorkomen in elke Nederlandse/Engelse tekst Voorbeeld:

12 Zonder stopwoorden

13 Lemmatizatie Herleiden van woorden tot stammen Eenvoudig: afkappen computer, computing, compute -> comput Beter: intelligente lemmatizatie zagen -> zien / zaag

14 Weging (document, lemma) > gewicht Belang van lemma voor document inschatten Des te hoger gewicht, des te beter beschrijft dat lemma het document Veel voorkomen in dit document Weinig voorkomen in de andere documenten

15 Weging Hoog gewicht aan karakteristieke lemma s Term frequency: tf(w,d) Document frequency: df(w) Totaal aantal documenten: N Inverse document frequency: idf(w) = log(n/df(w)) tf-idf gewicht: tf(w,d) * idf(w)

16 Bijvoorbeeld inform inform inform inform inform inform idf = log(6/3) = 1 tf = 3 gewicht = 3 * 1

17 Resultaat Gewicht: tf * idf = tf * log(n / df) Doc1 inform 24 retriev 23 table voeg 100 documenten toe met inform inform 22 retriev 23 table zonder inform 26 retriev 23 table

18 Index inform 24 retriev 23 table inform 5 retriev 0 table inform 0 retriev 0 table

19 inform 1 retriev 1 table inform 24 retriev 23 table inform 5 retriev 0 table inform 0 retriev 0 table

20 infor 1 retrie 1 table infor 24 retrie 23 table

21 infor 1 retrie 1 table (d, q) = s X (d i q i ) 2? i infor 24 retrie 23 table Gevoelig voor absolute waarde van query gewichten

22 d q = X i d i q i infor 1 retrie 1 table infor 24 retrie 23 table Gevoelig voor lengte van documenten

23 infor 1 retrie 1 table d q d q = P i d iq i pp pp i d2 i i q2 i infor 24 retrie 23 table Cosinus normalisatie

24 Google pagerank Kijk niet enkel naar woorden in document Maar ook naar kwaliteit van document Te meten via het aantal links naar pagina Gewogen volgens kwaliteit Iteratief algoritme

25 IR methodes vergelijken

26 Performantie van algoritme Confusion matrix 4 categorieen van documenten: relevant TP & in resultaat irrelevant FP & in resultaat in + relevant FN & uit resultaat irrelevant TN & uit resultaat uit = goed + slecht = N

27 Maatstaven P recision = Recall = TP TP+FN TP TP + FP = P (goed in) trade-off = P (in goed) TP FP FN TN goed + slecht in + uit = = N F allout = FP TN+FP = P (in slecht) Perfect algoritme: Precision = Recall = 1; Fallout = 0 Slechtste algoritme: Precision = Recall = 0; Fallout=1

28 Maatstaven P recision = Recall = TP TP+FN TP TP + FP = P (goed in) = P (in goed) TP FP FN TN goed + slecht in + uit = = N F allout = FP TN+FP = P (in slecht) Alles in: Precision = goed/n; Recall = 1; Fallout = 1; generality Alles uit: Precision 1; Recall = 0; Fallout=0;

29 Verband Recall = TP / (TP + FN) Precision = TP / (TP + FP) Fallout = FP / (FP + TN) Generality = Goed / N = (TP + FN) / N P = R G (R G)+F (1 G)

30 Vergelijking score > grens, voor grens = g1, g2, IR precision IR2 F = 2PR / (R + P) recall

31 Problemen: natuurlijke taal computer machine desktop... woorden vs. concepten

32 Problemen: natuurlijke taal Door mismatch woorden <> concepten Meerdere woorden voor hetzelfde concept -> lage recall Zelfde woord heeft meerdere betekenissen -> lage precision

33 Performantie verhogen Gebruiker Recall Synoniemen, spellingsvarianten, Precision Dubbelzinnigheden weghalen, gebruik van classificatiecodes (cfr. UDC) Of systeem

34 Dus, geavanceerde tekstzoeksystemen: informatie probleem tekst documenten voorstelling voorstelling zoekvraag geïndiceerde documenten evaluatie en terugkoppeling natuurlijke taal verwerking van zowel documenten als zoektermen beide vergelijken en matchen teruggevonden, gesorteerde documenten Time flies like an arrow. Fruit flies like a banana.

35 IR in Oracle DB

36 Tekst in DB Verschillende opties Veld met als waarde bestandsnaam varchar2: maximum 4000 tekens clob (character large object): meer dan 4000 tekens (tot 4 GB) blob (binary large object): binaire informatie (beeld, geluid,...)

37 Voorbeeld create table boek ( bnr integer primary key, titel char(20), auteur char(20), datum date, tekst varchar2(1000) ); insert into boek values (1,'fruit eten', 'mie groen', '24/10/2008', 'Het is zeer belangrijk om veel fruit te eten. Appelen en peren zijn de meest gekende inlandse soorten. Daarnaast is er ook heel wat uitheems fruit, bijvoorbeeld bananen. Ook apen en beren lusten sommige fruitsoorten.');

38 Indexeren Twee soorten index CTXCAT Voor kleine documenten Update zichzelf CONTEXT Voor grote documenten Manueel updaten

39 Indexeren CONTEXT create index boek_content on boek(tekst) indextype is ctxsys.context; Voor grote documenten Gebruik contains Syncronizeren: begin ctx_ddl.sync_index('boek_content'); end;

40 Indexeren CTXCAT Voor kleinere fragmenten (varchar2) create index boek_content on boek(tekst) indextype is ctxsys.ctxcat; Gebruik catsearch Krachtiger zoeken Past zich automatisch aan

41 Gebruik Voor df = 1, score =100 als: contains/catsearch geven score terug score(d,t) idf(t)*tf(t,d) Getal tussen 0 en 100 N T

42 Gebruik in queries ctxcat index: select titel from boek where catsearch(tekst, 'bananen') > 0; context index: select titel, score(5) from boek where contains(tekst, 'bananen', 5) > 0; of: score(0)... contains(tekst, bananen ) score kan ook in group by of order by

43 Meerdere woorden Apart vergelijken, dus min of max select titel, score(5) from boek where contains(tekst, 'bananen and peren', 5) > 0; select titel, score(5) from boek where contains(tekst, 'bananen or peren', 5) > 0; select titel, score(5) from boek where contains(tekst, 'bananen not peren', 5) > 0;

44 Scoreveranderend select titel, score(5) from boek where contains(tekst, 'bananen accum peren', 5) > 0; select titel, score(5) from boek where contains(tekst, 'bananen minus peren', 5) > 0;

45 Symbolen Woord and Symbool & or accum + minus - not ~

46 Einde

47 Tot slot Leerstof: alles behalve hoofdstuk 1 Examen: gesloten boek ± 33% theorie, mondeling ± 66% oefeningen, schriftelijk

Vergelijkbare documenten

Information retrieval

Information retrieval Definitie uit Introduction to information retrieval: Information retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies an