Multimediale Information Retrieval

Transcriptie

1 Multimediale Information Retrieval Text Retrieval 1 17 november Inhoud hoofdbegrippen college 1 retrievalmodellen Vector-Space model experiment text retrieval opdracht 2 2 1

2 Hoofdbegrippen college 1 IR: de weg van informatiebehoefte (user need of information request) naar relevante documenten/retrieval units logical view op documenten en queries user need wordt vertaald naar query eenvoudig: concept wordt trefwoord(en) complex: gebruik querytaal systeem schat relevantie in d.m.v. ranking Multimediale IR: document kan van alles zijn model figuur Retrieval models user feedback User interface user need Text Operations text text logical view Query Operations query Search logical view Indexing inverted file Index DB Manager Module retrieved docs ranked docs Ranking hoofdstuk 2: modeling Text database 4 2

3 Herkomst slides engelstalige slides ontleend aan Raymond J. Mooney, U. Texas, Austin die weer aan Joydeep Ghosh (UT ECE) en die weer aan Dik Lee (Univ. of Science and Tech, Hong Kong) doorlopend aangepast 5 Retrieval Tasks Ad hoc retrieval: Fixed document corpus, varied queries. Filtering: Fixed query, continuous document stream. User Profile: A model of relative static preferences. Binary decision of relevant/not-relevant. Routing: Same as filtering but continuously supply ranked lists rather than binary filtering. 6 3

4 Retrieval Model: definitie (2.4) Een IR model bestaat uit 4 dingen: 1. verzameling logical views op documenten 2. verzameling logical views op queries 3. framework: hoe worden queries en documenten gemodelleerd 4. ranking function: berekent similariteitsscore 7 Main retrieval models Classic models Boolean: set theoretic Vector (-Space): algebraic Probabilistic (next week) Many alternative models, variants PageRank: probabilistic model 8 4

5 Boolean Model A document is represented as a set of keywords. Queries are Boolean expressions of keywords, connected by AND, OR, and NOT, including the use of brackets to indicate scope. [[Rio & Brazil] [Hilo & Hawaii]] & hotel &!Hilton] Output: Document is relevant or not. No partial matches or ranking. 9 Boolean Model Problems Very rigid: AND means all; OR means any Difficult to express complex user requests Difficult to control the number of documents retrieved All matched documents will be returned. Difficult to rank output. All matched documents logically satisfy the query. Difficult to perform relevance feedback. If a document is identified by the user as relevant or irrelevant, how should the query be modified? suitable for professionals (librarians) 10 5

6 Boolean Model Popularity Popular retrieval model because: Easy to understand for simple queries. Clean formalism. Boolean models can be extended to include ranking. Reasonably efficient implementations possible for normal queries. 11 The Vector-Space Model A document is typically represented by a bag of words (unordered words with frequencies). Assume t distinct terms remain after preprocessing: the vocabulary. These orthogonal terms form a vector space. Dimension = t = vocabulary Each term, i, in a document or query, j, is given a real-valued weight, w ij. naïve weight: raw term frequency (tf) Both documents and queries are expressed as t- dimensional vectors: d j = (w 1j, w 2j,, w tj ) 12 6

7 Graphic Representation Example: D 1 = 2T 1 + 3T 2 + 5T 3 D 2 = 3T 1 + 7T 2 + T 3 Q = 0T 1 + 0T 2 + T 3 5 T 3 D 1 = 2T 1 + 3T 2 + 5T 3 Q = 0T 1 + 0T 2 + T T 1 D 2 = 3T 1 + 7T 2 + T 3 T 2 7 Is D 1 or D 2 more similar to Q? How to measure the degree of similarity? 13 Cosine Similarity Measure Cosine similarity measures the cosine of the angle between two vectors. Inner product normalized by the vector lengths. θ 1 t 3 CosSim(d j, q) = ρ d j ρ d j q ρ ρ q = i = 1 t t ( w w ij ij i = 1 i = 1 2 w t iq ) w iq 2 D 1 θ 2 Q t 1 t 2 D 2 D 1 = 2T 1 + 3T 2 + 5T 3 CosSim(D 1, Q) = 5 / (4+9+25)(0+0+1) = 0.81 D 2 = 3T 1 + 7T 2 + 1T 3 CosSim(D 2, Q) = 1 / (9+49+1)(0+0+1) = 0.13 Q = 0T 1 + 0T 2 + 1T 3 D 1 is 6 times better than D 2 using cosine similarity. 14 7

8 Term Weights: Term Frequency More frequent terms in a document are more important, i.e. more indicative of the topic. tf ij = frequency of term i in document j raw term frequency May want to normalize term frequencies within document divide by max tf of document j (BYRN formule 2.1) Let op: op het practicum gebruiken we nietgenormaliseerde tf 15 Term Weights: Inverse Document Frequency Terms that appear in many different documents are less indicative of overall topic. df i = document frequency of term i = number of documents containing term i idf i = inverse document frequency of term i, = log 2 (N/ df i ) (N: total number of documents) An indication of a term s discrimination power. Log used to dampen the effect relative to tf. 16 8

9 TF-IDF Weighting A typical combined term importance indicator is tf-idf weighting: w ij = tf ij idf i = tf ij log 2 (N/ df i ) A term occurring frequently in the document but rarely in the rest of the collection is given high weight. Many other ways of determining term weights have been proposed. Experimentally, tf-idf has been found to work well. 17 Computing TF-IDF -- An Example Given a document containing terms with given frequencies: A(3), B(2), C(1), D(3) Assume collection contains 10,000 documents and document frequencies of these terms are: A(50), B(1300), C(250), D(10,000) Then: A: tf = 3/3; idf = log(10000/50) = 5.3; tf-idf = 5.3 B: tf = 2/3; idf = log(10000/1300) = 2.0; tf-idf = 1.3 C: tf = 1/3; idf = log(10000/250) = 3.7; tf-idf = 1.2 D: tf = 3/3; idf = log(10000/10000) = 0; tf-idf =

10 Comments on Vector Space Models Simple, mathematically based approach. Considers both local (tf) and global (idf) word occurrence frequencies. Provides partial matching and ranked results. Tends to work quite well in practice despite obvious weaknesses. Allows efficient implementation for large document collections. Document can be used as a query (relevance feedback) Statistical model is entirely different from our cognitive model of a document, but still provides the best (and scalable) results. (semantic gap) 19 Problems with Vector Space Model Missing semantic information (e.g. word sense). Missing syntactic information (e.g. phrase structure, word order, proximity information). Assumption of term independence (e.g. ignores synonomy). Lacks the control of a Boolean model (e.g., requiring a term to appear in a document). Given a two-term query A B, may prefer a document containing A frequently but not B, over a document that contains both A and B, but both less frequently

11 Experiment! 21 Text retrieval user feedback User interface user need Text Operations text text logical view Query Operations query logical view Indexing inverted file DB Manager Module Search Index retrieved docs ranked docs Ranking deze onderdelen Text database 22 11

12 Inhoud hoofdstuk 6 Metadata Tekst modelleren hoe kom je tot een logical view op tekst? Markup languages: ter kennisname Multimedia: volgende colleges 23 Metadata Data about the data eerste, traditionele benadering logical view Descriptive Metadata Author, source, length standaardisering voor e-documenten is bv. Dublin Core Metadata Element Set (15 elementen: zie ) Semantic Metadata Characterizes the subject matter within the document contents, often within controlled vocabulary ontologies: hierarchical taxonomies of terms preciezere definitie bij Kennismanagement 24 12

13 Modelleren natuurlijke taal Entropie: hoeveelheid informatie (zelfstudie) N-orde benaderingen (zelfstudie) Zipf s Law Verdeling gegeven woord over teksten (zelfstudie) Heaps Law maten voor overeenkomst tussen woorden 25 Woordfrequenties Nederlandse tekst van ca. 88 Kb (fragment Jacob van Lennep, Ferdinand Huyck) aantal woorden: ca , 3378 verschillende Grafiek 200 meest voorkomende woorden en van was zij dan men uit zich hebben waar hoe toch waren zien werd oude nooit goed iemand ware denken worden hen eerste tusschen anders nemen zooveel hetgeen 26 13

14 Zipf s Law Modeling Natural Language Words distribution inside documents Zipf s Law: woord op de i-de plaats komt 1/i θ zo vaak voor als het meest algemene woord Real data fits better with θ between 1.5 and 2.0 Example - word distibution (Zipf s Law) V=1000, θ = 2 most frequent word: n=300 2nd most frequent: n=76 (300 * 1/2 2 ) 3rd most frequent: n=33 (300 * 1/9 2 ) 4th most frequent: n=19 (300 * 1/4 2 ) 27 Meest voorkomende woorden 28 14

15 Meer over Ferdinand Huyck meest voorkomend: en (524), ik (458), de (427), het, (360), een (326), te (295) minst voorkomend: 2178 unieke woorden = 64,5% (aardbeving, bakker, bier, ouderdom) eerste zelfstandig naamwoorden: heer (25), tante (22), kapitein (19), tijd (19) eerste werkwoordsvormen: was (150), had (81), zei (66), zeide (66) wat kun je zeggen over inhoud? vermoeden op basis meest frequente betekenisdragende woorden preprocessing: stopwoorden verwijderen stemming 29 Heaps Law Omvang van het vocabulaire aantal verschillende woorden in tekst/corpus β Heaps Law: V = Kn Constanten zijn β en K; variabelen: n (totaal aantal woorden in tekst), V (omvang vocabulaire) β tussen 0,4 en 0,6 Talen hebben begrensd vocabulaire eigennamen lijken geen bovengrens te hebben 30 15

16 Heaps Law test met Italiaanse teksten Similarity Models Hamming Distance for words of same length: number of positions that have different characters (3) reverse receive Edit (Levenshtein) Distance minimum number of operations (insertion, deletion, substitution) needed to make strings equal survey surgery superior for modeling syntactic errors extensions: weights etc Longest Common Subsequence (LCS) only deletion operation survey - surgery LCS: surey 32 16

17 Hoofdstukken 7 en 8 Preprocessing ( ) Belangrijk voor practicumopdracht Compressie (7.4) hoofdzaken (zelfstudie) Indexen (8 t/m 8.2.1) principe inverted index 33 Preprocessing Onderdelen: lexicale analyse verwijderen stopwoorden stemming selecteren indextermen thesaurus, structuur Grotendeels te automatiseren 34 17

18 Voorbeeldtekst (Multatuli, Ideeën, 11) Om een voorwerp te tekenen is 't niet genoeg omtrek, kleur en schaduw van dat voorwerp te kennen, men moet dat alles kunnen weergeven. Om een gedachte uit te drukken, moet die geworden zyn tot beeld, dat is: tot denkbeeld. Zo'n beeld moet men leren tekenen. Denkbeeld is een lief woord, en een der vele waaruit de schoonheid onzer taal blykt. Het grieks-latynsfranse idee is er arm by, omdat daarin 't begrip: denken niet vertegenwoordigd wordt. lexicale analyse: cijfers streepjes leestekens hoofdletters/kleine letters 35 Na handmatige lexicale analyse om een voorwerp te tekenen is t niet genoeg omtrek kleur en schaduw van dat voorwerp te kennen men moet dat alles kunnen weergeven om een gedachte uit te drukken moet die geworden zyn tot beeld dat is tot denkbeeld zo n beeld moet men leren tekenen denkbeeld is een lief woord en een der vele waaruit de schoonheid onzer taal blykt het grieks-latyns-franse idee is er arm by omdat daarin t begrip denken niet vertegenwoordigd wordt opmerkingen zo n laten staan (anders verwarring met zon) grieks-latyns-franse laten staan (één concept) y -> ij? 36 18

19 Stopwoorden verwijderen om een voorwerp te tekenen is t niet genoeg omtrek kleur en schaduw van dat voorwerp te kennen men moet dat alles kunnen weergeven om een gedachte uit te drukken moet die geworden zyn tot beeld dat is tot denkbeeld zo'n beeld moet men leren tekenen denkbeeld is een lief woord en een der vele waaruit de schoonheid onzer taal blykt het grieks-latyns-franse idee is er arm by omdat daarin t begrip denken niet vertegenwoordigd wordt problemen: uit te drukken -> uitdrukken hoe ver moet je gaan (hulpwerkwoorden, bijvoeglijk naamwoorden, hoeveelheden (alles, genoeg enz) standaard oplossing: zelfstandig naamwoorden, werkwoorden behalve hulpwerkwoorden, evt. bijvoeglijk naamwoorden 37 woordstammen voorwerp teken omtrek kleur schaduw voorwerp ken weergev denk uitdruk beeld denkbeeld beeld ler teken denkbeeld lief woord schoonheid tal grieks-latyns-frans idee arm begrip denk tegenwoordig Opmerkingen: gedachte -> denk vertegenwoordigd -> tegenwoordig typisch NL problemen met stemming: samengestelde werkwoorden uitgedrukt, uit te drukken, hij drukte uit vectormodel: woordfrequenties (tf) 38 19

20 indextermen niet te strenge selectie: voorwerp, teken, denk, uitdruk, beeld, denkbeeld, woord, schoonheid, tal, grieks-latyns-frans, idee automatiseren: beslissen op basis van standaard-vocabulaire volgende stap: thesaurus 39 thesaurus termen concepten, vaak gecontroleerd vocabulaire definitie overzicht (bijna) synoniemen (SY) relaties broader (BT) narrower (NT) related (RT) toepassing: zoekhulp, toekennen trefwoorden 40 20

21 Relaties in idee 11 taal: NT: woord RT: denk woord BT: taal RT: uitdruk, denkbeeld denk NT: denkbeeld RT: taal denkbeeld BT: denk RT: uitdruk, woord SY: idee 41 Indexeren Waarom indexeren voorkomt (tijdrovend) sequentieel zoeken Principe kennen vocabulaire in alfabetische lijst (uit logical view) verwijzingen naar documenten vaak ook naar positie in documenten inverted file of inverted index (fig. 8.1) 42 21

22 Practicum Tekstanalyse grote opdracht, verdeeld over 2 weken Week 1 kwantitatieve analyse 6 politieke teksten 3 auteurs, elk 2 teksten aantal tools vergelijken met menselijke analyse Week 2 Vector Space model documentvectoren opstellen ranking interpretatie uitkomsten 43 Hoofdbegrippen college 2 Retrieval tasks: Ad-hoc, filtering, routing Boolean model Vector-space model tf, idf Metadata descriptive, semantic Taal wetten Zipf, Heaps afstandsmaten Preprocessing stopwords, stemming, thesaurus Inverted index 44 22