Wie? Advanced Databases blok DB vs IR. Wat? Canonical application (DB) Canonical application (DB)

Transcriptie

1 Advanced Databases blok Wie? Hans Philippi: docent/practicumleider René Kersten: assistent bij practicum Hans Philippi 1 2 Wat? DB vs IR 2005 XML (Siebes) 2007 Google ranking (Siebes) 2009/2011 Databases & Information Retrieval verschillen & overeenkomsten en passant: basics IR, DB technologie 3 practicumopgaven 3 canonical application: data type: accounting numbers, short strings foundation: algebraic / logic based search paradigm: market leaders: Boolean retrieval (exact queries, result sets/bags) Oracle, IBM DB2, MS SQL Server libraries text bron: Gerhard Weikum probabilistic / statistics based ranked retrieval (vague queries, result lists) Google, Yahoo!, MSN, 4 Canonical application (DB) Nuancering: OLTP vs OLAP OLTP (On Line Transaction Processing) banken, luchtvaartmaatschappijen, reisburo s vele kleinschalige update-transacties fysieke organisatie hieraan aangepast beperkte ruimte voor zware queries (concurrency) update FlightEntries set status= booked, customerid= where flight=714 and date= and seat=119 5 Canonical application (DB) OLAP (On Line Analytical Processing) Typerende queries: Wat was onze omzet in hypotheken gedurende de afgelopen twee maanden? Hoe was dat vorig jaar in dezelfde periode? Snel switchen (dag, maand, kwartaal, jaar) Kunnen we trends ontdekken? 6 1

2 Canonical application (DB) OLAP data warehouse creatie off line, geen updates bewerkte selecties uit productiedatabases fysieke organisatie gericht op zware queries: data cube (indexstructuren, materialized views) historische data, belangrijke rol voor tijd data mining Data type(s) DB: classical types int, char, float, date beperkte ondersteuning van strings IR: text (granularity issues) In between: XML (semi structured) 7 8 DB: theory of sets/bags querytalen: gebaseerd op logica/algebra queries zijn i.h.a. exact resultaat is weer een tabel (view) grondslag voor systematische query processing en generieke optimalisatie klassiek, heeft diverse trends overleefd IR: text, beperkte of geen structuur queries zijn vaag: matching terms resultaat: elementaire datastructuur is de lijst kwaliteit matching: ranking maakt het verschil ranking is gebaseerd op probabilistische modellen data is vaag: enkelvoud, meervoud, homoniemen, synoniemen, spelfouten, spellingsvariaties, interpunctie, talen, alphabet (Grieks, Cyrillisch, Arabisch, Chinees, ) 9 10 IR: text indexering elementaire datastructuur is inverted list complicatie: approximate string matching ASM wordt in principe opgelost via dynamic programming ASM indexering via k-grams (of q-grams)

3 Wat is dit? GSAQVKGHGKKVADALTNAVAHVDDMPNALSALSDLHAHKL GGTTCTGCTGAAGTTAAAGGTCATGGT Matching protein strings GSAQVKGHGKKVADALTNAVAHVDDMPNALSALSDLHAHKL G+ +VK+HGKKV A+++++AH+D LS+LH KL GNPKVKAHGKKVLGAFSDGLAHLDNLKGTFATLSELHCDKL Gapped matching GSAQVKGHGKKVADALTNAVAHV---D--DMPNALSALSDLHAHKL H+ KV + +A ++ +L+ L+++H+ K NNPELQAHAGKVFKLVYEAAIQLQVTGVVVTDATLKNLGSVHVSKG Biological Sequence matching: query = een proteïne- of nucleotidestring antwoord = een collectie strings uit de DB die een hoge mate van similarity hebben met de query string Biological Sequence matching Basistechniek: dynamic programming aangepast aan biologisch-statistische modellen Heuristiek: lokale matching op basis van q-grams Practicum opgave 1 Implementeer een filtering-techniek op basis van q-grams die de kansrijke posities voor een match vindt (simulatie van BLAST2) Tool: een main-memory DBMS Bij opgave 1 wordt een simpele expander aangeleverd die vanuit een kansrijke positie een optimale ungapped match vindt Herschrijf deze om een optimale gapped match te vinden

4 Het resultaat van een IR-query is een lijst van documenten Sortering op relevantie: ranking Parameters/models voor ranking: term frequency (inverse) document frequency vector space model Ranking voor DB-queries? Geef mij appartementen in Barcelona voor tenminste 4 personen, nabij het centrum en dichtbij restaurants waar je voor 15 euro p.p. terecht kunt, liefst met uitzicht op zee met een huurprijs van maximaal 1000 euro per week maar liever goedkoper. Oh ja, en als het even kan met vaatwasser! Karakteristieken ranked database query conjunctie refererend aan veel attributen score per attribuut in plaats van true/false probleem 1: zero answers probleem 2: many answers Practicumopgave 2 Implementeer de concepten van ranked database querying Platform: Java-JDBC-DBnaarkeuze Topic 3: Google pagerank Vraag: Web gebruiker stelt een query via een aantal keywords. Stel ik heb N pagina s die matchen. Welke pagina s laat ik zien? Antwoord: De belangrijkste 10/20/100. Vraag: welke zijn dan de belangrijkste? Topic 3: Google pagerank Practicumopgave 3 Implementeer pagerank Platform: Java

5 Huishoudelijk Vragen? Topic 1: week Topic 2: week Topic 3: week Literatuur: online boek + artikelen + fragmenten uit Garcia-Molina Eindcijfer: P = (P1+P2+P3)/3 E = 0.6 * P * T P1, P2, P3 >= 4; P, T >=