Entry Point Retrieval

Transcriptie

1 Entry Point Retrieval 1 Entry Point Retrieval Meteen naar de juiste plek. Zoeken, vinden en ranken van semi-gestructureerde data Maarten Marx ILPS, Informatica, Universiteit van Amsterdam November 2008

2 Entry Point Retrieval 2 Overzicht praatje 1. Entry Point Retrieval en XML 2. 2 Voorbeelden Zoeken in lezingen op video Zoeken in de Handelingen der Staten Generaal 3. Conclusies.

3 Entry Point Retrieval 3 ILPS groep: wie zijn dat? Prof Dr Maarten de Rijke. Leerstoel Intelligente Informatie Ontsluiting, Informatica, UvA. Dr Maarten Marx UD, Informatica, UvA.... en meer dan 20 aio s, postdocs en programmeurs

4 Entry Point Retrieval 4 Wat doen we? Intelligente Informatie Ontsluiting

5 Entry Point Retrieval 5 Sleutelwoorden Ophalen van informatie Tekst-extractie en verrijking Semantische annotatie Web 2.0 en Semantic Web MultiMedia XML

6 Entry Point Retrieval 6 Entry Point Retrieval: Wat is dat? de manier van zoeken waarbij de zoekmachine niet alleen een geordende lijst resultaten aflevert,... maar binnen elk resultaat ook nog suggesties doet om daar met lezen te beginnen. Die suggesties worden entry points genoemd.

7 Entry Point Retrieval 7 Entry Point Retrieval: Use-cases? Deze extra functionaliteit is vooral handig bij moelijk doorzoekbare documenten programmeercode, video, audio en hele lange (saaie) documenten die erg veel onderwerpen behandelen notulen, jaarverslagen, leer- en hand-boeken

8 Entry Point Retrieval 8 Entry Point Retrieval: Waarom moeilijk? 1. je kan geen ankers plaatsen in andermans documenten 2. documenten zinvol opdelen is erg moeilijk om automatisch goed en mooi te doen

9 Entry Point Retrieval 9 Entry Point Retrieval met XML XML lost beide problemen op: elk element is uniek bepaald en het document is al opgedeeld. Uitgangspunt van INEX workshops (sinds 2002). Sterke content and structure vraagtaal: NEXI geef me paragrafen over XML in artikelen met een abstract over biotechnologie

10 Entry Point Retrieval 10 Query formeel //article[about(.//abstract, biotechnologie )]// par[about(., XML )] geef me paragrafen over XML in artikelen met een abstract over biotechnologie

11 Entry Point Retrieval 11 Entry Point Retrieval: voorbeelden Voorbeelden van INEX IEEE tijdschriften Lonely Planet boeken Wikipedia Voorbeelden dit praatje Zoeken in lezingen op video Zoeken in de Handelingen der Staten Generaal

12 Entry Point Retrieval 12 Zoeken in lezingen op video Use case Groot aantal CS lezingen met slides over diverse onderwerpen Entry points Nieuwe slide Zoektechnologie Taalmodellen op basis van tekst slides en gesproken tekst (ASR) Koppeling Handmatig Demo

13 Entry Point Retrieval 13 Handelingen der Staten Generaal heel veel lange (vaak best saaie) documenten... met heel veel interne structuur en metadata... nu ontzettend slecht ontsloten Voorbeeld zoek op knettergek in Parlando

14 Entry Point Retrieval 14 Waarom de Handelingen? Wetenschappelijk razend interessant en uitdagend bijna 200 jaar aan digitale data (via SGD project) data zit vol met structuur complexe zoekopdrachten buitenland (UK, België, Ierland) loopt op ons vooruit

15 Entry Point Retrieval 15 Heel veel data Handelingen der Staten Generaal vanaf 1984 nu al digitaal beschikbaar. Bijna Kamervragen; meer dan 1 miljoen uitspraken in debatten, meer dan 200 miljoen woorden. Groeit dagelijks met tientallen documenten.

16 Entry Point Retrieval 16 Type documenten: aantallen per partij Data van 1984 tot Mei 2008.

17 Entry Point Retrieval 17 Tekst extractie en verrijkings voorbeeld <spreker pagina=" " anker="568" partij="sp" naam="van Gerven" PDCid="03116"> Ik heb gezien dat de amendementen inmiddels in Parlando staan. </spreker>

18 Entry Point Retrieval 18 Technologie 1. pdftotext, 2. structuur expliciet maken dmv reguliere expressies 3. van platte naar diepe structuur met xsl:for-each-group uit XSLT (Muenchian Method Goddank niet meer nodig)

19 Entry Point Retrieval 19 Voorbeeld van gebruik parlando knettergek

20 Entry Point Retrieval 20 Zoeken in de Handelingen: Conclusies Omzetten van platte tekst naar diepe XML biedt vele nieuwe mogelijkheden. Technisch voordeel: veel kleinere files

21 Entry Point Retrieval 21 Technisch voordeel Handelingen van voor 1995 zijn ingescand en OCRed Heel erg grote files: vergadering van 72 bladzijdes: 24 Mb PDF en slechts.5 Mb in XML, en slechts 150 Kb in XML.gz Duur in opslag en benodigde bandbreedte Alternatief: origineel weer opbouwen uit de XML.gz

22 Entry Point Retrieval 22 Origineel weer opbouwen Dit kan in query-time. Voorbeeld bestand kost minder dan 1.5 seconde. Nadeel: OCR-fouten staan erin. Het is géén facsimilé. Zie trading-space-for-time/

23 Entry Point Retrieval 23 Overzicht praatje: nieuwe mogelijkheden 1. Handelingen als Web 2.0 documenten Nieuwe manieren van zoeken: op personen en partijen Nieuwe manieren van analyse: debatstijdlijnen. 2. Kruisverbanden met andere media Video Verbonden Bronnen 3. Nieuwe mogelijkheden en toepassingen Bieden van historische context Profielen van politici.

24 Entry Point Retrieval 24 Zoeken op personen Nu statische bio s op parlement.com en tweedekamer.nl Wens dynamische gegevens (als in UK, Ierland, EU) alles gezegd in de Kamer alle gestelde vragen alle ingediende moties Realisatie Mogelijk met PoliDocs XML structuur.

25 Entry Point Retrieval 25 Tijdslijn van debatten Elk debat is onderverdeeld in onderwerp blok spreker structuur in XML. Maakt eenvoudige debatsanalyse mogelijk. Voorbeeld vragen: Wie valt wie aan? Wie interrumpeerde het meest? Wie was het langst aan het woord? Wat was opvallend aan een betoog van een spreker? Voorbeeld: Algemene beschouwingen 17 Sept 2008

26 Entry Point Retrieval 26 Overzicht praatje: nieuwe mogelijkheden 1. Handelingen als Web 2.0 documenten 2. Kruisverbanden met andere media Video Verbonden Bronnen 3. Nieuwe mogelijkheden en toepassingen Bieden van historische context Profielen van politici.

27 Entry Point Retrieval Kruisverbanden met andere media en andere documenten 1. koppeling van Handelingen aan video verslag 2. koppelen van Kamervragen aan hun bronnen 27

28 Entry Point Retrieval 28 Handelingen en video Veel gemeentes tonen hun raadsverslagen al samen met video. Mooie Kans: TK neemt alles al op op video Automatische Koppeling door spraak en spreker herkenning Demo op <spreker naam="de voorzitter" pagina=" " anker="66" timecode="00:07:07"> Wij gaan niet het cv van de heer Bosma doornemen. </spreker>

29 Entry Point Retrieval 29 Kamervragen: diepe dataextractie Uitgangspunten 1. Zoveel mogelijk impliciete data expliciet maken: vragen antwoorden voetnoten bronnen datums URLs personen partijen functies/rollen Normaliseren van tijdsaanduidingen, bronverwijzingen, persoonsen partij-namen 3. Automatisch verbinden van data-bronnen

30 Entry Point Retrieval 30 Kamervragen en hun bronnen Kamervragen verwijzen vaak naar een bron Vraag 1 Bent U bekend met... 1 Wens: koppeling van kamervraag en bron dmv hyperlink Extractie levert inzicht op: actualiteit van de vragen soort bronnen 1 Zo links zijn de kranten niet. De Dag,

31 Entry Point Retrieval 31 Extractie van bronnen Voorbeeld: In onze XML database: <vragen aantal= 7 > <vraag nummer= 1 voetnoot= 1 > Kent u het bericht dat de politie hangjongeren registreert? <voetnoot nummer= 1 /> </vraag>... <noten afkomstig= vraag > <noot nummer= 1 koppeling= datum= bron= NOS Journaal > NOS Journaal, 31 april 2007 </noot> </noten> </vragen>

32 Entry Point Retrieval 32 Actualiteit van de Kamervragen

33 Entry Point Retrieval 33 KamerVragen: Welke kranten gebruiken de partijen als bron?

34 Entry Point Retrieval 34 Overzicht praatje: nieuwe mogelijkheden 1. Handelingen als Web 2.0 documenten 2. Kruisverbanden met andere media Video Verbonden Bronnen 3. Nieuwe mogelijkheden en toepassingen Data kwaliteits management Profielen van politici.

35 Entry Point Retrieval 35 Data kwaliteits management 1 Verschillende schrijfwijzen terugbrengen naar dezelfde persoon Aadsted-Madsen Aasted Madsen Aasted-Madsen Aasted Madsen-Stiphout Aasted Madsen - van Stiphout Aasted-Madsen van Stiphout Aasted-Madsen-van Stiphout Aasted Madsen-Van Stiphout

36 Entry Point Retrieval 36 Data kwaliteits management 2 Verbeteren van OCR-fouten in SGD data FvdA FVdA PcdA pda PdA PF P>dA Pvc)A PvciA PvciA PvclA pvda Pvd.A PvdA PvDA PviiA PvriA PvrJA PvtiA PWD PydA

37 Entry Point Retrieval 37 Koppeling van gebeurtenissen aan kamerleden Toepassingen: Geef nieuws aan kamerleden op basis van hun specialisme. Filteren van nieuws: Bekijk alleen dit nieuws Attenderen: Dit mag je niet missen Techniek Maak een expertise profiel van elk kamerlid op basis van zijn/haar uitspraken in de Kamer. Benodigde data: Handelingen in XML formaat.

38 Entry Point Retrieval 38 Demo: Welke tien politici passen het beste bij dit bericht? Groep_militairen_blijft_in_ Uruzgan.html Acht van de tien hits zitten in de commissie defensie.

39 Entry Point Retrieval 39 Conclusies Semantische verrijking van Handelingen is haalbaar, biedt ongekende mogelijkheden, is wetenschappelijk vooruitstrevend, en maakt zoeken in de Handelingen leuk door entry-point retrieval