1 In de Handelingen browsen, zoeken en vinden. Maarten Marx Universiteit van Amsterdam 3 November 2008

Transcriptie

1 1 In de Handelingen browsen, zoeken en vinden. Maarten Marx Universiteit van Amsterdam 3 November 2008

2 2 Wie zijn we? Prof Dr Maarten de Rijke. Leerstoel Intelligentie Informatie Ontsluiting, Informatica, UvA. Dr Maarten Marx UD, Informatica, UvA.

3 3 Wat doen we?

4 4 Sleutelwoorden Tekst-extractie en verrijking Semantische annotatie Web 2.0 en Semantic Web MultiMedia XML Intelligente Informatie Ontsluiting

5 5 Overzicht praatje 1. Voortzetting knettergek voorbeeld 2. Handelingen als Web 2.0 documenten 3. Kruisverbanden met andere media 4. Nieuwe mogelijkheden en toepassingen 5. Conclusies.

6 6 Waarom de Handelingen? Wetenschappelijk razend interessant en uitdagend bijna 200 jaar aan digitale data (via SGD project) data zit vol met structuur complexe zoekopdrachten buitenland (UK, België, Ierland) loopt op ons vooruit

7 7 Heel veel data Handelingen der Staten Generaal vanaf 1984 nu al digitaal beschikbaar. Bijna Kamervragen; meer dan 1 miljoen uitspraken in debatten, meer dan 200 miljoen woorden. Groeit dagelijks met tientalle documenten.

8 8 Type documenten: aantallen per partij Data van 1984 tot Mei 2008.

9 9 Tekst extractie en verrijkings voorbeeld <spreker pagina=" " anker="568" partij="sp" naam="van Gerven" PDCid="03116"> Ik heb gezien dat de amendementen inmiddels in Parlando staan. </spreker>

10 10 Voorbeeld van gebruik parlando Nogmaals knettergek

11 11 Zoeken in de Handelingen: Conclusies Omzetten van platte tekst naar diepe XML biedt vele mogelijkheden. PoliDocs voldoet aan 12 van de 15 eisen van Open Democratie 1.0 (Sargasso). PoliDocs gaat verder dan UK, Ierland, EU en België. Permalinks aan elke uitspraak maken voortzetting van parlementaire debat op het web mogelijk.

12 12 Overzicht praatje 1. Handelingen als Web 2.0 documenten Nieuwe manieren van zoeken: op personen en partijen Nieuwe manieren van analyse: debatstijdlijnen. Kamervragen: diepe dataextractie 2. Kruisverbanden met andere media Video Verbonden Bronnen 3. Nieuwe mogelijkheden en toepassingen Bieden van historische context Profielen van politici.

13 13 Zoeken op personen Nu statische bio s op parlement.com en tweedekamer.nl Wens dynamische gegevens (als in UK, Ierland, EU) alles gezegd in de Kamer alle gestelde vragen alle ingediende moties Realisatie Mogelijk met PoliDocs XML structuur.

14 14 Tijdslijn van debatten Elk debat is onderverdeeld in onderwerp blok spreker structuur in XML. Maakt eenvoudige debatsanalyse mogelijk. Voorbeeld vragen: Wie valt wie aan? Wie interrumpeerde het meest? Wie was het langst aan het woord? Wat was opvallend aan een betoog van een spreker? Voorbeeld: Algemene beschouwingen 17 Sept 2008

15 15 Kamervragen: diepe dataextractie Uitgangspunten 1. Zoveel mogelijk impliciete data expliciet maken: vragen antwoorden voetnoten bronnen datums URLs personen partijen functies/rollen Normaliseren van tijdsaanduidingen, bronverwijzingen, persoonsen partij-namen 3. Automatisch verbinden van data-bronnen

16 16 Wat kan je daar dan mee? Eenvoudig vragen stellen over heel veel data. Inzicht krijgen in veranderingen door historische vergelijking. Voorbeeld: Kamervragen ingediend in Aantal PDF s bij Parlando 3146 Aantal dossiers 2653 Aantal met reguliere antwoorden 2646 Aantal met mededeling, zonder antwoord 442

17 17 Voorbeeld onderzoeksvragen 1. Hoe uitgebreid zijn de Kamervragen? 2. Welke partijen stellen ze? 3. Hoe lang duurt de beantwoording? 4. Hoe kort zitten de Kamervragen op het nieuws? 5. Welke bronnen worden er gebruikt?

18 18 Hoe uitgebreid zijn de Kamervragen (2007)? Uit hoeveel deelvragen bestaan de Kamervragen? N=2646 Zelfde vraag kan nu gesteld worden voor elk parlementair jaar

19 19 Hoe lang duurt de beantwoording? (N=2646)

20 20 Hoe lang duurt de beantwoording? Per ministerie

21 21 Overzicht praatje 1. Handelingen als Web 2.0 documenten 2. Kruisverbanden met andere media Video Verbonden Bronnen 3. Nieuwe mogelijkheden en toepassingen Bieden van historische context Profielen van politici.

22 Kruisverbanden met andere media en andere documenten 1. koppeling van Handelingen aan video verslag 2. koppelen van Kamervragen aan hun bronnen 22

23 23 Handelingen en video Veel gemeentes tonen hun raadsverslagen al samen met video. Mooie Kans: TK neemt alles al op op video Automatische Koppeling door spraak en spreker herkenning Demo op <spreker naam="de voorzitter" pagina=" " anker="66" timecode="00:07:07"> Wij gaan niet het cv van de heer Bosma doornemen. </spreker>

24 24 Kamervragen en hun bronnen Kamervragen verwijzen vaak naar een bron Vraag 1 Bent U bekend met... 1 Wens: koppeling van kamervraag en bron dmv hyperlink Extractie levert inzicht op: actualiteit van de vragen soort bronnen 1 Zo links zijn de kranten niet. De Dag,

25 25 Extractie van bronnen Voorbeeld: In onze XML database: <vragen aantal= 7 > <vraag nummer= 1 voetnoot= 1 > Kent u het bericht dat de politie hangjongeren registreert? <voetnoot nummer= 1 /> </vraag>... <noten afkomstig= vraag > <noot nummer= 1 koppeling= datum= bron= NOS Journaal > NOS Journaal, 31 april 2007 </noot> </noten> </vragen>

26 26 Actualiteit van de Kamervragen

27 27 KamerVragen: Welke kranten gebruiken de partijen als bron?

28 28 Overzicht praatje 1. Handelingen als Web 2.0 documenten 2. Kruisverbanden met andere media Video Verbonden Bronnen 3. Nieuwe mogelijkheden en toepassingen Bieden van historische context Data kwaliteits management Profielen van politici.

29 29 Historische context Handelingen komen digitaal beschikbaar vanaf Textextractie en analyse scripts gemaakt voor heden werken ook voor het verleden. Historische vergelijking wordt nu makkelijk en vrijwel kosteloos mogelijk. Voorbeeldvraag: zijn de Kamervragen in de loop der jaren actueler geworden?

30 30 Data kwaliteits management 1 Verschillende schrijfwijzen terugbrengen naar dezelfde persoon Aadsted-Madsen Aasted Madsen Aasted-Madsen Aasted Madsen-Stiphout Aasted Madsen - van Stiphout Aasted-Madsen van Stiphout Aasted-Madsen-van Stiphout Aasted Madsen-Van Stiphout

31 31 Data kwaliteits management 2 Verbeteren van OCR-fouten in SGD data FvdA FvdA FVdA PcdA pda PdA PF P>dA Pvc)A PvciA PvciA PvclA pvda Pvd.A PvdA PvDA PviiA PvriA PvrJA PvtiA PWD PydA

32 32 Koppeling van gebeurtenissen aan kamerleden Toepassingen: Geef nieuws aan kamerleden op basis van hun specialisme. Filteren van nieuws: Bekijk alleen dit nieuws Attenderen: Dit mag je niet missen Techniek Maak een expertise profiel van elk kamerlid op basis van zijn/haar uitspraken in de Kamer. Benodigde data: Handelingen in XML formaat.

33 33 Demo: Welke tien politici passen het beste bij dit bericht? Groep_militairen_blijft_in_ Uruzgan.html Acht van de tien hits zitten in de commissie defensie.

34 34 Conclusies Semantische verrijking van Handelingen is haalbaar, biedt ongekende mogelijkheden, is wetenschappelijk vooruitstrevend, integreert diverse bronnen, en verbindt parlement met publiek.

35 35 Toekomst: onze wensen Nauwere samenwerking met parlement als gebruikers als verstrekkers PoliDocs als internationale standaard XML formaat zoek en analyse mogelijkheden koppeling tekst en video Wisselwerking tussen wetenschap en maatschappij.

36 36 Einde Slides staan op