Wat is een corpus en waarvoor wordt het gebruikt?

Transcriptie

1 Wat is een corpus en waarvoor wordt het gebruikt? Een corpus is een verzameling teksten of getranscribeerde geproken taal met een samenstelling en proportionering van teksttypen die geschikt is voor een bepaald doel ~ representatief Gebruik van corpora voor: * onderzoek: linguïstiek, letterkunde, stylistiek, taalvergelijking, geschiedenis, kunstgeschiedenis, theologie, vrouwenstudies, theaterwetenschap, rechten, sociologie, * taaltechnologie, computationele linguïstiek, informatietechnologie * (dialect)lexicografie, terminologie, vertaalkunde * onderwijs (computerondersteund onderwijs, e-learning)

2 Corpus : doel ~ inhoud In principe : elk doel vraagt om een specifieke samenstelling In de praktijk : niet haalbaar -> * Hergebruik van bestaande corpora * Europese Commissie : general purpose corpora (als basis) o.a. Nederlandse PAROLE-corpus (INL) * World Wide Web als corpus (niet stabiel!)

3 Corpus ~ informatiedrager Vroeger : corpora van gedrukte of geschreven tekst 1949 : werken van Thomas van Aquino digitaal (initiatief) 1967 : data entry voltooid 1980 : tekstverificatie en data processing -> index ca : digitale corpora door digitalisering van gedrukte teksten ca : digitale corpora o.b.v digitale teksten van uitgevers, onderzoekers, tekstarchieven, digitale bibliotheken, het www

4 Voordelen digitale vs. gedrukte tekst * dynamisch: eenvoudig hergebruik van de tekst * snel zoeken * flexibel zoeken (bijv. wildcards, Booleaanse operatoren) * snel rekenen (bijv. frequenties, spreiding, collocaties) Niveau : afzonderlijke woorden in de teksten (tokens) woord = reeks van letters en tekens corpus en corpus? : 2 verschillende woorden (types)

5 Voordelen verrijkte vs. digitale tekst * dynamisch & flexibel: geavanceerder hergebruik van de tekst * snel & flexibel zoeken, snel rekenen Niveau : woorden + gecodeerde informatie -> * zoeken naar of binnen teksteenheden (bijv. hoofdstuktitel; alinea) * selectie van bep. tekst(en) (bijv. editeurstekst in editie; brieven) * linken binnen een werk (bijv. noten, verwijzingen) * linken met andere data (al dan niet elders)

6 Principe: verrijking (annotatie) bepalend voor retrieval (1) Verrijkt (geannoteerd) tekstfragment ontleend aan een (oud) INLcorpus: trefwoord en woordsoort Ondanks_v{ondanks} de_l{de} uitwijzing_z{uitwijzing} en_c{en} de_l{de} politieke_a{politiek} spanningen_z{spanning} die_p{die} ze_p{ze} tot_v{tot} gevolg_z{gevolg} hebben_w{hebben}, biedt_w{bieden} Rabins_a{Rabins#} premierschap_z{premierschap} de_l{de} Palestijnen_z{Palestijn} nog_b(nog) altijd_b{altijd} de_l{de} beste_a{best} kansen_z{kans} om_v{om} ETC. p.m. taalkundige keuzes p.m. fouten als gevolg van automatische taalkundige verrijking

7 Principe: verrijking (annotatie) bepalend voor retrieval (2) Digitale tekst : zoek alle woorden (types) eindigend op -ig -> aardig, big, dienovereenkomstig, groenig, lig, nevelig, tuig, wig, Verrijkt met woordsoort : zoek alle adjectieven eindigend op -ig -> aardig, groenig, nevelig Verrijkt met trefwoord : zoek alle types van het trefwoord aardig -> aardig, aardige, aardiger, aardigst, aardigste

8 Parameters voor retrieval (afhankelijk van je doel) Bij een tekst (selectie van een subcorpus), bijv.: * bibliografische gegevens (auteur, titel, jaar van publicatie) * teksttype (volgens bijv. medium, onderwerp, literair genre) * plaats van herkomst (bijv. Vlaams/Nederlands) In een tekst, bijv. * tekststructuur (proloog, alinea, hoofdstuk e.d.) * woordsoort, trefwoord, syntactische eenheden * namen van personen, plaatsen * (niet gestandaardiseerde) dateringen

9 mmm

10 Internationale standaard voor tekstcodering Text Encoding Initiative TEI (sinds 1988) : richtlijnen voor uniforme, taal- en platformonafhankelijke (XML- ) tekstcodering t.b.v. uitwisseling en hergebruik van tekstbestanden binnen de humaniora ~ versie TEI-P5 ( Richtlijnen voor de codering van: * Tekst- en bestandsdocumentatie (bijv. bibliogr. gegevens, metadata) * Tekststructuur (bijv. proza: hoofdstuk, alinea; poëzie: versregel) * Typografie (bijv. cursief, vet ; lettergrootte) * Andere tekstuele elementen (bijv. noten, paginanummers) * Taalkundige en andersoortige verrijking

11 codering strikt onderscheiden van tekst hiërarchische relaties in de codering expliciet door nesting <tag 1> <tag 2>...</tag2> </tag1>

12

13

14

15

16

17 TEI-gecodeerd tekstfragment uit het VMNW

18 Veel initiatieven tot toegang tot digitale teksten (1) Bijv. Digitale Bibliotheek voor de Nederlandse Letteren (DBNL) KB Den Haag : Databank Digitale Dagbladen (vanaf 17de eeuw) Ministerie OCW : Nationaal Programma Digitalisering voor de Geesteswetenschappen NWO/KNAW : DANS (Data Archiving and Networked Services) Europese Commissie : European Digital Library TST-centrale (INL)

19 Veel initiatieven tot toegang tot digitale teksten (2) Tal van websites met toegang tot * digitale teksten * hulpbronnen voor onderzoek (+/- link naar teksten): tijdschriften, secundaire literatuur, catalogi, documentatie Bijvoorbeeld:

20 Problemen (1) * Auteursrecht ~ moderne teksten, edities, verrijking, foto s, contract corpusbouwer (instelling) ~ auteursrechthebbende contract corpusinstelling ~ corpusgebruiker Internationaal verschillend * Data voor anderen niet beschikbaar commerciële belangen van bijv. uitgevers eigen belangen van onderzoekers/instellingen

21 Problemen (2) * Verschillende systemen : theoretische achtergrond (& toepassingsmethode) van de verrijking ~ bijv. EAGLES (tlk.) vormgeving / representatie van de verrijking ~ TEI metadata (bijv. classificatiemodellen) ~ Dublin Core, OLAC, IMDI technisch ~ Max Planck Instituut e.a. : DAM-LR, CLARIN * Databewerking!

22 Literatuur Kruyt, J.G. (1998), Valkuilen bij corpusonderzoek. In: Nederlandse Taalkunde 3, 2, Ook op Dutilh-Ruitenberg, M.W.F., J. de Does & J.G. Kruyt (2005), PAROLE: een nieuw tekstcorpus raadpleegbaar voor onderzoek. In: Nederlandse Taalkunde 10, Ook op Dutilh, T. & J.G. Kruyt (2002), Implementation and Evaluation of PAROLE PoS in a National Context. In: Proceedings of the Third International Conference on Language Resources & Evaluation, pp Ook op McEnery, T. & Wilson, A. (1996), Corpus Linguistics. Edinburgh University Press.