kunde in John Alfa-informatica Rijksuniversiteit Huus van de Taol 3 juni 2009
Technologie voor taal
kunde Studie waar computer centraal staat: Programmeren, ontwerpen, analyseren van ICT producten Gericht vooral op taal en geschiedenis Veel afgestudeerden in grotere ICT bedrijven of met eigen bedrijven Een aanrader voor jongen mensen die in ICT verder willen! Vandaag: Een kijk in de keuken van de onderzoekers
Nederlandse syntaxis top smain vc ppart mod pp prep bij0 obj1 np noun juwelier1 app noun A. B. Bakema2 mod pp prep aan5 obj1 np det det de6 noun A-straat7 mod pp prep in8 obj1 noun 9 mod adv vannacht11 mod pp prep om12 obj1 noun twintig over twee13 obj1 1 np det det een16 mod adj half17 noun tegel18 ld pp prep door19 obj1 np det det de20 noun ruit21 verb gooi22 verb ben10 su 1
Van Noord: Parsing Taalkundige grammatica plus Stochastisch model van toepassing 30 jaargangen kranten ( 500 Mln woorden), 8 CPU jaar kunde: 10-20% HPC cluster use Verbeteringen t.a.v. ANS, Van Dale Samenwerkingen met Van Dale, KPN, Spectrum,... Basis voor practische toepassingen
Parsing Nauwkeurigheid (F-Score) Accuracy 82 84 86 88 90 0 50 100 150 200 250 300 Time (weeks) 2PR
Toepassingen van Parsing OVIS, Openbaar Vervoer systeem Telefooninformatiesysteem voor NS Samenwerking met Philips, KPN 83% gesprekken succesvol Sentimentanalyse in politieke krantartikels VU dissertatie detecteert positieve/negatieve attitude Standaardgebruik in veel STEVIN (NL/BE, OCW, EZ, NWO) Voorbeeld: interpreteer verwijzingen (hij, zij,...)
Bouma: Vragen beantwoorden Vind exact antwoord in tekstverzameling Wanneer is Willem de Zwijger overleden? 1584 in Delft Internationale Concurrentie: CLEF Bronnen: AD & NRC (1994 & 1995) Test sets: 200 vragen 4,1M zinnen (XML bestanden), 78M woorden allemaal ontleden, opgeslagen 25 Gb, 500 CPU dagen
Rol van taalkunde? Wie verleende asiel aan Mengistu? Zimbabwe verleende asiel aan Mengistu Aan Mengistu werd asiel verleend door Zimbabwe Wanneer vond de Duitse hereniging plaats? Sinds de Duitse hereniging in oktober 1989... Al in 62 voorspelde hij de Duitse hereniging... datum syntactisch afhankelijk van hereniging
CLEF 05 Evaluatie Data vrijgegeven: 18 mei, resultaten ingediend: 25 mei 200 vragen 60 definitie vragen (Wat is gingivitis?) 49,5% correct (op 2 na s werelds beste, beste in NL) s werelds beste vóór 2005: 47% (2004)
Medische Terminologie Extraheer terminologie, verhoudingen van medische teksten renale dysplasië, nierenfalen, renale infectie, glomerulaire filtratiesnelheid, hydronephrosis, kreatinefosfaat, acute glomeruli-nefritis,... streptococcale longontsteking is bacteriële longontsteking is pneumonia is longziekte is cardio-pulmonaire ziekte is... hoge koorts is-symptoom-van streptococcale longonsteking bacteriële longontsteking veroorzaakt glomeruli-nehpritis Bronnen: Wikipedia, Merck, Elsevier Medical UMLS (Unified Medical Language System) Toepassingen in indiceren, opleiding, automatisch samenvatten,... Fahmi proefschrift
Reeksvergelijkingen Vergelijkbaarheid in uitspraak meten Editafstand, (pair) Hidden Markov Models Applications Detecteer verwisselbare drogennamen (Kondrak, FDA) Detecteer transliteraties van vreemde namen IR, IE Pervez Musharraf, Pervez Musharaf,...
Dialectuitspraken: 10 8 vergelijkingen
taal Woordenboek van de Drentse Dialecten!! Digitalisering van Sonttolregisters (G. Welling) Diagrammatische Redenatie (L. Bosveld) Automatische Vertaling (J. Tiedemann) Tekstverrijking (geographische referentie, definities) toevoeging voor krantteksten e-learning Ideën (dromen) Invloeddetecteren (stijl,..., plagiaat) extractie voor rechtsteksten, technische hanboeken,... Webdiensten voor geestes- en sociaalwetenschappers (samenwerking met UB )
Technologie voor taal www.infokunde.nl kunde: voor studenten die graag met computers werken!