Word Sense disambiguation. Taal en Spraak Maaike Harbers 1 mei 2006

Transcriptie

1 Word Sense disambiguation Taal en Spraak Maaike Harbers 1 mei 2006

2 Overzicht Introductie Methoden om te desambigueren Informatiebronnen voor desambiguatie Evaluatie van een desambiguatie systeem

3 Ambiguiteit Die nacht is Marie bevallen. Hij kocht het huis op de markt. De man, die de hulpverlener heeft gered,... Tussen de dertig en veertig miljoen euro. Bij ieder tentamen blijft een student tot het einde zitten.

4 Soorten ambiguiteit Morphologisch - massagebed Syntactisch - de man zag de vrouw met de bril Lexicaal Polysemie - lijn Homonymie - partij

5 Desambigueren van woorden Word Sense disambiguation: het toeschrijven van de goede betekenis(sen) aan woorden in een bepaalde context

6 Waarom desambigueren? Machinaal vertalen (het Engelse woord drug ) Opzoeken van informatie (bv. het woord bank ) Spraakverwerking (bv. het woord bommelding )

7 Voorbeeld Bruce & Wiebe (1994): Een word sense disambiguator voor het Engelse zelfstandig naamwoord interest Verschillende betekenissen van het woord interest?

8 Interest 1 readiness to give attention 2 quality of causing attention to be given 3 activity, subject, etc., which one gives time and attention to 4 advantage, advancement, or favour 5 a share (in a company, business, etc.) 6 money paid for the use of money

9 Interest Lager (1999):

10 Methoden voor desambiguatie Kennis gebaseerd (woordenboek, WordNet) Corpus gebaseerd (heel veel tekst) Hybride methode (een combinatie van die twee)

11 Lesk (1986): Kennis gebaseerd desambigueren Neem een mogelijke definitie van het te desambigueren woord Vergelijk deze met de definities van de woorden die in de buurt voorkomen Tel de overlappende inhoudswoorden in definities Doe dit voor alle mogelijke betekenissen van het woord en kies de betekenis met de meeste overlap

12 Red de aarde!

13 Red de aarde! Voorbeeld van Banerjee (2001) Stel, om de aarde te redden van invallende Arcturiers moet je de volgende zin goed vertalen: uijt jt b qjof dpof fybnqmf. Je hebt beschikking over een Arcturisch woordenboek (met Arcturische omschrijvingen!) Twee van de woorden in de zin zijn ambigu: qjof heeft twee betekenissen en dpof heeft dat ook

14 Red de aarde! Woordenboek qjof : Betekenis 1: Ljoe pg fwfshsffo usff Betekenis 2: Xbtuf bsbz uispvhi tpsspx ps jmmoftt Woordenboek dpof : Betekenis 1: Tmpje cpez xijdj obsspxt up b qpjou Betekenis 2: Gsvju pg dfsubjo fwfshsffo usff Betekenis 1 van qjof en betekenis 2 van dpof hebben overlappende woorden, kies dus deze betekenissen!

15 Voorbeeld Mogelijke betekenissen van het woord cone Pine cone Ice cream cone Definitie pine : kind of evergreen tree waste away through sorrow or illness Definitie cone : solid body which narrows to a point fruit of a certain evergreen tree

16 Kennis gebaseerd desambigueren Tellen van de definitie overlap voor alle mogelijke combinaties van betekenissen is computationeel erg duur Verschillende alternatieven: Simulated annealing: identificeert een oplossing bij benadering WordNet: maak gebruik van de hierarchie van semantische relaties

17 Nadelen Machine Readable Dictionaries worden gemaakt voor mensen, niet voor word sense disambiguation Woordenboeken zijn inconsistent Voor het Nederlands zijn er geen informatiebronnen beschikbaar

18 Corpus gebaseerd desambigueren Verzamel heel veel data (Annoteer) Tel Kies de meest waarschijnlijke betekenis

19 Corpus gebaseerd desambigueren Niet gesuperviseerde benaderingen alleen geannoteerde data voor evaluatie Gesuperviseerde benaderingen ook geannoteerde data voor trainen

20 Gesuperviseerde benadering Verzamel (heel veel) geannoteerde data Tel Samen voorkomen van woorden Zinstructuur PoS informatie Maak een model Beslisbomen Naïve Bayesioan classifiers Gebruik het model om de lezing te kiezen die volgens het corpus het meest

21 Niet gesuperviseerde benadering Het voorbeeld met de Arcturische zin was ongesuperviseerd ( uijt jt b qjof dpof fybnqmf ) Moeilijk!

22 Voor- en nadelen Bij de gesuperviseerde benadering heb je beschikking over veel meer informatie bij het leren Annoteren is erg tijdsintensief Annoteren op verschillende data soorten Er zijn nog niet zoveel geannoteerde teksten

23 Voorbeeld 1 (niet gesuperviseerd) Syntactische ambiguiteit: Justitie beschuldigt de voorzitter van fraude. Justitie beschuldigt de voorzitter van Ahold. Hoort van bij beschuldigen of bij de voorzitter?

24 PP-attachment probleem Bijwoorden zoals van/voor/in kunnen horen bij: Een zelfstandig naamwoord (de voorzitter van) Een werkwoord (beschuldigen van) Dit is soms ambigu in het Nederlands

25 Corpus Alpino treebank: Prep N-attach V-attach Van In Met Naar Door Sinds 3 2

26 Corpus gebaseerd desambigueren P (Prep Verb) = c (Verb+Prep) c (Verb) P (Prep Noun) = c (Noun+Prep) c (Noun) V-attachment if P(Prep Verb) > P(Prep Noun) N-attachment otherwise

27 Yahoo Voorzitter AND van 2.6 mln Voorzitter AND van fraude 3830 Beschuldigt AND van Beschuldigt AND van fraude 260 P(fraude voorzitter van) = 3830/2.6 mln = P(fraude beschuldigt van) = 260/ =

28 Voorbeeld 2 (niet gesuperviseerd) Yarowsky (1995) WSD, niet gesuperviseerd algoritme, corpus gebaseerd Maakt gebruik van twee restricties Eén betekenis per verhandeling Eén betekenis per collocatie Nauwkeurigheid tot meer dan 96%

29 Eén betekenis per verhandeling Geen harde restrictie: als locaal bewijs sterk het tegendeel aanwijst is wordt de regel overtreden Woord betekenis nauwkeurig toepasbaar Plant living/factory Tank vehicle/contnr Palm tree/hand Axes grid/tool Space volume/outer

30 Eén betekenis per collocatie Collocatie: voorkomen op dezelfde plek Nabije woorden verschaffen sterke en consistente aanwijzingen voor de betekenis van een gegeven woord Effect is sterk bij: Een kleinere afstand Woorden met een predikaat-argument relatie (ipv een willekeurige relatie) Inhoudswoorden (ipv functiewoorden)

31 Leeralgoritme Stap 1: Identificeer alle voorbeelden van een gegeven disambigu woord in een groot corpus Stap 2: Identificeer een relatief klein aantal representatieve voorbeelden voor elke mogelijke betekenis om mee te trainen Stap 3: Train het gesuperviseerde classificatie algoritme op de verzamelingen met representatieve voorbeelden

32 Desambiguatie van plant Betekenis Voorbeelden voor training A used to strain microscopic plant life from the A zonal distribution of plant life? vinyl chloride monomer plant, which is? cell types found in the plant kingdom are B automated manufacturing plant in Fremont

33 Beslislijst aan het begin LogL Collocation Sense 8.10 plant life A 7.58 manufacturing plant B 7.39 life (binnen +/- 2 tot 10 woorden) A 7.20 manufacturing ( ) B 6.27 animal ( )

34 Beslislijst op het eind LogL Collocation Sense plant growth A 9.68 car (binnen =/- k woorden) B 9.64 plant height A 9.61 union (binnen =/- k woorden) B 9.54 equipment (binnen =/- k woorden) B 9.51 assemply plant B

35 Voorbeeld 3 (gesuperviseerd) Gaustad (2004) Linguistic Knowledge and Word Sense Disambiguation Onderzoek naar invloed van verschillende informatiebronnen op WSD Corpus gebaseerd, gesuperviseerd

36 Informatiebronnen voor desambigueren Frequentie van betekenissen Part-of-Speech Morphologie Collocationele informatie Semantische woordeigenschappen Taxonomische organisatie Situatie Onderwerp Argument-hoofd relatie

37 Informatiebronnen voor desambigueren Syntactische kenmerken Semantische rollen Selectie voorkeuren Domein Pragmatiek

38 Methode Onderzoek naar invloed op WSD van: PoS informatie Syntactische structuur Selectie voorkeuren Context bestaat uit drie woorden Gebruik van lemma s

39 Lemma vs stam Woordvorm Stam Lemma Schrijven schrijf schrijven Geschreven schrijf schrijven Regering regeer regering Huisje huis huisje Boompje boom boom Afdwingen afdwing afdwingen Openbaar open openbaar

40 PoS informatie Morpho-syntactische desambiguatie en betekenis ambiguatie zijn niet hetzelfde Maar soms is morpho-syntactische desambiguatie tegelijkertijd ook betekenis desambiguatie Er zijn vrij nauwkeurige PoS-taggers WSD richt zich daarom vooral op woorden met dezelfde syntactische categorie

41 Resultaten Baseline Lemma, context woorden Lemma, context lemmas Lemma, PoS, context woorden Lemma, PoS, context lemmas 83.82

42 Syntactische structuur Worden als hoofdwerkwoord: Hij wordt gedragen Worden als koppelwerkwoord: Hij wordt dokter Informatie over syntactische structuur is waardevol voor desambiguatie: Worden + werkwoord: hoofdwerkwoord Worden + predikaat: koppelwerkwoord

43 Syntactische structuur Syntactische informatie wordt niet vaak gebruikt in WSD Het gebruiken van afhankelijkheidsrelaties in WSD van Nederlands kan leiden tot verbeterde prestaties (Gaustad 2004)

44 Resultaten Baseline Toevoegen van head-dep informatie Head-dep informatie, lemma Head-dep informatie, lemma, pos 83.73

45 Resultaten + headdep Lemma, context lemmas Lemma, PoS, context lemmas Lemma, PoS, context lemmas, pos in context

46 Eindresultaten Ambigu Alles Baseline Lemma, pos, con. lemmas, pos in con Lemma, pos, head, dep, con lemmas

47 Komt veel voor Combinatie van informatiebronnen Een combinatie van meerdere bronnen levert meestal betere resultaten dan de delen op zich Er is geen universeel beste informatiebron

48 Evaluatie Evalueren wordt gedaan door de resultaten van een bepaald systeem te vergelijken met de juiste oplossing van het betreffende probleem Betrouwbare evaluatie kan alleen met een handmatig geannoteerde teksten

49 Nodig voor evaluatie Corpus Verzameling met betekenissen Annotatie

50 Corpus Elke verzameling tekst Wel of niet geannoteerd (PoS, syntactische structuur)

51 Verzameling met betekenissen Woordenboek, thesaurus, semantisch netwerk (bv WordNet) Elk woord heeft een eindig aantal betekenissen Verschillende maten van fijnheid

52 Annotatie Met de hand Semi-gesuperviseerd Niet gesuperviseerd (nog niet goed genoeg)

53 Inter-Tagger overeenstemming ITA = percentage van woorden dat van alle betekenis taggers dezelfde betekenis krijgt Upper bound is gedefinieerd door overeenstemming tussen menselijke beoordelaars (intersubjectiviteit) Lower bound is de nauwkeurigheid die je krijgt als altijd de meest voorkomende betekenis wordt gekozen

54 Voorbeeld van een getagde Senseval 1: corpus Late on Thursday night it was travelling at about three metres a second in wind blowing at 20 to 25 knots when an empty car fell off just as it reached the top. The <tag >accident</> appeared to have little effect on the Christmas party, except

55 Voorbeeld van een getagde Semcor: corpus <wf pos=rb wnsn=1 lexsn=4:02:02::>only</wf> <wf pos=dt>a</wf> <wf pos=jj wnsn=1 lexsn=3:00:00::>relative</wf> <wf pos=nn wnsn=1 lexsn=1:23:01::>handful</wf> <wf pos=in>of</wf> <wf pos=jj wnsn=1 lexsn=5:00:01::specified:00>such</wf> <wf pos=nn wnsn=2 lexsn=1:10:00::>reports</wf> <wf pos=vb ot=notag>was</wf> <wf pos=vb wnsn=2 lexsn=2:30:01::>received</wf> <punc>.</punc>

56 Beschikbare corpora Senseval 1 Alleen gekozen ambigue woorden zijn geannoteerd met een tag De tags zijn gebaseerd op betekenissen in woordenboeken De context bestaat uit twee zinnen interest Corpus Alleen het woord interest is geannoteerd DSO Corpus

57 Beschikbare corpora Semcor Alle woorden zijn geannoteerd Gebaseerd op WordNet Context is de rest van het corpus Senseval 2 Alle woorden zijn geannoteerd Verschillende talen (Tsjechisch, Nederlands, Engels) Gebaseerd op WordNet en soms EuroWordNet

58 Moeilijkheden met betekenis tagging Hoe meer betekenissen, des te moeilijker Alleen locale informatie is niet genoeg Handige cues kunnen verschillen per ambigu woord Inter-annotator overeenstemming is vaak erg laag

59 Pseudowoorden Gale et all (1992), Schütze (1992, 1998) Alternatief voor het gebruik van geannoteerde data Een pseudowoord is een kunstmatig gecreeerd ambigu woord Bijvoorbeeld alle woorden aantal en tijd worden vervangen door het woord aantijd

60 Methode Kies twee inhoudswoorden Train op het gedesambigueerde corpus Vervang alle voorkomens van beide inhoudswoorden door een pseudowoord Test op datzelfde corpus

61 Pseudowoorden vs echte ambigue woorden Desambiguatie op pseudowoorden en op echte ambigue woorden is niet hetzelfde Moeilijk met elkaar te vergelijken Prestatie bij pseudowoorden is hoger Verschillende betekenissen zijn duidelijker te onderscheiden bij pseudowoorden Echte ambigue woorden hebben vaak betekenissen die met elkaar te maken hebben en zelfs voor mensen moeilijk te onderscheiden zijn

62 Toekomstig onderzoek Gebruik van semantische informatie voor WSD Informatie over het onderwerp Informatie over het domein Informatie over het samen voorkomen van woorden Gebruik meer getagde Nederlandse tekst (bv. gebaseerd op EuroWordNet) Onderzoek naar WSD in meer verschillende talen Onderzoek naar WSD in bepaalde

63

64

65

66

67