Natuurlijke Taalverwerking I shift-reduce en chart parsing

Maat: px

Weergave met pagina beginnen:

Download "Natuurlijke Taalverwerking I shift-reduce en chart parsing"

Cornelia van der Woude
7 jaren geleden
Aantal bezoeken:

1 Natuurlijke Taalverwerking I shift-reduce en chart parsing Gosse Bouma en Geert Kloosterman 2e semester 2005/2006

2 Shift-reduce conflicten Epsilon-regels Breadth-first zoeken Gebruik van een chart Toepassing: Alpino Overzicht 1

3 Parse-strategieën Prolog (DCG) zoekt top-down, depth-first. Alternatieven: Bottom-up: Begin bij de input (woorden), werk naar de startcategorie (s) toe. Breadth-first: Onderzoek alle mogelijke manieren om zinsdelen te vormen parallel. Alternatieve methode s zijn vaak robuuster en efficiënter. 2

4 Shift-reduce Algoritme stap invoer stapel actie 1. de hond snurkt [ ] shift 2. hond snurkt [Det] shift 3. snurkt [Det N] reduce 4. snurkt [NP] shift 5. [NP V] reduce 6. [NP VP] reduce 7. [S] 3

5 Ambiguïteit Kim kocht het huis met de garage. Kim kocht het huis in vp v np vp vp pp np np pp 4

6 Shift-reduce conflict String Stack actie regel 1. kocht het huis [].... met de garage.... m. met de garage [v,np] red vp v np n. met de garage [vp]... o. [vp,pp] red vp vp pp m. met de garage [v,np] shift lex(met,p).. p. [v,np,pp] red np np pp q. [v,np].. 5

7 Hoofd- en bijzinnen Piet slaapt Jan denkt dat Piet slaapt Piet leest een boek Jan denkt dat Piet een boek leest s np vp vp v np vp v vp v [dat] bijzin bijzin np vpb vpb np v vpb v 6

8 Reduce-reduce conflict String Stack actie regel 1. Jan denkt dat [] Piet slaapt m. [..,dat,np,v] red vp v n. [..,dat,np,vp] red s np vp o. [..dat,s]..... m. [..,dat,np,vp] red vpb v n. [..,dat,np,vpb] red bz np, vpb o [..dat,bz].... 7

9 Voordelen van shift-reduce algoritme Links-recursie is geen probleem. Omvang van de stack is nooit groter dan aantal woorden in de input. Parsing termineert zolang de grammatica geen cyclische regels bevat. np n n np 8

10 Elk voordeel hep z n nadeel det ɛ Epsilon-regels voegen een categorie toe aan de stack, zonder dat dit correspondeert met een element van de input, Omvang van de stack is niet langer kleiner of gelijk aan de input, Epsilon-regels kunnen ertoe leiden dat de parsing niet termineert. 9

11 SR en Epsilon s String Stack actie regel 1 honden blaffen [] sh 2 honden blaffen [det] sh 3 honden blaffen [det,det] sh... 10

12 Eliminatie van Epsilons Het effect van epsilon-regels kan ook altijd door regels zonder epsilon bereikt worden, Iedere grammatica met epsilons heeft een equivalente grammatica zonder epsilons. np det n det ɛ np n 11

13 Eliminatie van Epsilons Voor alle regels C ɛ en alle regels M C 1...C i,c,c j...c n, voeg toe M C 1...C i,c j...c n. 12

14 Efficiëntie DCG en shift-reduce parsers zoeken normaalgesproken depth-first: verschillende oplossingen worden gevonden door backtracking, Depth-first parsing kan erg inefficient zijn, Breadth-first parsing is meestal veel sneller, Chart-parsers zijn Breadth-first parsers. 13

15 Depth-first zoeken Als er een keuze is (tussen regels, tussen shift or reduce acties), onderzoek je 1 mogelijkheid volledig (depth-first), en andere mogelijkheden pas als de eerste keuze faalt. Maakt meestal gebruik van back-tracking. 14

16 Depth-first parsing DCG: top-down, depth-first Shift-reduce: bottom-up, depth-first 15

17 Nadelen van backtracking De spectaculaire groei van het Amsterdamse bureau Franzen, Hey & Veltman ( FHV ) heeft zich ook vorig jaar voortgezet. De invloed van de omvorming van de Oosteuropese economien op de vraag naar Duitse Marken is moeilijk kwantificeerbaar 16

18 SR parsing en Backtracking String Stack action 0 de groei van... [] 3 van het Amsterdamse.. [det,n] red 4 van het Amsterdamse.. [np]... n heeft zich ook [np,pp] sh... (fail) 3 van het Amsterdamse.. [det,n] sh n heeft zich ook [det,n,pp] red.. PP van het... ( FHV ) wordt twee keer afgeleid. 17

19 Oorzaken van backtracking Ambiguïteit, Wens om alle parses te vinden, Ongrammaticale input. 18

20 Partial Parsing Vind alle NPs (of een andere categorie) in een input, Implementatie met een shift-reduce parser: Parse alle substrings van de input, Maar een input van lengte 20 heeft substrings Veel NPs worden onderweg meerdere malen herkend... 19

21 Chart Parsing Bereken nooit iets twee keer! Bewaar resultaten in een tabel (chart), B.v. een lijst van constituenten die zijn gevonden in de input (well-formed substring table). 20

22 Een chart s vp np s n vp pp np np np tv det n p det n marie ziet de jongen met de hond 21

23 Een chart als een lijst 0 Marie 1 ziet 2 de 3 jongen 4 met 5 de 6 hond 7 0,1,np 1,2,tv 2,3,det 3,4,n 2,4,np 1,4,vp 0,4,s 4,5,p 5,6,det 6,7,n 5,7,np 4,7,pp 1,7,vp 3,7,np 0,7,s 22

24 Chart Parsing Doel: Vind alle constituenten in de input, Succes: Er is een constituent in de chart die de hele input beslaat en van categorie S is. 23

25 Chart Parsing Regel 1 Voeg item i, i + 1, Cat toe als er a word W is op positie i met categorie Cat. Regel 2 Voeg item i, n, Cat toe als er een regel Cat C 1...C n is en items i, j, C 1... m, n, C n 24

26 Prolog Chart: verzameling feiten constituent(begin,eind,categorie). Items toevoegen: gebruik assert. Loop van links naar rechts door de string, Op iedere positie: voeg alle mogelijke items (eenmalig) toe aan de chart (m.b.v. een failure-driven loop). 25

27 Partial Parsing Vind alle NPs in de invoer, Geen volledige parse (grammatica) nodig. Gemakkelijk met een chart, Moeilijk (en langzaam) met een shift-reduce parser. 26

28 Partial Parsing Experiment Runtime (ms) Zinnen Shift-Reduce Chart

29 Opgave 3 Implementatie van een chart parser in Prolog is gegeven, Schrijf predicaten om het resultaat van parsing aan een gebruiker te tonen, Werk met een corpus dat reeds voorzien is van woordsoorten, Schrijf grammatica-regels voor NP s die beginnen met een getal, voor PP s die een NP zonder lidwoord bevatten. 28

30 Voorbeeld zin(13,[art(bep,zijd_of_mv,neut, De ), adj(attr,stell,verv_neut,enige), n(soort,ev,neut,maatregel), [De enige maatregel] die [de Duitsers] mogen nemen om hun boeren te beschermen tegen [de gevolgen van de koersstijging van de mark] is [een concrete sluiting van de grenzen] voor buitenlandse granen en zuivelprodukten. 29

31 Alpino-grammatica 500 (gedetailleerde) regels, 100K (gedetailleerde) lexical entries, unknown word guesser, Part-of-Speech tagging, Statistisch model om de beste parse van een zin te vinden, Output is een boom met dependentie-relaties 30

32 Alpino Treebank Evaluatie Alpino-grammatica woorden krantentekst, automatisch geanalyseerd, handmatig gecorrigeerd Corpus Accuratesse (%) Alpino cdbl eindhoven 85.9 TwNC trouw CLEF03 vragen 92.6 CLEF04 vragen

33 Toepassingen Alpino-grammatica CLEF-corpus Algemeen Dagblad, NRC Handelsblad 1994, 1995 Aantal woorden 79 mln Aantal zinnen 4,1 mln Geen parse 0.3% Fragment parse 8.9% Volledige parse 90.8% CPU uren 20,000 XML 25 Gb 32

34 Toepassingen Alpino-grammatica Question Answering: Welke wiskundige bewees de Stelling van Fermat? Afgelopen maandagavond heeft de wiskundige Andrew Wiles in het McCoshAuditorium... bekend gemaakt dat zijn bewijs van de Laatste Stelling van Fermat,... Classificatie van vragen (Person, Date, Measure,...), Identificatie van vragen op basis van syntactische analyse 33

35 Toepassingen Alpino-grammatica Corpus-Taalkunde: Werkwoordelijke uitdrukkingen (rekening houden met), voorzetseluitdrukkingen (ten opzichte van), zelfstandige naamwoorden met vast voorzetsel (behoefte aan, bezwaar tegen, onderzoek naar,..), Leren van Ontologische kennis: isa-relaties (aandoening: achalasie amyotrofe lateraalsclerose, atherosclerose, borstklierontsteking,..). 34

Vergelijkbare documenten

Natuurlijke-Taalverwerking

Natuurlijke-Taalverwerking Week 5 Parsing Overzicht DCG s en links-recursie Shift-reduce parsing Chart parsing Generatie Links-recursie?- voorouder(geert,youri). ouder(geert,jan). ouder(jan,youri). voorouder(x,y)