Complexiteit. Anna Chernilovskaya. Inleiding Taalkunde

Transcriptie

1 Complexiteit Anna Chernilovskaya Inleiding Taalkunde

2 Vandaag: Complexiteit Hoofdstuk 12, sectie 12.6: voorproefje op hoofdstuk 16 Hoofdstuk 14, sectie 14.10: complexiteit van parsing (achtergrondmateriaal, hier komen statistische termen in voor die we niet behandelen) Hoofdstuk 16: complexiteit

3 Waarom bestuderen we complexiteit? Omdat er verschillende soorten formele talen zijn Om formele modellen te kunnen vergelijken Om de complexiteit van de morfologie/syntaxis/... van een natuurlijke taal te bepalen Om te kunnen bepalen welke formele modellen voor een deel van een natuurlijke taal te gebruiken Zijn alle natuurlijke talen even complex?

4 Het college vandaag Formele talen & de Chomsky-hierarchie De generatieve kracht van talen Modellen voor formele talen Hoe herken je de generatieve kracht: het pumping-lemma Welke generatieve kracht is nodig voor (de syntaxis van) natuurlijke talen Complexiteit bij menselijke taalverwerking Methode Garden path-zinnen Experimenten

5 Formele Talen (I) Een formele taal is een verzameling symbolenrijtjes, ofwel een verzameling strings Een formele taal over alfabet {a, b, c}: {abc, aabbcc, aaabbbccc,...} Alfabet {0, 1}: {01, 001, 0001, 00001, ,...} Alfabet {a, b, c,... z}: {sofuto, kanazawa, riku, arigato,...} Alfabet {Jan, Marie, haat, kust,...}: {Jan kust Marie, Marie kust Jan, Jan haat Marie,... }

6 Formele Talen (II) Hoe definieer je een formele taal? Met een grammatica die de verzameling strings in de taal genereert Met een automaat die de verzameling strings in de taal herkent S ba A aba A ɛ b(ab)

7 Formele Talen (III) Een vb. van Context-Free Grammar (CFG):

8 Vragen over formele talen In welke interessante formele opzichten verschillen die talen? Is er bv. een interessant verschil tussen de volgende 2 talen? {b, bab, babab, bababab,...} {ba, bbaa, bbbaaa, bbbbaaaa,...} Antwoord: Ja! formele talen zijn in te delen in complexiteitsklassen Wat is een relatie tussen FSA s, context-vrije grammatica s, fonologische herschrijfregels, etc.?

9 De Chomsky-hierarchie Recursief Opsombare Talen Context-gevoelige Talen Context-vrije Talen Recursief opsombare talen Reguliere Talen

10 Het idee achter de Chomsky-hierarchie De Chomsky-hierarchie verdeelt formele talen in 4 klassen Bij elke klasse hoort een klasse van grammatica s en automaten De klassen verschillen in kracht Hoe krachtiger een grammatica/automaat, hoe meer (soorten) talen hij kan genereren/herkennen (alle zwakkere talen zijn herkenbaar door sterkere grammatica s/automaten) bijv. een grammatica/automaat voor context-gevoelige talen kan ook alle context-vrije en reguliere talen genereren Vermindering in kracht van talen komt door extra constraints op herschrijfregels

11 De Chomsky-hierarchie (sterk ) Grammar Language Grammar Automaton Type 0 recursief opsombare α β Turing machine talen (α ɛ), un- (recursively enumerable) restricted grammar Type 1 context-gevoelige αaβ linear-bounded talen (context αγβ (γ ɛ) non-deterministic sensitive) Turing machine Type 2 context-vrije talen A γ push-down automaat (context free) Type 3 reguliere talen A u, eindige automaten (regular) A ub (en reguliere expressies) (zwak )

12 Type 3 Type 3 reguliere talen A ub eindige automaten A u (en reguliere expressies) Reguliere talen: precies de klasse talen die herkend kan worden door eindige automaten (FSA) Precies de klasse talen die je met reguliere expressies kan beschrijven Precies de klasse talen die gegenereerd kan worden door reguliere grammatica s Regels van de vorm: A ub en A u (right-linear) Óf regels van de vorm: A Bu en A u (left-linear) A, B V (niet-terminals), u Σ (een string) (niet-terminale symbolen transformeren naar een string van terminale symbolen, eventueel gevolgd/voorafgegaan door een niet-terminaal symbool) Dus niet: A bac, A BC

13 Type 3: {b, bab, babab, bababab,...} (I) b(ab) S ba A ɛ A as Rechts-lineaire reguliere grammatica S Ab A ɛ A Sa Links-lineaire reguliere grammatica S b S T T b A b A a A a S a Dit is geen reguliere grammatica maar wel een reguliere taal Gevolg: voor elke reguliere taal bestaat er een rechts-lineaire grammatica die deze taal herkent.

14 Type 3: {b, bab, babab, bababab,...} (II) Rechts-lineaire grammatica: S ba A aba A ɛ Voor elke FSA is er een rechts-lineaire grammatica Voor elke rechts-lineaire grammatica is er een FSA

16 Type 2 Type 2 context-vrije talen (context free) A γ push-down automaat Context-vrije talen Precies de klasse talen die herkend kan worden met push-down automaten (zie volgende slide) Precies de klasse talen die gegenereerd kan worden door context-vrije grammatica s Regels van de vorm: A γ γ is een rijtje symbolen (terminals of non-terminals) Voorbeeld van context-vrije grammatica: S bsa S ɛ Bijbehorende taal: b n a n

17 Type 2 (II) Push-down automaat: een finite state automaat die van een stack gebruik maakt Taal: {0 n 1 n n 0} PDA: PDA s gebruiken een stack te bepalen welke transitie te maken De inhoud van de stack kan veranderd worden in een transitie

18 Type 3 en 2 De Chomsky-hierarchie is een hierarchie Context-vrije grammatica s genereren ook reguliere talen! Context-vrije grammatica s hebben grotere generatieve kracht dan reguliere grammatica s Reguliere grammatica s zijn tegelijkertijd context-vrij Regulier: A ub of A u Context-vrij: A γ (γ is een rijtje symbolen) b(ab) = {b, bab, babab,...} is zowel een reguliere als een context-vrije taal. {b n a n n 1} = {ba, bbaa, bbbaaa,...} is een context-vrije taal, maar geen reguliere taal.

19 Probeer het uit The context-free grammar tool:

21 Type 1 Type 1 αaβ αγβ (γ ɛ) context-gevoelige talen (context sensitive) linear-bounded nondeterministic Turing machine Context-gevoelige talen Precies de klasse talen die door een lineair gebonden automaat herkend kan worden (gaan we het niet over hebben) Precies de klasse talen die door een context-gevoelige grammatica kan worden gegenereerd Regels van de vorm: αaβ αγβ (α, β, γ zijn hier willekeurige strings van terminale of niet-terminale symbolen; γ is niet ɛ)

22 Type 1 Regel uit context-sensitive grammatica: αaβ αγβ met γ ɛ 1 S asbc 2 S abc 3 CB HB 4 HB HC 5 HC BC 6 ab ab 7 bb bb 8 bc bc 9 cc cc Geeft: a n b n c n voor n 1 Deze taal kan niet context-vrij gegenereerd worden

24 Type 0 Type 0 recursief opsombare talen (recursively enumerable) α β (α ɛ) Turing machine Recursief opsombare talen De klasse talen die door een Turing machine herkend kunnen worden Turing machine: De klasse talen die door een onbeperkte grammatica gegenereerd kunnen worden Elke regel is toegestaan zo lang de linker-kant niet gelijk is aan ɛ

25 Hoe herken je formele talen? Hoe weet je welke soort regels te gebruiken voor een bepaalde taal (bijv. grammatica van Engels)? Voor formele talen is er een manier om dat te bepalen Enkele typische patronen: Reguliere talen kunnen locale afhankelijkheden aan {bab, babab, bababab,...} Context-vrije talen kunnen geneste afhankelijkheden aan {lepel, parterretrap, bob,...} Context-gevoelige talen kunnen gekruiste afhankelijkheden aan {abcabc, bcabca, cbacba,...}

26 Erkenning van reguliere talen Te laten zien dat een taal regulier is: bouw een reguliere expressie Het pumping lemma gebruik je om aan te tonen dat een taal niet regulier is Reguliere talen: eindig geheugen (onafhankelijk van de string lengte) door vastliggend aantal states strings met meer symbolen dan het aantal toestanden moeten dus gemaakt zijn mbv een loop Het pumping-lemma: Laat L een reguliere taal zijn. Dan bestaan er strings x, y, z met y niet-leeg zodat xy n z L voor n 0 Toepassing: als je voor een expressie in taal L geen x, y, z kunt vinden waarvoor y gepumpt kan worden, dan is L geen reguliere taal

27 Toepassing van het pumping lemma Laat L een reguliere taal zijn. Dan bestaan er strings x, y, z met y niet-leeg zodat xy n z L voor n 0 Is a n b n regulier? Mogelijkheden voor toepassing v/h lemma y bestaat alleen uit a s: dan bestaat x uit a s en z bestaat uit alle b s: y kan niet gepompt worden y bestaat alleen uit b s: dan bestaat x uit alle a s en z uit de rest van de b s: y kan niet gepompt worden y bestaat uit a s en b s: dan bestaat x uit a s en z uit b s: xy n z zal nu b s in zich hebben die voor a s staan => Gevolg: deze taal is niet regulier Let op! Als we een string y kunnen pompen, betekent dat nog niet dat de taal regulier is (vb.: {a k b m a n k = 0 of m = n})

28 De Chomsky-Hierarchie en Natuurlijke Taal Met welke soorten formele talen corresponderen aspecten van natuurlijke taal? Welke grammatica s hebben we nodig voor natuurlijke taal? Met andere woorden: wat is krachtig genoeg, maar niet te krachtig? Niet te krachtig: Krachtige mechanismen zijn computationeel lastiger Krachtige mechanismen leren ons niets over de limieten van cognitieve modules We gaan nu onderzoeken wat voor talen we nodig hebben om natuurlijke taal te modelleren...

29 Fonologie Generatieve fonologie gebruikte context-gevoelige regels Fonologische regel voor flapping: /t/ [dx]/ V V Computationele fonologie erkent dat context-gevoelige grammatica s te krachtig zijn Fonologische (en ook morfologische) processen kunnen met een reguliere taal gemodelleerd worden Zijn misschien alle talige fenomenen modeleerbaar met eindige automaten?

30 Center-embedding The man likes Mary. The man the boy saw likes Mary. The man the boy the dog bit saw likes Mary. The man the boy the dog the cat chased bit saw likes Mary. Hoe meer center-embedding, hoe moeilijker te begrijpen Toch bestaan er goeie voorbeelden van herhaalde center-embedding The pictures that the photographer who I met at the party took turned out very well. Idee: herhaalde center-embedding is grammaticaal, maar moeilijk te begrijpen door limieten aan ons korte-termijn-geheugen Gevolg: Engels (competence) is niet regulier (zie volgende slide)

31 Center-embedding / pumping lemma The man the boy the dog bit saw likes Mary. NP NP NP V V VP Center-embedding-zinnen: Een n aantal NPs gevolgd door een n 1 aantal Vs gevolgd door een VP Ofwel: a n b n 1 c => niet regulier

32 Dus natuurlijke taal is context-vrij? Engelse syntaxis is niet regulier Is een context-vrije grammatica genoeg? Schwyzerdütsch (Zwitserland/Italië) (1) mer d chind em Hans es huus haend we de-kinderen de Hans het huis hebben hälfe aastriiche wele laa willen laten helpen schilderen [de kinderen].acc [Hans].DAT [es huus].acc haen wele [laa] ACC [hälfe] DAT [aastriiche] ACC X (NP-dat) m (NP-acc) n (V dat ) m (Vacc) n Y Deze kruisende afhankelijkheden zijn typisch voor context-gevoelige talen: voorbeeld: a n b m c n d m is context-gevoelig en niet context-vrij

33 Meer kruisende afhankelijkheden dat Jan Marie het kind zag helpen leren zwemmen omdat ik Jan Piet de nijlpaarden zag helpen voeren

34 Mildly context sensitive languages kunnen kruisende afhankelijkheden behandelen hebben polynomische parsing Minimalist grammars Combinatorial categorial grammars Tree-adjoining grammars elementair unit te herschrijven is een boom twee soorten bomen: initial tree voor simpele structuren, auxiliary tree voor recursie

35 Conclusie Er zijn aanwijzigingen dat natuurlijke talen niet regulier zijn Er zijn aanwijzigingen dat talen als het Nederlands en het Schwuzerdütsch niet context-vrij zijn Kanttekeningen: Zinnen die op een context-vrije grammatica duiden zijn moeilijk te begrijpen (center-embedding) Kruisende afhankelijkheden komen zelden voor in talen Al deze overwegingen beperken zich tot syntaxis De aanname is dat center-embedding en kruisende afhankelijkheden oneindig diep toepasbaar zijn Het is dus interessant om wat beter te kijken wat nu het verwerken van bepaalde zinnen moeilijk maakt

36 Complexiteit bij menselijke taalverwerking Niet alle grammaticale zinnen zijn even gemakkelijk te verwerken (processing) Lees bijvoorbeeld de volgende zin:

37 Ik heb de stoel aangeboden op het internet onlangs gekocht. The horse raced past the barn fell

38 Complexiteit bij menselijke taalverwerking Niet alle grammaticale zinnen zijn even gemakkelijk te verwerken (processing) The horse raced past the barn fell Hoe meet je eigenlijk of mensen moeite met een zin hebben? Waardoor ontstaan processing-problemen?

39 Gardenpath-zinnen To lead someone up/down the gardenpath iemand op een dwaalspoor brengen Beroemdste voorbeeld: The horse raced past the barn fell Probleem: je begint met de zin te verwerken voordat we de hele zin gehoord hebben... maar je neemt het verkeerde pad Je neemt aan dat the horse het onderwerp is en raced het werkwoord.

40 The horse raced past the barn fell NP S Det N NP VP the horse Det N V the horse raced NP Det N the horse S V raced VP P past PP NP Det N the barn NP Det N the horse S V raced VP P past + V fell PP NP Det N the barn

41 NP NP Det the N horse Det NP N S VP the horse V PP raced P NP past Det the N barn S NP VP Det NP N S VP V fell the horse V PP raced P NP past Det the N barn

42 Meer gardenpaths 1. While Mary dressed the baby spat up on the bed. 2. I convinced her children are noisy. 3. The old man the boat. 4. Fat people eat accumulates. 5. The man who whistles tunes pianos. 6. While John hunted the deer ran into the woods. 7. The detective charged the criminal was guilty. Garden paths-zinnen zijn niet altijd moeilijk Ze zijn moeilijk omdat we een andere parse verwachtten Echter: je verwachtingen zijn contekst-afhankelijk Bias: intransitive, transitive, intransitively biased, transitively biased werkwoord. The detective agreed/forced/guessed/charged the criminal was guilty.

43 Meet-methodes Lees-snelheid / Reactie-snelheid Eye-tracking ERP (Event related brain potential) de gemeten response in termen van brein-activiteit op een bepaalde stimulus bijvoorbeeld, N100: een piek van negatief voltage 100ms na de stimulus N400: typisch geassocieerd met semantisch onverwachte stimulus P600: typisch geassocieerd met syntactisch onverwachte stimulus

44 Een experiment Trueswell et al. 1999: Put the frog on the napkin into the box Gaat het om [de kikker op het servet]? Of gaat het erom de kikker op het servet te zetten?

45 Put the frog on the napkin into the box

46 Put the frog on the napkin into the box Volwassenen gebruiken de context: B => D Kinderen rond de 5 jaar: B => D (39%) A => C (19%) A => C en dan van C => D (15%) A => C en B=>D (15%)

47 Samenvattend: complexiteit Soorten formele talen, soorten grammatica s, soorten formele modellen De Chomsky-hierarchie Natuurlijke taal lijkt context-vrij, misschien zelfs context-gevoelig Taalverwerking door mensen: garden paths