Taaltechnologie. Januari/februari Inhoud

Transcriptie

1 Taaltechnologie Januari/februari 2002

2 1 Finite state Deterministic finite state automata Non-deterministic finite state automata Pumping theorem for regular languages Context free Context-free grammars Regular grammars Push-down automata Acceptance, non-determinism PDA voorbeeld: deterministisch Illustratie Corresponderende CFG Correspondentie CFG/PDA Van CFG naar PDA Illustratie van Lemma PDA voorbeeld: non-deterministisch

3 3.4 Illustratie: gebalanceerde haakjes Voorbij CFG Opdrachten: prolog Opdracht 1: een stapelautomaat Opdracht 2: een herschrijfgrammatica Opdracht 3: tijdsaanduidingen Hieronder enkele nuttige begrippen uit Lewis & Papadimitriou Elements of the theory of computation.

4 1. Finite state 1.1. Deterministic finite state automata A deterministic finite automaton is a 5-tuple M = (K, Σ, δ, q 0, F ) with K a finite set of states, q 0 K the initial state, F K the set of final states, Σ an alphabet of input symbols, δ, the transition function, is a function from K Σ to K.

5 1.2. Non-deterministic finite state automata A non-deterministic finite automaton is a 5-tuple M = (K, Σ,, q 0, F ) with K a finite set of states, q 0 K the initial state, F K the set of final states, Σ an alphabet of input symbols,, the transition relation, is a finite subset of K Σ K.

6 1.3. Pumping theorem for regular languages Theorem. Let L be an infinite regular language. Then there are strings x, y, z such that y ɛ and xy n z L for each n 0. Example. The language L = {a n b n n 0} is not regular.

7 2. Context free 2.1. Context-free grammars A context-free grammar G is a 4-tuple (V, Σ, R, S), where V is an alphabet, Σ (the set of terminals) is a subset of V, R (the set of rules) is a finite subset of (V Σ) V, and S (the start symbol) is an element of V Σ. The members of V Σ are called nonterminals.

8 2.2. Regular grammars A context-free grammar G = (V, Σ, R, S) is regular if and only iff R (V Σ) Σ ((V Σ) {ɛ}) That is, a regular grammar is a context-free grammar such that the right-hand side of every rule contains at most one non-terminal, which, if present, must be the last symbol in the string.

9 2.3. Push-down automata A push-down automaton is a 6-tuple M = (K, Σ, Γ,, q 0, F ) with K a finite set of states, q 0 K the initial state, F K the set of final states, Σ an alphabet of input symbols, Γ an alphabet of stack symbols, (K Σ Γ ) (K Γ ) the transition relation.

10 2.4. Acceptance, non-determinism We say that ((q, u, β), (q, γ)) if the machine, in state q with β on top of the stack, can read u from the input tape, replace β by γ on top of the stack, and enter state q. When different such transitions are simultaneously applicable, we have a non-deterministi pda. A pda accepts a string w Σ iff from the configuration (q 0, w, ɛ) there is a sequence of transitions to a configuration (q f, ɛ, ɛ) (q f F ) a final state with end of input and empty stack.

11 2.5. PDA voorbeeld: deterministisch Automaat M voor de taal L = {wcw R w {a, b} }. Zij M = (K, Σ, Γ,, q 0, F ), waarbij K = {q 0, q 1 }, Σ = {a, b, c}, Γ = {a, b}, F = {q 1 }, en bevat de volgende vijf overgangen: 1. ((q 0, a, ɛ), (q 0, a)) 2. ((q 0, b, ɛ), (q 0, b)) 3. ((q 0, c, ɛ), (q 1, ɛ)) 4. ((q 1, a, a), (q 1, ɛ)) 5. ((q 1, b, b), (q 1, ɛ))

12 2.6. Illustratie Overgangen van M voor het rijtje abbcbba: K invoer stapel q 0 abbcbba ɛ q 0 bbcbba a 1 q 0 bcbba ba 2 q 0 cbba bba 2 q 1 bba bba 3 q 1 ba ba 5 q 1 a a 5 q 1 ɛ ɛ 4

13 2.7. Corresponderende CFG Contextvrije grammatica G met L(G) = {wcw R w {a, b} }. Zij G = (V, Σ, R, S) met V = {S, a, b, c} Σ = {a, b, c} R = { S asa, S bsb, S c }

14 3. Correspondentie CFG/PDA Stelling. De verzameling talen geaccepteerd door de stapelautomaten is precies de verzameling van context-vrije talen. Lemma 1. Elke context-vrije taal wordt geaccepteerd door een stapelautomaat. Lemma 2. Als een taal geaccepteerd wordt door een stapelautomaat, is het een context-vrije taal.

15 3.1. Van CFG naar PDA Constructie voor G = (V, Σ, R, S) van stapelautomaat M met L(M) = L(G). Zij M = ({p, q}, Σ, V,, p, {q}), waarbij de volgende overgangen bevat: 1. ((p, ɛ, ɛ), (q, S)) 2. ((q, ɛ, A), (q, x)) voor elke regel A x in R 3. ((q, a, a), (q, ɛ)) voor elke a Σ

16 3.2. Illustratie van Lemma 1 Automaat M voor L(G) = {wcw R w {a, b} } van 2.7. M = ({p, q}, Σ, V,, p, {q}), waarbij de volgende overgangen bevat: 1. ((p, ɛ, ɛ), (q, S)) 2. ((q, ɛ, S), (q, asa)) 3. ((q, ɛ, S), (q, bsb)) 4. ((q, ɛ, S), (q, c)) 5. ((q, a, a), (q, ɛ)) 6. ((q, b, b), (q, ɛ)) 7. ((q, c, c), (q, ɛ))

17 Illustratie Overgangen van M voor het rijtje abbcbba (vergelijk 2.6): K invoer stapel p abbcbba ɛ q abbcbba S 1 q abbcbba asa 2 q bbcbba Sa 5 q bbcbba bsba 3 q bcbba Sba 6 q bcbba bsbba 3 q cbba Sbba 3 q cbba cbba 4 q bba bba 7 q ba ba 6 q a a 6 q ɛ ɛ 5

18 3.3. PDA voorbeeld: non-deterministisch Automaat M voor de taal L = {ww R w {a, b} }. Zij M = (K, Σ, Γ,, q 0, F ), waarbij K = {q 0, q 1 }, Σ = Γ = {a, b}, F = {q 1 }, en bevat de volgende vijf overgangen: 1. ((q 0, a, ɛ), (q 0, a)) 2. ((q 0, b, ɛ), (q 0, b)) 3. ((q 0, ɛ, ɛ), (q 1, ɛ)) 4. ((q 1, a, a), (q 1, ɛ)) 5. ((q 1, b, b), (q 1, ɛ)) Vergelijk met 2.7 voor overgang (3). In toestand q 0 kan de machine een keuze maken: het volgende invoer symbool op de stapel plaatsen, of naar toestand q 1 springen zonder invoer te gebruiken.

19 3.4. Illustratie: gebalanceerde haakjes Context-vrije grammatica G voor gebalanceerde haakjestaal. Laat V = {S, (, )} Σ = {(, )} R = { S ɛ, Geef een stapelautomaat voor deze taal. S SS, S (S) }

20 4. Voorbij CFG Pompstelling voor CFG. Stel G is een context-vrije grammatica. Dan is er een getal k, afhankelijk van G, zo dat elke rij w in L(G) waarvoor w > k herschreven kan worden als w = uvxyz waarbij v of y niet leeg is, en uv n xy n z L(G) voor elke n 0. Voorbeeld: L = {a n b n c n n 0} is niet context-vrij.

21 5. Opdrachten: prolog De logische programmeertaal Prolog biedt een natuurlijke omgeving om met grammatica s en automaten te experimenteren. In het hoorcollege van 25/1 worden de kernbegrippen van Prolog geïntroduceerd (feiten, regels, goals), en de Prolog notatie voor herschrijfgrammatica s (DCG Definite Clause Grammars ). De bijhorende voorbeelden staan in ~scll019/www, en op Richard Moot s Prolog cursuspagina. Op de volgende pagina s enkele practicum opdrachten.

22 5.1. Opdracht 1: een stapelautomaat In ~scll019/www/automata.pl vind je de Prolog code voor de stapelautomaat die palindromen herkent. Copieer dat bestand naar je eigen werkdirectory. Start Prolog op (commando sicstus aan de unix prompt), en laad het palindroom programma (commando consult(automata) aan de Prolog prompt, of korter: [automata]). Niet vergeten dat een Prolog zin altijd met een punt wordt afgesloten! Probeer het predicaat palindrome/1 uit. Overtuig je ervan dat het programma zowel even als oneven palindromen herkent. (Met het commando trace kan je de afleiding op de voet volgen. notrace zet tracing weer uit.) Schrijf (geïnspireerd door automata.pl) een stapelautomaat programma voor de gebalanceerde haakjestaal van 3.4. Je kan, als je een heleboel aanhalingstekens in je invoer wil vermijden, het linkerhaakje representeren als d en het sluithaakje als b.

23 5.2. Opdracht 2: een herschrijfgrammatica In ~scll019/www/parsetree.pl vind je een DCG voor een klein grammaticafragment. Het programma bouwt een ontleedboom op. Maak een uitbreiding van het programma waarmee je ook de volgende zin herkent: Terry saw a girl with a telescope Overtuig je ervan dat die zin met twee verschillende ontleedbomen geassocieerd wordt.

24 5.3. Opdracht 3: tijdsaanduidingen In ~scll019/www/tijd.pl vind je een DCG voor een grammaticafragment van Nederlandse tijdsaanduidingen. Een afleiding levert de digitale representatie op, die we hier beschouwen als de betekenis van de tijdsaanduidingen. Bouw een vergelijkbaar fragment voor een tweede taal die je beheerst, bijvoorbeeld het Engels. Koppel de twee fragmenten aan elkaar tot een vertaalprogramma dat een Nederlandse tijdsaanduiding omzet in (bijvoorbeeld) een Engelse, en omgekeerd.