ESA College 5b. Mark van der Zwaag. 7 oktober Programming Research Group, UvA. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

Transcriptie

1 ESA College 5b Mark van der Zwaag Programming Research Group, UvA 7 oktober 2006 Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

2 Vandaag: Reguliere Expressies en Grammatica s Formele talen Context-vrije grammatica s; BNF, ABNF Unix Reguliere Expressies Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

3 Reguliere Expressies Een reguliere expressie (regexp, regex, regxp) is een string (een woord), die, volgens bepaalde syntaxregels, een verzameling strings (een taal) beschrijft Reguliere expressies worden veel gebruikt in Unix texteditors, tools, programmeertalen, voor het zoeken naar patronen in tekst, en voor substitutie van strings Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

4 Geschiedenis Theorie van formele talen Kleene s algebra van reguliere verzamelingen Ken Thompson introduceerde de notatie in de Unix editor ed Regex worden nu gebruikt in bijvoorbeeld grep, awk, emacs, vi, perl. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

5 Reguliere expressies in de theorie van formele talen Een reguliere expressie representeert een verzameling strings/woorden (een taal). Reguliere expressies worden opgebouwd uit constanten en operaties. Zij gegeven een eindig alfabet Σ, dan zijn de volgende constanten gedefinieerd: (lege verzameling) representeert de lege verzameling (lege string, met lengte 0) ε representeert de verzameling {ε} (literals) een karakter a in Σ representeert de verzameling {a} Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

6 Reguliere expressies in de theorie van formele talen De operaties (voor reguliere expressies R en S): (concatenatie) (RS) representeert de verzameling {αβ α R, β S} (vereniging/keuze) (R S) representeert de vereniging van R en S (Kleene star/iteratie) (R) representeert de afsluiting van R onder concatenatie, i.e., Bindingsterkte: R = {ε} R RR RRR Kleene star > concatenatie > vereniging Haakjes worden weggelaten als dat kan: ((ab)c) wordt geschreven als abc, en (a (b(c) )) als a bc. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

7 Reguliere expressies in de theorie van formele talen Voorbeelden. Zij Σ = {0, 1}. 00 representeert {00} representeert { } Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

8 Reguliere expressies in de theorie van formele talen Voorbeelden. Zij Σ = {0, 1}. 00 representeert {00} representeert { } 0 1 representeert {0, 1} representeert {10, 01} Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

9 Reguliere expressies in de theorie van formele talen Voorbeelden. Zij Σ = {0, 1}. 00 representeert {00} representeert { } 0 1 representeert {0, 1} representeert {10, 01} 0 representeert {ε, 0, 00, 000,...} (01) representeert {ε, 01, 0101, ,...} Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

10 Reguliere expressies in de theorie van formele talen Voorbeelden. Zij Σ = {0, 1}. 00 representeert {00} representeert { } 0 1 representeert {0, 1} representeert {10, 01} 0 representeert {ε, 0, 00, 000,...} (01) representeert {ε, 01, 0101, ,...} (0 00)1 representeert {0, 00, 01, 001, 011, 0011,...} (0 00)1 = Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

11 Reguliere expressies in de theorie van formele talen Meer Voorbeelden. a b representeert {a, ε, b, bb,...} (a b) = b (ab ) ab (c ε) representeert de verzameling van strings die beginnen met een enkele a, gevolgd door nul of meer b s, en eindigend met optioneel een c. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

12 Reguliere Talen De talen die door reguliere expressies kunnen worden gerepresenteerd noemen we de reguliere talen Ze corresponderen met de zogenaamde type 3 grammatica s in de Chomsky hierarchy Voorbeeld Reguliere Grammatica S as S ba A ε A ca met startsymbool S correspondeert met reguliere expressie Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

13 Reguliere Talen De talen die door reguliere expressies kunnen worden gerepresenteerd noemen we de reguliere talen Ze corresponderen met de zogenaamde type 3 grammatica s in de Chomsky hierarchy Voorbeeld Reguliere Grammatica S as S ba A ε A ca met startsymbool S correspondeert met reguliere expressie a bc. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

14 Context-Vrije Talen Reguliere expressies/talen/grammatica s zijn minder expressief dan context-vrije grammatica s (CFGs). Voorbeeld Context-Vrije Taal a k b k CFG S asb S ε met startsymbool S. Deze taal is niet door een reguliere expressie te karakteriseren. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

15 Context-Vrije Talen Reguliere expressies/talen/grammatica s zijn minder expressief dan context-vrije grammatica s (CFGs). Voorbeeld Context-Vrije Taal a k b k CFG S asb S ε met startsymbool S. Deze taal is niet door een reguliere expressie te karakteriseren. Noot: Bijv. Perl reguliere expressies zijn strict genomen niet regulier. Deze grotere expressiviteit kan ten koste gaan van de effectiviteit: worst-case complexiteit van matchen van een string tegen een Perl regex is exponentieel in de lengte van de input. (In de praktijk valt dit gelukkig mee.) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

16 Voorbeeld BNF Grammatica Backus-Naur Form: een formaat voor de definitie van CFG s. <bit> ::= 0 1 <expr> ::= <bit> (<expr> + <expr>) (<expr> * <expr>) Deze BNF grammatica genereert o.a. de strings 0, 1, (0 + 1), (1 (1 + 1)) Non-terminals: <bit>, <expr> Terminals: 0, 1, (, ), *, +, (spatie) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

17 Voorbeeld BNF Grammatica Backus-Naur Form: een formaat voor de definitie van CFG s. <bit> ::= 0 1 <expr> ::= <bit> (<expr> + <expr>) (<expr> * <expr>) Deze BNF grammatica genereert o.a. de strings 0, 1, (0 + 1), (1 (1 + 1)) Non-terminals: <bit>, <expr> Terminals: 0, 1, (, ), *, +, (spatie) Noot: Deze taal is context-vrij, maar niet regulier; niet met een reguliere expressie te karakteriseren Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

18 ABNF: Augmented BNF RFC 2234, Augmented BNF for Syntax Specifications: ABNF. Obsolete. RFC 4234, Augmented BNF for Syntax Specifications: ABNF. O.a. specificatie van ABNF in ABNF Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

19 ABNF: Rules Rules have names like elements, rule0 and char-a-z Rulenames may be put inside brackets <elements> Case-insensitive: <rulename>, <rulename>, and <RULENAME> refer to the same rule Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

20 ABNF: Rules Rules have names like elements, rule0 and char-a-z Rulenames may be put inside brackets <elements> Case-insensitive: <rulename>, <rulename>, and <RULENAME> refer to the same rule A rule is defined by a sequence name = elements ; comment crlf Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

21 ABNF: Terminal Values Terminal values: characters A character encoding like US-ASCII may be used %b (binary 65, US-ASCII "A") %x42 (hexadecimal 66, US-ASCII "B") %d67 (decimal 67, US-ASCII "C") %d13.10 (the sequence CR,LF) Literal text: "abc" (the sequence a,b,c) NB: case-insensitive US-ASCII Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

22 Voorbeeld rulename = "abc" en rulename = "ABc" generen beiden de verzameling { abc, Abc, abc, abc, ABc, abc, AbC, ABC} Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

23 Voorbeeld rulename = "abc" en rulename = "ABc" generen beiden de verzameling { abc, Abc, abc, abc, ABc, abc, AbC, ABC} rulename = %d97 %d98 %d99 en rulename = %d generen beiden de verzameling { abc } Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

24 ABNF: Basic operators Concatenation Alternatives Repetition (variable) Grouping Comments Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

25 ABNF: Concatenation Rule = Rule1 Rule2 Example magic = xyzzy foo bar xyzzy = "xyzzy" foo = "foo" bar = "bar" magic "xyzzyfoobar" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

26 ABNF: Alternatives Rule = Rule1 / Rule2 Sometimes uses pipe ( ) instead of / Example magic = xyzzy / foo / bar magic "xyzzy", but also magic "foo", and also magic "bar" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

27 ABNF: Variable Repetition Rule = <n> * <m> Rule1 n and m are optional decimal values Default for n is 0 and for m is Example magic = <2> * <3> xyzzy magic "xyzzyxyzzy" magic "xyzzyxyzzyxyzzy" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

28 ABNF: Grouping Rule = ( Rule1 ) Only used for parsing (syntax) Has no semantic counterpart Example magictoo = ( magic ) magictoo has the same productions as magic Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

29 ABNF: Grouping Rule = ( Rule1 ) Only used for parsing (syntax) Has no semantic counterpart Example magictoo = ( magic ) magictoo has the same productions as magic Example elem (foo / bar) blat vs elem foo / bar blat Use grouping to avoid misunderstanding: (elem foo) / (bar blat) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

30 ABNF: Comment Rule =... ; Followed by an explanation Example magic = xyzzy "," foo "," bar ; comma separated magic magic "xyzzy,foo,bar" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

31 ABNF: More operators Incremental alternative Value ranges Optional presence Specific repetition Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

32 ABNF: Incremental alternative Alternatives may be added later in extra rules Rule =/ Rule1 Example magic = "xyzzy" magic =/ "foo" magic =/ "bar" Equivalently: magic = "xyzzy" / "foo" / "bar" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

33 ABNF: Value ranges Uses "-" as range indicator in terminal specifications Example DIGIT = %x30-39 ; "0" / "1" /... / "9" UPPER = %x41-5a ; "A" / "B" /... / "Z" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

34 ABNF: Value ranges Uses "-" as range indicator in terminal specifications Example DIGIT = %x30-39 ; "0" / "1" /... / "9" UPPER = %x41-5a ; "A" / "B" /... / "Z" DIGIT is a Core Rule. More core rules: ALPHA = %x41-5a / %x61-7a ; A-Z / a-z BIT = "0" / "1" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

35 ABNF: Optional presence Rule = [ Rule1 ] Equivalently: Rule = *<1> Rule1 Example magic = [ "xyzzy" ] magic "xyzzy" but also magic "" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

36 ABNF: Specific repetition Rule = <n> Rule1 Equivalently: Rule = <n> * <n> Rule1 Example magic = <3> "xyzzy" magic "xyzzyxyzzyxyzzy" Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

37 Unix regexps De volgende syntax is min of meer standaard voor veel Unix tools en programmeertalen. Basisregels: 1 Ieder afdrukbaar ASCII karakter dat geen metakarakter is, is een reguliere expressie die zichzelf representeert, bv., a voor de letter a. 2. representeert ieder enkel karakter (behalve newline) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

38 Unix regexps De volgende syntax is min of meer standaard voor veel Unix tools en programmeertalen. Basisregels: 1 Ieder afdrukbaar ASCII karakter dat geen metakarakter is, is een reguliere expressie die zichzelf representeert, bv., a voor de letter a. 2. representeert ieder enkel karakter (behalve newline) 3 ˆ representeert het begin van een regel 4 $ representeert het einde van een regel Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

39 Unix regexps De volgende syntax is min of meer standaard voor veel Unix tools en programmeertalen. Basisregels: 1 Ieder afdrukbaar ASCII karakter dat geen metakarakter is, is een reguliere expressie die zichzelf representeert, bv., a voor de letter a. 2. representeert ieder enkel karakter (behalve newline) 3 ˆ representeert het begin van een regel 4 $ representeert het einde van een regel 5 \ gevolgd door een metakarakter representeert dat karakter zelf. Dus: \. representeert een punt (.) 6 [E] representeert een enkel karakter. Tussen de haken staat een karakterisering E. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

40 Voorbeelden: [a] representeert a [abc] representeert ieder van a, b, en c [a z] representeert een karakter in de range a z (geordend volgens ASCII codering) [A Za z0 9] representeert een cijfer of letter Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

41 Voorbeelden: [a] representeert a [abc] representeert ieder van a, b, en c [a z] representeert een karakter in de range a z (geordend volgens ASCII codering) [A Za z0 9] representeert een cijfer of letter [ Ê] representeert ieder karakter dat niet door [E] gerepresenteerd wordt [acq z] representeert a, c, of een karakter in q z. Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

42 Unix regexps Inductieve regels: Als A en B reguliere expressies zijn, dan 1 AB is een reguliere expressie (concatenatie), Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

43 Unix regexps Inductieve regels: Als A en B reguliere expressies zijn, dan 1 AB is een reguliere expressie (concatenatie), 2 A B is een reguliere expressie (keuze/vereniging), Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

44 Unix regexps Inductieve regels: Als A en B reguliere expressies zijn, dan 1 AB is een reguliere expressie (concatenatie), 2 A B is een reguliere expressie (keuze/vereniging), 3 A is een reguliere expressie (Kleene star) 4 A+ is een reguliere expressie (één of meer geconcateneerde voorkomens van A) 5 A? is een reguliere expressie (nul of één voorkomens van A) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

45 Unix regexps Inductieve regels: Als A en B reguliere expressies zijn, dan 1 AB is een reguliere expressie (concatenatie), 2 A B is een reguliere expressie (keuze/vereniging), 3 A is een reguliere expressie (Kleene star) 4 A+ is een reguliere expressie (één of meer geconcateneerde voorkomens van A) 5 A? is een reguliere expressie (nul of één voorkomens van A) 6 (A) is een reguliere expressie (awk, egrep, perl) 7 \(A\) is een reguliere expressie (vi, sed, grep) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

46 Unix regexps Inductieve regels: Als A en B reguliere expressies zijn, dan 1 AB is een reguliere expressie (concatenatie), 2 A B is een reguliere expressie (keuze/vereniging), 3 A is een reguliere expressie (Kleene star) 4 A+ is een reguliere expressie (één of meer geconcateneerde voorkomens van A) 5 A? is een reguliere expressie (nul of één voorkomens van A) 6 (A) is een reguliere expressie (awk, egrep, perl) 7 \(A\) is een reguliere expressie (vi, sed, grep) 8 A{m, n} voor integers m en n representeert m tot n geconcateneerde voorkomens van A. 9 A{m} voor m geconcateneerde voorkomens van A. Iteratie bindt sterker dan concatenatie bindt sterker dan keuze, dus A BC = A (B(C) ) Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

47 $ cat aap (aap) aap $ grep (aap) aap (aap) $ grep -E (aap) aap (aap) aap $ cat noot not noot nooot $ grep o\{2\} noot noot nooot $ grep -E o{3} noot nooot Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

48 Meer Voorbeelden regex wel niet A. A9, Aa, AA aa, AAA a.c abc, aac, a4c, a+c ABC, abcd, abbc a\.c a.c abc Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

49 Meer Voorbeelden regex wel niet A. A9, Aa, AA aa, AAA a.c abc, aac, a4c, a+c ABC, abcd, abbc a\.c a.c abc.ap aap, lap, hap [al]ap aap, lap [ˆal]ap hap, kap aap, lap [al]+ap aap, lap, aaap, alap, laap, llap Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

50 Meer Voorbeelden regex wel niet A. A9, Aa, AA aa, AAA a.c abc, aac, a4c, a+c ABC, abcd, abbc a\.c a.c abc.ap aap, lap, hap [al]ap aap, lap [ˆal]ap hap, kap aap, lap [al]+ap aap, lap, aaap, alap, laap, llap [ˆA-Z] 5, b A, Q, W [abc]* aaab, cba Iets.* Iets, Iets is beter dan niets Iets.+ Iets is beter dan niets Iets Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

51 Meer Voorbeelden regex wel niet A. A9, Aa, AA aa, AAA a.c abc, aac, a4c, a+c ABC, abcd, abbc a\.c a.c abc.ap aap, lap, hap [al]ap aap, lap [ˆal]ap hap, kap aap, lap [al]+ap aap, lap, aaap, alap, laap, llap [ˆA-Z] 5, b A, Q, W [abc]* aaab, cba Iets.* Iets, Iets is beter dan niets Iets.+ Iets is beter dan niets Iets [ab]{4}, [ab]\{4\} abba, baba aba a(bc)*d ad, abc, abcbcd abcxd, bcbcd Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

52 Telefoonnummer vast: ˆ[-0-9+() ]*$ ˆ[0-9]{3,4}-[0-9]{6,7}$ Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

53 Telefoonnummer vast: ˆ[-0-9+() ]*$ ˆ[0-9]{3,4}-[0-9]{6,7}$ Postcode: ˆ[1-9]{1}[0-9]{3}[:space:]?[A-Z]{2} Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

54 adres: ([.]{1}[A-Za-z0-9-]+)+ Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

55 adres: ([.]{1}[A-Za-z0-9-]+)+ Mobiel nummer: ˆ06[-]?[0-9]{8}$ Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

56 Laatste Voorbeeld (sed) $ cat sedscr s/\([a-z][a-z]*\){\([ˆ}]*\)}/\1<\2>/ Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34

57 Laatste Voorbeeld (sed) $ cat sedscr s/\([a-z][a-z]*\){\([ˆ}]*\)}/\1<\2>/ $ cat b a{ab} A{d} abc{aba} ABC(a) ABC{a}ab $ sed -f sedscr b a{ab} A<d> abc{aba} ABC(a) ABC<a>ab Mark van der Zwaag (PRG, UvA) ESA5a 7 oktober / 34