ESA College 5a. Mark van der Zwaag. 3 oktober Programming Research Group, UvA. Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

Transcriptie

1 ESA College 5a Mark van der Zwaag Programming Research Group, UvA 3 oktober 2006 Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

2 Vandaag: tools voor tekst processing Practicum: shell scripting, sed, awk Nu: cut, paste, tr, sort, uniq, ed, sed, awk Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

3 Belangrijk Veel text processing tools Veel overlap Gebruik de juiste tool When the only tool you own is a hammer, every problem begins to resemble a nail. (Abraham Maslow) Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

4 Welke tool Ken ze allemaal: Je komt ze allemaal tegen Wees fluent in een aantal Verschillen in implementaties Test je resultaten Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

5 cut: verticaal snijden $ cat a abcd:abcd efgh:efgh ijkl:ijkl $ cut -c 2-4,8 a Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

6 cut: verticaal snijden $ cat a abcd:abcd efgh:efgh ijkl:ijkl $ cut -c 2-4,8 a bcdc fghg jklk $ cut -d : -f 2 a Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

7 cut: verticaal snijden $ cat a abcd:abcd efgh:efgh ijkl:ijkl $ cut -c 2-4,8 a bcdc fghg jklk $ cut -d : -f 2 a ABCD EFGH IJKL Ander voorbeeld: $ cut -d : -f 1,7 /etc/passwd Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

8 paste: verticale cat $ cat namen Jan Bob Klaas $ cat nummers $ paste -d : namen nummers Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

9 paste: verticale cat $ cat namen Jan Bob Klaas $ cat nummers $ paste -d : namen nummers Jan:0123 Bob:7654 Klaas:3456 Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

10 tr: translate $ cat expressie ((0 + 0) * 1) - 2) $ tr ( { < expressie tr ) } Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

11 tr: translate $ cat expressie ((0 + 0) * 1) - 2) $ tr ( { < expressie tr ) } {{0 + 0} * 1} - 2} Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

12 tr: translate $ cat expressie ((0 + 0) * 1) - 2) $ tr ( { < expressie tr ) } {{0 + 0} * 1} - 2} $ cat namen Jan Marie Bob klaas $ tr [a-z] [A-Z] < namen Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

13 tr: translate $ cat expressie ((0 + 0) * 1) - 2) $ tr ( { < expressie tr ) } {{0 + 0} * 1} - 2} $ cat namen Jan Marie Bob klaas $ tr [a-z] [A-Z] < namen JAN MARIE BOB KLAAS Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

14 sort $ cat namen Marie Jan Piet Johanna Dirk $ tr [a-z] [A-Z] < namen sort -r Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

15 sort $ cat namen Marie Jan Piet Johanna Dirk $ tr [a-z] [A-Z] < namen sort -r PIET MARIE JOHANNA JAN DIRK Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

16 $ cat nummers $ sort nummers Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

17 $ cat nummers $ sort nummers $ sort -n nummers Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

18 $ cat nummers $ sort nummers $ sort -n nummers Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

19 uniq $ cat woorden aap noot mies noot noot aap wim $ uniq woorden Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

20 uniq $ cat woorden aap noot mies noot noot aap wim $ uniq woorden aap noot mies noot aap wim $ sort woorden uniq -c Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

21 uniq $ cat woorden aap noot mies noot noot aap wim $ uniq woorden aap noot mies noot aap wim $ sort woorden uniq -c 2 aap 1 mies 3 noot 1 wim -c count -u laat unieke zien -d laat duplicates zien -i ignore case Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

22 sed en awk: Powertools voor editten Stream-oriented: inlezen input regel voor regel; output naar standaard output Oorsprong: line editor ed Gebruik reguliere expressies voor pattern matching Mogelijkheid instructies in scripts te zetten Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

23 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

24 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

25 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 p Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

26 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 p Truus Mobiel : Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

27 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 p Truus Mobiel : Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

28 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 p Truus Mobiel : Jan Mobiel : Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

29 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 p Truus Mobiel : Jan Mobiel : /Mari/ Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

30 ed: Line editor $ cat telefoonboek Jan Mobiel : Marie Thuis : Marie Mobiel : Koos : Truus : Truus Mobiel : $ ed telefoonboek 139 p Truus Mobiel : Jan Mobiel : /Mari/ Marie Thuis : [...] Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

31 g/mob/p Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

32 g/mob/p Jan Mobiel : Marie Mobiel : Truus Mobiel : g/re/p: global regular expression print Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

33 g/mob/p Jan Mobiel : Marie Mobiel : Truus Mobiel : g/re/p: global regular expression print [address]command address can be a regular expression /Tru/ Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

34 g/mob/p Jan Mobiel : Marie Mobiel : Truus Mobiel : g/re/p: global regular expression print [address]command address can be a regular expression /Tru/ Truus : s/truus/truus Thuis/p Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

35 g/mob/p Jan Mobiel : Marie Mobiel : Truus Mobiel : g/re/p: global regular expression print [address]command address can be a regular expression /Tru/ Truus : s/truus/truus Thuis/p Truus Thuis : q Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

36 Nog ééntje: $ ed a bc def ghij. d w a 7 q Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

37 Nog ééntje: $ ed a bc def ghij. d w a 7 q $ cat a bc def Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

38 Een ed-script $ cat edscr g/jan/s/jan/johan/g g/mobiel/s/mobiel/mob/g w Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

39 Een ed-script $ cat edscr g/jan/s/jan/johan/g g/mobiel/s/mobiel/mob/g w $ ed telefoonboek < edscr $ cat telefoonboek Johan Mob : Marie Thuis : Marie Mob : Koos : Truus : Truus Mob : Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

40 sed: Stream editor sed: Niet interactief Automatiseren editten van één of meer files Dezelfde edit acties toepassen op meerdere files sed past commando toe op alle regels van de input Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

41 sed: Stream editor sed: Niet interactief Automatiseren editten van één of meer files Dezelfde edit acties toepassen op meerdere files sed past commando toe op alle regels van de input In sed: s/regular/complex/ In ed: g/regular/s//complex/ $ cat woorden aap noot mies aap noot mies $ sed s/noot/wim/ woorden aap wim mies aap wim mies Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

42 sed [options] script filename $ sed s/unix/unix/ file > temp $ mv temp > file Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

43 sed [options] script filename $ sed s/unix/unix/ file > temp $ mv temp > file Meer dan één voorkomen van Unix op een regel: $ sed s/unix/unix/g file > temp Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

44 sed [options] script filename $ sed s/unix/unix/ file > temp $ mv temp > file Meer dan één voorkomen van Unix op een regel: $ sed s/unix/unix/g file > temp Meerdere substituties: $ sed -e s/unix/unix/g -e /Windows/d file > temp Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

45 sed [options] script filename $ sed s/unix/unix/ file > temp $ mv temp > file Meer dan één voorkomen van Unix op een regel: $ sed s/unix/unix/g file > temp Meerdere substituties: $ sed -e s/unix/unix/g -e /Windows/d file > temp Veel substituties: $ sed -f changes file > temp $ cat changes s/unix/unix/g /Windows/d Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

46 sed [options] script filename $ sed s/unix/unix/ file > temp $ mv temp > file Meer dan één voorkomen van Unix op een regel: $ sed s/unix/unix/g file > temp Meerdere substituties: $ sed -e s/unix/unix/g -e /Windows/d file > temp Veel substituties: $ sed -f changes file > temp $ cat changes s/unix/unix/g /Windows/d Onderdrukken automatische output: $ sed -n -e s/unix/unix/gp file > temp Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

47 awk: A Pattern-Matching Programming Language Alfred Aho, Peter Weinberger, en Brian Kernighan. Lijkt op sed, maar beschouwt iedere regel als een record. Ieder record bestaat uit fields gescheiden door delimeters (spaties en tabs) Aanroep: awk [options] script filename Script: pattern { action } Pattern: o.a. reguliere expressie, BEGIN, END Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19

48 VOORBEELD Uit: Dale Dougherty & Arnold Robbins. Sed & Awk. 2nd Edition, O Reilly, Mark van der Zwaag (PRG, UvA) ESA5a 3 oktober / 19