Overzicht. Tekstmanipulatie. Nieuwe Woorden. Sorteren en frequenties. Nieuwe Woorden. Inleiding. Week 4: Frequenties en Woordenboeken.

Transcriptie

1 Overzicht Tekstmnipultie Week 4: Frequenties en Woordenboeken Gosse Boum Informtiekunde Rijksuniversiteit Groningen Inleiding Cpturing Woordenlijsten 2007/2008 Kolommen Sorteren en frequenties Nieuwe Woorden Mk een woordenlijst vn een tekst Mk een lijst vn lle woorden Verwijder herhlingen Sorteer op lfbet Mk een frequentielijst Hoe vk komt een woord voor? Sorteer op frequentie Nieuwe Woorden Welke woorden werden in 2006 gebruikt ontbreken in een recent woordenboek? Neem (krnten-)tekst uit 2006 Mk een woordenlijst Vergelijk woordenlijst met lemm s uit het woordenboek

2 Woordenboeken Vervngen vn ptronen Woordenboeken Tbellen met gegevens Selecteren vn kolommen/velden Combineren vn tbellen en velden Spellingcorrectie Soms wil je een ptroon vervngen ipv een woord... > grep -w word[-z]* ge[-z]*dt wiki.txt De GLP wordt geleidt door een presidium De Romeo s worden gekleedt door Nicky Vnkets. In 882 wordt gemeldt dt Roerik is overleden. Cpturing in Sed Woordenlijsten mken Oplossing in sed 1. Met \(...\) geef je n dt je dit deel vn een expressie lter weer wilt gebruiken 2. Met \1 geef je n dt hier het mtchende deel moet worden ingevoegd > sed s/\(word[-z]* ge[-z]*\)dt/\1d/ wiki.txt De GLP wordt geleid door een presidium De Romeo s worden gekleed door Nicky Vnkets. In 882 wordt gemeld dt Roerik is overleden. Pln 1 woord per regel sorteren vn lle regels verwijderen duplicten tellen

3 Woord per regel Woord per regel newlines invoegen We gn iedere sptie door een newline vervngen. \n mtcht met een newline > sed s/ /\n/g wikipedi.txt Berthold Konrd Hermnn Albert Speer newlines invoegen Het commndo tr vervngt een teken door een nder teken. > ct wikipedi.txt tr \n Berthold Konrd Hermnn Albert Speer Sorteren Sort Het commndo sort sorteert regels in lfbetische volgorde > sed s/ /\n/g wiki.txt sort A A10 Wt is een woord? Betere woordenlijst Selecteer woorden, geen cijfers en leestekens Verwijder leestekens n het eind vn een woord Mk geen onderscheid tussen hoofdletter en kleine letter Zie Wht is word? Wht is sentence? > sed s/ /\n/g wiki.txt grep -v [^[:lph:]]

4 Redirects Input en output vn een commndo commndo < filenme filenme commndo > filenme nr filenme Commndo leest invoer vnuit Commndo schrijft uitvoer > sed s/ /\n/g wiki.txt > wiki.lst > tr \n < wiki.txt > wiki.lst > ct wiki.txt tr \n > wiki.lst Tellen > grep -v [^[:lph:]] wiki.lst > woorden.lst There is more thn one wy to do it... Uniq -c Het commndo uniq -c telt en ontdubbelt regels (in een gesorteerd bestnd) > sort woorden.lst uniq -c A 3 A 2 Achen 1 Ad 1 Afjes 1 Agtekerke 1 Alberse Verwijderen duplicten Uniq Het commndo uniq verwijdert dubbele regels (in een gesorteerd bestnd) Sorteren en uniek mken in 1 stp: sort -u > sort woorden.lst uniq > sort -u woorden.lst A A Achen Ad Afjes Agtekerke Alberse Sorteren op frequentie Getllen sorteren Het commndo sort -n sorteert getllen in oplopende volgorde De optie -r drit de volgorde vn sorteren om > sort woorden.lst uniq -c sort -nr less de vn en het in een 9557 is 8841 De

5 Beter tellen Tekst in kolommen Hoofdletters nr kleine letters Gebruik tr > tr [:upper:] [:lower:] < woorden.lst > lc.lst > sort lc.lst uniq -c sort -nr de vn het en in een 9589 is 8774 zijn Toepssingen Bigrmmen: combinties vn 2 woorden die nst elkr in de tekst voorkomen woordenboek: woorden + lettergrepen woordenboek: woorden + woordsoorten Bigrmmen mken Bigrmmen Door te kijken welke woorden vk smen voorkomen, kunnen we iets leren over het gebruik en de betekenis vn die woorden. Zie Unix for Poets 369 Externe links 238 Verenigde Stten 151 Tweede Wereldoorlog 123 New York 118 Tweede Kmer 68 ten opzichte 55 ten zuiden 41 ten oosten 40 ten noorden 38 ten tijde 37 ten westen 26 ten slotte 24 ten behoeve Bigrmmen mken Til en Pste 1. Mk een lijst vn lle 2e woorden Til -n +N File geeft lle regels vn File vnf regel N 2. Plk de twee lijsten in kolommen nst elkr Pste combineert 2 bestnden > til -n +2 lcwords.lst > lcwords2.lst > pste lcwords.lst lcwords2.lst lbert speer speer mrt mrt september september ws ws een een duits duits rchitect

6 Bigrmmen tellen Woordenboek > pste lcwords.lst lcwords2.lst > bigrms.lst > sort bigrms.lst uniq -c sort -nr less vn de 6183 in de 3844 vn het 3275 in het 3043 en de 1913 op de 1789 door de lbes l-bes lbessen l-bes-sen lbessengelei l-bes-sen-ge-lei lbessenjm l-bes-sen-jm lbessenjenever l-bes-sen-je-ne-ver lbessesp l-bes-se-sp lbessestruik l-bes-se-struik lbessestruiken l-bes-se-strui-ken Woordenboek ngebkken WW(vd,vrij,zonder) nbksel N(soort,ev,bsis,onz,stn) nbksels N(soort,mv,bsis) nbevelenswrd ADJ(prenom,bsis,zonder) nbevelenswrde ADJ(prenom,bsis,met-e,stn) nbevelenswrder ADJ(prenom,comp,zonder) nbevelenswrdere ADJ(prenom,comp,met-e,stn) nbevelenswrdst ADJ(prenom,sup,zonder) Kolommen selecteren Cut Het commndo cut selecteert kolommen Scheiding tussen kolommen is tb (defult) -f geeft de velden n die je wilt > cut -f2 woordenboek.lst l-bes l-bes-sen l-bes-sen-ge-lei l-bes-sen-jm l-bes-sen-je-ne-ver l-bes-se-sp l-bes-se-struik l-bes-se-strui-ken

7 Tekst in kolommen Kolommen selecteren Cut Het commndo cut selecteert kolommen Scheiding tussen kolommen is tb (defult) -d geeft lterntief scheidingsteken d De omzet dlde met 10 procent. d Ook Britse hvens zijn populir bij Belgische vissers. d Nederlndse hvens krijgen steeds meer vis ngevoerd... d Dt komt doordt Nederlndse reders Belgische schepen > cut -f2 kopen -d. d1999.sents De omzet dlde met 10 procent. Ook Britse hvens zijn populir bij Belgische vissers. Nederlndse hvens krijgen steeds meer vis ngevoerd door vissersboten. Dt komt doordt Nederlndse reders Belgische schepen kope