Natuurlijke-Taalverwerking I Definite Clause Grammar deel 1

Transcriptie

1 1 atuurlijke-taalverwerking I Definite Clause Grammar deel 1 Gosse Bouma en Geert Kloosterman 2e semester 2005/2006 Overzicht CFG in Prolog, DCG-notatie, Prolog-termen i.p.v. categorieën, Lexicon en grammatica scheiden, Boompjes toevoegen, Een toepassing. 2 3 Context-vrije Grammatica Boomstructuren S VP Det een Det Det het A eendje VP V ei VP V V legt A lelijke Det het A lelijke S eendje V legt VP Det een ei

2 4 5 Herschrijf-grammatica Ambiguïteit CP S VP Det VP de VP de hond VP de hond V de hond snurkt Det 3 de 2 4 hond S 1 VP 5 V 6 snurkt Compl dat Compl ons dochtertje CP PP in vrede VP V opgroeit VP dat Det V het PP slaapt dochtertje van Maxima 6 7 Parsing as Deduction Det Een kan worden herschreven als een Det gevolgd door een, Als een Det wordt gevolgd door een, dan is dat een np :- det, n. Verschillen tussen CFG en Prolog np :- det, n. = np :- n, det. Det Det np :- det, n. = np :- det, n, n. Det Det (Woord-)Volgorde speelt een rol, Aantal Voorkomens van een woord/constituent speelt een rol.

3 8 9 CFG in Prolog de roze olifant ontsnapt 0 de 1 roze 2 olifant 3 ontsnapt 4 word(0,de,1). word(1,roze,2). word(2,olifant,3) word(3,ontsnapt,4). CFG in Prolog olifant Det vertalen we als n(p0,p1) :- word(p0,olifant,p1). np(p0,p2) :- det(p0,p1), n(p1,p2) Meer voorbeelden s(p0,p2) :- np(p0,p1), vp(p1,p2). np(p0,p3) :- det(p0,p1), a(p1,p2), n(p2,p3). vp(p0,p1) :- v(p0,p1). vp(p0,p2) :- v(p0,p1), np(p1,p2). det(p0,p1) :- word(p0,de,p1). det(p0,p1) :- word(p0,het,p1). det(p0,p0). n(p0,p1) :- word(p0,man,p1). n(p0,p1) :- word(p0,huis,p1). v(p0,p1) :- word(p0,verlaat,p1). v(p0,p1) :- word(p0,schreeuwt,p1). My first parser parse(words) :- input(words,endpos), s(0,endpos). input(words,end) :- retractall(word(,, )), make words(words,0,end). make words([],end,end). make words([word Ws],Pos,End) :- Pos1 is Pos + 1, assert(word(pos,word,pos1)), make words(ws,pos1,end).

4 12 13 Epsilon-regels Det A Det ɛ Det ɛ A oude mannen det(p0,p0). Prolog-lijsten als String-Posities de roze olifant ontsnapt 0 de 1 olifant 2 ontsnapt 3 0 = [de,olifant,ontsnapt] 1 = [olifant,ontsnapt]... 3 = [ ] word([de,olif t,ontsnapt],de,[olif t,ontsnapt]). word([olifant,ontsnapt],olifant,[ontsnapt]). word([ontsnapt],ontsnapt,[]) My first clever parser De DCG pijl parse(words) :- s(words,[]). word([word Words],Word,Words). Det wordt in Prolog geschreven als np --> det, n. en wordt door Prolog vertaald in np(p0,p2) :- det(p0,p1), n(p1,p2).

5 16 17 De DCG pijl olifant Det ɛ wordt in Prolog geschreven als n --> [olifant]. det --> []. en wordt door (Sicstus) Prolog vertaald in n(p0,p1) :- C (P0,olifant,P1). det(p0,p1) :- P0 = P1. Enkelvoud/Meervoud Dumbo slaapt Dumbo slapen S -sg VP-sg S -pl VP-pl -sg Det-sg -sg -pl Det-pl -pl V-sg slaapt olifanten slapen olifanten slaapt VP-sg V-sg VP-pl V-pl V-pl slapen DCG s met variabelen s --> np(um), vp(um). np(um) --> det(um), (num). vp(um) --> v(um). v(sg) --> [slaapt]. n(sg) --> [olifant] v(pl) --> [slapen]. n(pl) --> [olifanten]. DCG s met variabelen s --> np(), vp(). wordt door Prolog vertaald als s(p0,p2) :- np(,p0,p1), vp(,p1,p2). Variabelen voor string-posities worden altijd achteraan toegevoegd. Prolog term expansion vertaalt code bij het inlezen in andere code...

6 20 21 Woordenboeken v(sg) --> [slaapt]. v(pl) --> [slapen]. v(inf) --> [slapen]. v(prt) --> [geslapen]. v(sg) --> [sliep].... n(sg) --> [olifant]. n(pl) --> [olifanten]. Woordenboeken Voor ieder werkwoord moeten dezelfde vormen worden gespecificeerd. (Paradigma). Dit vereist veel regels. Woordenboek en regels scheiden: Woordenboek kan worden geïmporteerd uit een algemeen electronisch woordenboek, Veranderingen in de grammatica hebben minder invloed op woordenboek, Woordenboek kan herbruikt worden Scheiden Woordenboek en Grammatica verb(slaapt,slapen,sliep,sliepen,geslapen). v(sg) --> [Word], {verb(word,,,, )}. v(sg) --> [Word], {verb(,,word,, )}. v(pl) --> [Word], {verb(,word,,, )}. v(pl) --> [Word], {verb(,,,word, )}.... Accolade s Soms wil je gewone Prolog-code tussen je regels vlechten. Accolade-notatie staat dit toe. v(sg) --> [W], {verb(w,,,, )}. wordt door Prolog vertaald als: v(sg,p0,p1) --> C (P0,W,P1), verb(w,,,, ).

7 24 25 Grammatica schrijven Ik slaap. Hij slaapt. Ik zie hem. Hij ziet mij. Jan ziet mij Ik zie Jan *Mij slaap *Hem slaap *Ik zie hij *Hij ziet ik Grammatica zonder naamvallen s np vp vp v np np ik, mij, hij, hem, Jan Ik en hij kan alleen als onderwerp gebruikt worden (nominatief), mij en hem kan in alle posities, behalve onderwerp, gebruikt worden (accusatief), Jan kan in alle -posities gebruikt worden Grammatica met naamvallen DCG met naamvallen s np-nom vp vp v np-acc np-nom ik, hij, Jan np-acc mij, hem, Jan s --> np(nom), vp. vp --> v, np(acc). np(nom) --> [ik]. np(acc) --> [mij]. np(nom) --> [hij]. np(acc) --> [hem]. np( ) --> [jan].

8 28 29 DCG met naamvallen Bomen s --> np(nom), vp. vp --> v, np(acc). np(nom) --> [W], {pronoun(w, )}. np(acc) --> [W], {pronoun(,w)}. np( ) --> [W],{proper name(w)}. Compl dat CP dit overleg Adv vlot VP Aux VC V pronoun(ik,mij). pronoun(hij,hem). proper name(jan). is verlopen Definitie Bomen in Prolog Een boom bestaat uit Een moederknoop, en 0,1,2, of meer dochters, Dochters zijn zelf weer bomen, of woorden. boom(moeder,lijst) boom(n,[overleg]) boom(det,[dit]) boom(np,[boom(det,[dit]),boom(n,[overleg])]) b(np,[b(det,[w(dit)]),b(n,[w(overleg)])])

9 32 33 np --> det, n. det --> [dit]. n --> [overleg]. Bomen in Prolog np(b(np,[det,])) --> det(det), n(). det(b(det,[w(dit)])) --> [dit]. n(b(det,[w(overleg)])) --> [overleg]. det(b(det,[w(w)])) --> [W], {determiner(w)}. n(b(det,[w(w)])) --> [W], {noun(w)}. Bomen in Prolog?- parse([de,hond,heeft,gesnurkt]). s np ---- det --- de ---- n hond aux --- heeft vp ---- vc ---- aux --- epsilon ---- v gesnurkt Toepassing: Question Answering Google Sets Question-Answering in CLEF-2003: Taak: Vind het (exacte) antwoord op een vraag in natuurlijke taal in een tekst-collectie (4 jaargangen krantentekst). Welk beroep heeft Renzo Piano?...het Debis-gebouw van architect Renzo Piano...uitgereikt aan de Italiaan Renzo Piano Probeert, gegeven enkele voorbeelden, automatisch te voorspellen wat andere begrippen van dezelfde soort zijn: Gegeven architect, lawyer, doctor, Voorspel professor, painter, manager,... architect isa beroep

10 36 37 evenschikkingen een dramatisch werk ( [toneelstuk], [ballet], [opera], [operette] enz. )...een lange [hals], lange [vleugels] en een slanke [snavel]... alle grote concertcentra, waaronder [ew York], [Berlijn], [Amsterdam],... Google Sets voor het ederlands Verzamel alle nevenschikkingen uit een grote verzameling tekst, Vind de hoofdwoorden, Tel hoe vaak ieder woord met een ander woord voorkomt Frequenties Vindt vergelijkbare woorden 20#ziel#zaligheid 20#werkgever#werknemer 20#vorm#kleur 20#sdu#den haag 20#oorlog#vrede 20#ogen#oren 20#nacht#ochtend 20#melk#vlees 20#km#km 20#donderdag#vrijdag 20#albanezen#serviers 20#willem-alexander#maxima 20#vs#canada 20#staats-#regeringsleiders 20#procent#punten 20#onderwijs#cultuur#wetenschappen 20#noord-#zuid-korea 20#minister#minister 20#mannen#vrouwen#kinderen 20#jongen#meisje 20#doen#laten 20#ajax#psv A lijkt op B, Als A vaak met dezelfde woorden als B in een nevenschikking staat

11 40 41 schrijver dichter toneelschrijver leerling politicus hoogleraar Voorbeelden filosofie geschiedenis theologie kunst literatuur politiek uur jaar schrijver kinderen muziek man Voorbeelden beetje bewonderaar plaatsgenoot zakenpartner john mccain vertrouweling pvda cda d66 vvd groenlinks sp aandacht gesprek werk energie sbs 6 nederland 1