TECHNISCHE UNIVERSITEIT EINDHOVEN Faculteit Wiskunde en Informatica. Examen Neurale Netwerken (2L490), op woensdag 28 juni 2006, uur.

Transcriptie

1 TECHNISCHE UNIVERSITEIT EINDHOVEN Facultet Wskunde en Informatca Examen Neurale Netwerken 2L49, op woensdag 28 jun 26, uur. Alle antwoorden denen dudeljk geformuleerd en gemotveerd te worden.. Deze opdracht betreft het classfceren van gebeden n de n-dmensonale rumte met behulp van een perceptron. a Beschrjf de standaardconstructe om een wllekeurg gebed ut R n dat begrensd wordt door een endg aantal n -dmensonale hypervlakken te classfceren met behulp van een 3-laags perceptron met dscrete neuronen. Antwoord: Ze dctaat, bewjs stellng 2.6. op pag. 28 b In de onderstaande fguur s het platte vlak door mddel van 8 ljnen de gegeven worden door de vergeljkngen l : x + x 2 = l : x + x 2 = l 2 : x = l 3 : x = l 4 : x x 2 = l 5 : x x 2 = l 6 : x 2 = l 7 : x 2 = verdeeld n een aantal gebeden waaronder een vertal rechthoekge drehoeken. l l 2 l 3 l 4 l l 5 R R l 6 R 2 R 3 l 7 Construeer bj voorkeur volgens de door u n onderdeel a beschreven methode een 3-laags perceptron dat het gebed R R R 2 R 3 bestaande ut de ver rechthoekge drehoeken classfceert.

2 Bj de beantwoordng van dt en het volgende onderdeel maakt het net ut hoe de punten gelegen op de randen van de gebeden geclassfceerd worden. Antwoord: Laten H + en H de twee halfvlakken zjn waarn ljn l het platte vlak verdeelt, en wel zo dat de oorsprong altjd n het posteve halfvlak lgt. Dan geldt H + : x + x 2 H + : x + x 2 H + 2 : x H + 3 : x H + 4 : x x 2 H + 5 : x x 2 H + 6 : x 2 H + 7 : x 2 x R x H + 2 x H + 4 x H + 6 x R x H + x H + 3 x H + 6 x R 2 x H + x H + 2 x H + 7 x R 3 x H + 3 x H + 5 x H + 7 Condte x H + mag ook door x H vervangen worden. c Kan hetzelfde gebed ook met een 2-laags perceptron geclassfceerd worden? Zo ja, geef zo n perceptron; zo nee, geef een argument waarom dat net kan. Antwoord: Ja. Immers zj V het door de ver drehoeken ngesloten verkant en W het verkant dat de ver drehoeken omslut. Dan geldt x V x H + x H + x H + 4 x H + 5 x W x H + 2 x H + 3 x H + 6 x H + 7 x W x V x R R 2 R 3 R 4 Aangezen voor varabelen h {, } de ongeljkhed 4h 2 +h 3 +h 6 +h 7 h + h +h 4 +h geldt desda h 2 = h 3 = h 6 = h 7 = en h = h = h 4 = h 5 =, s op bass van deze formule een 2-laags perceptron te maken dat het gewenste gebed herkent. 2. Beschouw het n de onderstaande fguur gegeven 2-laags network met 3 contnue neuronen. w w 3 x 3 y w 2 2 w 4

3 De actvatefuncte van neuron s cosz, de van neuron 2 s snz, en neuron 3 s een lnear neuron. Verder hebben alle neuronen drempelwaarde. a Laat y de werkeljke output van het netwerk zjn bj nput x en t de gewenste output. Bereken de wjzgng n de gewchten w tot en met w 4 volgens het standaard error backpropagaton algortme door de partële afgeleden van de fout E = t y 2 te bepalen. Antwoord: De wjzgng n gewcht w wordt gegeven door w = α w. Laat z de output van neuron zjn voor 2. Dan geldt z = cosw x z 2 = snw 2 x y = w 3 z + w 4 z 2 Toepassen van de kettngregel levert = 2t y y w w w = 2t y 3 z w + w 4z 2 w n het algemeen en voor de ndvduele gewchten w = 2t yw 3 w snw x w 2 = 2t yw 4 w 2 cosw 2 x w 3 = 2t yz w 4 = 2t yz 2 b Geef aan wat we onder overtranng van een netwerk verstaan en geef aan hoe we dt kunnen voorkomen. Antwoord: Een betoog met de volgende ngredënten: netwerk wordt te lang getrand en/of bevat te veel vrjhedsgraden gewchten. punt netwerk leert de tranngsverzamelng heel nauwkeurg maar generalseert slecht. 2 punten prunng van overbodge neuronen n geval het netwerk te groot s. punt ntroducte van een valdateverzamelng en stoppen met tranen als de fout op deze verzamelng begnt toe te nemen. 2 punten 3. a Geef aan hoe een Hopfeld netwerk gebrukt kan worden voor patroonherkennng. Antwoord: Een betoog met de volgende ngredënten: een Hopfeld netwerk s een recurrent netwerk en kent daarom toestanden. De stabele toestanden kunnen gebrukt worden om patronen n op te slaan. punt

4 er s geen leerfase, maar de patronen worden geladen hoe, ze dctaat pag. 59. punt b Geef voor een wllekeurg Hopfeld netwerk zowel de asynchrone update regel als de synchrone update regel en beschrjf het verschl n convergentegedrag. Antwoord: Ze dctaat pag. 52 voor de regels. De asynchrone regel convergeert altjd naar een uneke lokaal mnmum, de synchrone regel kan leden tot een cykel ter lengte twee. c Beschrjf n woorden wat we onder overspraak crosstalk verstaan. Onder welke omstandgheden s de overspraak tussen de te herkennen patronen zo klen mogeljk s? Antwoord: Telkens als er een extra patroon n het net wordt opgeslagen, dan heeft dat nvloed op de convergentegebeden basns of attracton van de reeds opgeslagen patronen. Dt fenomeen wordt overspraak genoemd. In het extreme geval kunnen reeds geladen patronen net meer herkend worden punt. Overspraak s mnmaal als de te herkennen patronen orthogonaal zjn punt. d Behalve de gewenste patronen, waarmee het netwerk van te voren geladen s, kan een Hopfeld netwerk ook ongewenste patronen herkennen. Noem dre klassen van dergeljke patronen. Antwoord: voor edere categore punt.. het tegenovergestelde van eder patroon - en verwsseld. combnates van een oneven aantal patronen. wllekeurge patronen spn-glass states 4. Deze opgave heeft betrekkng op smple compettve learnng SCL met een leerverzamelng X = {x, x, x 2, x 3 }, bestaande ut 4 punten n het platte vlak gegeven door x = 5, x =, x 2 = a Geef de batch-verse van het SCL-algortme. Antwoord: Ze dctaat pag. 7 5, x 3 = b Toon aan dat n stap l van de batch-verse van het SCL-algortme de aanpassng van de gewchtsvector w l gegeven wordt door w l waarbj m l = α P nl m l w l het gemddelde s van de cluster van vectoren X l n stap l de wnnaar s, n l vectoren n de leerverzamelng s. het aantal vectoren n X l Antwoord: Ut het algortme volgt w = α P Voor stap l leden we dus af waarvoor neuron s, en P het totale aantal x X x w voor edere stap.

5 w l = { o.g.v. het algortme } α x w l P x X l = { lneare algebra } α x w l P x X l x X l = { verzamelng X l bevat n l vectoren } α P nl n l x X l = { defnte m l α P nl m l w l } x w l c Veronderstel dat voor een netwerk van twee neuronen de batch-verse van het SCL-algortme, utgaande van zekere begnwaarden voor de gewchtsvectoren, voor leerverzamelng X geëndgd s n de stabele clustertoekennng X = {x } en X = {x, x 2, x 3 }. Geef de resulterende gewchtsvectoren en bepaal de waarde van de fout gegeven door de kwadratsche foutenfuncte EW = x w 2 8 <2 x X Antwoord: w = 5, w = 5 3, EW = = 8 3 d Laat zen dat voor hetzelfde netwerk van twee neuronen, met wederom leerverzamelng X en met leerparameter α = 2, utgaande van de ntële gewchtsvectoren w =, w = de batch-verse van het SCL-algortme na twee stappen geconvergeerd s, d.w.z. na de tweede stap veranderen de gewchtsvectoren net meer. Geef tevens de resulterende gewchtsvectoren. Antwoord: Allereerst merken we op dat n het geval n = 2 voor alle neuronen er n edere stap l geldt w l+ = w l + w l = w l m l 4 w l = m l Op bass van bovenstaande observate vnden we achtereenvolgens de volgende

6 clustertoekennngen en gewchtsvectoren w =, w =, X = {x, x 2 }, X = {x, x 3 } w 2 =, w 2 =, X = {x, x }, X = {x 2, x 3 } w 2 = 3, w 2 = 3, X 2 = {x, x }, X 2 = {x 2, x 3 } waarna we n een stabele stuate beland zjn. De fout voor de oplossng w = 3 3 en w = bedraagt = e Ga na of de n onderdeel d gevonden oplossng een lokaal of globaal mnmum van de n onderdeel c gedefneerde foutenfuncte EW s. Antwoord: Op grond van symmetre s het voldoende de volgende dre oplossngen te beschouwen:. X = en X = {x, x, x 2, x 3 }. X = {x } en X = {x, x 2, x 3 }. X = {x, x } en X = {x 2, x 3 } In oplossng s neuron een dood neuron, en deze oplossng s daarom zeker net optmaal. De fout van oplossng s berekend n onderdeel c en bedraagt 8. Oplossng s het resultaat van onderdeel d en heeft foutwaarde 5 en s 3 2 daarmee een globaal mnmum. Voor de opgaven kunnen maxmaal de volgende punten behaald worden: opg. a: 4 punten opg. 2a: 4 punten opg. 3a: 2 punten opg. 4a: 2 punten opg. b: 3 punten opg. 2b: 6 punten opg. 3b: 3 punten opg. 4b: 2 punten opg. c: 3 punten opg. 3c: 2 punten opg. 4c: 2 punten opg. 3d: 3 punten opg. 4d: 2 punten opg. 4e: 2 punten