Kunstmatige Intelligentie (AI) Hoofdstuk 18.7 van Russell/Norvig = [RN] Neurale Netwerken (NN s) voorjaar 2016 College 9, 19 april 2016

Transcriptie

1 AI Kunstmatige Intelligentie (AI) Hoofdstuk 18.7 van Russell/Norvig = [RN] Neurale Netwerken (NN s) voorjaar 2016 College 9, 19 april kosterswa/ai/ 1

2 Hersenen De menselijke hersenen bestaan uit neuronen (grootte 0.1 mm; meer dan 20 types), die onderling met axonen (lengte 1 cm) en synapsen verbonden zijn: Axonal arborization Synapse Axon from another cell Dendrite Axon Nucleus Synapses Cell body or Soma 2

3 Werking hersenen Signalen worden doorgegeven via een nogal gecompliceerde electro-chemische reactie. Als de electrische potentiaal van het cellichaam een zekere drempelwaarde haalt, wordt een puls/actie-potentiaal/spiketrain op het axon gezet. Er zijn excitatory (verhogen potentiaal) en inhibitory (verlagen potentiaal) synapsen. 3

4 Units We modelleren de neuronen door middel van eenheden (units) die we ook weer neuronen noemen: a j Input Links Wj,i in i Σ a i = g(in i ) g a i Output Links Input Function Activation Function Output Er geldt: de input van neuron i is in i = j W j,i a j (de gewogen som van de inputs), waarbij de a j s de activaties van de inkomende verbindingen (inputs) zijn, en W j,i hun gewichten (W j,i weegt de verbinding tussen neuronen j en i). De activatie (output) van neuron i is a i = g(in i ), met g de activatie-functie. 4

5 Activatie-functies Veelgebruikte activatie-functies zijn: a i a i a i t in i in i in i 1 (a) Step function (b) Sign function (c) Sigmoid function step t (x) = 1 als x t; 0 als x < t (drempelwaarde t) sign(x) = 1 als x 0; 1 als x < 0 sigmoid(x) = 1/(1+e βx ) (vaak kiest men β = 1) 5

6 Bias-knopen De drempelwaarde t binnen de neuronen kan gesimuleerd worden door een extra (constante) activatie 1 in een zogeheten bias-knoop 0 met gewicht W 0,i = t op de verbinding van 0 naar i: n n step t W j,i a j = step 0 W j,i a j j=1 j=0 Zo worden drempelwaardes en gewichten uniform behandeld. De functie step 0 heet ook wel de Heaviside-functie, en lijkt op de functie sign. 6

7 Booleaanse functies Alle Booleaanse functies kunnen gerepresenteerd worden door netwerken met geschikte neuronen: W = 1 W = 1 W = 1 W = 1 t = 1.5 t = 0.5 t = 0.5 W = 1 AND OR NOT En mét bias-knopen: W 0 = 1.5 W 0 = 0.5 W 0 = 0.5 W 1 = 1 W 2 = 1 W 1 = 1 W 2 = 1 W 1 = 1 AND OR NOT 7

8 Soorten netwerken Een feed-forward netwerk heeft gerichte takken en geen cykels (in tegenstelling tot een recurrent netwerk). Vaak is zo n netwerk in lagen georganiseerd: 1 W 1,3 W 1,4 3 W 3,5 5 2 W 2,3 W 2,4 4 W 4,5 Dit netwerk heeft twee input-knopen 1 en 2, twee verborgen (= hidden) knopen 3 en 4, en één uitvoer-knoop 5. Het representeert de volgende functie: a 5 = g(w 3,5 a 3 +W 4,5 a 4 ) = g(w 3,5 g(w 1,3 a 1 +W 2,3 a 2 ) + W 4,5 g(w 1,4 a 1 +W 2,4 a 2 )) 8

9 Voorbeelden: x 1 x Voorbeelden x 1 x 2 De drempels staan naast de knopen. Het linker feed-forward netwerk representeert de XOR-functie, de verborgen units zijn in feite een OR en een AND. Het rechter netwerk representeert dezelfde functie, maar is niet conventioneel (geen lagen). 9

10 Feed-forward netwerken Een feed-forward netwerk zonder verborgen neuronen heet een perceptron. Een meerlaags (= multi-layer) netwerk heeft één of meer verborgen lagen, en alle pijlen van laag l gaan naar laag (l+1). Met één (voldoende grote) laag met verborgen units kunt je elke continue functie benaderen, en met twee lagen zelfs elke discontinue functie (Cybenko). De output van een netwerk hangt af van de parameters, de gewichten. Bij te veel parameters is er gevaar voor overfitting: het netwerk generaliseert dan niet goed. 10

11 Nog meer soorten Er zijn nog vele andere soorten netwerken, zoals Hopfield netwerken (associatief geheugen), met symmetrische gewichten w i,j = w j,i Boltzmann machines ( Deep Learning) Kohonen s Self Organizing Maps (SOM s) Support Vector Machines (SVM s), kernel machines... 11

12 Perceptron In een perceptron (geen verborgen units!) zijn de uitvoerknopen onafhankelijk: Input Units W j,i Output Units Voor een enkele output-unit geldt dat de uitvoer 1 is indien j W j x j = W 0 x 0 + W 1 x W n x n 0 en anders 0. Hierbij is (x 1,...,x n ) de invoer en x 0 = 1 de bias-knoop. 12

13 Wat kan een perceptron? De majority functie (uitvoer 1 meer dan de helft van de n inputs is 1) kan eenvoudig gemaakt worden: kies W 0 = n/2 en W j = 1 voor j = 1,2,...,n. De vergelijking W 0 + W 1 x W n x n 0 laat zien dat je precies Booleaanse functies kunt maken die lineair te scheiden zijn, de XOR-functie dus niet: x 1 x 1 x ? x 2 x x 2 x 1 x 2 x 1 x 2 (a) and (b) or (c) x 1 xor x 2 13

14 Hoe leert een perceptron? Gegeven genoeg trainings-voorbeelden, kan een perceptron elke Booleaanse lineair te scheiden functie leren. Een (hyper)vlak scheidt positieve en negatieve voorbeelden. Rosenblatt s algoritme uit 1957/60 werkt als volgt: W j W j +α x j Error met Error = correcte uitvoer net-uitvoer en α > 0 de leersnelheid (= learning rate). De correcte uitvoer heet wel de target, het doel. Als Error = 1 en x j = 1, wordt W j ietsje opgehoogd, in de hoop dat de net-uitvoer hoger wordt. 14

15 Perceptron voorbeeld We willen een perceptron x 1 AND x 2 leren, met α = 0.1: x 0 x 1 x 2 W 0 W 1 W 2 uitvoer target Error Probleem: wanneer stop je? 15

16 Perceptron anders leren We kunnen in plaats van de discontinue stapfunctie ook een gladde sigmoide g gebruiken in de knopen. Een vergelijkbaar leeralgoritme gaat dan als volgt. Zij E = 1 2 Error2 = 1 2( y g( nj=0 W j x j ) ) 2 met y de target. Met behulp van gradient descent bepalen we in welke richting de fout het snelst stijgt: E W j = Error Error W j = Error g (in) x j met in = n j=0 W j x j. Dus leerregel (let op de extra, we willen de fout laten dalen): W j W j +α Error g (in) x j. 16

17 Wat wiskunde Een kunstmatig voorbeeld: stel we proberen de uitvoer y = 5 te bereiken met de functie W 1 + 3W 2, en we zitten in W 1 = W 2 = 1; de gok is dus 4. De E is dan gelijk aan: E = 1 ( 5 (W1 +3W 2 ) ) 2 1 = 2 2 (5 4)2 = 1/2 We rekenen uit E = (5 (W 1 +3W 2 )) = 1 W 1 E W 2 = 3(5 (W 1 +3W 2 ) = 3 en passen aan (met kleine α > 0): W 1 1+α, W 2 1+3α Dus W 2 wordt meer (omhoog) aangepast! 17

18 Perceptron vergelijking Voor een lineair te scheiden 1 majority probleem (11 inputs) 0.9 is het perceptron veel beter 0.8 dan een techniek als beslissingsbomen (decision trees, zie Data Mining en ook het college over Leren): % correct on test set Perceptron Decision tree Training set size 1 Maar voor een meer complex probleem is het omgekeerd: % correct on test set Perceptron Decision tree Training set size 18

19 Codering Er zijn allerlei keuzes om invoer en uitvoer te coderen. Je kunt bijvoorbeeld locaal coderen: stel dat een variabele 3 waarden kan hebben: Geen, Gemiddeld en Veel; dit kun je dan in één knoop coderen als 0.0, 0.5 en 1.0 respectievelijk. Maar ook met drie aparte knopen, en dan als 1 0 0, en respectievelijk: gedistribueerd coderen. Je kunt zelfs bij de foutmaat ervoor zorgen dat je waarden als niet fijn vindt, en daar van weg trainen ( softmax ). 19

20 Leerproces: training Hoe verloopt nu het leren bij Neurale Netwerken, het aanpassen van de gewichten, kortom: de training? Je begint met een random initialisatie van de gewichten. Vervolgens biedt je één voor één voorbeelden aan uit een zogeheten trainingsset. Deze voorbeelden moeten in een willekeurige volgorde staan. Steeds geef je een invoer, en met behulp van de juiste uitvoer pas je volgens je trainingsalgoritme de gewichten aan. Je gaat net zolang door totdat (bijvoorbeeld) de fout op een apart gehouden validatieset niet meer daalt of zelfs gaat stijgen (overtraining). Je rapporteert tot slot over het gedrag op een (weer apart gehouden) testset. 20

21 Cross-validation Bij elk leer-algoritme kun je cross-validation gebruiken om overfitting tegen te gaan. Bij k-fold cross-validation (vaak k = 5 of k = 10) draai je k experimenten, waarbij je steeds een 1/k-de deel van de data apart zet om als testset te gebruiken en de rest als trainingsset. De testset is dus steeds een ander random gekozen deel! Als k = n met n de grootte van de dataset, heet deze techniek wel leave-one-out. En dan heb je ook nog ensemble leren, AdaBoost, enzovoorts. Zie verder het college Data Mining. 21

22 Meerlaags netwerk We kijken nu naar een meerlaags neuraal netwerk. Meestal zijn alle lagen onderling volledig verbonden. Output units a i W j,i Hidden units a j W k,j Input units a k De notatie is ietwat dubbelzinnig: zit W 1,2 op twee plaatsen? Je kunt of knopen doornummeren (zie elders), of meerdere W s hanteren, of hopen dat er geen misverstand ontstaat. We gebruiken index i voor de uitvoerlaag, j voor de verborgen laag en k voor de invoerlaag. De a k s zijn de input(s) wat we eerder x k noemden. 22

23 Rekenwerk Met a 5 = g(in 5 ) = g(w 3,5 a 3 +W 4,5 a 4 ) = g(w 3,5 g(w 1,3 a 1 +W 2,3 a 2 ) + W 4,5 g(w 1,4 a 1 +W 2,4 a 2 )) geldt en a 5 W 3,5 = g (in 5 ) a 3 a 5 W 1,3 = g (in 5 ) W 3,5 g (in 3 ) a 1. Hierbij: in 5 = W 3,5 a 3 +W 4,5 a 4 en in 3 = W 1,3 a 1 +W 2,3 a 2. In dit geval hebben we dus doorgenummerd. 23

24 Backpropagation 1 Het meest gebruikte leerschema voor Neurale Netwerken is backpropagation = backprop (1969, 198?), waarbij we nadat de invoer een uitvoer heeft gegeven de fout teruggeven (propageren) van uitvoerlaag richting invoerlaag. Definieer Error i als de fout in de i-de uitvoer (dat wil zeggen: i-de target minus i-de uitvoer van het netwerk). De leerregel is dan net als eerder: W j,i W j,i +α a j i met i = Error i g (in i ) voor gewichten W j,i van verborgen laag naar uitvoerlaag. 24

25 Backpropagation 2 Voor de gewichten W k,j van invoerlaag naar verborgen laag is de leerregel: W k,j W k,j +α a k j met j = g (in j ) i W j,i i Hierbij geldt: α is de leersnelheid a k is de activatie van de k-de invoerknoop in j is de gewogen invoer voor de j-de verborgen knoop W j,i is het gewicht op de verbinding tussen de j-de verborgen knoop en de i-de uitvoerknoop i is de i-de uitvoer-delta, zie de vorige sheet 25

26 Backpropagation afleiding We leiden de leerregel met gradient descent af. De fout per voorbeeld is E = 1 2 i(y i a i ) 2, waarbij de y i s de target zijn. Dan geldt: E W j,i = (y i a i ) En zo verder: E W k,j = i a i W j,i = (y i a i ) g (in i ) a j = a j i (y i a i ) a i W k,j = i i W j,i a j W k,j = i i W j,i g (in j ) a k = a k j Voor de sigmoide g(x) = 1/(1+e βx ) geldt overigens dat g (x) = β g(x)(1 g(x)). 26

27 Backpropagation algoritme Het backpropagation-algoritme voor een netwerk met één verborgen laag gaat nu als volgt: repeat for each e in trainingsset do maak de a k s gelijk aan de x k s bereken de a j s en de a i s (outputs) bereken de i s en de j s update de W j,i s en de W k,j s until netwerk geconvergeerd Let erop dat de gewichten goed random geinitialiseerd worden. En bied de voorbeelden in random volgorde aan. 27

28 Grafieken Respectievelijk een trainings-curve en een leercurve: 14 1 Total error on training set % correct on test set Multilayer network Decision tree Number of epochs Training set size Een epoch is een ronde waarin alle voorbeelden uit de trainingsset één keer één voor één in random volgorde door het netwerk gegaan zijn. Soms heb je veel voorbeelden. Er bestaat naast deze incrementele benadering ook een batch-benadering. 28

29 Support Vector Machines Een Support Vector Machine (SVM; zie [RN], Hoofdstuk 18.9) probeert de invoerdata zo in een hoger dimensionale ruimte te leggen, dat klassen lineair te scheiden worden. Uit: W.S. Noble, What is a Support Vector Machine? Nature Biotechnology 24, (2006). 29

30 Meer Er zijn allerlei uitbreidingen. Zo kun je weight decay toepassen (laat gewichten in de buurt van 0 verdwijnen), momentum (= impuls) toevoegen (onthoud vorige wijziging), met softmax verschillende uitvoerunits van elkaar af trainen,..., en momenteel Deep Learning ( AlphaGo). Neurale netwerken worden overal ingezet: voor waterhoogtes, beurskoersen, Backgammon, sonarbeelden, herkenning van nummerborden (classificatie), datacompressie,... Je blijft last houden van locale extremen. Zie verder het speciale college Neurale Netwerken. 30

31 Programmeeropgave Voor de vierde programmeeropgave moet een Neuraal Netwerk (met backpropagation) worden gemaakt om eenvoudige functies te voorspellen: (X)OR en AND. kosters/ai/nn16.html 31

32 Huiswerk Het huiswerk voor de volgende keer (dinsdag 26 april 2016): lees Hoofdstuk 18, 19.1 en 21.1/3, p , p (en p ) van [RN], over Leren eens door. Kijk naar de vragen bij dit hoofdstuk. Denk na over de vierde opgave: Neurale netwerken; deadline: dinsdag 17 mei