Inleiding Adaptieve Systemen Hoofdstuk 4: Neurale netwerken

Transcriptie

1 Inleiding Adaptieve Systemen Hoofdstuk 4: Neurale netwerken Cursusjaar Gerard Vreeswijk β-faculteit, Departement Informatica en Informatiekunde, Leerstoelgroep Intelligente Systemen 12 Juni 2015 Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

2 Neurale netwerken Leerdoelen: Weten wanneer neurale netwerken toepasbaar zijn. De delta-leerregel kennen, kunnen uitleggen, en er mee kunnen rekenen. Gewichtenveranderingen in een lineair perceptron kunnen uitrekenen. Weten wat multi-layer feedforward neurale netwerken zijn. De backpropagation leerregel kunnen opschrijven en uitleggen. Weten wat recurrente neurale netwerken zijn, en er enkele kunnen noemen en tekenen. Weten wat een associatief netwerk (Hopfield netwerk) is, en kunnen aangeven in welke opzichten het verschilt van bv. feedforward. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

3 Neurale netwerken Kunstmatige neurale netwerken (ANNs) zijn geïnspireerd op de werking van reële neurale netwerken (WNN), bijvoorbeeld het brein. Een zenuwcel of neuron is de fundamentele bouwsteen van het brein. Een reëel NN (brein) bestaat uit ong. 100 miljard neuronen. Een neuron bestaat uit een cellichaam: de soma. Uit het cellichaam vertakken dendrieten en een axon. Een axon verbindt zich met dendrieten van andere neuronen in synapsen, de verbindingspunten. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

4 Piramidale cel in de Hippocampus (40x) Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

5 Een organisch neuraal netwerk (WNN) Chemische transmitter vloeistoffen worden vrijgegeven in de synapsen en stromen de dendrieten binnen. Dit heeft als effect dat de actie-potentiaal in de soma toeneemt (of juist afneemt). Dendriet Nucleus Soma Synapse Axon van andere neuron Axon Synapse Wanneer de actie-potentiaal een bepaalde drempelwaarde overschrijdt, wordt een elektrische puls doorgegeven naar de axon (de neuron vuurt ). Synapsen welke de actie potentiaal laten toenemen heten excitatief. Synapsen welke de actie potentiaal laten afnemen heten inhibitatief. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

6 Een kunstmatig neuraal netwerk (ANN) Vormen een gelaagde structuur. Alle verbindingen gaan van één laag naar de volgende laag. We onderscheiden de volgende lagen: Output Layer Hidden Layer Input Layer De Input laag: hier worden de inputs van het netwerk naartoe gecopieerd. De Hidden laag: hier worden interne (niet-lineaire) berekeningen uitgevoerd. De Output laag: hier worden de waarden van de outputs van het netwerk berekend. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

7 Feedforward neurale netwerken ANNs bestaan uit neuronen. Ze bestaan uit een input-laag, enkele inwendige lagen en een output-laag. De neuronen (knopen, units, rekeneenheden) zijn verbonden door activatielinks (McCulloch en Pitts, 1943). ANNs bezitten nuttige computationele eigenschappen. Ze kunnen bv. alle begrensde continue functies benaderen met één inwendige laag (G afh. f ), en alle functies met twee inwendige lagen (G onbekend). Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

8 Kunstmatige neurale netwerken Een kunstmatig neuraal netwerk bestaat uit een aantal neuronen (units) en verbindingen tussen de neuronen. Elke verbinding bezit een gewicht, uitgedrukt als reëel getal. Het leren vindt plaats door de gewichten bij te stellen. Elke neuron heeft een aantal ingaande verbindingen van andere neuronen, een aantal uitgaande verbindingen, en een activatie-niveau. Het idee is dat elk neuron een lokale berekening uitvoert, gebruikmakende van zijn inkomende verbindingen. Om een neuraal netwerk te bouwen moet men de architectuur, of topologie van het netwerk instellen. Gewichten worden meestal willekeurig geïnitialiseerd. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

9 Vergelijking KNN en Biologische NN Biologie: Neuron switch tijd: seconde. Aantal neuronen: Connecties per neuron: Visuele herkenningstijd : 0.1 seconde. 100 inferentie stappen lijkt niet genoeg. Groot aantal parallelle berekeningen. Kunstmatig neuraal netwerk: Veel minder units. Sneller! Gewogen connecties tussen units gewichten. Nadruk op automatisch leren van gewichten. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

10 Wanneer kunnen neurale netwerken gebruikt worden? Input is hoog-dimensionaal discreet of continu (typisch ruwe sensor input). Output is discreet of continu. Output is een vector van waarden. Mogelijk ruisige data. Een rechtvaardiging of begrip van de gevonden oplossing is onbelangrijk. Voorbeelden: Spraakherkenning. Beeldclassificatie (gezichtsherkenning). Financiële voorspelling. Patroon herkenning (postcodes). Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

11 Voorbeeld: Pommerleau s ALVINN (1993) Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

12 Neuron In een netwerk ziet een individueel neuron er als volgt uit: A j W j,i A i = g(i i ) Input verbindingen Σ I i g A i Output Verbindingen Input functie Activatie functie Output Leren gaat door inkomende gewichten bij te stellen aan de hand van de fout op leervoorbeelden. Voorbeeld. De output van een neuron is 0.9. De gewenste output is 1.0. Verhoog de gewichten die de output van het netwerk doen toenemen. Verlaag de gewichten die de output doen afnemen. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

13 Het enkelvoudige lineaire perceptron Het meest eenvoudige neurale netwerk is een enkelvoudige lineaire perceptron. Deze bestaat uit enkel een inputlaag en één output. w1 w2 Y w3 X1 X2 X3 Output Unit w4 1 Bias Input Units Het lineaire perceptron wordt gezien als een functie van de inputs X 1,..., X N naar output Y : Y = i w i X i Er wordt een bias-unit gebruikt om alle lineaire functies te kunnen representeren. Deze kan als extra waarde (1) aan de inputvector meegegeven worden. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

14 Representeren van functies Een lineair perceptron kan bijvoorbeeld de AND functie representeren: Het volgende perceptron doet dit: als de output > 0 dan Y = 1, anders Y = 0. Y 1 X X1 1 Lineair Netwerk X1 X2 1 Bias Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

15 Y = i Rechttoe-rechtaan uitrekenen van optimale gewichten We kunnen ook multivariate lineaire regressie gebruiken om de optimale gewichten voor een lineair perceptron te berekenen. We zetten de voorbeelden in matrices, als volgt. De voorbeelden X 1, X 2, als kolommen in een matrix X = [X 1, X 2, X 3,..., X N ], en de uitkomsten van de voorbeelden in een platte vector Y = [Y 1, Y 2, Y 3,..., Y N ]. Er geldt: w i X i, i.e., Y = W T X. W T X = Y W T XX T = YX T W T = YX T (XX T ) 1 Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

16 Voorbeeld multivariate lineaire regressie Situatie: een lineair perceptron met twee gewichten w 1 en w 2 en altijd x 2 = 1. Leer-voorbeelden: x 1 : 0 y : 1, x 1 : 1 y : 2, en x 1 : 2 y : 3. We willen YX T (XX T ) 1 uitrekenen. XX T = ( ) = ( ( ) (XX T ) 1 1/2 1/2 = 1/2 5/6 1/2 5/6 X T (XX T ) 1 = 0 1/3 1/2 1/6 YX T (XX T ) 1 = ( ) 1/2 5/6 0 1/3 = ( 1 1 ). 1/2 1/6 ) Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

17 Leren met de delta-leerregel De fout is de kleinste-kwadraten som tussen de gewenste uitkomst T en de verkregen uitkomst Y voor een voorbeeld: E = 1 2 (T Y )2. Dus w moet veranderen volgens E w i = E Y Y w i = (T Y )X i. De delta-leerregel w nieuw i = w oud i + α(t Y )X i Leren gaat nu als volgt: Initialiseer gewichten (bv. 0.1 < random < 0.1). Herhaal: (a) Voer een nieuw voorbeeld X 1,..., X N T in. (b) Bereken Y. (b) Pas de delta-leerregel toe. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

18 Voorbeeld We maken een lineair perceptron met initiële gewichten 0.3 en 0.5 en 0.0 (voor de bias input 1.0). We kiezen een leersnelheid, bv.: α = 0.5 Gegeven leervoorbeeld (0.5, 0.5) 1.0. Nu kunnen we de gewichten aanpassen: Y = = 0.4. Dus T Y = 0.6. w 1 = = 0.45 w 2 = = 0.65 w 3 = = 0.30 : w nieuw i = w oud i + α(t Y )X i Bij een volgende presentatie van hetzelfde leervoorbeeld is de nieuwe uitkomst: Y = = Vraag: Stel hetzelfde leervoorbeeld wordt nogmaals gepresenteerd. Bereken de nieuwe gewichten. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

19 Voorbeeld (nogmaals met nieuwe gewichten) We maken een lineair perceptron met initiële gewichten 0.45 en 0.65 en 0.30 (voor de bias input 1.0). We kiezen een leersnelheid, bv.: α = 0.5 Gegeven leervoorbeeld (0.5, 0.5) 1.0. Nu kunnen we de gewichten aanpassen: Y = = Dus T Y = w 1 = = 0.49 w 2 = = 0.69 w 3 = = 0.37 : w nieuw i = w oud i + α(t Y )X i Bij een volgende presentatie van hetzelfde leervoorbeeld is de nieuwe uitkomst: Y = = Vraag: Stel hetzelfde leervoorbeeld wordt nogmaals gepresenteerd. Bereken de nieuwe gewichten. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

20 Foutenlandschap Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

21 Batch vs. stochastic gradient descent Online leren: per leervoorbeeld d is er een fout E d ( w) = 1 2 (T d Y d ) 2. Stel per leervoorbeeld w bij. Maak dus kleine stapjes: w i = α E d( w) w i = α E( w) Y d = α(t d Y d )X d,i. Y d w i Batch leren: probeer de fout E( w) = d D E d( w) in één keer voor alle voorbeelden in de leerverzameling te verminderen: ( ) w i = α E( w) = α E d ( w) w i w i d D = α ( ) E d ( w) = α d Y d )X d,i. w i d D d D(T Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

22 Foutenlandschap Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

23 Foutenlandschap Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

24 Beperkingen van lineaire netwerken Een lineair perceptron kan de X-OR functie niet representeren. De voorbeelden van de X-OR functie zijn niet lineair separeerbaar. Dit voorbeeld uit boek: Perceptrons van Minsky en Papert (1969). Het aanvankelijke enthousiasme voor neurale netwerken verdween. In 1986 werden neurale netwerken herontdekt na het uitvinden van het backpropagation algoritme. Met dit algoritme was het mogelijk niet-lineaire functies te benaderen. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

25 Voorwaartse propagatie in een niet-lineair netwerk Neem de input vector x, Bereken de gewogen gesommeerde input net j = i w ji x ji. Bereken de activatie: 1 o j = σ(net j ) = 1 + e net j Hierbij is σ de squashing function. Dit is een functie die willekeurige reële waarden weer netjes terugbrengt naar het eenheidsinterval [0, 1]. Netjes betekent hier: injectief, monotoon-stijgend, en continu-differentieerbaar. Er geldt: σ (x) = σ(x)[1 σ(x)]. (Bord!) Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

26 De squashing (ook wel: sigmoid of logistic ) function Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

27 Incrementeel (offline) leren vs. batch (online) leren Update-formule voor backpropagation bij online leren Update na elk voorbeeld elk gewicht volgens wji nieuw Waarbij η de leer- en δ j de correctiefactor is. = w oud ji + ηδ j x ji, Batch. Bekijk de totale fout, dat wil zeggen de fout over alle voorbeelden E( w) = 1 (t k o k ) 2 2 d D k outputs Pas, na alle voorbeelden gezien te hebben, de gewichten w aan. Incrementeel. Bekijk, per voorbeeld, de fout E d ( w) = 1 2 k outputs Pas, per voorbeeld, de gewichten w aan. (t k o k ) 2 Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

28 Afleiding van correctiefactor δ j voor backpropagation Notatie j: knoop j o j : output van j x ji : input nr. i naar j (= o i ) σ: de functie x 1/(1 + e x ) w ji : gewicht nr. i naar j δ j : de correctiefactor van j net j : netto input voor j Downstream(j): de opvolgers van j net j = Σ i w ji x ji o j = σ(net j ) = e net j δ j = Def E d( w) net j Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

29 Hoe w ji aanpassen zo dat fout kleiner wordt? Met elk leervoorbeeld d willen we alle gewichten w ji meteen aanpassen, zodanig dat de fout voor d, geschreven als E d ( w) = 1 2 k outputs (t k o k ) 2, kleiner wordt. Dat kan met Ons doel is dus te bepalen. w nieuw ji = w oud ji ( + η E ) d( w). w ji E d ( w) w ji Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

30 Het bepalen van correctie voor de output-laag Omdat w ji alleen via net j invloed heeft op E d mogen we schrijven E d ( w) = E d( w) net j w ji net j w ji = E d( w) (x j1 w j1 + + x jn w jn ) = E d( w) x ji. net j w ji net j Blijft over te bepalen E d ( w)/ net j. Input net j heeft alleen via o j invloed op E d (immers, j heeft geen opvolgers). We mogen schrijven E d ( w) = E d( w) o j net j o j net j Blijft over te bepalen E d ( w)/ o j. = E d( w) σ(net j ) = E d( w) o j (1 o j ) o j net j o j Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

31 Alles samen nemen geeft w ji Blijft over te bepalen E d ( w)/ o j. E d ( w) = 1 o j o j 2 Samenvattend, voor outputknopen: k outputs (t k o k ) 2 = o j 1 2 (t j o j ) = (t j o j ). E d ( w) = E d( w) net j w ji net j w ji = E d( w) o j x ji o j net j = (t j o j ) o j (1 o j ) x ji. } {{ } correctiefactor δ j Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

32 Het bepalen van correctie voor inwendige knopen Herinner, de correctiefactor staat voor: δ k = Def E d( w) net k. We gaan nu δ j bepalen voor inwendige knopen. Netto input net j heeft alleen via Downstream(j) invloed op E d. We mogen schrijven: δ j = E d( w) net j = = = k Downstream(j) k Downstream(j) = o j (1 o j ) k Downstream(j) δ k net k net j = E d( w) net k net k net j k Downstream(j) δ k net k o j o j net j δ k w kj o j (1 o j ) (immers, o j = x kj ) k Downstream(j) δ k w kj. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

33 Procedure voor stochastic (= online) backpropagation 1 Creëer een a-cyclisch feed-forward netwerk. De knopen zonder voorgangers noemen we de input-laag, de knopen zonder opvolgers noemen we de output-laag. De rest is verdeeld in tussenlagen. 2 Initialiseer alle netwerk-gewichten w met een klein getal, bv. rand( 0.5, 0.5) 3 Voor elk van de trainingsvoorbeelden d D, doe: 1 Propageer de input voorwaarts. We krijgen een aantal output-waarden o 1,..., o k. 2 Propageer fouten terugwaarts. Bekijk in hoeverre o 1,..., o k afwijken van de doelwaarden t 1,..., t k. Bereken voor elke output knoop k de correctieterm δ k = o k (1 o k )(t k o k ). Bereken voor input- of tussen-knoop j de correctieterm δ j = o j (1 o j ) k Downstream(j) δ kw kj. 3 Update elk gewicht volgens w nieuw ji = w oud ji + ηδ j x ji. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

34 De voortgang van het leerproces: groei van gewichten Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

35 De voortgang van het leerproces: daling van fouten Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

36 Wat hidden units kunnen representeren Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

37 Leren als zoeken Gradient descent op het foutlandschap werkt als volgt: Problemen: Lokale minima. Als het netwerk in een lokaal minimum komt, kan het niet meer verbeterd worden met gradient descent. Plateaus. Als het foutlandschap ergens heel vlak is, gaat het leren erg langzaam (de gradient is zeer klein). NP-moeilijk. Het leren van een netwerk is inherent moeilijk. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

38 Meer over backpropagation Gradient descent over gehele netwerk gewichten vector. Makkelijk generaliseerbaar naar willekeurige gerichte grafen. Zal lokaal minimum vinden en niet noodzakelijk globaal minimum. Kan met meerdere restarts toch goed werken. Gebruikt soms een momentum term: w ji = ηδ j x ji + αvorige( w ji ) Minimaliseert fout over alle trainingsvoorbeelden. Maar zal het nieuwe voorbeelden goed classificeren? Pas op met te veel leervoorbeelden overfitting. Pas op met teveel hidden units overfitting. Leren kan duizenden iteraties duren traag! Gebruik van geleerd netwerk gaat snel. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

39 Recurrente neurale netwerken (RNNs) Geschikt voor problemen waarin voorspelling in de factor tijd een rol speelt. Recurrente netwerken kunnen vorige inputs mee laten tellen in hun voorspelling van de huidige toestand van het systeem. Toepassingen: alle vormen van patroonherkenning in de tijd zoals, spraakherkenning, herkennen van grammatica s, en handschriftherkenning. Voorbeelden van recurrente netwerk-architecturen: Hopfield netwerken (of: auto-associatieve, of: Boltzmann machines, 1982). Time delay neurale netwerken (TDNN, 1989). Jordan netwerken (1989). Elman netwerken (1990). Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

40 Elman netwerk (1990) Elman netwerken koppelen activatie van hidden units terug naar inputs. Dat is handig bij voorspellingen waar tijd belangrijke rol speelt. Leeralgoritme: recurrent backpropagation door de tijd heen: Y(t+1) 1 1 Y(t) Y(t-1) INPUT UNITS CONTEXT UNITS Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

41 Jordan netwerken (1989) Jordan netwerken koppelen activatie van output units terug naar inputs: handig bij voorspellingen waarin tijd en/of de volgorde van beslissingen een rol speelt. 1 INPUT UNITS CONTEXT UNITS Jordan en Elman netwerken werken ongeveer even goed. Ze hebben grote problemen als de gradient door de tijd heen een erg zwak signaal wordt gewichten worden erg langzaam bijgesteld. Leren gaat vaak veel trager dan feedforward netwerken. Alternatieve leermethode: evolutionary computation. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

42 Time Delay Neurale Networken (TDNN, 1989) TDNN gebruiken inputs van voorgaande tijdstappen voor huidige voorspelling OUTPUT(T) INPUTS(T-m)...INPUTS(T-1) INPUTS(T) Hebben problemen met Markov order: Hoeveel voorgaande inputs moeten meegegeven worden? Kan inputs die langer geleden gezien zijn nooit mee laten tellen in beslissing. Veroorzaakt soms erg groot netwerk Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

43 Hopfield netwerk (1982) Auto-associative Networks (Hopfield netwerk, Boltzmann machine): soort geheugen voor opslaan patronen: goed voor pattern completion. Een Hopfield netwerk bezit typisch ongerichte verbindingen. A1 A6 A5 W A4 A2 A3 Leerregels versterken verbindingen tussen inputs die gelijk aan staan. Als deelpatroon aangeboden wordt, zullen inputs die vaak gelijk met andere inputs voorkomen ook aan komen te staan. De nieuw geactiveerde inputs kunnen weer andere inputs activeren. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

44 Nadelen van neurale netwerken Het kan veel (experimenteer-) tijd kosten om een geschikte topologie en leerparameters te vinden. (Opl.: zg. cascade correlation.) Sommige knopen doen op den duur niet mee. (Opl.: optimal brain damage.) Convergentie, het bepalen van een stop-criterium. (Opl.: kruis-validatie.) Dreiging van locale minima. (Opl.: herstarten.) Geen voor de hand liggende manier om te kunnen omgaan met ontbrekende waarden. Soms vergeet het netwerk geleerde kennis als het getraind wordt op nieuwe kennis (leer-interferentie). Het is niet zo makkelijk om a-priori kennis in een netwerk te zetten. Leerproces soms erg inefficiënt. (Opl.: snellere computers?.) NEE, want: Het leren van een optimaal neuraal netwerk is, bezien als optimalisatieprobleem, een NP-moeilijk probleem. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45

45 Voordelen van neurale netwerken Bezit, in vergelijking met andere leertechnieken, zoals beslisbomen, versie-ruimten en Bayesiaans leren, een vrij algemene en expressieve hypothese-representatie. Met andere woorden: kunstmatige neurale netwerken zijn geschikt voor veel leer-problemen. ANNs kunnen, mits met voldoende tussenlagen, alle functies benaderen. ANNs zijn robuust met betrekking tot het wegvallen van neuronen (zg. graceful degradation ). ANNs kunnen goed met hoog-dimensionale input-ruimtes omgaan. ANNs kunnen goed met ruis omgaan. ANNs kunnen goed met redundantie omgaan. Gerard Vreeswijk (ICS Dept.) Hfdstk 4: Neurale netwerken 12 Juni / 45