Hopfield-Netwerken, Neurale Datastructuren en het Nine Flies Probleem

Transcriptie

1 Hopfield-Netwerken, Neurale Datastructuren en het Nine Flies Probleem Giso Dal ( ) 13 april 2010 Samenvatting In [Kea93] worden twee neuraal netwerk programmeerprojecten beschreven, bedoeld om studenten die introductielessen in programmeren en datastructuren hebben gehad, kennis te laten maken met het gebied van neurale netwerken. Het beschrijft het zogeheten Hopfield- Netwerken vanuit de invalshoek van datastructuren en hoe deze netwerken gebruikt kunnen worden om combinatorische problemen op te lossen zoals Perelman s Nine Flies Probleem. Ondanks het feit dat het Hopfield model mathematisch goed gedefinieerd is, hoeven studenten niet te werken met deze wiskunde om er toch problemen mee op te kunnen lossen. 1 Introductie Het N-Queens Probleem (NQP) houdt zich bezig met het plaatsen van N koninginnen op een N N schaakbord op zo n manier dat er geen twee koninginnen staan in dezelfde rij, kolom of diagonaal van het bord. Ondanks dat er maar één vrouw in iedere rij, kolom of diagonaal mag staan, is het kostbaar om alle oplossingen te vinden. Er zijn namelijk N! permutaties van N dames, waarbij iedere rij één dame bevat. Om het NQP op te lossen moet een systematisch manier gevonden worden voor het plaatsten van de koninginnen. Traditioneel gezien wordt hier een backtracking algoritme voor gebruikt, maar nu zijn er ook methodes die gebruik maken van neurale netwerken. Een interessante variatie op het NQP is geïntroduceerd door Perelman, namelijk het zogeheten Nine Flies Probleem (NFP): Negen vliegen zitten op een raam dat verdeeld is in velden net als een schaakbord. Dit is te zien in Figuur 1. Toevalligerwijs zijn ze zo gepositioneerd dat geen twee vliegen op 1

2 dezelfde rij, kolom of diagonaal zitten. Na een tijdje verplaatsen drie vliegen zich naar een aanliggend leeg veld. Weer zitten geen twee vliegen op dezelfde rij, kolom of diagonaal. Vindt welke drie vliegen zijn verplaatst en wat de nieuwe configuratie is (naar Perelman, 1987, [Kea93]). Figuur 1: Perelman s Nine Flies Probleem. In het linker diagram de initiële posities van de vliegen (de donkere gekleurde vakken), in het rechter diagram de verplaatsing van de drie vliegen de nieuwe configuratie. 2 Hopfield-Netwerken Een Hopfield-Netwerk wordt gewoonlijk geïmplementeerd als een laag met zijdelings verbonden binaire neuronen. Al de neuronen in het netwerk gedragen zich hetzelfde: elk neuron berekent zijn gewogen input en produceert een output aan de hand van een bepaalde functie. Er zijn twee soorten neuronen: discrete en continue neuronen. Discrete neuronen vergelijken de gewogen som van de input met een grenswaarde en geven als output 1 als de gewogen som groter is dan die grenswaarde en anders 0. Continue neuronen produceren hun output (tussen de 0 en 1) gebaseerd op de gewogen som van de input en een niet-lineaire symmetrische sigmoide functie. Hopfield-Netwerken worden gebruikt als autoassociators en als optimizers. Om een autoassociater te maken, moet ieder neuron verbonden zijn met ieder ander neuron in het netwerk, en wordt getraind door direct de gewichten van het netwerk te berekenen met behulp van de kwantitatieve toepassing van de Hebb-Regel. Deze stelt dat als twee neuronen met elkaar verbonden zijn en beide geactiveerd zijn, het gewicht tussen deze twee verhoogd moet 2

3 worden. Hierom is het nodig dat al de patronen die het netwerk moet leren vanaf het begin bekend zijn. De patronen vormen de stabiele toestanden van het netwerk. Het maximaal aantal patronen dat kan worden opgeslagen met een Hopfield-Netwerk is ongeveer 0.15 maal het aantal neuronen in het netwerk. Wanneer we een Hopfield-Netwerk gebruiken als een optimizer is de structuur en de gewichten moeilijk vast te leggen. Het hangt namelijk af van het probleem dat je ermee wilt oplossen en de beperkingen die het probleem met zich meebrengt. Stabiele toestanden van het netwerk corresponderen met oplossingen voor het probleem. Stabiele toestanden kunnen worden gevonden door een pad van minimale energie te volgen geassocieerd met het netwerk. 2.1 Basis Hopfield-Netwerken We nemen een zijdelings verbonden neuraal netwerk bestaande uit N neuronen, zoals in Figuur 2. Figuur 2: Een zijdelings verbonden neuraal netwerk. De input van elke neuron is de output van ieder ander neuron in het netwerk. Deze inputs worden vermenigvuldigd met het bijbehorende gewicht (T ij ) welke excitatory of inhibitory kan zijn (naar [Dor90]). Hierbij definiëren we T ij als het gewicht van de connectie tussen neuron i en neuron j. T ij kan positief (excitatory stimulus) of negatief (inhibitory stimulus) zijn. Doorgaans geldt T ii = 0, (i = 1,, N). De som van de inputs 3

4 U i (ook wel de input-potentiaal genoemd) van een neuron i is gedefinieerd door U i = Σ N j=1t ij V j j i Hierbij is V j de output (ook wel de output-potentiaal genoemd) van neuron j in het netwerk. In het geval van een continu Hopfield-Netwerk wordt de output potentiaal gedefinieerd door V i = 1 (1 + e GU j) waar G de gain is van de sigmoide functie. Als G groot genoeg is, zal het neuron een binair karakter krijgen. V (U) wordt dan { 1 als U > 0 V (U) = 0 als U < 0 Hopfield ontdekte dat er overeenkomsten waren tussen het gedrag van het netwerk en bepaalde fysieke systemen (Spin Glasses), en gebruikte sommige resultaten uit de statistische natuurkunde om het gedrag van het netwerk te analyseren wanneer het stabiliteit naderde. Hij associeerde een energie, E, met een toestand van het netwerk en liet zien dat het netwerk stabiliteit naderden wanneer de energiefunctie zakte naar een lokaal minimum. Voor het netwerk in Figuur 2, wordt de energie functie gegeven door E = 1 2 N j=1 N i=1 T ijv i V j Deze aanpak genereerde nieuwe interesse voor neurale netwerken en is verantwoordelijk voor de vooruitgang in het gebied. Het trainen van een Hopfield-Netwerk zodat het gebruikt kan worden als een optimizer, betoestand uit twee processen: (i) kies een netwerk structuur welke het probleem modelleert, en (ii) vindt de gewichten welke de energie functie van het netwerk minimaliseert. Het laatste is normaal gesproken moeilijker, aangezien je een expressie voor de energie van het systeem moet vinden. Het minimaliseren wordt gedaan door al de gewichten willekeurig te initialiseren en ze herhaaldelijk aan te passen totdat de energie is geminimaliseerd. Het aanpassen van gewichten moet op een systematische manier gebeuren, zodat het netwerk niet vast komt te zitten in een lokale energie-put. In [ebm92] is deze methode succesvol toegepast voor het vinden van oplossingen voor het NQP. Ze representeren het NQP als een twee-dimensionaal onderling verbonden array van Hopfield neuronen, waarvan de stabiele toestanden corresponderen met de oplossingen van het probleem. De energie functie van het netwerk wordt gegeven door 4

5 2E = AS 1 + BS 2 + CS 3 + n S 4 waarbij A, B, C en n positieve constanten zijn, en S 1, S 2, S 3 en S 4 sommaties zijn verantwoordelijk voor de interactie tussen de rijen, kolommen en diagonalen. 3 Neurale datastructuren Voor de selectie van een geschikte energiefunctie en methode voor minimalisatie heeft Shackleford, in [Sha89], onder andere de term lateral inhibition geïntroduceerd. Lateral inhibition beschrijft een onderling verbonden systeem, waarbij N neuronen een zijdelings verbonden neuraal netwerk vormen, zoals in Figuur 2, met alle T ij geïnitialiseerd op 1. Alle neuronen in de laag hebben dezelfde gain, G, en ontvangen een extra excitatory stimulus K. Deze probeert de output van de neuronen naar 1 te duwen. Deze types neurale datastructuren heten N-Flops en hebben N stabiele toestanden (1 neuron geeft als output 1 en de anderen geven als output 0). Een N-flop is te zien in Figuur 3. Als de neuronen geïnitialiseerd zijn met een willekeurige waarde, zal op een gegeven moment een neuron gaan domineren, dat de output van de andere neuronen naar beneden duwt. Dit 1-van-N gedrag is afhankelijk van de waardes van G, K en N, anders kan het zijn dat er meer dan één neuron gaat domineren, waardoor het netwerk m-van-n gedrag gaat vertonen. Typische waardes voor G en K voor een 8-flop met lateral inhibition zijn 7.0 en 0.75, respectievelijk. N-flops kunnen nog een extra beperking krijgen, die ervoor zorgt dat de som van alle outputs in de buurt komt van een bepaalde constante. In ons geval is die constante dus 1. De beperking heet global inhibition en wordt als volgt geïmplementeerd: (i) bereken de sommatie van alle outputs; (ii) trek de gewenste totale waarde af van deze sommatie; (iii) stuur de gevonden waarde naar de inhibitory input van alle neuronen in de N-flop. Het effect van global inhibition is duwen van de sommatie van alle outputs richting de 1, terwijl lateral inhibition een 1-van-N toestand gegarandeerd. Om het NQP op te lossen met N-flops zijn N 2 neuronen nodig in N rijen van N neuronen. Verbind vervolgens ieder neuron met ieder ander neuron de zijn rij, kolom en diagonaal. Deze datastructuur wordt een N N-flop genoemd. Oplossingen voor het NQP kunnen worden gevonden door de neuronen in een willekeurige onstabiele toestand te initialiseren en herhaaldelijk de volgende toestand te berekenen totdat het netwerk zich in een stabiele toestand bevindt. In de praktijk zal het netwerk niet altijd een oplossing kunnen vinden, omdat het vast komt te zitten in een lokale energie put. Dit 5

6 Figuur 3: Een N-flop. De laag is net zoals een Hopfield-Netwerk, maar nu met alle gewichten 1 (inhibitory). Alle neuronen ontvangen ook nog een excitatory input, K. betekend dat het netwerk niet genoeg energie heeft om terug te keren uit deze energie put. 4 Het N-Queens Probleem Een probleem is het gedrag van de N-flop is het volgende. Ieder van de N verschillende toestanden van het netwerk moet met een gelijke kans kunnen optreden. Veel studenten hebben bij het maken van deze opdracht dezelfde fout gemaakt door de N-flop sequentieel te updaten, wat als resultaat heeft dat er een toestand kan optreden met een grotere kans dan 1/N. Elk neuron moet continu worden berekend, parallel met de andere neuronen. Om dit parallellisme te simuleren mag herhaaldelijk een willekeurig neuron gekozen worden en de output berekend worden. Nu volgen Tabel 1 en Tabel 2 met resultaten van het algoritme met verschillende parameter waardes voor G en K, gekopieerd uit [Kea93]. 6

7 Tabel 1: Een simulatie van het 8-Queens Probleem, gebruik makend van een Hopfield-Netwerk en lateral inhibition. De tabel geeft het aantal oplossingen gevonden in 100 pogingen met verschillende combinaties van G en K. Een streep representeert combinaties van G en K waarmee geen oplossingen gevonden zijn. Tabel 2: Een simulatie van het 8-Queens Probleem, gebruik makend van een Hopfield-Netwerk en global inhibition. De tabel geeft het aantal oplossingen gevonden in 100 pogingen met verschillende combinaties van G en K. Een streep representeert combinaties van G en K waarmee geen oplossingen gevonden zijn. 7

8 Tabel 1 en Tabel 2 laten zien dat lateral en global inhibition even goed zijn in het vinden van oplossingen: in de testnetwerken is er in minder dan 50% van de gevallen een oplossing gevonden. Global inhibition heeft wel beter gepresteerd in een groter bereik van G en K. Shackleford (1989) maakt een punt door de oplossingen te evalueren en te concluderen dan de koninginnen in de meest gevallen een paardesprong van elkaar verwijderd staan. Als dit opgenomen kan wordt in de simulaties, kan het resultaat aanzienlijk verbeteren. De implementatie is als volgt: ieder neuron in het netwerk krijgt een extra verbinding met elk neuron op de afstand van een paardesprong, naast de verbindingen die het al heeft. In Tabel 3 toestand het resultaat van de combinatie global inhibition en de paardesprong-verbindingen. Tabel 3: Een simulatie van het 8-Queens Probleem, gebruik makend van een Hopfield-Netwerk en global inhibition met paardesprong-verbindingen. De tabel geeft het aantal oplossingen gevonden in 100 pogingen met verschillende combinaties van G en K. Een streep representeert combinaties van G en K waarmee geen oplossingen gevonden zijn. Het maximale percentage gevonden oplossingen is 69% (K = 2.5, G = 2.5). Dit is een enorme toename in vergelijking met de datastructuur waarbij er geen gebruik wordt gemaakt van de paardesprong-verbindingen. Het is evident dat het slagingspercentage verbeterd kan worden door kleine, maar elegante veranderingen. 8

9 5 Het Nine Flies Probleem Het NFP kan gemodelleerd worden door gebruik te maken van een 9 9- flop waarbij elk neuron een veld op het raam representeert. Een output dichtbij 1 representeert een vlieg op dat veld en een output van 0 een leeg veld. Een neuraal netwerk oplossing van het probleem kan worden gevonden door de procedure te volgen die hieronder wordt beschreven. Deze methode produceert een oplossing in vier iteraties van het algoritme. 1. Initialiseer de output van de neuronen met een bekende oplossing van het probleem. 2. Kies drie willekeurige neuronen en zet hun output op Voor elk gekozen neuron, initialiseer aangrenzende neuronen met willekeurige output. 4. Itereer het netwerk, tot stabiliteit is bereikt. 5. Als er geen oplossing is gevonden, ga terug naar stap 1. Een backtracking algoritme is gemaakt en is vergeleken met de methode gebruik makende van N-flops. Uit de resultaten is af te leiden dat het backtracking algoritme beter is dan de Hopfield-Netwerk aanpak in een aantal aspecten: (i) het levert alle oplossingen; (ii) het is sneller dan de Hopfield- Netwerk implementatie en (iii) het Hopfield-Netwerk kan niet bepalen of er meer dan één oplossing is voor het probleem. Referenties [Dor90] R. Dory. Nearal networks. Computers, in Physics, pages , [ebm92] J. Mandziuk en B. Macukow. A neural network designed to solve the n-queens problem. Biological Cybernetics, 66: , [Kea93] [Sha89] J. Keating. Hopfield networks, neural data structures and the nine flies problem: Neural network programming projects for undergraduates. ACM SIGCSE Bulletin, 25:33 37,40,60, B. Shackleford. Nearal data structures: Programming with nearons. Hewlett-Packard, 66:69 78,