From Alife Agents to a Kingdom of Queens

Transcriptie

1 From Alife Agents to a Kingdom of Queens Bob Wansink 27 Mei 2010 Deze notitie is een vrije vertaling en uitleg van het gelijknamige artikel in Intelligent Agent Technology: Systems, Methodologies, and Tools van Han, J., Liu, J. & Cai, Q. [1]. In het artikel wordt een strategie besproken om het n-queens probleem op te lossen middels autonome agenten die de dames op een schaakbord voorstellen. De genoemde strategie leent veel basisconcepten van Natural Computing. 1 Introductie Het n-queens probleem wordt compact beschreven in Definitie 1: Definitie 1. Op een schaakbord van grootte n n willen we n dames plaatsen zodanig dat geen enkele dame een andere dame kan slaan. Uit deze definitie kan eenvoudig worden afgeleid dat elke dame in een eigen kolom en een eigen rij geplaatst moet worden; anders slaan ze elkaar. Het n- Queens probleem is een constraint-satisfaction probleem (CSP). Ten tijde van van het artikel [1] bestondt er al een aantal snelle algoritmen die oplossingen voor dit probleem konden genereren voor waardes van n > , zoals het algoritme van [2]. De focus van de strategie van [1] is echter het vinden van een oplossing van m-queens door gebruik te maken van de kennis over een oplossing van n-queens, waarbij m n. Dit artikel behandelt een oplossing die gebruik maakt van autonome, evoluerende agenten. Elke agent heeft de mogelijkheid zich in een speelveld te verplaatsen, zichzelf te reproduceren, of te overlijden. De agenten krijgen eenvoudige instructie-sets mee, waarmee zij hun beslissingen maken, en er is geen centrale aansturing van alle agenten nodig. Dit principe is geinspireerd op Survival of the Fittest en maakt gebruik van emergence. Emergence is het ontstaan van complex, georganiseerd gedrag bij een verzameling agenten die afzonderlijk vaak zeer eenvoudig gedrag vertonen. Een voorbeeld van emergence is een termiethoop, of het zoeken naar eten door een kolonie mieren. 1

2 2 Basisprincipes De strategie ziet het schaakbord als een leefomgeving. In deze leefomgeving kunnen agenten zichzelf verplaatsen. Elk locatie op het schaakbord houdt bij hoeveel locaties met agenten erop er op dat moment schaak zouden staan als er een agent op dat locatie zou zijn neergezet. Een oplossing voor dit probleem betekent dat alle locaties zonder agenten de waarde 0 hebben, en alle locaties met agents erop 1. Elke agent heeft een energie. Deze energie wordt aangemaakt als de agent in leven komt, en elke beweging die wordt uitgevoerd door een agent kost de agent energie. Zodra de energie onder een bepaald punt komt (bijvoorbeeld 0) overlijdt de agent en wordt hij van het bord verwijderd. Agenten kunnen enkel horizontaal in de leefomgeving bewegen. Agenten die elkaar kunnen slaan verliezen extra energie. Als een agent bijvoorbeeld op een locatie met waarde 3 komt te staan, zal hij 3 eenheden energie verliezen. Daarnaast zullen de agenten die de gegeven agent kunnen staan ook 1 eenheid energie verliezen. Dit is de drijfveer die het systeem naar een oplossing zal moeten sturen, omdat het uitkomen op een positie met waarde 0 de agent geen energie zal kosten. Agenten kunnen elkaar ook opeten. Dit gebeurt als ze gelijktijdig hetzelfde locatie bezetten. In dat geval wordt hun energie met elkaar vergeleken, en als het verschil boven een bepaalde grens komt eet de agent met meer energie de ander op, waarbij hij de energie van de andere agent aan zijn eigen energie toevoegt. Dit gedrag zal de agents met een goede strategie versterken, en agenten met een slechte strategie van het bord verwijderen. Elke agent kan een keuze maken uit verschillende bewegingsstrategieën. Willekeurig. De agent kiest willekeurig een locatie uit waarop hij kan staan. Deze strategie is toegevoegd om het systeem uit lokale optima te kunnen halen. Minste. De agent kiest uit alle locaties het locatie met de laagste waarde. Zo verliest de agent te allen tijde de minste energie. Samenwerkend. De agent krijgt een vector mee waarin voor elke rij wordt aangegeven of hij agenten in die rij wel of niet mag slaan. De agent zal dan een locatie proberen te vinden waarbij aan deze eisen wordt voldaan. Deze tactiek probeert het samenwerken van agenten op meerdere rijen te verbeteren. Het zal niet altijd mogelijk zijn om aan alle eisen van een vector te voldoen. Als meerdere agenten op een rij worden toegevoegd zal het systeem meer moeite moeten doen om een oplossing te vinden, omdat er veel meer locaties zullen zijn waar de agent schaak mee zal staan. Daartegenover zal staan dat het systeem sneller agenten met een slechte strategie zal verwijderen uit het systeem. Agenten met goede strategieën zullen vaak op dezelfde positie komen te staan, waardoor ze geen/weinig botsingen met elkaar zullen veroorzaken. Doordat meerdere agents op dezelfde rij naar hetzelfde locatie kunnen bewegen 2

3 is het dus mogelijk om een oplossing te vinden voor het n-queens probleem met meer dan n agenten, omdat meerdere agenten op een locatie samen een dame representeren. 3 Implementatie De implementatie van het algoritme is relatief eenvoudig. Zolang er geen oplossing gevonden is zal het systeem elke agent aflopen. Voor elke agent wordt er een bewegingsstrategie gekozen, waarmee het systeem voor die agent een nieuwe positie kiest. Als deze positie de huidige positie is, gaat het systeem direct door naar de volgende agent, anders wordt er gekeken of er agenten zijn waarmee de huidige agent botst. Als er een botsing is wordt gecontroleerd of een van de agenten waarmee gebotst wordt opgegeten kan worden, en anders wordt energie in mindering gebracht. De pseudocode voor deze implementatie staat in de onderstaande figuur, afkomstig uit [1]. Belangrijk te vermelden is dat [1] een aantal belangrijke elementen van de implementatie niet benoemd. Zo wordt er gesproken over Agenten met een goede strategie. Volgens de bovenstaande pseudocode worden de strategieën echter in elke ronde opnieuw gekozen op basis van een waarschijnlijkheid p. Een agent zal dus steeds van strategie wisselen. De kansen waarmee bewegingsstrategieën worden gekozen worden per ronde bijgewerkt, en globaal is opgeslagen wat de maximale waarschijnlijkheid voor elke strategie is. Er staat echter niet uitgelegd hoe de waarschijnlijkheden worden bijgewerkt. Daarnaast benoemt het artikel niet hoe de vector voor de samenwerkende bewegingsstrategie wordt bepaald. De pseudocode initialiseert en werkt ook een timer bij die verder nergens in de code gebruikt wordt bij berekeningen of voor beslissingen. Belangrijker nog is dat het artikel stelt dat het naar een oplossing voor het n-queens probleem gaat met gebruik van de kennis over een oplossing voor m- Queens. Hiervoor is echter niets in de pseudocode te vinden; sterker nog, volgens het algoritme worden de agenten direct willekeurig verdeeld over het schaakbord, waarmee veel van de kennis over een voorgaande oplossing verloren gaat. Enkel 3

4 de waarschijnlijkheden van de strategieën worden in dat geval bewaard. De pseudocode geeft ook niet aan wanneer er naar een groter schaakbord wordt gestapt. Dit zou kunnen worden uitgelegd door het gehele systeem opnieuw op te starten met een nieuwe afmeting van het schaakbord, en bij de initialisatie van de agenten de waardes voor de bewegingsstrategieën in te stellen op de waardes die bij een voorgaande oplossing gevonden zijn. 4 Analyse De auteurs van [1] geven aan dat ze ten tijde van de publicatie van het artikel een oplossing voor het 1500-Queens probleem hebben gevonden in enkele honderden secondes. Onderstaande figuur toont een overzicht van de tijd in secondes dat het duurde om een oplossing te vinden voor de betreffende waarde van n, waarbij n van 100 naar 1500 loopt. Daarnaast gaat het artikel in op een aantal experimenten waarbij de verschillende strategische parameters die in het systeem in te voeren zijn worden geanalyseerd. Daarbij worden de volgende instellingen gebruikt: Exp. # dames # agenten # maxrandom-p maxleast-p maxcoop-p per runs rij Omdat in Experiment 1 het aantal agents op een rij 1 is, zijn alle agenten direct dames. Het opeten of overlijden van een agent zal het systeem dan direct in een toestand die geen oplossing mogelijk is brengen, waarna het opnieuw zal moeten beginnen met het vinden van een oplossing. Het heeft echter het voordeel dat er nooit horizontale botsingen zullen ontstaan. Experimenten 2 en 3 hebben meerdere agenten op een rij. Uit de experimenten blijkt dat de looptijd van het systeem korter wordt als het aantal agenten op een rij groter wordt en het aantal oplossingen dat het systeem moet zoeken voor een gegeven n groter wordt. De auteurs stellen dan ook dat het systeem voordeel heeft bij het plaatsen van meerdere agenten op een rij, en bij het werken met Survival of the Fittest. De auteurs onderzoeken ook wat de impact van de maximumwaardes voor 4

5 de waarschijnlijkheid van de verschillende bewegingsstrategieën is. Exp. N N(# agents per rij) # runs maxrandom-p maxleast-p maxcoop-p De resultaten van deze experimenten staan in de onderstaande figuur. De looptijd van Experiment 3 is beter dan die van Experiment 4. De auteurs geven hier aan dat dit komt omdat het systeem bij Experiment 3 de agenten minder random zal bewegen en dus slimmer naar een oplossing zal gaan. De significante verandering van maxcoop-p wordt verder niet bij deze conclusie meegenomen. De auteurs geven ook aan dat het systeem bij een waarde van 0 voor maxrandom-p soms geen oplossing kan vinden. De auteurs geven aan dat maxrandom-p een redelijke waarde moet krijgen, maar noemen geen exacte waardes. Om de impact van Least-p en Coop-p te onderzoeken voeren de auteurs een aantal experimenten uit. In alle experimenten wordt er maximaal 1 agent op elke rij geplaatst. Voor verschillende N wordt gekeken wat de looptijd van het systeem is. Volgens de resultaten uit de onderstaande tabel blijkt dat de looptijd van het systeem korter wordt (en dus de efficiëntie kleiner), als de waarschijnlijkheid een van deze twee bewegingsstrategieën te kiezen groter wordt. Dit is vooral merkbaar als N groot is. Ook geven de auteurs aan dat de looptijd van het systeem korter wordt als de som van de twee bewegingsstrategieën groter wordt, vooral als N groot is. Exp. N Least-p=(20,200) / Coop-p=150 Coop-p(20,200) / Least-p= Least P Coop P Least P Coop P Least P Coop P Least P Coop P De auteurs maken ook een vergelijking tussen Coop-p en Least-p. Uit hun experimenten blijkt dat de looptijd van het experiment korter is bij hoge waardes van Least-P. Ze geven aan dat Least-P een grotere impact heeft op de runtime 5

6 van het systeem dan Coop-P. Dit wordt in de onderstaande tabel weergegeven. Exp. N Coop-P Least-P Tijd(s) 9(1) (2) (3) (1) (2) (3) Andere CSPs Naast de specifieke implementatie voor het n-queens probleem hebben de auteurs ook een model gemaakt voor een gegeneraliseerde CSP. Zij modelleren een dergelijk als P = (X,D,R). Hierbij is X een verzameling variabelen X = {x 1,x 2,...,x n }, D een verzameling domeinen D = {d 1,d 2,...,d n }, en een set beperkingen R = {r 1,r 2,...,r n }. Elke beperking is een beperking die tussen twee variabelen geldt. Een oplossing is een toewijzing van waardes {a 1,a 2,...,a n } aan {x 1,x 2,...,x n }, waar a i d i en waarin aan alle beperkingen in R wordt voldaan. Als we het ALife systeem naar dit model moeten vertalen is P het hele systeem. De elementen van X zijn dan de agenten van een rij en de elementen in D zijn de locaties op een rij. R noteert het aantal botsingen van elke agent in X. 6 Conclusies Het gebruik van autonome, evoluerende agenten kan oplossingen genereren voor CSP s zoals het n-queens probleem. Door gebruik te maken van eenvoudige agenten is het gedrag van het systeem eenvoudig aan te sturen, maar is het systeem wel instabieler. Daarnaast is de implementatie van de oplossing geheugenintensief. Zo moet er voor elk locatie op het speelbord worden bijgehouden hoeveel locaties met agents daarmee botsen en moet er voor elke agent een vector worden bijgehouden met daaron voor welke rijen die agent rekening moet houden bij de samenwerkende bewegingsstrategie. Het systeem heeft daardoor een complexiteit van minstens O(2n 2 ). De auteurs geven aan dat er onderzoek nodig is voor het implementeren van een systeem dat grotere waardes van n aan kan, voor andere bewegingsstrategieën voor agenten, voor een mutatie en reproductie mechanisme voor agenten, en voor een systeem dat voor andere CSP s kan worden ingezet. 6

7 Referenties [1] Han, J., Liu, J. and Cai, Q: From Alife Agents to a Kingdom of Queens, Intelligent Agent Technology: Systems, Methodologies, and Tools, pp (1999). [2] Sosic, R. and Gu, J. Efficient Local Search with Conflict Minimization: A Case Study of the n-queens Problem., IEEE Transactions on Knowledge and Data Engineering, 6(5): (1994). 7