Klein Project Genetische Algoritmen. Door Nanne Wams en Henderikus Top

Transcriptie

1 Klein Project Genetische Algoritmen Door Nanne Wams en Henderikus Top 4 september 2003

2 Inleiding Dit is het verslag van ons klein project Genetische Algoritmen. Onze opdracht was een programma of een verzameling bibliotheekfuncties te ontwikkelen, die het mogelijk maken op eenvoudige wijze een experiment op te zetten waarbij parameters via genetische algoritmen worden geoptimaliseerd. Daartoe zullen we eerst uitleggen wat een genetisch algoritme(ga) precies is. Daarna zullen we enkele resultaten van de door ons gemaakte programmatuur laten zien. Wat is een GA? Een GA (genetisch algoritme) is een algoritme losjes gebaseerd op de evolutie. Het bestaat meestal uit een selectiemethode een fitnessfunctie en een of meerdere genetische procedures. Globaal gezien ziet een typische GA er als volgt uit: 1) creëer een random populatie 2) Test ieder gen/individu uit deze populatie 3) Selecteer een aantal (populatiegrootte) genen/individuen uit deze populatie. 4) pas cross over en mutatie toe 5) de selectie wordt de nieuwe populatie. 6) Ga naar 2 We zien in (2) de fitnessfunctie, in (3) de selectiemethode, en in (4) de genetische operatoren. Een populatie bestaat uit een aantal individuen ( fenotype ) die meestal gelijk zijn aan hun genen ( genotype ). Het komt er dus op neer dat een individu niet meer is dan een rijtje nullen en enen of een rij letters. Hierbij komen we meteen aan bij encoding systemen. Encoding systemen Een populatie bestaat dus uit een aantal individuen die niet veel meer zijn dan een DNA string. Nou moet je DNA string in dit geval erg ruim opvatten want zo n string is slechts geïnspireerd op een echte DNA string. Een manier om een string te representeren noemen we het encoding systeem. De meest klassieke manier om een DNA string te representeren is met een binaire string, hier zien we er twee. In veel literatuur vind je deze manier van encoding terug. Dit vooral omdat het erg lijkt op een echte DNA string. Maar er is veel meer mogelijk. Omdat je bij de meeste toepassingen niet direct een bitstring nodig hebt maar bijvoorbeeld de gewichtswaarden van een neuraal netwerk of letters uit een zin, is het soms handiger om deze tekens meteen in de bitstring te zetten: adffreeggdfglhptlnoeeghalloweillsi Natuurlijk zou je een bitstring kunnen omzetten naar een waarde uit een neuraal netwerk maar niets houd je tegen om direct gewichtwaarden te gebruiken.

3 Een exotisch geval van een encodingsysteem is de boomstructuur: Het genotype heeft nu de vorm van een binaire boom. Deze structuur heeft als bijeffect dat sommige genetische operatoren anders werken. Selectie methoden Een selectie methode selecteert een aantal individuen uit de populatie aan de hand van hun fitness. Met fitness bedoelen we hoe goed een individu scoort op een door de gebruiker vastgestelde test. De geselecteerde individuen worden gebruikt bij de reproductie (het creëren van de volgende generatie) Het roulette wiel Het roulette wiel, is een selectiemethode. Het werkt als volgt: Ieder individu krijgt een stukje van het roulette wiel aan de hand van zijn fitness (proportioneel) het wiel wordt vervolgens N (populatiegrootte) keer gedraaid om de selectie compleet te krijgen. Zie plaatje Stochastische Universele Sampling (SUS) Bij SUS hebben we weer het zelfde roulette wiel maar nu draaien we het maar 1 keer rond. Om toch weer een complete populatie te krijgen staan er om het roulette wiel N pointers. Deze pointers staan op gelijke afstand tot elkaar. ( er mist een pijl in plaatje )

4 Sigma schaling Sigma schaling werkt hetzelfde als het roulette wiel maar nu wordt de ruimte op het wiel anders ingedeeld. Iemand met een 5X zo grote fitheid krijgt niet 5X zoveel ruimte op het wiel maar bijvoorbeeld maar 2X. Op deze manier krijgen ook de iets mindere individuen een kans om zich voort te planten. Deze manier heeft als voordeel dat je minder kans hebt om in een lokaal maximum terecht te komen. Elitisme Bij elitisme wordt een groepje uit de populatie, de zogenaamde elite (meestal de genen met de hoogste fitness), bewaard voor de volgende populatie. Op deze manier wordt gegarandeerd dat goede oplossingen niet worden weggegooid. Steady state selection Steady state selectie kiest een klein aantal ( de slechtsten ) die niet in de selectie komen. Op deze manier veranderd een populatie nooit zo veel van de vorige en volgende generatie. De populatie blijft als het ware vrij stabiel. (zie plaatje) Rank selection Bij rank selection wordt eerst een ranglijst gemaakt van alle individuen. Op deze ranglijst staat de fitste bovenaan en de minst fitte onderaan. Vervolgens is de kans dat een individu wordt uitgekozen alleen nog maar afhankelijk van zijn rank en niet meer van zijn fitheid, alhoewel zijn rank natuurlijk wel afhankelijk was van zijn fitheid. Hierdoor heeft een gen met bijvoorbeeld een fitness van 30 niet 15 keer zoveel kans om geselecteerd te worden als een gen met een fitness van 2. Maar bijvoorbeeld slechts 4 keer, omdat die van 30 4 keer zo hoog in de ranglijst stond. Genetische operatoren Zonder genetische operatoren zou een individu nooit veranderen dus zou een populatie alleen maar kunnen bestaan uit een handje vol verschillende individuen. Een genetische operator past een DNA string dus aan.

5 Single point cross over Bij single point cross over wordt een punt uitgekozen op een string en deze wordt hier doorgeknipt. Bij een ander wordt precies hetzelfde gedaan. Hierna worden de stukjes uitgewisseld. ( zie plaatje ) Two point crossover Bij two point cross over worden twee punten op een bitstring gekozen. Idem bij een tweede bitstring. Hierna word het middenstuk uitgewisseld Restricted mating Een toevoeging op cross over is restricted mating. Restricted mating legt een restrictie op de twee strings betrokken bij een cross over. De twee string mogen namelijk niet te veel van elkaar afwijken om samen aan een cross over mee te doen Mutatie Mutatie is een erg simpele operator het enige wat hij doet is af en toe een allel wijzigen ( een DNA string is opgebouwd uit allelen ). Zou een string uit nullen en enen bestaan dan veranderd hij af en toe een 0 in een 1 en andersom.

6 Toevoegingen op het encoding systeem Er zijn nogal wat toevoegingen op het encodingsyteem bedacht met als doel het GA efficiënter te maken. Inversie Bij inversie worden de belangrijke allen bij elkaar gebracht. Dit moet als voordeel hebben dat bij cross over je meer kans hebt dat de belangrijke allen bij elkaar blijven. Een klein voorbeeldje; stel we hebben een string Deze kunnen we ook zien als (1,1) (2,0) (3,1) (4,0). Stel allel 1 en 4 zijn belangrijk dan na inversie: (1,1) (4,0) (2,0) (3,1). Evolving hotspots Een hotspot geeft aan waar in een string een cross over plaats moet vinden. Dus stel we hebben de volgende twee strings ! 1 1 1!1 en ! 0 0 dan na cross over krijgen we kinderen: en ! 1 0! 1! 1 De opdracht Gevraagd een computerprogramma, of een deel daarvan, waarmee op eenvoudige wijze een evolutionair experiment kan worden opgezet. Dit met het specefieke doel om (gesimuleerde) agents bepaalde gedragingen aan te leren. Invulling Wij hebben voor het boven beschreven doel een C++ library gemaakt, waarmee op eenvoudige wijze genetische algoritmen kunnen worden gemaakt en uitgevoerd. Ook hebben wij bestaande simulator software aangepast en een library gemaakt om deze op een efficiënte manier aan te sturen. Ook hebben we enkele programma s gemaakt die een genetisch algoritme implementeren met gebruikmaking van onze library. Dit natuurlijk om de library te kunnen testen en om voor eventuele gebruikers van de library als voorbeeld te dienen De library Encoding systeem De gebruiker kan kiezen tussen een bitstring en een real value encoding systeem. Genetische operatoren Voor beide encoding systemen zijn mutatie en single point cross over geïmplementeerd. Selectie methoden

7 De gebruiker heeft de keuze uit de volgende selectiemethoden: Rank-selectie Steadystate-selectie Best-only-selectie( hierbij wordt alleen de beste geselecteerd) 2-Quarter-selectie Roulette-selectie Stochastic Universal Sampling-selectie 2-Quarter selectie Dit is een door onszelf bedachte selectiemethode met vaak goede resultaten. Het beste kwart van de selectie wordt twee keer geselecteerd voor reproductie. De andere helft wordt willekeurig gekozen. Resultaten Het benaderen van een 2e graads functie Dit is een van de voorbeeldprogramma s die we hebben gemaakt. Er wordt een tweede graads functie van de vorm ax*x + bx + c benaderd. Dit hebben we getest met allerlei verschillende instellingen, waarvan we enkele resultaten willen laten zien. Figuur 1. Resultaat van het voorbeeldprogramma functie. Het programma is zo gemaakt dat als het verschil tussen de werkelijke en de benaderende grafiek kleiner is dan een vooraf ingestelde waarde, het genetisch algoritme stopt en zijn resultaat op het scherm toont. In dit geval kwam het programma na 55 generaties met de volgende oplossing a = b = c = , de werkelijke functie was a = - 7 b = 9 c = 1. Omdat waarde c natuurlijk maar weinig verschil maakt wijkt deze waarde vaak het meeste af. In figuur 1 is een grafiek te zien die het verloop van de fitness van de testrun van het programma functie weergeeft. Voor deze testrun zijn de volgende instellingen gebruikt: mutationprob = 0.3; crossoverrate = 0.3; selectionmethod = GASM_2QUARTER ;

8 elitism = TRUE ; populationsize = 20 ; genesize = 3 ; encoding = GAENC_REALVALUE ; Bovendien is hier de real value encoding gebruikt. Het bovenstaande is de letterlijke inhoud van het configuratie bestand, dat gebruikt is voor de test. Het is duidelijk te zien dat elitisme aan staat want de rode grafiek gaat nooit omlaag. Dit komt natuurlijk omdat het beste gen altijd door gaat en er dus alleen een verbetering kan ontstaan doordat een ander hem inhaalt. Verder zien we dat de hoogste fitness al vrij snel redelijk goed is het duurt alleen nog erg lang om precies de goede waarden te vinden. Dit komt omdat op het eind de fitness values van de besten niet meer zoveel verschillen, en het steeds meer een random search wordt. Ook omdat de mutatie en cross over rate gelijk blijven. Een slimmere fitness functie zou dit proces kunnen versnellen. Figuur 2. Een test met a=50 b=1 c=1 Hierboven is de grafiek te zien van een testrun met dezelfde instellingen als de eerst behalve dat de selectie methode nu rank selectie is en de opgegeven a, b en c (resp. 50, 1 en 1) anders zijn. Door het grote getal 50 duurt het natuurlijk langer, dit kan verholpen worden door delta (De mate van verandering bij real value mutatie) groter te kiezen.

9 Figuur 3. Een test met a=-1 b=1 c=2 Ditmaal is de is er voor roulette selectie gekozen en nu weer kleine getallen(resp -1, 1 en 2). Hieronder staan de resultaten van het testen met de waarden a=4, b=9, c=5 voor verschillende selectie methoden. Rank Roulette 2Quarter Steady State test test test test test gemiddelde 122,2 104,6 54,8 226,8 Een object avoiding agent Ons idee was een object avoiding agent te maken waarbij de sensoren en met een gewichtswaarde afgestelde kruislingse inhibitie werking hebben op de motoren. Deze gewichtswaarden worden dan door het genetisch algoritme bepaald. De uiteindelijke fitness van het gen wordt dan bepaald door te kijken hoeveel oppervlakte de agent heeft bereden minus eventueel een flinke straf als er gebotst is. Als de agent gebotst heeft of als de tijdslimiet is verstreken wordt de fitness berekent en een test met een volgend individu gestart. In het vorige voorbeeld, het benaderen van een tweede graads functie, zagen we dat een goed resultaat bereikt werd in 55 generaties. Dit aantal kan per test nogal verschillen, het kan ook 15 zijn of 70. De grootte van de populatie was 20, dus voor die test zijn 20 x 55 = 1100 genen getest op hun fitness, op een doorsnee computer duurt dat enkele seconden. Dat is dus prima te doen en als je niet tevreden bent met het resultaat verander je wat aan de instellingen tot je tevreden bent. Nu gaan we echter testen met een robot of een simulatie daarvan. Testen met een echte robot, dat zal iedereen begrijpen, is monnikenwerk. En we kunnen niet eens voor elk gen exact dezelfde voorwaarden garanderen zoals startlocatie en batterijstatus. De simulator lijkt hier uitkomst te bieden.

10 Figuur 4. De simulator Echter dit bleek tegen te vallen. Voor een precieze test moet ieder individu langdurig (minuten lang) getest worden. Hij moet namelijk niet botsen, maar ook de tijd krijgen om de omgeving te verkennen. Doen we 1000 tests van ieder 5 minuten dan zijn we 100 uur aan het testen. Dat is erg lang. Daarom hebben we de simulator aangepast waardoor deze versneld kan worden. Echter na enkele tests kwamen we er achter dat het zelfde individu op de versnelde simulator anders presteert dan als de simulator niet is versneld. Tests met de versnelde simulator bleken ook geheel niet te convergeren. Als we de simulator op normale snelheid gebruiken krijgen we betere resultaten maar ook alleen na een lang proces van testen, afstellen van parameters en weer opnieuw testen. Als men er wat handigheid in krijgt ga je wel een beetje doorkrijgen wat werkt en wat niet, maar toch moet je altijd nog een paar tests doen voor het echt werkt. Figuur 5. Een resultaat met verkeerde instellingen Hierboven is zo n test te zien, dit is een heel ander beeld dan de grafiek van het functie programma. De volgende instellingen zijn hiervoor gebruikt: mutationprob = 0.2;

11 crossoverrate = 0.2; selectionmethod = GASM_2QUARTER ; elitism = TRUE ; populationsize = 20; genesize = 12 ; encoding = GAENC_BITSTRING ; We hebben de gewichten symmetrisch gesteld en 3 bits per gewicht genomen. De volgende problemen kunnen er aan de hand zijn. 1. Het genetisch algoritme is niet goed. 2. De verkeerde instellingen worden gebruikt (mutatie kans, populatie grootte etc.) 3. Het testen gebeurt niet goed(bijv. niet lang genoeg) 4. Het agent programma deugt niet. 5. De simulator deugt niet. Ad 1. (fout in het GA) Zoals bij ieder groot programma is het onvermijdelijk dat er fouten in zitten. Er zijn al veel fouten uitgehaald, maar garanderen dat het foutloos is kunnen we niet. Zeker omdat het door de aard van het programma zeer moeilijk is vast te stellen of hij het goed doet. Echter op verscheidene testprogramma s (zoals het hierboven besproken functie programma) lijkt het algoritme goed te werken. Ad 2. (verkeerde instellingen) Dit is goed mogelijk, want er zijn nogal wat knoppen om aan te draaien. Voor deze instellingen zijn nog geen algemene richtlijnen of vuistregels. Er zijn zelfs onderzoekers die GA s gebruiken om de instellingen te bepalen, echter hoe bepaal je dan de instellingen van dat GA? Je kunt sommige instellingen wel beredeneren, zoals bijv de mutatiekans kun je beter niet te hoog instellen als het op zeer precieze verschillen aankomt. Verder is het voornamelijk trial and error, wat in het geval van de object avoiding agent een beetje lastig is vanwege de lange testtijd. De populatie grootte zou wel eens flink veel groter moeten, om maar eens wat te noemen: Sims gebruikte voor zijn Creatures een populatiegrootte van 300. Echter gegeven een hoeveelheid tijd om tot een oplossing te komen kan het ook goed uitpakken om de populatiegrootte juist kleiner te kiezen maar meer tijd te besteden per te testen individu. Ad 3. (testen niet goed) Je fitnessfunctie/testprogramma bepaalt hoe de individuen zich gaan gedragen, als dit niet goed is worden zij ook niet goed. Het zou kunnen dat er simpelweg langer per individu moet worden getest, of diverse testruns per individu. Echter een test van 70 generaties duurt nu al zo n 40 uur. Ad 4. (fout agentprogramma) Het agentprogramma deugt niet. We hebben een zeer simpel programma gebruikt gebaseerd op een programma dat we hebben gemaakt bij het vak Practicum Autonome Systemen. Ad 5. (simulator niet goed) De simulator is tegenwoordig open-source, d.w.z. de broncode is vrij beschikbaar. Echter die broncode verdient bepaald geen schoonheidsprijs. Het is een warboel en werkt vrij inefficiënt. We hebben hem op twee plaatsen aangepast. Ten eerste hebben we iets ingebouwd zodat de agent kan worden gereset en ten tweede een mogelijkheid de simulator te versnellen. Dat laatste bleek echter niet goed te werken zoals al eerder is genoemd. Waarschijnlijk zou een nieuwe simulator schrijven uitkomst kunnen bieden. Een die beter gescheiden is van een grafische interface en meer met de werkelijkheid consistente simulatie biedt. Echter men moet niet te snel denken: 'Het lukt nooit, laat ik maar ophouden.'bij het gebruik van GA's, de ene keer gaat alles vanzelf terwijl een volgende keer een tijdje stoeien met enkele van de hierboven beschreven problemen nodig is.

12 Figuur 6. Een beter resultaat Hierboven is weer een grafiek afgebeeld van een testrun met de object avoiding agent. Dit maal zijn de volgende instellingen gebruikt: mutationprob = 0.2; crossoverrate = 0.2; selectionmethod = GASM_2QUARTER ; elitism = TRUE ; populationsize = 10; genesize = 12 ; encoding = GAENC_BITSTRING ; Een verschil met de voorgaande test is dat de populatiegrootte kleiner is, maar gelijk daarmee is de testtijd per individu verdubbelt tot 720 seconden. Het resultaat lijkt beter, maar is dat ook zo? De hoogste piek is hoger dus zou de laatste test een betere beste agent moeten hebben geleverd. De grafiek loopt aan het begin mooi omhoog, maar na een lokaal maximum te hebben bereikt wordt het verloop grilliger. De beste individuen van beide tests hebben tijdens de het GA experiment uiteraard niet gebotst, anders kunnen zij niet zo'n hoge score bereiken. Nu hebben we de twee beste agents nogmaals getest (het programma heeft daar een faciliteit voor) en toen bleek dat hoewel ze het gemiddeld goed deden ze toch ook niet altijd zonder botsen de test konden volbrengen. Dit verklaard dan ook het grillige verloop van de grafieken, dezelfde agent (d.w.z. Een met dezelfde gewichten) heeft niet altijd precies hetzelfde gedrag. Een mogelijkheid om dit probleem het hoofd te bieden is hetzelfde individu vaker testen en de fitness te bepalen aan de hand van de gemiddelde score. Conclusie De library die we hebben gemaakt is breed inzetbaar en redelijk makkelijk in gebruik. Op verschillende tests zijn de prestaties goed. Helaas, nog niet op de test met de object avoiding agent. Met wat meer testen en tweaken is waarschijnlijk wel een goed resultaat te bereiken. Voor testen hebben we wat weinig tijd genomen, omdat het nog lang nodig was om verbeteringen aan te brengen in de library zelf. Zodra je iets aan de library veranderd zijn oude tests direct waardeloos. Bovendien bleek de reeds bestaande simulatorsoftware iets weerbarstiger dan vooraf gedacht.

13 Echter toch denken wij dat de library zelf zeer geschikt is voor allerlei (semi)wetenschappelijke doeleinden. Het werken ermee moet mede dankzij de tutorial, die beschikbaar op het web is, eenvoudig zijn. Iedereen met enige kennis van Genetische Algoritmen en C++ kan hiermee in een mum van tijd zijn eigen evolutie-experiment opzetten. Geraadpleegde literatuur Mitchell, M., An Introduction to Genetic Algorithms, MIT Press, Pfeifer, R. & Scheier, C., Understanding Intelligence, MIT Press, 1999 Sims, K., Evolving 3D Morphology and Behavior by Competition, Artificial Life IV Proceedings, ed. By R. Brooks & P. Maes, MIT Press, 1994, pp28-39