Projectdocument Pretty Fly for an AI

Transcriptie

1 Projectdocument Pretty Fly for an AI Door: Jelle Oostveen Freek Henstra Tomas Ehrencron Gijs van Steenpaal Wessel Radstok November-December 2015

2 Samenvatting We gaan een programma maken dat leert om spellen te spelen door middel van evolutie van neurale netwerken. We gebruiken de SCRUM-methode. Naast het programma maken we ook een website, een flyer en enkele documenten. We hebben ieder groepslid een eigen specialisatie gegeven. We schrijven het programma in C#. Het programma moet veel door de gebruiker veranderbare instellingen hebben, maar nog wel door gebruikers die er niet veel vanaf weten gebruikt kunnen worden. Het programma moet simpele spellen redelijk snel kunnen leren spelen. Voor het programma maken we gebruik van het neuroevolutiealgoritme SharpNEAT.

3 1 Introductie Doel document Het doel van dit document is om een beeld te geven van de planning en van het eindproduct van dit project. Deze planning is niet definitief en kan zeker veranderen. Ook wordt er een analyse gegeven van het eindproduct en zijn mogelijkheden. Reading guide In sectie 2 beschrijven we de planning van het project, en de deadlines die hiervoor gehaald moeten worden. Ook wordt de ontwikkelingsmethode wordt hierin beschreven. In sectie 3 wordt beschreven wat de lerende component met zijn omgeving kan, en hoort, te doen en welke acties deze kan uitvoeren. Sectie 4 gaat meer in detail in op hoe het systeem in elkaar zit, en om dit te begrijpen moet enige voorkennis over het onderwerp aanwezig zijn.

4 2 Planning Doel Het doel van ons project is om een bestaand machine learning algoritme aan te passen zodat deze gebruikt kan worden om een computer kleine, door ons ontworpen spellen, te leren spelen. We hebben hierbij gekozen voor een algoritme genaamd SharpNEAT, een neuraal netwerk algortime dat te implementeren is op spellen. Het spel wat we het algoritme als eerste willen laten leren is een helikopter spel, en spel waar je niet tegen blokjes aan moet vliegen door een knop in te drukken om omhoog te gaan. De eindgebruiker kan iedereen met een interesse in machine learning zijn. Het is dan ook belangrijk dat onze software makkelijk te gebruiken is zodat mensen ook hun eigen implementatie kunnen geven, aan het spel of aan het algortime. Ontwikkelingsmethode Om ons project te ontwikkelen gebruiken we de zogenaamde SCRUM-methode. SCRUM is een manier om in kleine groepen efficiënt samen te werken. Onze tijd wordt opgedeeld in periodes van ongeveer een week. Aan het begin van de week wordt bekeken wat gedaan moet worden, en aan het eind van de week moet er een tastbaar resultaat worden aangeleverd. Wij hebben voor deze methode gekozen omdat we dan allemaal flexibel vanaf thuis kunnen werken en omdat SCRUM een erg populaire methode is. Producten en Deadlines Week 49: Projectdocument Week 50: Tussenproduct aan studentassistent Week 51: Website bereikbaar en toonbaar Week 51: Tussenpresentatie op woensdag Week 3: Eindverslag, systeem, website en flyer Week 4: Presentatie & Symposium De deadlines staan ook in de sprints erbij voor de duidelijkheid. Sprints Sprint Week 47: Werken aan literatuuronderzoek, Planning hele project maken, eerste versie projectdocument maken, opzetten SCRUM Sprint Week 48: Literatuuronderzoek afmaken en Projectdocument afmaken, beginnen nadenken over implementatie van gekozen algoritme, beginnen aan het maken v.h. spel. Sprint Week 49: Deadline Projectdocument, spel implementeren met gekozen algoritme (b.v. SharpNEAT), en testen en runnen met verschillende parameters, beginnen aan website. Sprint Week 50: Deadline Tussenproduct laten zien aan Studentassistent, afmaken website, meer testen en runnen, presentatie maken en voorbereiden. Sprint Week 51: Deadline Website bereikbaar zijn & toonbaar Deadline Tussenpresentatie op Woensdag, mogelijk voor deze week en in vakantie: Meer testen, en runnen, en mogelijk uitbreiden spel, en sprint backlog afwerken (de taken die al af moeten zijn maar dat nog niet zijn) --Vakantie Sprint Week 1: Beginnen eindverslag (waaronder bijeenvoegen alle losse projectbestanden), meer testen en runnen en uitbreiden, flyer beginnen. Sprint Week 2: Afronden eindverslag en flyer, uiteindelijke presentatie voorbereiden, afronden meest optimale runs en uiteindelijke versie v.h. systeem. Sprint Week 3: Deadline Eindverslag, Systeem, Website, Flyer, mogelijk nog voorbereiding presentatie. Sprint Week 4: Deadline Presentaties & Symposium

5 Taakverdeling Ten eerste zal duidelijk zijn dat elk groepslid over het algemeen dezelfde taak heeft, iedereen doet evenveel werk aan de grootste delen van het project. Daarnaast hebben de groepsleden elk hun eigen specificatie, hierdoor zullen sommigen meer werk aan een bepaald deel doen dan anderen, maar niet in zoverre, dat het een oneerlijke verdeling zal zijn. Jelle is de groepsleider, hij zorgt voor het contact met de begeleider en motiveert de andere groepsleden. Freek is de visueel ontwerper, als er iets getekend moet worden is hij hiervoor, bijvoorbeeld als er een bepaalde afbeelding voor de website nodig is. Tomas is de webarchitect, voor het maken van de website is hij leidinggevend. Wessel is programmeur, hij focust zich op het schrijven en organiseren van alle code. Gijs is programmeur, hij focust zich op het schrijven en organiseren van alle code. 3 Analyse Use cases (Interacties) Het neurale netwerk (dus het lerende component) krijgt informatie van wat er voor een mens op het scherm te zien zou zijn als input. Het reageert dus als het ware op hetzelfde moment als dat een mens dat zou kunnen doen. Interactie 1 Voor het helikopter spel is in het algemeen al belangrijk dat het lerende component reageert op het plafond en de vloer, dus dat het zorgt dat de helikopter in het midden van deze twee blijft vliegen. Deze informatie blijft constant worden doorgegeven aan de lerende component, omdat er altijd een vloer en een plafond aanwezig zijn. Interactie 2 Voor het helikopter spel is een reactie op een blokje dat voor de helikopter verschijnt essentieel. Het neurale netwerk moet gelijk reageren als er een blokje verschijnt door naar boven te gaan (dus de output meer op aan te zetten) of door zich te laten zakken (door de output meer op uit te zetten). Deze informatie wordt doorgegeven zodra er een nieuw obstakel op het scherm verschijnt. Vereisten Om het neurale netwerk op een computer te laten werken is een programma als Visual Studio nodig dat C# code kan compileren als de gebruiken aanpassingen aan het spel dat de computer speelt wil maken. Verder is een neuraal netwerk niet heel ligt om te draaien, dus is een computer met goede capaciteiten aan te raden. (Denk hierbij aan 4Gb RAM, en een i5 CPU of hoger.) Functies Must have: Implementatie van ANN in een helikopter game Een ANN dat het spel goed kan spelen Eigen GUI Aanpasbare parameters voor de game en neuro-evolutie Bekijken van een replay van een ANN Should have: Uitbreiding naar een infinite runner ANN weergeven tijdens een replay Grafieken van fitness etc.

6 Could have: Uitbreiding naar een Platformer (b.v. Mario) Level-Editor Betere graphics voor de games Opslaan en openen van experimenten Won t have: Bestaande spellen leren te spelen Compatibiliteit met smartphones Eigen neuro-evolutiealgoritme Multiplayer games Gebruik Het primaire doel van het programma is niet om een gebruiker een makkelijke ervaring te geven met het ontdekken van het neurale netwerk of het aanpassen van het spel. Het primaire doel is juist om de lerende component zo goed mogelijk het spel te laten spelen. Dus comfortabel gebruik is hierbij niet zo zeer van toepassing. Aan de andere kant is, als er tijd en ruimte voor is, het wel een van onze doelen om een level-editor toe te voegen. Dit betekent dat een gebruiken gemakkelijk het spel moet kunnen aanpassen wat het neurale netwerk speelt. Dit kan het beste door een simpele interface te maken waarin de gebruiker niet veel meer kan dan obstakels in de vorm van blokjes toevoegen aan het spel, wat dan een mogelijk herhalend segment wordt. Hierbij is dus belangrijk dat de gebruiker vooral niet te veel mogelijkheden heeft, zodat het voor bijna elke gebruiker bruikbaar is. 4 Systeemontwerp Functionele eisen Het programma moet een neuraal netwerk via een evolutiealgoritme kunnen ontwikkelen dat een helikopterspel leert te spelen. Het programma moet de fitness van een speelsessie kunnen bepalen. De gebruiker moet de eigenschappen van het spel kunnen aanpassen, zoals de zwaartekracht en snelheid. De gebruiker moet de parameters voor het evolutiealgoritme handmatig kunnen aanpassen en op de standaardwaarden zetten. Het programma moet het spel kunnen tonen, gespeeld door een van de neurale netwerken of de gebruiker. De gebruiker moet aan de hand van statistieken, grafieken, enzovoort de vooruitgang van het leren kunnen inzien. Het experiment moet kunnen worden gestart, gepauzeerd, en gereset. Niet-functionele eisen Voor simpele, makkelijke spellen moet het neuraal netwerk zeker binnen een kwartier een goede score kunnen halen. Het programma moet tijdens het experiment niet vastlopen en de andere functies niet te veel vertragen. De gebruiker moet zonder veel kennis over machine learning een experiment kunnen starten. Het evolutiealgoritme moet de neurale netwerken zo simpel mogelijk houden. Het evolutiealgoritme moet innovatie in netwerkstructuur stimuleren. Het evolutiealgoritme moet nieuwe structuren in het netwerk beschermen tot ze ontwikkeld genoeg zijn.

7 Technisch ontwerp Het hele systeem bestaat uit een aantal te onderscheiden onderdelen. Er is het spel, het programma SharpNEAT waarin het lerende component zit, en de UI waarin het spel kan worden aangepast. Dit betekent dat het systeem in C# uit een aantal klasses bestaat die elk hun eigen taak hebben voor het uitvoeren, of het verbinden van deze componenten. Voor het neurale netwerk is het ontzettend belangrijk dat het spel vertaald wordt naar een series van inputs, dit is ook het grootste deel van de implementatie van SharpNEAT, deze inputs en de parameters goed krijgen. Aangezien het helikopterspel alleen obstakels, en een plafond/vloer bevat, zullen er maar twee types inputs nodig zijn. Waar de obstakels op het scherm staan moet dus worden vertaald naar een input voor het algoritme, en waar het plafond en de vloer zijn ook. Er zijn een aantal manieren om dit te doen, de pixels op het werkelijke scherm kunnen worden gedetecteerd en omgezet naar blokjes, of het kan uit de code van het spel worden omgezet. Aangezien wij het spel zelf schrijven is de tweede optie makkelijk te gebruiken. Het spel is simpel geschreven als een array, met waarde 1, -1, of 0, waar 1 en -1 betekent dat de helikopter daar niet mag vliegen. Dus het neurale netwerk krijgt deze array doorgestuurd, samen met waar de speler (de helikopter) zich bevindt. De obstakels zijn daardoor de input voor het netwerk, waar deze op kan reageren met een passende output. Visueel ontwerp Het programma bestaat uit een hoofdwindow met daarin een MDI-container. In de hoofdwindow zijn knoppen het spel te kiezen en om de instellingen te veranderen. De instellingen staan niet in de hoofdwindow, omdat er heel veel instellingen en veel hiervan zijn ingewikkeld. Onder deze knoppen zitten de knoppen om het experiment te starten en te stoppen. Daaronder zijn knoppen om kleinere windows te openen, die vervolgens in de MDIcontainer geplaatst worden. Hiermee kan de vooruitgang van het experiment op verschillende manieren bekeken worden. De window met het neurale netwerk geeft de inputs weer als een 2-dimensionale weergave van de array die het programma als input krijgt.

8 Bronnen SharpNEAT website: Extra Informatie Het Team met en telefoonnummer: Jelle Oostveen Freek Henstra Tomas Ehrencron Wessel Radstok Gijs van Steenpaal