Ogame leren spelen met reinforcement learning

Maat: px

Weergave met pagina beginnen:

Download "Ogame leren spelen met reinforcement learning"

Martha Lien van Dijk
4 jaren geleden
Aantal bezoeken:

1 Ogame leren spelen met reinforcement learning Onderzoeksplan Ivan Koster Begeleiders: Dr. I.G. Sprinkhuizen-Kuyper Dr. Ir. Martijn van Otterlo Dr. P.C. Groot

2 Probleemstelling Onderzoeksvraag: Kan reinforcement learning een goede strategie vinden voor Ogame? Reinforcement learning is een algoritme om een agent te laten leren zonder supervisie. De agent gaat acties uitproberen om zo uiteindelijk een voorspellend model van de wereld te bouwen. De agent kan dit niet doen zonder een soort van feedback: hij moet weten wanneer hij iets goed of slecht heeft gedaan. Hij krijgt dus een beloning, reward, voor zijn acties. Dit is waar de term reinforcement learning vandaan komt. Ogame is een bouw-een-beschaving game. Een genre dat populair is op het internet, meestal zijn het spellen die in de browser gespeeld worden. Het basisprincipe is dat er enkele soorten schaarse grondstoffen zijn. Deze grondstoffen delft men via mijnen. Je kunt de mijnen opwaarderen in niveau om sneller grondstoffen te kunnen delven. Er zijn bijvoorbeeld ook gebouwen die je bouwsnelheid verhogen. Verder kun je onderzoek doen om meer gebouwen vrij te spelen. Er zijn legio andere mogelijkheden om de grondstoffen uit te geven. Punten behaal je in de games door grondstoffen uit te geven. De beste speler heeft de meeste grondstoffen uit gegeven. Voor deze scriptie zullen twee producten worden gemaakt: een simulator die Ogame gedeeltelijk simuleert en het reinforcement learning algoritme. Het antwoord op de onderzoeksvraag zal, zo ja, van het tweede product zijn: een model dat gemaakt is met behulp van een reinforcement learning algoritme toegespitst op Ogame. Het model representeert de stategie waarmee Ogame gespeeld kan worden. Als de vraag met nee wordt beantwoord, weten we hopelijk waarom niet en of er met behulp van aanpassingen de vraag wel positief beantwoord kan worden. Verantwoording Reinforcement learning is al toegepast op uiteenlopende games, zoals schaken. Het is vooral bekend vanwege zijn toepassing op Backgammon. Ook wordt het toegepast op Real-Time-Strategy games, om een succesvolle AI speler te maken. Het is interessant om het ook toe te passen op bouw-eenbeschaving games. Het zal meer inzicht opleveren hoe men met dit soort games om moet gaan. Vanuit persoonlijk oogpunt ben ik sterk gemotiveerd. In mijn jeugd hebben ik en mijn vrienden veel Ogame gespeeld. Toen ik bij mijn AI minor les kreeg over reinforcement learning was mijn eerste idee om de twee te combineren voor mijn bachelor scriptie.

3 Theoretisch kader Reinforcement learning Het begrip reinforcement learning word uitgelegd door Sutton en Barto in hun almanak : Reinforcement learning is learning what to do--how to map situations to actions--so as to maximize a numerical reward signal. The learner is not told which actions to take, as in most forms of machine learning, but instead must discover which actions yield the most reward by trying them. In the most interesting and challenging cases, actions may affect not only the immediate reward but also the next situation and, through that, all subsequent rewards. These two characteristics--trial-and-error search and delayed reward--are the two most important distinguishing features of reinforcement learning. 1 De nadruk ligt hier op het leer probleem en niet de leer methode. Elke methode die het probleem goed aanpakt wordt gezien als reinforcement learning. Er zijn altijd drie basis begrippen: states, actions, goal. De state is de status van de huidige omgeving, zoals de agent hem meet. De actions zijn de acties die de agent kan uitvoeren om de omgeving te beïnvloeden. De goal is de state waar de agent uiteindelijk naar toe wil. Reinfocement learning is unsupervised learning. Supervised learning is leren met behulp van een externe leraar die al bepaalde informatie heeft. Als deze leraar er niet is of hij heeft geen representatieve en correcte informatie, dan moet men unsupervised learning gebruiken. Het is te vergelijken met een ontdekkingsreis naar een nieuw gebied: men weet nog helemaal niets en moet leren hoe de omgeving in elkaar zit. Hierbij moet met ook een afweging maken tussen exploratie en exploitatie. Om veel beloning binnen te halen, moet men de goede acties exploiteren, maar men moet ook exploreren om die goede acties te vinden. Helaas is het niet mogelijk geheel te concentreren op een van de twee, want dan wordt er niet genoeg beloning opgehaald. Het is dus noodzaak een goede balans te vinden. Naar deze balans hebben wiskundigen al jarenlang onderzoek gedaan. Ogame Ogame is strategie game die in de browser gespeeld wordt. Het is in 2000 gelanceerd en heeft als thema ruimtevaart, met ondertussen zo n twee miljoen leden. Het wordt gemaakt en onderhouden door Gameforge AG. In Ogame begint men met een lege planeet. Vanaf dit punt moet men de planeet uitbreiden en uiteindelijk ook andere planeten koloniseren. Alles gaat met behulp van drie grondstoffen: metaal, kristal en deuterium. Voor elke grondstof bestaat er een mijn om het te delven. Verder is er energie nodig om deze mijnen werkend te houden. Voor de energie productie zijn er gebouwen als de zonnecentrale en deuterium synthesizer. Als er te weinig energie is, zullen er ook minder grondstoffen geproduceerd worden. De ruimte in Ogame bestaat uit melkwegen, systemen en planeten. Men kan een account aanmaken in een universum, de spelwereld. In een universum zijn er tien melkwegen. Elke melkweg bevat 499 systemen. Elk systeem bevat vijftien planeet sloten. Elk slot kan een planeet, maan en schrootveld bevatten. Reizen binnen een systeem duurt het kortst, reizen tussen verschillende systemen langer en reizen tussen melkwegen duurt het langst. De thuisplaneet waar een speler mee begint heeft altijd 163 velden. Men kan gebouwen bouwen tot alle velden vol zitten. Elk niveau van een gebouw kost één veld. Ruimtegevechten zijn mogelijk door een vloot naar een planeet slot te sturen. De spelers hebben geen invloed op de gevechten. Zodra vloten elkaar tegenkomen ontstaat er een gevecht. De

4 gevechten bestaan uit één tot zes ronden en laten meestal een schrootveld na. De winnaar neemt ook grondstoffen mee als het gevecht bij een planeet of maan was. De grondstoffen in het schrootveld kan later met recyclers opgehaald worden. Er zijn nog vele andere aspecten in het spel, bijvoorbeeld allianties en expedities, maar die spelen verder geen rol bij dit onderzoeksprobleem. Impliciete aannames De onderzoeksvraag geeft aan dat we een goede strategie zoeken om Ogame te spelen. Omdat het spel erg complex wordt met het grote aantal acties en in principe oneindig lang duurt, moeten we restricties aanbrengen. Ten eerste zullen we de goal state voorlopig definiëren als het moment waarop we één kolonisatie schip bezitten. Binnen Ogame is dit een belangrijk punt, van waaruit men met verschillende tactieken verder kan spelen. Hiermee hebben we de tijdsspanne vastgelegd. Het aantal acties zullen we ook beperken tot het bouwen van gebouwen, onderzoeken doen en het bouwen van het kolonieschip. Het besturen van vloten wordt buiten beschouwing gelaten evenals het bouwen van verdediging of andere ruimteschepen. De andere spelers binnen het spel worden voorlopig ook weggelaten. De restricties kunnen bij mogelijk vervolgonderzoek aangepast worden. Het is ook mogelijk dat dit onderzoek uitgebreid wordt als er tijd over is. Er kan bijvoorbeeld naar een goal state gekeken worden verder in de tijd. Ook kunnen er meerdere spelers worden toegevoegd die met hetzelfde algoritme leren. Het aantal acties kan dan uitgebreid worden met het bouwen van ruimteschepen, verdediging en het aanvallen van andere spelers. Hiermee kunnen meer strategieën getest worden. Methode Strategie Als eerste zal er een model worden gemaakt aan de hand van Ogame, die alle benodigde aspecten bevat voor reinforcement learning. Nadat dit model er is zal hiermee een simulator geïmplementeerd worden die Ogame representeert. De simulator is nodig, omdat het leeralgoritme op Ogame servers laten spelen verboden is. Bovendien zal een simulator het leerproces enorm versnellen: we hoeven niet realtime te spelen, maar kunnen zo snel spelen als het computersysteem aan kan. Als laatste zal het reinforcement learning algoritme worden geïmplementeerd. Dit wordt gebaseerd op Q-learning in combinatie met neurale netwerken. Deelvragen 1. Is er een geschikt model van Ogame te maken, waardoor we er reinforcement learning op kunnen toepassen? 2. Is er een simulator van Ogame te maken, geschikt voor dit onderzoek? 3. Is er een geschikte reinforcement learning methode om Ogame te leren? Verwachte deelantwoorden 1. Een model dat Ogame representeert en geschikt is voor reinforcement learning. 2. Een simulator gebaseerd op het model uit antwoord 1, geschikt voor een reinforcement learning. 3. Een reinforcement learning methode gebaseerd op Q-learning en neurale netwerken. Als dit niet lukt: mogelijk een andere methode of de uiteindelijke conclusie dat het mij niet gelukt is.

5 Planning Deadlines van de cursus zelf vet gedrukt Voorlopig onderzoeksplan Model van het leerprobleem klaar (deelvraag 1) Definitief onderzoeksplan Eerste versie scriptie Simulator geïmplementeerd. (deelvraag 2) Reinforcement learning algoritme geïmplementeerd. (deelvraag 3) Reinforcement learning algoritme getest. Onderzoeksresultaten af Tweede versie scriptie Definitieve versie scriptie Presentaties Presentaties Literatuur 1 R. S. Sutton, A. G. Barto (1998), Reinforcement learning: An Introduction, MIT Press S. J. Russell, P. Norvig (2003), Artificial Intelligence: A Modern Approach, Pearson Education Formules gebruikt in Ogame:

Vergelijkbare documenten

Samenvatting (Dutch)

Samenvatting (Dutch) 162 Hier zal een korte samenvatting gegeven worden van de resultaten van het onderzoek gepresenteerd in dit proefschrift. Affect, Gemoedstoestand en Informatieverwerking Om te overleven