Project
2 P a g e Inhoud 1. Inleiding... 3 Artificiële Intelligentie... 3 Poker... 4 2. Een pokerbot programmeren... 5 Meer uitleg bij blokken... 5 Regels opslaan... 5 Grafieken... 5 Pokerregels... 6 3. Strategie... 8 Kansen... 8 Verwachte winst... 10 Vuistregels... 11 4. competitie... 15
P a g e 3 1. INLEIDING In dit Innovation Lab project leer je zelf een pokerbot maken. Hiermee geven we je een voorproefje van de uitdagingen en mogelijkheden van een regelgebaseerde artificieel intelligente pokerspeler. Deze stoomcursus geeft naast een inleiding tot artificiële intelligentie ook een inleiding tot programmeren en kansrekening, twee noodzakelijke vaardigheden bij het maken van een pokerbot. Artificiële Intelligentie Een artificieel intelligent computerprogramma is een programma dat intelligent gedrag vertoont. Je kan je waarschijnlijk wel inbeelden dat de meningen over de betekenis van `intelligent gedrag soms verschillen. Een intelligent persoon kan vaak heel goed rekenen. Echter, we weten dat computers goed kunnen rekenen, dus dat beschouwen we de dag van vandaag niet als artificiële intelligentie. Wel zijn er veel spelen, zoals schaken, othello/reversi en go, waarvan algemeen aanvaard is dat ze intelligentie vereisen, al is het maar omdat mensen er vaak vele jaren over doen om meester te worden in zo een spel. Voor elk van deze spelen is er echter een artificieel intelligent computerprogramma gemaakt dat kan winnen van de beste menselijke speler. Tegenwoordig komt Artificiële Intelligentie (A.I.) ook steeds vaker in het nieuws. Populaire toepassingen zijn: zelfrijdende auto s, deep-learningtechnieken die audio en beeldmateriaal kunnen interpreteren en 'personal assistant' programma's zoals Siri en Alexa waar je in natuurlijke taal tegen kan spreken en die verstaan wat je wil opzoeken of versturen over het internet. In deze sessie beginnen we iets eenvoudiger, namelijk met een regelgebaseerd systeem. Regelgebaseerde systemen zijn een heel natuurlijke manier om 'intelligent' gedrag in een computerprogramma uit te drukken. Onze regel-gebaseerde bot krijgt een bepaalde situatie voorgeschoteld (input) waarna we een bepaalde actie (output) terugkrijgen die gebaseerd is op het al dan niet voldoen aan bepaalde regels. We maken bijvoorbeeld de volgende regel: Indien ik twee azen heb, verhoog ik de inzet. De bot gaat dan een hele reeks handen spelen. Elke hand is een situatie die aan de bot voorgesteld wordt zodat deze kan nagaan of aan de gegeven regel(s) voldaan is. Op basis van deze observatie kan de juiste actie gekozen worden.
4 P a g e Poker Het automatisch spelen van complexe spelen, zoals schaken en go, is al lange tijd een populair onderwerp in het onderzoeksgebied van de artificiële intelligentie. Een eigenschap van zulke spelen is dat beide spelers altijd een volledig zicht hebben op de speltoestand (het bord), en dat het spel altijd met dezelfde speltoestand begint. Dit noemen we spelen met perfecte informatie. In poker daarentegen wordt het pak kaarten altijd door een deler geschud, dus zonder dat de spelers de volgorde van de kaarten kennen. Daarenboven kan je tijdens het spel enkel de kaarten in je eigen hand zien, niet die in de hand van andere spelers. Dit noemen we spelen met imperfecte informatie. Dit maakt het maken van een artificieel intelligente speler veel moeilijker aangezien die niet exact kan berekenen hoe het spel verder zal verlopen. Daarvoor is er immers te veel informatie ongekend en zijn er bijgevolg te veel mogelijke scenario's om ze allemaal in rekening te brengen. Tot op de dag van vandaag is poker, meer specifiek de no-limit en pot-limit varianten met meer dan 2 spelers, niet oplosbaar door computerprogramma s. De enige mogelijkheid is dus om een programma te ontwerpen, een artificieel intelligente bot, die zo goed mogelijke zetten doet. Poker is daarom een zeer interessant spel voor onderzoekers in de artificiële intelligentie, waardoor er actief onderzoek naar gedaan wordt.
P a g e 5 2. EEN POKERBOT PROGRAMMEREN De pokerbotwebsite bevat een tutorial waarin je leert een pokerbot te programmeren. Het begint met een stap-voor-stap inleiding en eindigt met het verslaan van twee bestaande pokerbots. De tutorial is opzichzelfstaand, maar dit hoofdstuk bevat nog bijkomende uitleg en tips. Start de tutorial op dtai.cs.kuleuven.be/pokerbot Meer uitleg bij blokken Door boven een blok te hangen met de muis verschijnt er extra uitleg over de functie van dit blok. Regels opslaan Het kan doorheen de bundel soms handig zijn om regels op te slaan. Dit kan je doen met behulp van de opslaan -knop, onderaan de pagina. Dit creëert een nieuw item in het menu aan de linkerkant, onder 'Voorwaarden', genaamd 'Opgeslagen'. Duw erop om de opgeslagen regels te tonen en in je veld te slepen. Om alle opgeslagen regels te verwijderen, kun je de clear-cache -knop gebruiken onderaan de pagina. Grafieken De pokerbot website voorziet de spelers van nuttige informatie met behulp van grafieken. De volgende grafieken zijn beschikbaar: 1. Acties van speler: Het percentage folds, raises en calls in de 30 laatst gespeelde spelletjes. Door boven de grafiek te hangen met de muis kan je zien welk deel voor welke actie staat. 2. Gevuurde regels van speler: Het percentage van de acties die genomen waren op basis van elke regel, in de laatste 30 spelletjes. De regels zijn genummerd van 1 tot het aantal regels, van boven naar onder. Door boven de grafiek te hangen met de muis kan je zien welk deel voor welke regel staat. 3. Rekentijd per speler: De fracties van de rekentijd gebruikt door de verschillende spelers gedurende de laatste 30 spelletjes. Veel ingewikkelde regels maken de pokerbot trager en niet altijd beter. Aan de hand van de grafieken kan je nagaan welke regels veel invloed hebben en hoe vaak je actief meespeelt in het spel. Aan de hand van deze informatie kan je je pokerbot aanpassen.
6 P a g e Door onderaan op te klikken kan je de zetten van medespelers zien: Pokerregels Rondes 1. Preflop: Er liggen nog geen kaarten op tafel 2. Flop: Er werden 3 kaarten open op tafel gelegd 3. Turn: Er werd 1 extra kaart open op tafel gelegd (4 open kaarten) 4. River: Er werd 1 extra kaart open op tafel gelegd (5 open kaarten) De flop, turn en river zijn allemaal postflop rondes. Spelacties Fold: geen geld inzetten en dus niet verder meedoen Call: Het minimumbedrag inzetten om verder mee te spelen Raise: Verhoog de inzet, alle spelers moeten nu dit bedrag inzetten als ze verder willen meespelen. Rollen Dealer: De persoon die de kaarten verdeeld, deze rol verschuift elk spel één speler met de richting van de klok mee. Small blind: De inzet die verplicht gespeeld moet worden door de speler links van dealer, of de dealer zelf in het geval van twee spelers. Big blind: De inzet die verplicht gespeeld moet worden door de speler links van de small blind speler. Dit is het dubbele van de small blind. Hoeveelheden Stackgrootte: Het aantal chips in jouw bezit. Wanneer je al deze chips inzet, dan ben je all-in. Potgrootte: De hoeveelheid ingezette chips door alle spelers tot nu toe.
P a g e 7 Hand ranking Dit is de hand ranking van goed naar slecht: 1. Royal flush: Tien tot aas van dezelfde kleur. Subranking: hoogste kaart. 2. Straight flush: Vijf kaarten met opeenvolgende rang en dezelfde kleur. Subranking: hoogste kaart. 3. Four of a kind: Vier kaarten van dezelfde rang. Subranking: hoogste kaart in kwartet, daarna andere kaart. 4. Full house: Twee kaarten van dezelfde rang en drie kaarten van dezelfde rang. Subranking: hoogste kaart in trio, dan duo, dan de andere kaart. 5. Flush: Vijf kaarten van dezelfde kleur. Subranking: hoogste kaart. 6. Straight: Vijf kaarten met opeenvolgende rang. Subranking: hoogste kaart. 7. Three of a kind: Drie kaarten van dezelfde rang. Subranking: hoogste kaart in het trio, dan in de overige kaarten. 8. Two pairs: Twee keer twee kaarten van dezelfde rang. Subranking: hoogste kaarten in de duo s, dan de andere kaart. 9. One pair: Twee kaarten van dezelfde rang. Subranking: hoogste kaart in het duo, dan de andere kaarten 10. High hand: Geen van bovenstaande. Subranking: hoogste kaart.
8 P a g e 3. STRATEGIE Het doel van poker is om zo veel mogelijk geld te winnen. De bot moet dus regels hebben die dit doel optimaliseren. Om regels te vergelijken, kijken we naar hun verwachte winst: hoeveel geld wordt er gemiddeld mee gewonnen of verloren. De verwachte winst wordt berekend met behulp van kansrekening. Kansrekening is de tak van de wiskunde die zich bezighoudt met onzekere situaties. In een onzekere situatie is het niet geweten wat de echte situatie is. Wanneer een geschudde stapel kaarten op tafel ligt, is het bijvoorbeeld onzeker wat de bovenste kaart is. Er zijn 52 mogelijkheden, maar slechts 1 kaart ligt werkelijk vanboven. Poker bevat enorm veel onzekere situaties. We weten niet welke kaarten de andere spelers hebben of welke kaarten nog op tafel gelegd zullen worden in de volgende rondes. Ook het gedrag van de medespelers is niet gekend, wanneer zouden ze raisen, callen of folden? Dit zijn allemaal belangrijke factoren voor hoeveel geld je zal winnen of verliezen wanneer je een bepaalde zet doet. Daarom is kansrekening zo belangrijk bij het maken van een goede pokerbot. Na het verder toelichten van de begrippen kans en verwachte winst zullen we via enkele vuistregels bestuderen op welke manier kansen deel uitmaken van in poker en op hoe je pokerbot hier voordeel uit kan halen. Kansen De kans van een gebeurtenis is een getal tussen 0 en 1 die uitdrukt hoe waarschijnlijk het is dat deze gebeurtenis zich zal voor doen. Dit getal is 1 wanneer het altijd gebeurt en 0 wanneer het nooit gebeurt. Als het soms wel en soms niet gebeurt is de kans daar tussenin. Hoe hoger de kans, hoe vaker het gebeurt. Kansen zijn uniform wanneer alle situaties een even grote kans hebben. Dit is bijvoorbeeld het geval voor de bovenste kaart bij een geschudde stapel: Elke kaart heeft evenveel kans om vanboven te liggen. De kans op een bepaalde situatie is dan: P(situatie) = 1 totaal aantal mogelijke situaties De kans van een gebeurtenis is de som van het de kansen van alle situaties waarin deze gebeurtenis voorkomt, dit vereenvoudigt naar: P(gebeurtenis) = Notatie A Betekenis Hartenaas 9 9 van eender welke kleur Harten, eender welke rang X, Y Variabele: kan voor eender welke rang staan, maar is overal binnen de formule dezelfde A H Eerst hartenaas, dan schoppen heer aantal situaties met gebeurtenis aantal alle mogelijke situaties
P a g e 9 Voorbeeld: De kans om de hartenaas A te trekken uit een pak kaarten berekenen we als volgt. Er zijn 52 kaarten in een pak, dus 52 situaties: In elke situatie wordt er een andere kaart gekozen. In slechts één van die situaties is de kaart de hartenaas. De kans is dus P(A ) = 1 52. Voorbeeld: Sommige gebeurtenissen kunnen in meerdere situaties voorkomen. Het trekken van een 9 komt bijvoorbeeld voor in de volgende vier situaties: 9, 9, 9 en 9, de kans is dan P(9 ) = 4 52 = 1 13. Merk op dat 9 één van de dertien rangen in een kaartenspel is, dus 1/13. De kans komt dus overeen met wat je intuïtief zou verwachten. Voorbeeld: Een ander voorbeeld van een gebeurtenis die in meerdere situaties voorkomt is het trekken van een kaart hoger dan 8. Bij poker wordt de Aas als de hoogste kaart beschouwd, dus ook hoger dan 8. Er zijn 6 rangen hoger dan 8 (9, 10, Boer, Dame, Heer, Aas) die elk in 4 kleuren voorkomen, de kans is dus P(X, met X > 8) = (6 4)/ 52 = 6/13. Bereken de volgende kansen: P(K ) =. P( ) =. P(3 ) =. P(X, met X > 10) =. P(X, met X > 10) =. Kansen op opeenvolgende kaarten Het wordt moeilijker wanneer meerdere kaarten na elkaar getrokken worden. We veronderstellen hier dat de volgorde van de kaarten hier van belang is: K 5 is dus een andere situatie dan 5 K. Neem bijvoorbeeld het aantal situaties bij twee getrokken kaarten. Bij de eerste kaart zijn er 52 mogelijkheden, wanneer de tweede kaart getrokken wordt zijn er nog 51 kaarten over. Voor elke mogelijke eerste kaart zijn er 51 mogelijke tweede kaarten. Het totale aantal mogelijke situaties is dus 52 51 = 2652. Voor 3 kaarten zijn er 52 51 50 = 132600 situaties, en zo voort. Op een gelijkaardige manier kunnen het aantal situaties waarin de gebeurtenis voorkomt berekend worden. Voor een paar maakt het bijvoorbeeld niet uit wat de eerste kaart is, zo lang de tweede maar van dezelfde rang is. Er zijn dus 52 mogelijkheden voor de eerste kaart. Voor elke mogelijke eerste kaart zijn er nog 3 mogelijkheden voor de tweede kaart, want er zijn 4 kaarten per rang en er is er al 1 van die rang weg. Wat is de kans op een paar?
10 P a g e Vergelijk de volgende kansen (Vul >, <, of = in). In de oefeningen stellen X X en Y Y paren van eender welke rang voor. Reken de kansen enkel uit bij twijfel. P(K K ) P(K K ) P(K K ) P(3 3 ) P(K K ) P(K D ) P(K K ) P(X X ) P(X X ) P(Y Y, met Y > 10) Verwachte winst Het doel van de pokerbot is om de winst te maximaliseren. Omdat er zo veel toeval in het spel zit kan dit niet gegarandeerd worden. Een goede pokerbot zal daarom de verwachte winst optimaliseren in de plaats. Dit is de gemiddelde winst over alle mogelijke situaties: verwachte winst = P(situatie) Winst(situatie) alle situaties Om de verwachte winst te optimaliseren, zou een ideale pokerbot telkens wanneer hij aan zet is alle mogelijke situaties analyseren en de zet kiezen met de hoogste verwachte winst. Dit is echter onmogelijk in de praktijk. Om te beginnen is er een enorm aantal mogelijke situaties: Stel dat er 2 spelers zijn met 1 pak kaarten, dan zijn er 5.6 10 13 manieren om de kaarten te delen en op tafel te leggen. Dit is evenveel als het aantal cellen in het menselijk lichaam. Het aantal combinaties groeit verder met meer spelers en meer pakken kaarten. Telkens een speler aan zet is kan die kiezen uit fold, call of raise met eender welk aantal chips. Telkens een speler raiset komen de andere spelers die nog in het spel zijn opnieuw aan de beurt. Dit resulteert in een praktisch ontelbaar aantal mogelijke combinaties van acties in elk spel. De kans op elke situatie inschatten is ook bijzonder moeilijk. De kans op bepaalde kaarten kan berekend worden omdat deze kansen uniform zijn. De kans van een actie van een speler is daarentegen speler en spel afhankelijk en bijgevolg moeilijk om in te schatten. Probeer maar eens in te schatten of een andere speler gaat folden, callen of raisen zonder dat je zijn kaarten gezien hebt! Om toch een goede pokerbot te maken moeten we vereenvoudigingen maken. Dit doen we door over situaties te veralgemenen. Bijvoorbeeld, wanneer je twee azen in de hand hebt en er ligt een aas op tafel, dan heb je een goede kans dat jij de beste hand hebt en kan je best raisen. Zo kan je een goede bot maken zonder te weten wat die kans is en hoeveel je exact moet raisen om de verwachte winst te optimaliseren. Hoeveel je moet raisen kan je inschatten door een aantal verschillende getallen te testen in een gesimuleerd pokerspel. Hiervoor kan je de website gebruiken: verander een getal en zie hoe de winst toe- of afneemt. Op deze wijze tracht je de optimale verwachte winst te benaderen zonder ze volledig uit te rekenen.
Vuistregels Vuistregel 1: Speel enkel wanneer je waarschijnlijk geld zult verdienen Beantwoord de volgende vragen: P a g e 11 Als de kans dat je wint door verder te spelen groter is dan 50%, speel je dan best verder? Zijn er situaties waarin je meer geld zou krijgen moest je winnen dan je zou verliezen in het andere geval? Zo ja, welke? Zijn er situaties waarin je meer geld zou verliezen dan je kan winnen? Zo ja, welke? Wanneer speel je beter niet verder? Kan het soms interessant zijn om verder te spelen wanneer de winstkans kleiner is dan 50%? De volgende formule kan gebruikt worden om te berekenen hoeveel we verwachten te winnen met een actie: Verwachte winst van een actie = P win W (1 P win ) V Hierbij is P win de kans dat er gewonnen wordt met deze actie, W het bedrag is dat zou gewonnen worden en V het bedrag is dat zou verloren worden. Ter illustratie: Het is de river ronde en er zitten al Q credits in de pot. Je denkt dat je een kans P win hebt om te winnen. Alle andere actieve spelers hebben al gecalld, en nu is het aan jou. Jij moet R credits betalen om te callen. Stel dat je wint, hoeveel geld win je dan? W = Stel dat je verliest, hoeveel credits verlies je dan? V = In welke van de volgende gevallen zou je dan volgen? P win = 0.9, W = 60, V = 25 P win = 0.4, W = 60, V = 25 P win = 0.4, W = 30, V = 25 P win = 0.2, W = 200, V = 10
12 P a g e Vuistregel 2: Focus op veel voorkomende situaties Hierna worden de regels van enkele pokerbots beschreven. Van welke pokerbot verwacht je de grootste winst? 1. Call zo lang je kans maakt op een royal flush en ga all-in wanneer je die hebt bereikt. Fold in alle andere gevallen. 2. Ga all-in wanneer je in je hand een paar hebt van twee azen. Fold in alle andere gevallen. 3. Zorg dat er elke ronde minstens met 15 credits geraiset wordt wanneer je in je hand een heer of hoger hebt of een paar van boeren of hoger. Fold in alle andere gevallen. 4. Call altijd Laten we dit even nagaan. Stel dat je voor een bot de volgende informatie kent: P speel : hoe vaak die tot het einde meespeelt (niet foldt onderweg), P win : hoe vaak hij wint als hij meespeelt, W: hoeveel hij gemiddeld wint wanneer hij meespeelt en wint, V: hoeveel hij gemiddeld verliest wanneer hij meespeelt en verliest en F: hoeveel hij gemiddeld verliest als hij foldt. In dit geval kan de verwachte winst berekend worden als volg: Verwachte winst bot = P speel [P win W (1 P win ) V] (1 P speel ) F Door middel van simulaties heb je deze informatie verkregen voor de vier bots. Bereken nu de verwachte winst voor elke bot. Komt dit overeen met je verwachtingen? Verwachte winst bot 1 = Bot P speel P win W V F 1 0.00001 1 300 200 30 2 0.01 0.9 300 200 1 3 0.32 0.5 130 70 1 4 1 0.01 40 20 1 Deze regel wordt zelden uitgevoerd Verwachte winst bot 2 = Verwachte winst bot 3 = Verwachte winst bot 4 = Welke soort situaties zijn dus goed om op in te zetten? In de grafieken van de pokerbot kan je afleiden welke regels vaak uitgevoerd worden. Een regel die zelden uitgevoerd wordt heeft nagenoeg geen effect op de winst.
P a g e 13 Vuistregel 3: Speel niet té vaak De pokerbot 4 van de vorige paragraaf is een goed voorbeeld van een bot die té vaak speelt. Het is erg onwaarschijnlijk om de meerderheid van de spelen te winnen, daarom is het belangrijk om enkel mee te doen als je kans maakt om te winnen en anders zo snel mogelijk te folden. Een veelgebruikte statistiek om in te schatten of je goed speelt (genoeg, maar niet té vaak) is de Voluntary Put $ In Pot of afgekort VPIP. Deze statistiek geeft aan hoe vaak en speler in de preflop vrijwillig geld inzet, dit wil zeggen wanneer hij/zij raiset of callt, met uitzondering van small en big blinds. Een benaderende formule voor VPIP is: VPIP = C + R C + R + F Waarbij C, R en F het aantal keer is dat een speler heeft gecalld, geraiset en gefold in preflop rondes. Een goede richtlijn is dat de VPIP niet meer dan 30% mag zijn. Welke van de onderstaande spelers speelt het minst goed volgens de VPIP? Speler C R F An 17 7 76 Tom 4 9 87 Lisa 42 21 37 In de preflop ronde weet je enkel welke kaarten je in je hand hebt. Wat zijn het soort handen die goed zijn om mee verder te spelen? De VPIP van je pokerbot wordt automatisch berekend. Houdt deze dus zeker in het oog bij het maken van een pokerbot. Vuistregel 4: Beperk je inzet Stel dat een andere speler all-in gaat. Wat zouden de redenen hiervoor kunnen zijn? Wanneer een andere speler een goede hand heeft maak jij minder kans op winnen. In dit geval kan het goed zijn om te folden en uit het spel te stappen met minimaal verlies. Je kan nakijken hoeveel je moet bij inzetten om verder te spelen met de volgende blok:
14 P a g e Vuistregel 5: Kijk naar je medespelers Je kans op winnen hangt ook af van je medespelers. Professionele pokerbots zullen hun gedrag analyseren om in te schatten of het wel zin heeft om mee te gaan of niet. Er zijn ook simpelere zaken om naar te kijken, bijvoorbeeld naar het aantal spelers. Beantwoordt de volgende vragen om in te zien hoe het aantal spelers het spel beïnvloedt: Als er meer mensen actief in het spel meedoen, heb jij dan meer of minder kans om te winnen? Als er meer mensen mee doen en jij wint, zal jij dan meer of minder geld verdienen? Je kan het aantal actieve spelers opvragen met de volgende blok:
P a g e 15 4. POKERBOT COMPETITIE Tijd om tot actie over te gaan! Gebruik de verworven inzichten om een pokerbot te maken die het tegen de pokerbots van je klasgenoten opneemt. Hier zijn de vuistregels nog eens op een rijtje: 1. Speel enkel wanneer je waarschijnlijk geld zult verdienen 2. Focus op veel voorkomende situaties 3. Speel niet té vaak (hou je VPIP in het oog) 4. Beperk je inzet 5. Kijk naar je medespelers Nog wat bijkomende tips: 1. Gebruik de grafieken om je pokerbot te evalueren en te bedenken welke regels aangepast moeten worden. 2. Sla regels op om ze te kunnen hergebruiken. 3. Denk aan de volgorde waarin regels uitgevoerd worden. 4. Het kan nooit kwaad om iets te proberen! Veel plezier!