Een voorbeeld. Computationele Intelligentie Zoeken met een tegenstander. Een voorbeeld vervolg. Een zoekprobleem met een tegenstander

Transcriptie

1 Computationele Intelligentie Zoeken met een tegenstander Beschouw het boter-kaas-en-eieren spel: een probleemtoestand is een plaatsing van i kruisjes en j nulletjes in de vakjes van het raam, met i j en i + j 9: de begintoestand is het raam met negen lege vakjes: een eindtoestand is een probleemtoestand met drie kruisjes of drie nulletjes op een rij, of een toestand waarin geen lege vakjes voorkomen; Comp. Int.: Zoeken met tegenstander / 35 Comp. Int.: Zoeken met tegenstander Definitie 2 / 35 Een zoekprobleem met een tegenstander de operator voor de speler is het plaatsen van een kruisje in een leeg vakje; de operator voor de tegenstander is het plaatsen van een nulletje in een leeg vakje; een utiliteitsfunctie u voor de speler is u(t) = als de eindtoestand t drie kruisjes op een rij bevat; u(t) = als de eindtoestand t drie nulletjes op een rij bevat; u(t) = anders. Een zoekprobleem voor een speler MAX met een tegenstander MIN is een tupel P = (T, B, E, O MAX O MIN, u, s) met T is de verzameling van probleemtoestanden; B T is de verzameling van begintoestanden; E T is de verzameling van eindtoestanden; O MAX P(T T) is de verzameling van operatoren voor de speler en O MIN is die voor de tegenstander; u: E IN is de utiliteitsfunctie van de speler; s {MAX, MIN} is de partij die de eerste operator toepast. De speler en de tegenstander genereren een reeks probleemtoestanden door om de beurt een operator toe te passen. Comp. Int.: Zoeken met tegenstander Definitie 3 / 35 Comp. Int.: Zoeken met tegenstander Definitie 4 / 35

2 Zoeken met een tegenstander een optimaal algoritme voor zoeken met een tegenstander zoekt een uitputtende strategie voor de speler: de strategie schrijft voor elke mogelijke toestand na een zet van de tegenstander, voor welke zet de speler moet doen; de strategie maximaliseert de (verwachte) utiliteit voor de speler; algoritmen voor zoeken met een tegenstander: minimax search; minimax search met alfa-beta snoeien. Beschouw het nim-spel: het spel begint met een enkele stapel stenen; in elke zet mag een partij één stapel stenen in twee stapels van ongelijke grootte verdelen; het spel eindigt als elke stapel maximaal twee stenen bevat; de partij die het spel in een eindtoestand brengt, is de winnaar. Een zoekalgoritme moet een optimale strategie voor de speler vinden. Comp. Int.: Zoeken met tegenstander Definitie 5 / 35 Comp. Int.: Zoeken met tegenstander Definitie 6 / 35 Veronderstel dat het nim-spel met zeven stenen wordt gespeeld en dat de tegenstander begin 6, 5, 2 5,, 4, 2, 3, 2, 2 3, 3, 4,,, 3, 2,, 2, 2, 2, 3,,,, 2, 2,,, 2,,,,, De zoekgraaf bevat alle reeksen probleemtoestanden die door de speler en de tegenstander gegenereerd kunnen worden. Comp. Int.: Zoeken met tegenstander Definitie / 35 6, 5, 2 5,, 4, 2, 3, 2, 2 3, 3, 4,,, 3, 2,, 2, 2, 2, 3,,,, 2, 2,,, 2,,,,, Een optimale strategie voor de speler is als volg als de tegenstander de zet 6, doet, doe dan de zet 4, 2, ; als de tegenstander de zet 5, 2 doet, doe dan de zet 4, 2, ; als de tegenstander de zet doet, doe dan de zet 3, 3, ;... Comp. Int.: Zoeken met tegenstander Definitie 8 / 35

3 Het idee van minimax search Minimax search Het idee van minimax search is het algoritme berekent voor elke knoop in de zoekboom de maximaal voor de speler te bereiken utiliteit onder de aannamen: de speler doet altijd de beste zet; de tegenstander doet altijd de voor de speler slechtste zet; het algoritme voert hiertoe een uitputtende depth-first search uit op de zoekboom. Beschouw een zoekprobleem met een tegenstander: minimax search construeert de gehele zoekboom van het probleem; minimax search berekent minimax(t) voor elke knoop t in de zoekboom: minimax(t) = u(t) als t een eindtoestand is; minimax(t) = max s succ(t) {minimax(s)} als t een toestand is waarin de speler aan zet is; minimax(t) = mins succ(t) {minimax(s)} als t een toestand is waarin de tegenstander aan zet is; minimax search construeert vervolgens een optimale strategie voor de speler. Comp. Int.: Zoeken met tegenstander Minimax search 9 / 35 Comp. Int.: Zoeken met tegenstander Minimax search / 35 Beschouw nogmaals 6, 5, 2 5,, 4, 2, 3, 2, 2 3, 3, 4,,, 3, 2,, 2, 2, 2, 3,,,, 2, 2,,, 2,,,,, De minimax-waarde van een eindtoestand is de utiliteit van die toestand en geeft de wenselijkheid voor de speler weer. Comp. Int.: Zoeken met tegenstander Minimax search / 35 5,, 4,,, 3,,,, 2,,,,, 6, 4, 2, 3, 2,, 2, 2,,, 5, 2 3, 2, 2 2, 2, 2, 3, 3, de minimax-waarde van een toestand waarin de speler aan zet is, veronderstelt dat de speler de beste zet doet; de minimax-waarde van een toestand waarin de tegenstander aan zet is, veronderstelt dat deze de voor de speler slechtste zet doet. Comp. Int.: Zoeken met tegenstander Minimax search 2 / 35

4 De veronderstelling 5,, 6, 4, 2, 5, 2 3, 2, 2 3, 3, Minimax search is gebaseerd op de veronderstelling dat de tegenstander ook een optimale strategie hanteert. Voorbeeld In het volgende spel begint de speler: 4,,, 3, 2,, 2, 2, 2, t 3,,,, 2, 2,,, t t 2 5 t 3 2,,,,, De optimale strategie schrijft voor elke toestand waarin de speler aan zet is, de zet met de hoogste minimax-waarde voor: als de tegenstander de zet 6, doet, doe dan de zet 4, 2, ; als de tegenstander de zet 5, 2 doet, doe dan de zet 4, 2, ; Comp. Int.: Zoeken met tegenstander Minimax search 3 / 35 t 4 t 5 t 6 t 5 t 8 t 9 5 Gebaseerd op de veronderstelling schrijft de strategie de zet naar t voor: de beste eindtoestand t wordt al bij voorbaat opgegeven! Comp. Int.: Zoeken met tegenstander Minimax search 4 / 35 De bruikbaarheid van minimax Het gebruik van een dieptegrens Beschouw een spel met een zoekboom met diepte d en vertakkingsfactor b: de rekentijd van het minimax algoritme is ruwweg van de orde b d ; De zoekboom voor boter-kaas-en-eieren heeft al 9! = bladeren Het minimax basisalgoritme wordt meestal uitgebreid met een dieptegrens: de dieptegrens specificieert een maximum aan de diepte van de te genereren zoekboom; het gebruik van de dieptegrens heeft als doel de rekentijd van minimax search te beperken; een concrete dieptegrens wordt gekozen op basis van de beschikbare rekentijd; kennis van de winnende probleemtoestanden van het onderhavige spel. Het minimax algoritme schrijft nu uitsluitend de eerstvolgende zet voor. Comp. Int.: Zoeken met tegenstander Minimax search 5 / 35 Comp. Int.: Zoeken met tegenstander Minimax search 6 / 35

5 De heuristische functie Beschouw het boter-kaas-en-eieren spel en veronderstel dat de speler begint met het plaatsen van een kruisje: o o o Minimax search met diepte 2 genereert de bovenstaande zoekboom (rekening houdend met symmetrieën). Op de verzameling probleemtoestanden van een spel wordt een heuristische functie gedefinieerd: de heuristische waarde van een toestand is een inschatting van de wenselijkheid van de toestand voor de speler; de heuristische functie is gebaseerd op kennis van het spel en van de winnende toestanden. De heuristische waarde van een toestand moet eenvoudig, zonder grote computationele kosten te berekenen zijn. Comp. Int.: Zoeken met tegenstander Minimax search / 35 Comp. Int.: Zoeken met tegenstander Minimax search 8 / 35 Op de toestandsruimte van het boter-kaas-en-eieren spel definiëren we de volgende heuristische functie:, als t drie kruisjes op een rij bevat h(t) =, als t drie nulletjes op een rij bevat max(t) min(t), anders Beschouw de gegeven heuristische functie op de toestandsruimte van het boter-kaas-en-eieren spel. Dan geldt h(t) = 6 5 = met max(t) = het aantal open winnende rijen voor de speler h(t) = 4 6 = 2 min(t) = het aantal open winnende rijen voor de tegenstander Comp. Int.: Zoeken met tegenstander Minimax search 9 / 35 Comp. Int.: Zoeken met tegenstander Minimax search 2 / 35

6 Minimax search met begrensde diepte Minimax search met begrensde diepte is in essentie gelijk aan het minimax basisalgoritme. Echter, minimax search met diepte n construeert voor een probleem een begrensde zoekboom tot en met diepte n; minimax search met diepte n berekent een heuristische minimax-waarde h-minimax(t) voor elke toestand t in de begrensde boom: h-minimax(t) = h(t) als t een blad van de begrensde boom is; h-minimax(t) wordt berekend met dezelfde rekenregels als minimax(t) voorheen; minimax search met begrensde diepte n selecteert als eerstvolgende zet een zet die in de hoogste h-minimax waarde resulteert. Beschouw nogmaals het boter-kaas-en-eieren spel en veronderstel dat de speler begint met het plaatsen van een kruisje: o o o o 2 2 Minimax search met begrensde diepte gebruikt de heuristische functie voor het berekenen van de h-minimax waarden voor de bladeren van de begrensde boom. Comp. Int.: Zoeken met tegenstander Minimax search 2 / 35 Comp. Int.: Zoeken met tegenstander Minimax search 22 / 35 Beschouw nogmaals 2 2 o o o 2 Minimax search met begrensde diepte berekent de h-minimax waarden voor de overige toestanden volgens de rekenregels van het basisalgoritme. Comp. Int.: Zoeken met tegenstander Minimax search 23 / 35 De veronderstelling Minimax search met begrensde diepte veronderstelt dat voor een interne toestand t in de boom geldt dat h-minimax(t) een betere inschatting geeft van de wenselijkheid van t voor de speler dan h(t) Vergelijk bijvoorbeeld de volgende zetten voor de speler: h(t) = 4 = 3 h(t) = 4 = 3 Comp. Int.: Zoeken met tegenstander Minimax search 24 / 35

7 α β pruning α β pruning is een aanvullende techniek voor het minimax-search algoritme, met de minimax-waarden worden tijdens de constructie van de zoekboom berekend: de minimax-waarde van een blad wordt direct berekend; de minimax-waarde van een interne toestand wordt berekend zodra de waarden van de successors bekend zijn; de reeds berekende minimax-waarden worden gebruikt om de zoekboom dynamisch te reduceren. α β pruning is in essentie een branch-and-bound techniek. Beschouw nogmaals de volgende zoekboom en veronderstel dat de h-minimax waarden tijdens de constructie worden berekend: 2 s: 2 o o o 2 Na de berekening van de h-minimax waarde van de toestand t geldt dat de h-minimax waarde van s nooit groter dan 2 kan worden, immers h-minimax(s) = min { 2, h(r)} r succ(s) Comp. Int.: Zoeken met tegenstander alpha-beta pruning 25 / 35 Comp. Int.: Zoeken met tegenstander alpha-beta pruning 26 / 35 Grenzen aan de minimax-waarden De α-grens Minimax search met α β pruning houdt voor elke toestand in de zoekboom een grens aan de minimax-waarde van die toestand bij: voor elke toestand t waarin de speler aan zet is, wordt een ondergrens α(t) bijgehouden met Beschouw s: α(t) minimax(t) voor elke toestand t waarin de tegenstander aan zet is, wordt een bovengrens β(t) bijgehouden met β(t) minimax(t) Na de evaluatie van de toestand t geldt voor de begintoestand s dat h-minimax(s). Het algoritme kent aan s de volgende α-grens toe: α(s) = Comp. Int.: Zoeken met tegenstander alpha-beta pruning 2 / 35 Comp. Int.: Zoeken met tegenstander alpha-beta pruning 28 / 35

8 De β-grens Beschouw o o o Na de evaluatie van het blad t geldt voor de toestand s dat h-minimax(s) 2. Het algoritme kent aan s de volgende β-grens toe: β(s) = 2 2 s: Het bijhouden van de grenzen Tijdens minimax search met α β pruning worden de twee grenzen dynamisch bijgehouden: voor de grens α(t) voor een toestand t waarin de speler aan zet is, geldt op elk moment α(t) = max s comp-succ(t) {minimax(s)} voor de grens β(t) voor een toestand t waarin de tegenstander aan zet is, geldt op elk moment β(t) = min s comp-succ(t) {minimax(s)} waarin comp-succ(t) de verzameling is van reeds geëvalueerde successors van t. Comp. Int.: Zoeken met tegenstander alpha-beta pruning 29 / 35 Comp. Int.: Zoeken met tegenstander alpha-beta pruning 3 / 35 Beschouw nogmaals s: 2 o o o o o o 2 2 de grens β(s) van toestand s krijgt achtereenvolgens de waarden,, de grens α(t) van toestand t krijgt achtereenvolgens de waarden, Comp. Int.: Zoeken met tegenstander alpha-beta pruning 3 / 35 Het gebruik van de grenzen Minimax search met α β pruning gebruikt de twee grenzen om de zoekboom dynamisch te reduceren: een toestand t waarin de tegenstander aan zet is, wordt niet verder geëxpandeerd als β(t) α(s) voor een voorouder s van t men spreekt van een α-afkapping; een toestand t waarin de speler aan zet is, wordt niet verder geëxpandeerd als α(t) β(s) voor een voorouder s van t men spreekt van een β-afkapping. Comp. Int.: Zoeken met tegenstander alpha-beta pruning 32 / 35

9 Het gebruik van de grenzen Enkele opmerkingen Beschouw α = β = 2 o 2 Met α β pruning vindt bij toestand t een α-afkapping plaats. minimax search met α β pruning resulteert in dezelfde strategie voor de speler als het gewone minimax-search algoritme; de afkappingen die met α β pruning optreden, zijn sterk afhankelijk van de volgorde waarin de successors van een toestand worden onderzocht; in vergelijking met het gewone minimax-search algoritme kan het algoritme met α β pruning een tot tweemaal zo diepe zoekboom onderzoeken. Comp. Int.: Zoeken met tegenstander alpha-beta pruning 33 / 35 Comp. Int.: Zoeken met tegenstander alpha-beta pruning 34 / 35 De maximale effectiviteit van de pruning Beschouw een zoekboom met diepte d en vertakkingsfactor b. Veronderstel dat de successors in volgorde van hun h-minimax waarden worden gegenereerd: van laag naar hoog voor een toestand waarin de tegenstander aan zet is; van hoog naar laag voor een toestand waarin de speler aan zet is. Voor het aantal toestanden n op diepte d geldt na α β pruning dat n = 2 b d voor een even diepte d; n = b d+ + b d voor een oneven d. Voor gewone minimax search geldt dat n = b d. Comp. Int.: Zoeken met tegenstander alpha-beta pruning 35 / 35