Opgave 2 ( = 12 ptn.)

Transcriptie

1 Deel II Opgave 1 ( = 12 ptn.) a) Beschouw bovenstaande game tree waarin cirkels je eigen zet representeren en vierkanten die van je tegenstander. Welke waarde van de evaluatiefunctie komt uiteindelijk in de wortel (bovenste knoop) terecht als je standaard Minimax toepast? b) Veronderstel nu dat je gebruik maakt van α-β-pruning. Welke waarde van de evaluatiefunctie komt dan in de wortel terecht? Licht je antwoord kort toe. c) Beschouw een spel met twee spelers die tegelijkertijd moeten beslissen over hun actie. De uitkomsten van het spel (speler 1, speler 2) zijn gegeven in de linker tabel. Geef in de rechter tabel aan welke Nash equilibria dit spel kent. (Gebruik T (true) als het een evenwicht betreft en F (false) als het géén evenwicht betreft.) Speler 2 X Y Speler 1 A 10, 10 0, 10 Nash evenwichten? (A, X) (A, Y ) (B, X) (B, Y ) B 10, 0 10, 10 T/F Opgave 2 ( = 12 ptn.) Beschouw een evolutionair algoritme waarin de huidige populatie van N = 1000 individuën een totale fitness heeft van f tot = N j=1 f(j) = 375, waarbij alle f(j) 0. Stel dat in de parent selection fase tevens N individuën worden geselecteerd. a) Stel dat voor parent selection fitness proportionate selection wordt gebruikt. Hoe vaak zal een individu i met fitness f(i) = 30 in de parent pool voor komen? (Bij keuze voor A of B moet ook het correcte aantal ingevuld worden; keuze C moet toegelicht worden.) A. Het exacte aantal keer dat i voorkomt is: B. Het te verwachten aantal keer dat i voorkomt is: C. We missen de volgende gegevens om dit voor deze selectiemethode vast te stellen: 4

2 b) Noem een nadeel van fitness proportionate selection. c) Beschouw strings x = abcdef bestaande uit 6 gehele cijfers tussen 0 en 9. De fitness functie is gedefinieerd als f(x) = (a + b) (c + d) + (e + f). Geef de fitness waarde van de twee onderstaande strings; geef tevens de string die de optimale oplossing vertegenwoordigt met fitness waarde 36. x f(x) 36 Opgave 3 ( = 13 ptn.) Je bent bezig met het bouwen van een planningssysteem voor verschillende taken. Ten behoeve hiervan wil je een beslisboom (decision tree) met ID3 leren uit data die een reeks taken classificeert naar urgentie (variabele U). Taak 1 Taak 2 Taak 3 U y n n level 1 y n y level 2 y y n level 2 y n y level 1 y y y level 5 n y n level 1 Entropy(S) = log 2 p = log 10 p log 10 2 n p(i) log 2 p(i) i=1 indien nodig : 0 log 0 = 0 a) Bereken de entropy voor variabele U op basis van bovenstaande data. Geef de gevonden waarde, in tenminste 3 cijfers achter de komma: A. 1,525 B. 1,459 C. 1,395 D. 1,219 E. iets anders, namelijk: b) Stel dat de conditionele entropiën voor U gegeven de waarden van Taak 1 als volgt zijn: 1, 52 voor y en 0 voor n. Bereken de verwachte entropy bij het splitsen op Taak 1, en de bijbehorende Gain: Verwachte entropy: Gain: 5

3 c) Zal ID3 Taak 1 als wortel van de decision tree kiezen? Licht je antwoord duidelijk toe. (NB je hoeft voor deze vraag geen (extra) berekeningen uit te voeren; en ook zonder een antwoord op vraag b) zijn er met deze opgave punten te verdienen!) Opgave 4 ( = 11 ptn.) Bereken de volgende kansen uit bovenstaand Bayesiaans netwerk. Geef antwoorden in tenminste 2 cijfers achter de komma. a) P (A = false, B = true, C = true) = b) P (B = true, C = true) = c) Wat is de meest waarschijnlijke waarde van A gegeven zowel B = true als C = true? Licht je antwoord duidelijk toe. 6

4 Opgave 5 (4 + 6 = 10 ptn.) Beschouw het volgende neurale netwerk, waarbij x 1 en x 2 binaire inputs zijn. Elk neuron N, (N {3, 4}), past een activatiefunctie met drempelwaarde (threshold) θ N toe op zijn gewogen inputs; gewichten worden aangeduid met w j, j = 1,..., 5. a) Veronderstel dat w 1 = 1, w 2 = 2 en w 3 = 1 en dat neuron 4 de step-function als activatiefunctie gebruikt met drempelwaarde θ 4 = Veronderstel bovendien dat de output van neuron 3 is zoals in onderstaande tabel. Geef voor alle inputparen x 1, x 2 de output y: output output y x 1 x 2 neuron 3 (neuron 4) b) Veronderstel dat zowel neuron 3 als neuron 4 een ouput van 1 geeft als de gewogen som van hun inputs 0.5 is, en anders output 0. Voor welke combinatie van gewichten modelleert het neurale netwerk de logische XOR? Licht je antwoord duidelijk toe. A. w 1 = 1, w 2 = 1, w 3 = 2, w 4 = 1, w 5 = 1 B. w 1 = 1, w 2 = 1, w 3 = 1, w 4 = 2, w 5 = 1 C. w 1 = 1, w 2 = 1, w 3 = 2, w 4 = 2, w 5 = 1 D. Een andere combinatie van gewichten is nodig om een XOR te modelleren. E. Geen enkele combinatie van gewichten kan in dit neurale netwerk een XOR opleveren. 7

5 Opgave 6 ( = 12 ptn.) Beschouw een aanvallende voetbal-robot. Vanuit positie 1,2 of 3 kan hij besluiten te schieten (S) of te dribbelen (D); vanaf positie 4 kan hij alleen schieten. Als hij schiet dan eindigt de bal in het doel ( state G) of het doel wordt gemist ( state M). Als hij succesvol dribbelt dan komt hij 1 positie vooruit; als hij de bal verliest eindigt hij weer in M. Dit probleem kent 6 toestanden: de posities P k, k {1, 2, 3, 4}, en de terminal states G en M. De robot gebruikt reinforcement learning om een policy te leren. Veronderstel dat de robot 3 epochs/episodes getraind heeft en de volgende ervaringen < s, a, r, s > heeft opgedaan: Epoch 1: < P 1, D, 0, P 2 >, < P 2, D, 0, P 3 >, < P 3, D, 0, M > Epoch 2: < P 1, D, 0, M > Epoch 3: < P 1, D, 0, P 2 >, < P 2, D, 0, P 3 >, < P 3, D, 0, P 4 >, < P 4, S, 1, G > Veronderstel allereerst dat de robot Direct Evaluation ( reward to go ) gebruikt en een vaste policy π heeft. a) Stel de discount factor γ = 1, 00. Geef voor alle non-terminal states de waarden V π (s) na afloop van de 3 epochs. Gebruik breuken of tenminste 3 cijfers achter de komma: V π (s) s P 1 P 2 P 3 P 4 b) Stel de discount factor is nu γ = 0, 75. Geef voor alle non-terminal states de waarden V π (s) na afloop van de 3 epochs, in breuken of tenminste 3 cijfers achter de komma: V π (s) s P 1 P 2 P 3 P 4 Veronderstel nu dat de robot Q-learning gebruikt. c) Zet vinkjes in onderstaande tabel bij de combinaties van acties a en states s waarvan de Q(s, a) paren na de ervaringen van het eerste epoch, Epoch 1, zijn ge-update. (NB je hoeft geen Q-waarden te berekenen!) S D P 1 P 2 P 3 P 4 8